WO2021020304A1 - 基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法 - Google Patents

基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法 Download PDF

Info

Publication number
WO2021020304A1
WO2021020304A1 PCT/JP2020/028564 JP2020028564W WO2021020304A1 WO 2021020304 A1 WO2021020304 A1 WO 2021020304A1 JP 2020028564 W JP2020028564 W JP 2020028564W WO 2021020304 A1 WO2021020304 A1 WO 2021020304A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
vehicle
control unit
traveling
unit
Prior art date
Application number
PCT/JP2020/028564
Other languages
English (en)
French (fr)
Inventor
優太 梅原
哲生 岡本
博司 酒井
博己 藤田
隆敏 吉川
忍 藤本
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019138999A external-priority patent/JP7401217B2/ja
Priority claimed from JP2019214078A external-priority patent/JP7296305B2/ja
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2021020304A1 publication Critical patent/WO2021020304A1/ja
Priority to US17/571,686 priority Critical patent/US20220130237A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/40Transportation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/10Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/10Detection; Monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Definitions

  • This disclosure relates to base stations, roadside machines, traffic communication systems, traffic management methods, and teacher data generation methods.
  • ITS Intelligent Transport Systems
  • Non-Patent Document 1 includes a roadside machine which is a base station installed on the roadside and an on-board unit which is a mobile station mounted on a vehicle, and the roadside machine and the on-board unit. Describes a system that performs wireless communication.
  • the roadside machine determines the presence or absence of a moving object (vehicle or pedestrian) on the road based on the image data from the image sensor (so-called roadside camera) installed on the roadside. , It is considered that the judgment result can be transmitted to the surrounding vehicles to prevent accidents.
  • a moving object vehicle or pedestrian
  • roadside camera image sensor
  • Patent Document 1 in a situation where a plurality of vehicles are traveling on a road, a following vehicle acquires route history data from a preceding vehicle traveling in the same lane as the own vehicle, and based on the acquired route history data. A system that warns the driver when it is determined that there is a traffic obstacle in the lane is described.
  • ARIB STD-T109 1.3 version "700MHz band intelligent transportation system"
  • the base station is a base station used for a traffic communication system, and is a communication unit that receives information transmitted from a vehicle traveling on a road by wireless communication, and the information received by the communication unit.
  • the control unit for specifying the traveling behavior including the traveling route of the vehicle on the road is provided.
  • the control unit performs a first process of performing statistics or machine learning on the traveling behavior specified for each of a plurality of vehicles traveling on the road, and based on the result of the first process, the control unit is on the road.
  • the second process of determining the presence or absence of a traffic obstacle and the position of the traffic obstacle is executed.
  • the traffic communication system is a base station that receives information transmitted from a vehicle traveling on the road by wireless communication, and the vehicle on the road based on the information received by the communication unit. It is provided with a control unit that specifies a traveling behavior including a traveling route. The control unit performs a first process of performing statistics or machine learning on the traveling behavior specified for each of a plurality of vehicles traveling on the road, and the control unit on the road based on the result of the first process. The second process of determining the position of a traffic obstacle is executed.
  • the traffic management method is that the base station receives information transmitted from a vehicle traveling on the road by wireless communication, and based on the information received by the base station, the said on the road. Identifying the driving behavior including the traveling route of the vehicle, executing the first process of performing statistics or machine learning on the traveling behavior specified for each of the plurality of vehicles traveling on the road. It includes executing a second process of determining the position of a traffic obstacle on the road based on the result of the first process.
  • the traffic communication system is an image sensor that images a moving body on a road and outputs image data, and wirelessly communicates an uplink message including attribute data indicating the attributes of the moving body from the moving body. It includes a receiving unit for receiving and a generating unit for generating teacher data used for constructing a learning model by machine learning by associating the attribute data included in the uplink message with the image data output by the image sensor.
  • the learning model is a model that identifies the attributes of the moving body from the image data output by the image sensor.
  • the roadside unit is a roadside unit installed around the road, and is a receiving unit that receives a message including attribute data indicating the attributes of the moving body on the road from the moving body by wireless communication. And, by acquiring image data from the image sensor that images the moving object and associating the attribute data included in the message with the image data, a generation unit that generates teacher data used for constructing a learning model by machine learning. And.
  • the learning model is a model that identifies the attributes of the moving body from the image data output by the image sensor.
  • the teacher data generation method is a teacher data generation method executed in a traffic communication system, in which a message including attribute data indicating the attributes of a moving object on a road is received by wireless communication, and the above-mentioned. Acquiring image data from an image sensor that captures an image of a moving object, and by associating the attribute data included in the message with the image data, generating teacher data used for constructing a learning model by machine learning. Have.
  • the learning model is a model that identifies the attributes of the moving body from the image data output by the image sensor.
  • each vehicle determines the presence or absence of a traffic obstacle, and there is a problem that the processing load of each vehicle increases.
  • the purpose of the first embodiment is to eliminate the need for the determination process of the traffic obstacle of each vehicle and to make it possible to appropriately determine the presence or absence of the traffic obstacle and its position.
  • FIG. 1 is a diagram showing a configuration of a transportation communication system 1 according to the first embodiment.
  • the traffic communication system 1 has a vehicle 100 passing through the road R and a roadside machine 200 which is a base station installed on the road side of the road R.
  • vehicles 100A and 100B are illustrated as the vehicle 100
  • roadside machines 200A and 200B are illustrated as the roadside machine 200.
  • the vehicle 100 is an example of a vehicle such as an ordinary vehicle or a light vehicle, it may be a vehicle that passes through the road R, for example, a motorcycle (motorcycle) or the like.
  • Each vehicle 100 is equipped with an in-vehicle device 150, which is a mobile station that performs wireless communication.
  • the on-board unit 150 performs road-to-vehicle communication with the roadside unit 200.
  • FIG. 1 shows an example in which the on-board unit 150A and the roadside unit 200A perform road-to-vehicle communication, and the on-board unit 150B and the roadside unit 200B perform road-to-vehicle communication.
  • the roadside machine 200 is installed around the road R.
  • the roadside machine 200 may be installed at an intersection where two or more roads intersect.
  • the roadside unit 200 performs inter-road communication with another roadside unit 200.
  • FIG. 1 shows an example in which the roadside unit 200A and the roadside unit 200B perform inter-road communication by wireless communication, the inter-road communication may be wired communication.
  • the roadside unit 200A is installed on the traffic signal (traffic signal lamp) 300 or its support, and operates in cooperation with the traffic signal 300.
  • the roadside unit 200A transmits a radio signal including signal information regarding the traffic signal 300 to the vehicle 100 (vehicle-mounted unit 150).
  • wireless communication by broadcasting to an unspecified number of destinations may be used.
  • wireless communication by multicast with a specific majority as a destination may be used, or wireless communication by unicast with a specific singular as a destination may be used.
  • Each roadside unit 200 is connected to the server device 400 via a communication line.
  • This communication line may be a wired line or a wireless line.
  • a vehicle detector installed on the roadside may be connected to the server device 400 via a communication line.
  • the server device 400 receives information such as the position and vehicle speed of the vehicle 100 received from the on-board unit 150 by the roadside unit 200 from each roadside unit 200.
  • the server device 400 may further receive vehicle detection information from the roadside sensor installed on the road R.
  • the server device 400 collects and processes various traffic information based on the received information, and integrates and manages the road traffic.
  • FIG. 2 is a diagram showing the configuration of the roadside machine 200 according to the first embodiment.
  • the roadside machine 200 has a communication unit 21, a control unit 22, and an interface 23.
  • the communication unit 21 performs wireless communication (that is, road-to-vehicle communication) with the on-board unit 150 provided in the vehicle 100.
  • the communication unit 21 has an antenna 21a, a reception unit 21b, and a transmission unit 21c, and performs wireless communication via the antenna 21a.
  • the antenna 21a may be an omnidirectional antenna or a directional antenna having directivity.
  • the antenna 21a may be an adaptive array antenna whose directivity can be dynamically changed.
  • the communication unit 21 may perform inter-road communication with another roadside unit 200.
  • the communication unit 21 has a reception unit 21b that converts the radio signal received by the antenna 21a into received data and outputs the radio signal to the control unit 22. Further, the communication unit 21 has a transmission unit 21c that converts the transmission data output by the control unit 22 into a wireless signal and transmits it from the antenna 21a.
  • the wireless communication method of the communication unit 21 is a method compliant with the T109 standard of ARIB (Association of Radio Industries and Businesses) and a V2X (Vehicle-to-e) compliant system of 3GPP (Third Generation Partnership Project).
  • ARIB Association of Radio Industries and Businesses
  • V2X Vehicle-to-e
  • 3GPP Third Generation Partnership Project
  • a method conforming to a wireless LAN (Local Area Network) standard such as the IEEE (Institute of Electrical and Electronics Engineers) 802.11 series may be used.
  • the communication unit 21 may be configured to support all of these communication standards.
  • the control unit 22 controls various functions of the roadside machine 200.
  • the control unit 22 has at least one memory 22b and at least one processor 22a electrically connected to the memory 22b.
  • the memory 22b includes a volatile memory and a non-volatile memory, and stores information used for processing in the processor 22a and a program executed by the processor 22a.
  • the memory 22b corresponds to a storage unit.
  • the processor 22a performs various processes by executing the program stored in the memory 22b.
  • the interface 23 is connected to the roadside camera 500 via a wired line and / or a wireless line.
  • the roadside camera 500 is an example of a roadside sensor.
  • the roadside camera 500 outputs an captured image obtained by photographing the road R.
  • the interface 23 may be further connected to a roadside sensor other than the roadside camera 500, for example, an ultrasonic sensor or an infrared sensor.
  • the interface 23 is connected to the server device 400 via a wired line and / or a wireless line.
  • the interface 23 may be connected to the traffic signal 300 by wire or wirelessly.
  • the interface 23 may be connected to another roadside unit 200 by wire or wirelessly and used for road-to-road communication.
  • the communication unit 21 receives the information transmitted from the vehicle 100 traveling on the road R by wireless communication.
  • the communication unit 21 may periodically receive a road-to-vehicle communication message including various information from the vehicle 100.
  • the information received from the vehicle by the communication unit 21 includes, for example, at least one of position information, vehicle speed information, acceleration information, steering information, and accelerator / brake information.
  • the position information is information indicating the current position (latitude, longitude) of the vehicle 100.
  • the vehicle speed information is information indicating the vehicle speed of the vehicle 100.
  • the acceleration information is information indicating the acceleration of the vehicle 100.
  • the acceleration information may include not only information indicating the acceleration in the front-rear direction of the vehicle 100 but also information indicating the acceleration in the left-right direction of the vehicle 100.
  • the steering information is information indicating the content (direction and angle) of the steering operation of the vehicle 100.
  • the accelerator / brake information is information indicating the contents of the accelerator operation and the brake operation of the vehicle 100.
  • the control unit 22 specifies the traveling behavior including the traveling route of the vehicle 100 on the road R based on the information received by the communication unit 21.
  • the control unit 22 can specify, for example, a rough travel route of the vehicle 100 based on the position information of the vehicle 100 that is periodically acquired.
  • the position information is highly accurate position information such as QZSS (Quasi-Zenith Satellite System) position information
  • the control unit 22 can specify the detailed traveling route of the vehicle 100 based on the position information.
  • the control unit 22 may specify a detailed traveling route of the vehicle 100 based on the position information, the acceleration information (particularly, the information indicating the acceleration in the left-right direction of the vehicle 100) and / or the steering information. ..
  • the traveling behavior of the vehicle 100 may include a transition of a speed change and / or a transition of an acceleration change of the vehicle 100 in addition to the traveling route of the vehicle 100.
  • control unit 22 executes the first process of performing statistics or machine learning on the specified running behavior of each vehicle 100 traveling on the road R.
  • control unit 22 executes a second process of determining the presence or absence of the traffic obstacle E on the road R and the position of the traffic obstacle E based on the result of the first process.
  • control unit 22 determines the presence / absence of the traffic obstacle E on the road R and the traffic obstacle E based on the result of statistics or machine learning for the driving behavior specified for each vehicle 100 traveling on the road R. Judge about the position of.
  • FIG. 3A and 3B are diagrams for explaining the first process and the second process executed by the control unit 22.
  • FIG. 3A shows a travel route of one vehicle 100 when there is no traffic obstacle E on the road R
  • FIG. 3B shows a travel route of one vehicle 100 when there is a traffic obstacle E on the road R.
  • the traffic obstacle E means, for example, a falling object, a broken vehicle, a road damage (for example, a hole), or the like.
  • the first process is a process of specifying a traveling area in which each vehicle 100 travels on the road R according to statistics, and after specifying the traveling area, in the specified traveling area for a certain period of time. Includes a process of detecting a non-traveling region, which is a region in which none of the vehicles 100 travels.
  • the second process includes a process of determining that a traffic obstacle E exists when a non-traveling area is detected, and a process of determining the position of a traffic obstacle E based on the position of the detected non-traveling area. Including.
  • control unit 22 specifies a traveling area by totaling the traveling routes of each vehicle 100 on the road R.
  • control unit 22 may specify the traveling area by collecting time-series data of the position of the own vehicle from a plurality of vehicles 100 traveling on the road R and calculating the average of each data.
  • the control unit 22 monitors the traveling route of each vehicle 100 based on the information received from each vehicle 100, and none of the vehicles 100 travels in the specified traveling area for a certain period of time.
  • the traveling area is detected, and it is determined that the traffic obstacle E exists in the detected non-traveling area.
  • the first process includes a process of generating behavior information indicating abnormal driving behavior on the road R by machine learning.
  • the second process is a process of determining that a traffic obstacle E exists when an abnormal driving behavior is detected in the specified driving behavior of the vehicle 100 traveling on the road R based on the generated behavior information, and an abnormality. It includes a process of determining the position of the traffic obstacle E based on the traveling section in which the driving behavior is detected.
  • control unit 22 learns the running behavior of each vehicle 100 over a certain period of time when a traffic obstacle E exists on the road R or a test road simulating the road R. Specifically, machine learning is performed using the time-series data (running history) of time-series data (running history) of information from each vehicle 100 traveling on the road R over a certain period of time as teacher data, and learned to show abnormal running behavior. Generate a model as behavior information.
  • the control unit 22 After generating the behavior information, the control unit 22 describes the target vehicle 100 based on the time-series data of the information (driving behavior) from the target vehicle 100 traveling on the road R over a certain period of time and the generated behavior information. Detects abnormal driving behavior in the specified driving behavior. Then, the control unit 22 determines the position of the traffic obstacle E based on the traveling section in which the abnormal traveling behavior is detected.
  • control unit 22 may execute only one of the above-mentioned operation patterns 1 and 2. Alternatively, the control unit 22 may use the determination based on the operation pattern 1 and the determination based on the operation pattern 2 in combination, and determine that the traffic obstacle E exists when both determination results match.
  • FIG. 4 is a diagram showing the configuration of the vehicle 100 according to the first embodiment.
  • the vehicle 100 includes a communication unit 11, a GNSS receiver 12, a notification unit 13, a drive control unit 14, an in-vehicle camera 15, and a control unit 16.
  • the communication unit 11, the GNSS receiver 12, and the control unit 16 constitute an on-board unit 150.
  • the on-board unit 150 is an example of a mobile station.
  • the communication unit 11 performs wireless communication (that is, road-to-vehicle communication) with the roadside unit 200.
  • the communication unit 11 has an antenna 11a, a reception unit 11b, and a transmission unit 11c, and performs wireless communication via the antenna 11a.
  • the communication unit 11 has a reception unit 11b that converts the radio signal received by the antenna 11a into received data and outputs the radio signal to the control unit 16.
  • the communication unit 11 has a transmission unit 11c that converts the transmission data output by the control unit 16 into a wireless signal and transmits it from the antenna 11a.
  • the wireless communication method of the communication unit 11 may be a method compliant with the T109 standard of ARIB, a method compliant with the V2X standard of 3GPP, and / or a method compliant with a wireless LAN standard such as the IEEE802.11 series.
  • the communication unit 11 may be configured to be compatible with all of these communication standards.
  • the GNSS receiver 12 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite and outputs position information indicating the current position.
  • the GNSS receiver 12 is, for example, GPS, GLONASS (Global Navigation Satellite System), IRNSS (Indian Regional Navigation Satellite System), COMPASS, Galileo, and QZSS (Quasi-Zenith) among QZSS (Quasi-Zenith) receivers. Consists of including.
  • the notification unit 13 notifies the driver of the vehicle 100 of the information under the control of the control unit 16.
  • the notification unit 13 has a display 13a for displaying information and a speaker 13b for outputting information by voice.
  • the drive control unit 14 controls an engine or motor as a power source, a power transmission mechanism, a brake, and the like.
  • the drive control unit 14 may perform driving control of the vehicle 100 in cooperation with the control unit 16.
  • the in-vehicle camera 15 outputs an captured image obtained by photographing the front of the vehicle 100 to the control unit 16.
  • the control unit 16 controls various functions in the vehicle 100 (vehicle-mounted device 150).
  • the control unit 16 has at least one memory 16b and at least one processor 16a electrically connected to the memory 16b.
  • the memory 16b includes a volatile memory and a non-volatile memory, and stores information used for processing in the processor 16a and a program executed by the processor 16a.
  • the processor 16a performs various processes by executing the program stored in the memory 16b.
  • the control unit 16 controls the communication unit 11 so as to transmit various information to the roadside unit 200 by wireless communication.
  • the control unit 16 may control the communication unit 11 so as to periodically transmit the road-to-vehicle communication message including various information to the roadside unit 200.
  • the information transmitted to the roadside machine 200 includes, for example, at least one of position information, vehicle speed information, acceleration information, steering information, and accelerator / brake information.
  • FIG. 5 is a diagram showing the operation of the roadside machine 200 according to the first embodiment.
  • step S1 the communication unit 21 receives the information transmitted from each vehicle 100 traveling on the road R by wireless communication.
  • the control unit 22 identifies the traveling behavior including the traveling route of each vehicle 100 on the road R based on the information received by the communication unit 21, and accumulates the information on the identified traveling behavior.
  • step S2 the control unit 22 executes the first process of performing statistics or machine learning on the running behavior specified for each vehicle 100 in step S1.
  • step S3 the control unit 22 executes the second process of determining the presence / absence of the traffic obstacle E on the road R and the position of the traffic obstacle E based on the result of the first process.
  • step S4 NO
  • step S5 when it is determined that the traffic obstacle E exists and the position of the traffic obstacle E is determined (step S4: YES), in step S5, the control unit 22 moves to the position of the traffic obstacle E determined in step S3.
  • the communication unit 21 is controlled so as to transmit information indicating the position of the traffic obstacle E to the vehicle 100 traveling toward the vehicle by road-to-vehicle communication.
  • the information indicating the position of the traffic obstacle E is, for example, the longitude and latitude of the traffic obstacle E, the identifier of the lane in which the traffic obstacle E exists on the road R, or the relative position of the traffic obstacle E on the road R ( For example, left side, right side).
  • step S5 the control unit 22 makes a captured image request for the vehicle 100 traveling toward the position of the traffic obstacle E determined in step S3 to provide the captured image of the in-vehicle camera 15 by road-to-vehicle communication.
  • the communication unit 21 may be controlled to transmit.
  • the control unit 22 may transmit one road-to-vehicle communication message including information indicating the position of the traffic obstacle E and a captured image request to the vehicle 100.
  • the control unit 22 may transmit the information indicating the position of the traffic obstacle E and the captured image request to the vehicle 100 by separate road-to-vehicle communication messages.
  • control unit 16 of the vehicle 100 receives information indicating the position of the traffic obstacle E from the roadside machine 200 and determines that the traffic obstacle E is ahead in the traveling direction of the own vehicle, that effect. And the position of the traffic obstacle E is notified to the driver by the notification unit 13.
  • the control unit 16 of the vehicle 100 may perform vehicle speed control and steering control of the vehicle 100 so as to avoid the position of the traffic obstacle E.
  • the vehicle-mounted camera 15 photographs the front of the vehicle for a certain period of time to acquire the captured image (moving image). ..
  • the control unit 16 of the vehicle 100 receives the captured image request from the roadside device 200
  • the control unit 16 is only once immediately before the traffic obstacle E based on the information indicating the position of the traffic obstacle E.
  • the vehicle-mounted camera 15 may be controlled so as to acquire an captured image (still image).
  • step S6 the control unit 22 controls the roadside sensor associated with the road R so as to perform sensing for the traffic obstacle E.
  • the control unit 22 controls at least one of pan, tilt, and zoom of the roadside camera 500 so as to take a picture of the traffic obstacle E based on the position of the traffic obstacle E determined in step S3.
  • the order of steps S5 and S6 may be reversed.
  • step S7 the control unit 22 acquires the captured image of the vehicle-mounted camera 15 from the vehicle 100 via the communication unit 21, acquires the captured image of the roadside camera 500 from the roadside camera 500 via the interface 23, and acquires the captured image.
  • the attribute of the traffic obstacle E is determined based on the image.
  • the attributes of the traffic obstacle E include the type of the traffic obstacle E (eg, falling object, broken vehicle, or road damage).
  • the attributes of the traffic obstacle E may include the size of the traffic obstacle E (eg, large, medium, small).
  • the control unit 22 determines the attribute of the traffic obstacle E by image recognition processing for the captured image. For image recognition, pattern matching technology and image recognition technology based on learning such as reinforcement learning (for example, knowledge base, statistics base, neural network base) can be applied.
  • step S8 the control unit 22 sends information indicating the position of the traffic obstacle E determined in step S3 to the server device 400 for managing the road R via the interface 23, and the traffic determined in step S7. Notify the information indicating the attribute of the obstacle E.
  • the server device 400 can take appropriate measures for removing the traffic obstacle E.
  • step S8 the control unit 22 determines the information indicating the position of the traffic obstacle E determined in step S3 and the determination in step S7 with respect to the other roadside unit 200 associated with the road R via the communication unit 21.
  • Information indicating the attributes of the traffic obstacle E that has been created is notified by road-to-road communication.
  • the other roadside machine 200 that has received such a notification transmits, for example, information indicating the position of the notified traffic obstacle E and information indicating the attribute of the traffic obstacle E by road-to-vehicle communication. As a result, information on the traffic obstacle E can be notified to many vehicles 100 on the road R.
  • FIG. 6 is a diagram showing an operation pattern 1 of the determination operation of the traffic obstacle E according to the first embodiment.
  • step S11 the control unit 22 specifies the traveling area by totaling the traveling routes of each vehicle 100 on the road R.
  • step S12 the control unit 22 monitors the travel route of each vehicle 100 based on the information received from each vehicle 100.
  • step S14 the control unit 22 determines that the traffic obstacle E exists and detects it.
  • the position of the traffic obstacle E is determined based on the position of the non-traveling area. For example, the control unit 22 may determine the central position of the non-traveling region as the position of the traffic obstacle E.
  • FIG. 7 is a diagram showing an operation pattern 2 of the determination operation of the traffic obstacle E according to the first embodiment.
  • step S21 the control unit 22 learns the traveling behavior of each vehicle 100 over a certain period of time in the presence of the traffic obstacle E by machine learning, and the abnormal traveling behavior on the road R. Generates behavior information indicating.
  • step S22 the control unit 22 specifies the traveling behavior of the vehicle 100 over a certain period of time based on the information received from the vehicle 100 traveling on the road R.
  • step S23 the control unit 22 determines whether or not the running behavior specified in step S22 includes abnormal running behavior based on the behavior information generated in step S21 and the running behavior specified in step S22.
  • step S24 the control unit 22 determines that the traffic obstacle E exists, and the abnormal traveling behavior is detected.
  • the position of the traffic obstacle E is determined based on the traveled section. For example, the control unit 22 may determine the central position of the traveling section in which the abnormal traveling behavior is detected as the position of the traffic obstacle E.
  • the second embodiment aims to make it possible to construct a learning model for image recognition of a moving object while reducing the work load.
  • the transportation communication system according to the second embodiment will be described with reference to the drawings.
  • the same or similar parts are designated by the same or similar reference numerals.
  • the second embodiment will mainly explain the differences from the first embodiment, and the description of similar or the same configuration will be omitted.
  • FIG. 8 is a diagram showing a configuration of the transportation communication system 1 according to the second embodiment.
  • the traffic communication system 1 has a vehicle 100 passing through the road R and a roadside machine 200 which is a base station installed on the road side of the road R.
  • the vehicle 100 is an example of a moving body.
  • the differences between the configuration of the transportation communication system according to the second embodiment and the first embodiment will be mainly described, and the description of similar or the same configuration will be omitted.
  • Each roadside unit 200 is connected to the server device 400 via a communication line.
  • This communication line may be a wired line or a wireless line.
  • Each roadside unit 200 may perform wireless communication with the terminal 750 of the pedestrian 700.
  • Pedestrian 700 and terminal 750 are other examples of mobile objects.
  • the terminal 750 may be a terminal capable of wireless communication with the roadside device 200, and is, for example, a smartphone, a tablet terminal, a notebook PC, a wearable terminal, or the like.
  • FIG. 9 is a diagram showing an installation environment of the roadside machine 200 according to the second embodiment.
  • the roadside machine 200 is installed around the intersection where the first road and the second road intersect.
  • the roadside machine 200 is provided with an image sensor 500 that captures a predetermined geographical range on the second road.
  • the image sensor 500 outputs the image data obtained by imaging to the roadside machine 200.
  • the roadside machine 200 performs image recognition processing on the image data output by the image sensor 500, and recognizes the presence / absence and attributes of a moving object on the second road.
  • the moving body is, for example, at least one of the vehicle 100 and the pedestrian 700.
  • the roadside unit 200 transmits a down message regarding the recognized moving object by road-to-vehicle communication.
  • the vehicle 100 moving on the first road receives the down message from the roadside machine 200 and performs processing based on the received down message. For example, the vehicle 100 gives a notification or warning to the driver based on a down message from the roadside machine 200, or controls the operation of the vehicle 100.
  • AI artificial intelligence
  • a learning model for recognizing and identifying a moving body is constructed by machine learning, and the moving body can be recognized and identified by inputting image data into the constructed trained model.
  • supervised learning is used as machine learning.
  • the roadside machine 200 uses the upstream message received by the roadside machine 200 in order to automate the labeling of the image data output by the image sensor 500. That is, the roadside unit 200 receives an uplink message including attribute data indicating the attributes of the mobile body from the mobile body by wireless communication. Then, the roadside machine 200 automatically generates teacher data used for constructing the learning model by associating the attribute data included in the upstream message with the image data output by the image sensor 500.
  • a learning model is a model that identifies the attributes of a moving body from the image data output by the image sensor 500.
  • the teacher data used for constructing the learning model can be automatically generated for each image sensor 500, so that it is possible to construct a learning model for image recognition of a moving object while reducing the work load.
  • the attributes of the mobile body can be identified based on the image data even if the mobile body does not have the wireless communication function.
  • FIG. 10 is a diagram showing the configuration of the roadside machine 200 according to the second embodiment.
  • the roadside machine 200 has a communication unit 21, a control unit 22, and an interface 23.
  • the communication unit 21 performs wireless communication (that is, road-to-vehicle communication) with the on-board unit 150 provided in the vehicle 100.
  • the communication unit 21 may perform wireless communication with the terminal 750 of the pedestrian 700.
  • the communication unit 21 has an antenna 21a, a reception unit 21b, and a transmission unit 21c, and performs wireless communication via the antenna 21a.
  • the antenna 21a may be an omnidirectional antenna or a directional antenna having directivity.
  • the antenna 21a may be an adaptive array antenna whose directivity can be dynamically changed.
  • the receiving unit 21b converts the radio signal received by the antenna 21a into received data and outputs it to the control unit 22.
  • the transmission unit 21c converts the transmission data output by the control unit 22 into a wireless signal and transmits it from the antenna 21a.
  • the wireless communication method of the communication unit 21 is a method compliant with the T109 standard of ARIB (Association of Radio Industries and Businesses) and a V2X (Vehicle-to-e) compliant system of 3GPP (Third Generation Partnership Project).
  • ARIB Association of Radio Industries and Businesses
  • V2X Vehicle-to-e
  • 3GPP Third Generation Partnership Project
  • a method conforming to a wireless LAN (Local Area Network) standard such as IEEE (Institute of Electrical and Electronics Engineers) 802.11 series may be used.
  • the communication unit 21 may be configured to support two or more of these communication standards.
  • the control unit 22 controls various functions of the roadside machine 200.
  • the control unit 22 has at least one memory 22b and at least one processor 22a electrically connected to the memory 22b.
  • the memory 22b includes a volatile memory and a non-volatile memory, and stores information used for processing in the processor 22a and a program executed by the processor 22a.
  • the memory 22b corresponds to a storage unit.
  • the processor 22a performs various processes by executing the program stored in the memory 22b.
  • the interface 23 is connected to at least one image sensor 500 via a wired line and / or a wireless line.
  • the image sensor 500 outputs a captured image obtained by photographing the road R.
  • the image sensor 500 may be a roadside camera.
  • the image sensor 500 may form a part of the roadside machine 200.
  • the interface 23 may be connected to at least one LiDAR (Light Detection and Ringing) sensor 600 via a wired line and / or a wireless line.
  • the LiDAR sensor 600 detects a moving object and outputs detection data (point cloud data).
  • the LiDAR sensor 600 may be integrated with the image sensor 500.
  • the image sensor 500 may form a part of the roadside machine 200.
  • the interface 23 is connected to the server device 400 via a wired line and / or a wireless line.
  • the control unit 22 communicates with the server device 400 via the interface 23.
  • the control unit 22 acquires image data from the image sensor 500 that captures an image of a moving body on the road R and outputs the image data.
  • the moving body is, for example, at least one of the vehicle 100 and the pedestrian 700.
  • the receiving unit 21b receives an uplink message including attribute data indicating the attributes of the mobile body from the mobile body by wireless communication.
  • the receiving unit 21b may receive an ascending message from the vehicle 100 (vehicle-mounted device 150) or may receive an ascending message from the pedestrian 700 (terminal 750).
  • the attribute data may include at least one of the size type of the vehicle 100 and the usage type of the vehicle 100 in addition to the data indicating that the moving body is the vehicle 100.
  • the size type of the vehicle 100 includes, for example, a large vehicle, a medium-sized vehicle, an ordinary vehicle (including a light vehicle), a motorcycle (including a motorized bicycle), a bicycle, a tram, and the like.
  • the use type of the vehicle 100 includes, for example, a private car, an emergency car, a passenger car, a freight car, a special car, and the like.
  • the attribute data includes data indicating that the moving body is a pedestrian 700, and at least one of the pedestrian age group and the pedestrian's moving state.
  • the age group of pedestrians includes children, adults, seniors (old people), and the like.
  • the moving state of a pedestrian includes stationary, walking, running, and the like.
  • the upstream message may include position data indicating the geographical position (latitude and longitude) of the moving object that is the source.
  • position data for example, GNSS (Global Navigation Satellite System) position data can be used.
  • the upstream message may include movement direction data indicating the movement direction (direction) of the moving body that is the transmission source.
  • the control unit 22 generates teacher data used for constructing a learning model by machine learning by associating the attribute data included in the uplink message received by the reception unit 21b with the image data output by the image sensor 500. .. That is, the control unit 22 has a function of a generation unit that generates teacher data.
  • the learning model constructed using such teacher data is a model that identifies the attributes of the moving body from the image data output by the image sensor 500.
  • the control unit 22 attaches the attribute data included in the uplink message received by the reception unit 21b to the image data as a label, and automatically generates the teacher data used for constructing the learning model.
  • labeling of image data can be automated by using wireless communication with a mobile body.
  • the control unit 22 is not limited to the case where the image data to which the attribute data is added is generated as the teacher data, and the control unit 22 generates the image data to which the attribute data is added to the combination of the detection data of the LiDAR sensor 600 as the teacher data. You may. By using the detection data of the LiDAR sensor 600 together, it becomes possible to recognize a moving object even at night, for example.
  • the control unit 22 may generate teacher data by associating the attribute data included in the uplink message with the image data output by the image sensor 500 and the detection data output by the LiDAR sensor 600.
  • the learning model constructed using such teacher data is a model that identifies the attributes of the moving body from the combination of the image data output by the image sensor 500 and the detection data output by the LiDAR sensor 600. In the following, an example in which attribute data is added as a label to image data and used as teacher data will be described.
  • the receiving unit 21b of the roadside unit 200 can also receive an ascending message from a moving body outside the imaging range (a predetermined geographical area on the road R) of the image sensor 500. In such a case, there is a concern that the above-mentioned labeling does not work well. Therefore, the control unit 22 includes the position data included in the ascending message in the ascending message according to indicating the position within the imaging range (predetermined geographical area on the road R) of the image sensor 500.
  • the teacher data may be generated by associating the attribute data with the image data output by the image sensor 500.
  • the control unit 22 determines the teacher data based on the upstream message. Does not generate. It is assumed that the information indicating the imaging range (a predetermined geographical area on the road R) of the image sensor 500 is stored in advance in the control unit 22.
  • the control unit 22 includes the ascending message.
  • the teacher data is generated by associating the attribute data with the image data output by the image sensor 500.
  • the control unit 22 does not generate teacher data based on the moving direction data when the moving direction data included in the upstream message from the moving body does not indicate a predetermined moving direction. It is assumed that the information indicating the predetermined movement direction is stored in advance in the control unit 22.
  • control unit 22 builds a learning model using the generated teacher data. That is, the control unit 22 has a function of a learning unit that constructs a learning model from the teacher data. In this case, the control unit 22 constructs a learning model by machine learning (specifically, supervised learning) from the generated teacher data, and stores the learned model which is the constructed learning model.
  • machine learning specifically, supervised learning
  • the server device 400 may have such a function of the learning unit.
  • the control unit 22 uploads the generated teacher data to the server device 400, downloads the learned model obtained by the server device 400 by performing machine learning, and stores the downloaded learned model.
  • control unit 22 uses the trained model to identify the attributes of the moving object from the image data output by the image sensor 500. That is, the control unit 22 has a function of an identification unit that identifies the attributes of the moving body.
  • control unit 22 uses the trained model to identify whether the moving body included as the subject in the image data is the vehicle 100 or the pedestrian 700.
  • the control unit 22 may identify the size type of the vehicle 100 or the application type of the vehicle 100.
  • the control unit 22 may identify the age group of the pedestrian 700 or the moving state of the pedestrian 700.
  • the control unit 22 may determine the degree of risk related to a traffic accident based on the identification result of the moving object using the learned model. For example, the control unit 22 may determine that the moving object having an attribute in which the frequency of traffic accidents occurs statistically high has a high risk, and if not, the risk is low.
  • the control unit 22 transmits a downlink message including information based on the identification result of the moving body using the learned model from the transmission unit 21c by wireless communication.
  • the downlink message is transmitted by broadcast, unicast, or multicast.
  • the control unit 22 includes information indicating the attributes of the mobile body identified using the trained model in the downlink message.
  • the control unit 22 may include information indicating the degree of danger determined based on the attributes of the moving body in the downlink message.
  • FIG. 11 is a diagram showing the configuration of the vehicle 100 according to the second embodiment.
  • the vehicle 100 has a communication unit 11, a GNSS receiver 12, a notification unit 13, a drive control unit 14, and a control unit 16.
  • the communication unit 11, the GNSS receiver 12, and the control unit 16 constitute an on-board unit 150.
  • the communication unit 11 performs wireless communication (that is, road-to-vehicle communication) with the roadside unit 200. Specifically, the communication unit 11 has an antenna 11a, a reception unit 11b, and a transmission unit 11c, and performs wireless communication via the antenna 11a.
  • the receiving unit 11b converts the radio signal received by the antenna 11a into received data and outputs the radio signal to the control unit 16.
  • the transmission unit 11c converts the transmission data output by the control unit 16 into a wireless signal and transmits it from the antenna 11a.
  • the wireless communication method of the communication unit 11 may be a method compliant with the T109 standard of ARIB, a method compliant with the V2X standard of 3GPP, and / or a method compliant with a wireless LAN standard such as the IEEE802.11 series.
  • the communication unit 11 may be configured to be compatible with two or more of these communication standards.
  • the GNSS receiver 12 receives the GNSS signal from the GNSS satellite and outputs the position data indicating the current position.
  • the GNSS receiver 12 is, for example, GPS, GLONASS (Global Navigation Satellite System), IRNSS (Indian Regional Navigation Satellite System), COMPASS, Galileo, and QZSS (Quasi-Zenith) among QZSS (Quasi-Zenith) receivers. Consists of including.
  • the movement direction data is generated based on the position data.
  • the notification unit 13 notifies the driver of the vehicle 100 of the information under the control of the control unit 16.
  • the notification unit 13 has a display 13a for displaying information and a speaker 13b for outputting information by voice.
  • the drive control unit 14 controls an engine or motor as a power source, a power transmission mechanism, a brake, and the like.
  • the drive control unit 14 may perform driving control of the vehicle 100 in cooperation with the control unit 16.
  • the control unit 16 controls various functions in the vehicle 100 (vehicle-mounted device 150).
  • the control unit 16 has at least one memory 16b and at least one processor 16a electrically connected to the memory 16b.
  • the memory 16b includes a volatile memory and a non-volatile memory, and stores information used for processing in the processor 16a and a program executed by the processor 16a.
  • the processor 16a performs various processes by executing the program stored in the memory 16b.
  • control unit 16 In the vehicle 100 configured in this way, the control unit 16 generates the upstream message as described above, and transmits the generated upstream message from the transmission unit 11c.
  • the control unit 16 may periodically generate and transmit an uplink message.
  • the receiving unit 11b receives the downlink message as described above from the roadside unit 200, and outputs the received downlink message to the control unit 16.
  • the control unit 16 controls the notification unit 13 so as to notify the driver of information according to the content of the downlink message. For example, the control unit 16 notifies information indicating the attribute of the moving body indicated by the downlink message, or notifies information indicating the degree of danger indicated by the downlink message.
  • the control unit 16 may control the drive control unit 14 so as to perform automatic operation control according to the content of the downlink message. For example, the control unit 16 may control the steering and brakes in order to prevent a traffic accident.
  • FIG. 12 is a diagram showing an operation example 1 for performing machine learning in the transportation communication system 1 according to the second embodiment.
  • step S101 the image sensor 500 images a moving body on the road and outputs image data.
  • the control unit 22 of the roadside machine 200 acquires image data from the image sensor 500.
  • step S102 the receiving unit 21b of the roadside machine 200 receives an upstream message from the moving body.
  • the upstream message contains the attribute data of this mobile.
  • the ascending message may include the position data and the moving direction data of the moving body.
  • step S103 the control unit 22 of the roadside machine 200 may determine whether or not to generate teacher data based on the uplink message received in step S102. For example, when the position data included in the ascending message indicates a position within the imaging range (a predetermined geographical area on the road R) of the image sensor 500, the control unit 22 generates teacher data based on the ascending message. You may judge. When the moving direction data included in the upstream message from the moving body indicates a predetermined moving direction, the control unit 22 may determine that the teacher data based on the upstream message is generated. Here, the description will proceed on the assumption that the control unit 22 determines that the teacher data will be generated.
  • step S104 the control unit 22 of the roadside machine 200 associates the attribute data included in the uplink message received by the reception unit 21b with the image data output by the image sensor 500, so that the teacher used to construct the learning model by machine learning. Generate data.
  • the control unit 22 is not limited to the case where the image data to which the attribute data is added is generated as the teacher data, and the control unit 22 generates the image data to which the attribute data is added to the combination of the detection data of the LiDAR sensor 600 as the teacher data. You may.
  • step S105 the control unit 22 of the roadside machine 200 uploads the teacher data (combination of attribute data and image data) generated in step S104 to the server device 400.
  • the control unit 22 may assign the ID of the corresponding image sensor 500 to the teacher data.
  • step S106 the server device 400 builds a learning model by supervised learning from the teacher data uploaded from the roadside machine 200.
  • the server device 400 may build a learning model for each image sensor 500 based on the ID of the image sensor 500.
  • the server device 400 continues to collect teacher data and build (update) a learning model until a certain condition is satisfied, and generates a learned model.
  • This condition may be a condition that a certain period of time has passed, or a condition that a certain number of teacher data have been collected.
  • step S107 the server device 400 delivers the trained model to the roadside machine 200.
  • the server device 400 may notify the roadside machine 200 of the ID of the corresponding image sensor 500 when the trained model is distributed.
  • step S108 the control unit 22 of the roadside machine 200 stores the learned model acquired from the server device 400.
  • the control unit 22 may store the learned model for each image sensor 500.
  • FIG. 13 is a diagram showing an operation example 2 for performing machine learning in the transportation communication system 1 according to the second embodiment.
  • steps S111 to S114 is the same as the operation of steps S101 to S104 described above.
  • step S115 the control unit 22 of the roadside machine 200 builds a learning model by supervised learning from the teacher data generated in step S114.
  • the control unit 22 may build a learning model for each image sensor 500.
  • the control unit 22 continues collecting teacher data and constructing (updating) a learning model until a certain condition is satisfied, and generates a trained model.
  • This condition may be a condition that a certain period of time has passed, or a condition that a certain number of teacher data have been collected.
  • step S116 the control unit 22 of the roadside machine 200 stores the generated learned model.
  • the control unit 22 may store the learned model for each image sensor 500.
  • the control unit 22 may continue to update the trained model.
  • FIG. 14 is a diagram showing an operation example after the trained model is generated in the transportation communication system 1 according to the second embodiment.
  • step S201 the image sensor 500 images a moving body on the road and outputs image data.
  • the control unit 22 of the roadside machine 200 acquires image data from the image sensor 500.
  • step S202 the control unit 22 of the roadside machine 200 identifies the attribute of the moving body from the image data output by the image sensor 500 by using the trained model.
  • control unit 22 of the roadside machine 200 may determine the degree of risk related to a traffic accident based on the identification result of the moving body using the learned model.
  • step S204 the control unit 22 of the roadside machine 200 transmits a downlink message including information based on the identification result of the moving body using the learned model from the transmission unit 21c by wireless communication.
  • the receiving unit 11b of the vehicle 100 receives the downlink message from the roadside machine 200.
  • step S205 the control unit 16 of the vehicle 100 controls the notification unit 13 so as to notify the driver of information according to the content of the received downlink message.
  • the control unit 16 may control the drive control unit 14 so as to perform automatic operation control according to the content of the downlink message.
  • the operation shown in FIGS. 5 to 7 in the first embodiment may be executed by the server device 400 instead of the roadside machine 200.
  • the roadside machine 200 is read as the server device 400.
  • the server device 400 may be an edge server arranged near the roadside machine 200.
  • the server device 400 is provided between the roadside unit 200 and the Internet, and has jurisdiction over the road R in an area limited to a predetermined range.
  • the server device 400 may be connected to the roadside unit 200 via a LAN (Local Area Network) without going through a WAN (Wide Area Network).
  • the roadside machine 200 and the image sensor 500 may be installed near the exit of the tunnel T as shown in FIG.
  • the image sensor 500 images the vicinity of the exit of the tunnel T and outputs image data.
  • the roadside unit 200 transmits the above-mentioned down message to the vehicle 100 (vehicle-mounted unit 150) in the tunnel T.
  • the roadside machine 200 and the image sensor 500 may be installed near the corner (curve) of the road R as shown in FIG.
  • the road R has a curve to the left when viewed from the vehicle 100. It is difficult for the driver of the vehicle 100 or the in-vehicle sensor to detect the situation ahead of such a curve. At such a curve destination, there may be a moving body that obstructs the passage of the vehicle 100.
  • the image sensor 500 captures the situation ahead of the curve and outputs image data.
  • the roadside unit 200 transmits the above-mentioned down message to the vehicle 100 (vehicle-mounted unit 150) on the road R.
  • the operation performed by the control unit 22 of the roadside machine 200 in the second embodiment described above may be performed by the server device 400 instead of the roadside machine 200. That is, the server device 400 may have at least one of a generation unit that generates teacher data, a learning unit that performs machine learning, and an identification unit that identifies a moving object using a learned model.
  • the server device 400 may be an edge server arranged near the roadside machine 200.
  • Such an edge server may be regarded as a part of the roadside machine 200.
  • the edge server is provided between the roadside unit 200 and the Internet, and controls the road R in an area limited to a predetermined range.
  • the edge server may be connected to the roadside unit 200 via a LAN (Local Area Network) without going through a WAN (Wide Area Network).
  • LAN Local Area Network
  • WAN Wide Area Network
  • first embodiment and second embodiment may be combined as appropriate.
  • machine learning in the first embodiment machine learning in the second embodiment may be performed.
  • a program for causing a computer to execute each process according to the first and second embodiments described above may be provided.
  • the program may be recorded on a computer-readable medium.
  • Computer-readable media can be used to install programs on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit for executing each process performed by the on-board unit 150 or the roadside unit 200 may be integrated, and at least a part of the on-board unit 150 or the roadside unit 200 may be configured as a semiconductor integrated circuit (chipset, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Toxicology (AREA)
  • Operations Research (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

交通通信システムに用いる基地局は、道路上を走行する車両から送信される情報を無線通信により受信する通信部と、前記通信部が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定する制御部とを備える。前記制御部は、前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理と、前記第1処理の結果に基づいて、前記道路上の交通障害物の有無及び前記交通障害物の位置について判定する第2処理とを実行する。

Description

基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法
 本開示は、基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法に関する。
 近年、交通事故の危険を回避可能な技術として高度道路交通システム(ITS:Intelligent Transport System)が注目されている。
 そのようなシステムの1つとして、非特許文献1には、路側に設置される基地局である路側機と、車両に搭載される移動局である車載機とを有し、路側機及び車載機が無線通信を行うシステムが記載されている。
 路側機のユースケースの1つとして、路側に設置される画像センサ(いわゆる、路側カメラ)からの画像データに基づいて路側機が道路上の移動体(車両や歩行者)の有無等を判定し、判定結果を周辺の車両に送信することで事故防止に繋げることが考えられている。
 また、特許文献1には、道路を複数の車両が走行する状況下において、後続車両が、自車両と同一車線を走行する先行車両から経路履歴データを取得し、取得した経路履歴データに基づいて当該車線に交通障害物が存在していると判定すると、運転者に警告を行うシステムが記載されている。
 具体的には、特許文献1に記載のシステムにおいて、後続車両は、先行車両が減速した後に車線変更を行った場合、先行車両が交通障害物を回避したとみなし、交通障害物が存在していると判定する。すなわち、交通障害物を回避する挙動として予め定義された挙動を先行車両が行ったかのパターンマッチングにより、交通障害物の有無を判定するものである。
ARIB STD-T109 1.3版 「700MHz帯高度道路交通システム」
特開2017-228286号公報
 第1の態様に係る基地局は、交通通信システムに用いる基地局であって、道路上を走行する車両から送信される情報を無線通信により受信する通信部と、前記通信部が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定する制御部とを備える。前記制御部は、前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理と、前記第1処理の結果に基づいて、前記道路上の交通障害物の有無及び前記交通障害物の位置について判定する第2処理とを実行する。
 第2の態様に係る交通通信システムは、道路上を走行する車両から送信される情報を無線通信により受信する基地局と、前記通信部が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定する制御部とを備える。前記制御部は、前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理と、前記第1処理の結果に基づいて前記道路上の交通障害物の位置について判定する第2処理とを実行する。
 第3の態様に係る交通管理方法は、道路上を走行する車両から送信される情報を無線通信により基地局が受信することと、前記基地局が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定することと、前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理を実行することと、前記第1処理の結果に基づいて前記道路上の交通障害物の位置について判定する第2処理を実行することとを含む。
 第4の態様に係る交通通信システムは、道路上の移動体を撮像して画像データを出力する画像センサと、前記移動体の属性を示す属性データを含む上りメッセージを前記移動体から無線通信により受信する受信部と、前記上りメッセージに含まれる前記属性データを前記画像センサが出力する画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成する生成部とを備える。前記学習モデルは、前記画像センサが出力する画像データから前記移動体の属性を識別するモデルである。
 第5の態様に係る路側機は、道路の周辺に設置される路側機であって、前記道路上の移動体の属性を示す属性データを含むメッセージを前記移動体から無線通信により受信する受信部と、前記移動体を撮像する画像センサから画像データを取得し、前記メッセージに含まれる前記属性データを前記画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成する生成部とを備える。前記学習モデルは、前記画像センサが出力する画像データから前記移動体の属性を識別するモデルである。
 第6の態様に係る教師データ生成方法は、交通通信システムで実行する教師データ生成方法であって、道路上の移動体の属性を示す属性データを含むメッセージを無線通信により受信することと、前記移動体を撮像する画像センサから画像データを取得することと、前記メッセージに含まれる前記属性データを前記画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成することとを有する。前記学習モデルは、前記画像センサが出力する画像データから前記移動体の属性を識別するモデルである。
第1実施形態に係る交通通信システムの構成を示す図である。 第1実施形態に係る路側機の構成を示す図である。 道路Rに交通障害物Eが存在しない場合に、第1実施形態に係る路側機が実行する第1処理及び第2処理について説明するための図である。 道路Rに交通障害物Eが存在する場合に、第1実施形態に係る路側機が実行する第1処理及び第2処理について説明するための図である。 第1実施形態に係る車両の構成を示す図である。 第1実施形態に係る路側機の動作を示す図である。 第1実施形態に係る交通障害物の判定動作の動作パターン1を示す図である。 第1実施形態に係る交通障害物の判定動作の動作パターン2を示す図である。 第2実施形態に係る交通通信システムの構成を示す図である。 第2実施形態に係る路側機の設置環境を示す図である。 第2実施形態に係る路側機の構成を示す図である。 第2実施形態に係る車両の構成を示す図である。 第2実施形態に係る交通通信システムにおいて機械学習を行うための動作例1を示す図である。 第2実施形態に係る交通通信システムにおいて機械学習を行うための動作例2を示す図である。 第2実施形態に係る交通通信システムにおける学習済みモデル生成後の動作例を示す図である。 その他の実施形態に係る路側機の設置環境を示す図である。 その他の実施形態に係る路側機の設置環境を示す図である。
 [第1実施形態]
 特許文献1に記載のシステムでは、交通障害物を回避する挙動が予め定義されているが、道路環境によっては、交通障害物が存在しない場合でも車両がそのような挙動を行い得る。例えば、二車線から一車線への合流地点や交差点の手前等において車両が減速及び車線変更を行う場合がある。よって、特許文献1に記載のシステムでは、交通障害物の有無及びその位置について適切な判定を行うことができない懸念がある。
 また、特許文献1に記載のシステムでは、交通障害物の有無についての判定を各車両が行っており、各車両の処理負荷が増大するという問題もある。
 そこで、第1実施形態は、各車両の交通障害物の判定処理を不要とし、交通障害物の有無及びその位置について適切な判定を行うことを可能とすることを目的とする。
 第1実施形態に係る交通通信システムについて図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
 (交通通信システムの構成)
 まず、第1実施形態に係る交通通信システムの構成について説明する。図1は、第1実施形態に係る交通通信システム1の構成を示す図である。
 図1に示すように、交通通信システム1は、道路Rを通る車両100と、道路Rの路側に設置される基地局である路側機200とを有する。図1において、車両100として車両100A及び100Bを例示し、路側機200として路側機200A及び200Bを例示している。なお、車両100としては普通自動車や軽自動車等の自動車を例示しているが、道路Rを通る車両であればよく、例えば自動二輪車(オートバイ)等であってもよい。
 各車両100には、無線通信を行う移動局である車載機150が搭載されている。車載機150は、路側機200との路車間通信を行う。図1において、車載機150A及び路側機200Aが路車間通信を行うとともに、車載機150B及び路側機200Bが路車間通信を行う一例を示している。
 路側機200は、道路R周辺に設置されている。路側機200は、2以上の道路が交差する交差点に設置されてもよい。路側機200は、他の路側機200との路路間通信を行う。図1において、路側機200A及び路側機200Bが無線通信により路路間通信を行う一例を示しているが、路路間通信が有線通信であってもよい。
 図1に示す例おいて、路側機200Aは、交通信号機(交通信号灯器)300又はその支柱に設置されており、交通信号機300と連携して動作する。例えば、路側機200Aは、交通信号機300に関する信号情報を含む無線信号を車両100(車載機150)に送信する。このような路車間通信には、不特定多数を宛先とするブロードキャストによる無線通信が用いられてもよい。或いは、路車間通信には、特定多数を宛先とするマルチキャストによる無線通信が用いられてもよいし、特定単数を宛先とするユニキャストによる無線通信が用いられてもよい。
 各路側機200は、通信回線を介してサーバ装置400に接続される。この通信回線は、有線回線であってもよいし、無線回線であってもよい。サーバ装置400には、路側に設置される車両感知器が通信回線を介して接続されてもよい。サーバ装置400は、各路側機200から、当該路側機200が車載機150から受信した車両100の位置や車速等の情報を受信する。サーバ装置400は、道路Rに設置された路側センサから車両感知情報をさらに受信してもよい。サーバ装置400は、受信した情報に基づいて各種の交通情報を収集及び処理し、道路交通を統合して管理する。
 (路側機の構成)
 次に、第1実施形態に係る路側機200の構成について説明する。図2は、第1実施形態に係る路側機200の構成を示す図である。
 図2に示すように、路側機200は、通信部21と、制御部22と、インターフェイス23とを有する。
 通信部21は、車両100に設けられる車載機150との無線通信(すなわち、路車間通信)を行う。具体的には、通信部21は、アンテナ21aと、受信部21bと、送信部21cとを有し、アンテナ21aを介して無線通信を行う。アンテナ21aは、無指向性アンテナであってもよいし、指向性を有する指向性アンテナであってもよい。アンテナ21aは、指向性を動的に変更可能なアダプティブアレイアンテナであってもよい。通信部21は、他の路側機200との路路間通信を行ってもよい。
 通信部21は、アンテナ21aが受信する無線信号を受信データに変換して制御部22に出力する受信部21bを有する。また、通信部21は、制御部22が出力する送信データを無線信号に変換してアンテナ21aから送信する送信部21cを有する。
 通信部21の無線通信方式は、ARIB(Association of Radio Industries and Businesses)のT109規格に準拠した方式、3GPP(Third Generation Partnership Project)のV2X(Vehicle-to-everything)規格に準拠した方式、及び/又はIEEE(Institute of Electrical and Electronics Engineers)802.11シリーズ等の無線LAN(Local Area Network)規格に準拠した方式であってもよい。通信部21は、これらの通信規格の全てに対応可能に構成されていてもよい。
 制御部22は、路側機200における各種の機能を制御する。制御部22は、少なくとも1つのメモリ22bと、メモリ22bと電気的に接続された少なくとも1つのプロセッサ22aとを有する。メモリ22bは、揮発性メモリ及び不揮発性メモリを含み、プロセッサ22aにおける処理に用いる情報と、プロセッサ22aにより実行されるプログラムとを記憶する。メモリ22bは、記憶部に相当する。プロセッサ22aは、メモリ22bに記憶されたプログラムを実行することにより各種の処理を行う。
 インターフェイス23は、有線回線及び/又は無線回線を介して路側カメラ500と接続される。路側カメラ500は、路側センサの一例である。路側カメラ500は、道路Rを撮影して得た撮像画像を出力する。インターフェイス23は、路側カメラ500以外の路側センサ、例えば、超音波センサ又は赤外線センサとさらに接続されてもよい。
 インターフェイス23は、有線回線及び/又は無線回線を介してサーバ装置400と接続される。インターフェイス23は、有線又は無線で交通信号機300と接続されていてもよい。インターフェイス23は、有線又は無線で他の路側機200と接続され、路路間通信に用いられてもよい。
 このように構成された路側機200において、第1に、通信部21は、道路R上を走行する車両100から送信される情報を無線通信により受信する。通信部21は、各種の情報を含む路車間通信メッセージを周期的に車両100から受信してもよい。
 通信部21が車両から受信する情報は、例えば、位置情報、車速情報、加速度情報、ステアリング情報、及びアクセル・ブレーキ情報のうち少なくとも1つを含む。位置情報は、車両100の現在位置(緯度、経度)を示す情報である。車速情報は、車両100の車速を示す情報である。加速度情報は、車両100の加速度を示す情報である。加速度情報は、車両100の前後方向の加速度を示す情報だけではなく、車両100の左右方向の加速度を示す情報も含んでもよい。ステアリング情報は、車両100のステアリング操作の内容(方向及び角度)を示す情報である。アクセル・ブレーキ情報は、車両100のアクセル操作及びブレーキ操作の内容を示す情報である。
 第2に、制御部22は、通信部21が受信する情報に基づいて、道路Rにおける車両100の走行経路を含む走行挙動を特定する。制御部22は、例えば、周期的に取得する車両100の位置情報に基づいて車両100の大凡の走行経路を特定できる。位置情報がQZSS(Quasi-Zenith Satellite System)位置情報のように高精度な位置情報である場合、制御部22は、位置情報に基づいて車両100の詳細な走行経路を特定できる。或いは、制御部22は、位置情報と、加速度情報(特に、車両100の左右方向の加速度を示す情報)及び/又はステアリング情報とに基づいて、車両100の詳細な走行経路を特定してもよい。車両100の走行挙動は、車両100の走行経路に加えて、車両100の速度変化の推移及び/又は加速度変化の推移を含んでもよい。
 第3に、制御部22は、道路R上を走行する各車両100について特定された走行挙動に対して統計又は機械学習を行う第1処理を実行する。
 第4に、制御部22は、第1処理の結果に基づいて、道路R上の交通障害物Eの有無及び交通障害物Eの位置について判定する第2処理を実行する。
 このように、制御部22は、道路R上を走行する各車両100について特定された走行挙動に対する統計又は機械学習の結果に基づいて、道路R上の交通障害物Eの有無及び交通障害物Eの位置について判定する。
 これにより、交通障害物を回避する挙動が予め定義されていなくても、交通障害物の有無及びその位置について適切な判定を行うことができる。また、交通障害物の有無についての判定を路側機200側で行うことにより、各車両の処理負荷の増大を抑制できる。よって、第1実施形態に係る路側機200によれば、各車両100の処理負荷の増大を抑制しつつ、交通障害物Eの有無及びその位置について適切な判定を行うことができる。
 図3A及び図3Bは、制御部22が実行する第1処理及び第2処理について説明するための図である。図3Aは道路Rに交通障害物Eが存在しない場合の1つの車両100の走行経路を示し、図3Bは道路Rに交通障害物Eが存在する場合の1つの車両100の走行経路を示す。なお、交通障害物Eとは、例えば、落下物、故障車、又は道路破損(例えば、穴)等をいう。
 路側機200の動作パターン1において、第1処理は、統計により、道路R上で各車両100が走行する走行領域を特定する処理と、走行領域を特定した後、特定した走行領域において一定期間にわたっていずれの車両100も走行しない領域である無走行領域を検出する処理とを含む。第2処理は、無走行領域が検出された場合、交通障害物Eが存在すると判定する処理と、検出された無走行領域の位置に基づいて、交通障害物Eの位置を判定する処理とを含む。
 例えば、制御部22は、道路R上の各車両100の走行経路を集計することにより走行領域を特定する。ここで、制御部22は、道路R上を走行する複数の車両100から自車両の位置の時系列データを収集し、それぞれのデータの平均を求めることで走行領域を特定してもよい。
 そして、制御部22は、走行領域を特定した後、各車両100から受信する情報に基づいて各車両100の走行経路を監視し、特定した走行領域において一定時間にわたっていずれの車両100も走行しない無走行領域を検出し、検出した無走行領域に交通障害物Eが存在すると判定する。
 路側機200の動作パターン2において、第1処理は、機械学習により、道路R上の異常な走行挙動を示す挙動情報を生成する処理を含む。第2処理は、生成した挙動情報に基づいて、道路R上を走行する車両100について特定した走行挙動において異常な走行挙動が検出された場合、交通障害物Eが存在すると判定する処理と、異常な走行挙動が検出された走行区間に基づいて、交通障害物Eの位置を判定する処理とを含む。
 例えば、制御部22は、道路R又は道路Rを模擬したテスト道路に交通障害物Eが存在する場合における各車両100の一定期間にわたる走行挙動を学習する。具体的には、道路Rを走行する各車両100からの一定期間にわたる情報の時系列データ(走行履歴)の時系列データを教師データとして用いて機械学習を行い、異常な走行挙動を示す学習済みモデルを挙動情報として生成する。
 挙動情報を生成した後、制御部22は、道路Rを走行する対象車両100からの一定期間にわたる情報(走行挙動)の時系列データと、生成した挙動情報とに基づいて、この対象車両100について特定した走行挙動における異常な走行挙動を検出する。そして、制御部22は、異常な走行挙動が検出された走行区間に基づいて交通障害物Eの位置を判定する。
 なお、制御部22は、上述した動作パターン1及び2のいずれか一方のみを実行してもよい。或いは、制御部22は、動作パターン1による判定及び動作パターン2による判定を併用し、両方の判定結果が一致する場合に交通障害物Eが存在すると判定してもよい。
 (車両の構成)
 次に、第1実施形態に係る車両100の構成について説明する。図4は、第1実施形態に係る車両100の構成を示す図である。
 図4に示すように、車両100は、通信部11と、GNSS受信機12と、通知部13と、駆動制御部14と、車載カメラ15と、制御部16とを有する。通信部11、GNSS受信機12、及び制御部16は、車載機150を構成する。車載機150は移動局の一例である。
 通信部11は、路側機200との無線通信(すなわち、路車間通信)を行う。具体的には、通信部11は、アンテナ11aと、受信部11bと、送信部11cとを有し、アンテナ11aを介して無線通信を行う。通信部11は、アンテナ11aが受信する無線信号を受信データに変換して制御部16に出力する受信部11bを有する。また、通信部11は、制御部16が出力する送信データを無線信号に変換してアンテナ11aから送信する送信部11cを有する。
 通信部11の無線通信方式は、ARIBのT109規格に準拠した方式、3GPPのV2X規格に準拠した方式、及び/又はIEEE802.11シリーズ等の無線LAN規格に準拠した方式であってもよい。通信部11は、これらの通信規格の全てに対応可能に構成されていてもよい。
 GNSS受信機12は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、現在位置を示す位置情報を出力する。GNSS受信機12は、例えば、GPS、GLONASS(Global Navigation Satellite System)、IRNSS(Indian Regional Navigational Satellite System)、COMPASS、Galileo、及びQZSS(Quasi-Zenith Satellite System)のうち少なくとも1つのGNSSの受信機を含んで構成される。
 通知部13は、制御部16の制御下で、車両100の運転者に対する情報の通知を行う。通知部13は、情報を表示するディスプレイ13aと、情報を音声出力するスピーカ13bとを有する。
 駆動制御部14は、動力源としてのエンジン又はモータ、動力伝達機構、及びブレーキ等を制御する。車両100が自動運転車両である場合、駆動制御部14は、制御部16と連携して車両100の運転制御を行ってもよい。
 車載カメラ15は、車両100の前方を撮影して得た撮像画像を制御部16に出力する。
 制御部16は、車両100(車載機150)における各種の機能を制御する。制御部16は、少なくとも1つのメモリ16bと、メモリ16bと電気的に接続された少なくとも1つのプロセッサ16aとを有する。メモリ16bは、揮発性メモリ及び不揮発性メモリを含み、プロセッサ16aにおける処理に用いる情報及びプロセッサ16aにより実行されるプログラムを記憶する。プロセッサ16aは、メモリ16bに記憶されたプログラムを実行することにより各種の処理を行う。
 このように構成された車両100において、制御部16は、各種の情報を無線通信により路側機200に送信するように通信部11を制御する。制御部16は、各種の情報を含む路車間通信メッセージを周期的に路側機200に送信するように通信部11を制御してもよい。路側機200に送信する情報は、例えば、位置情報、車速情報、加速度情報、ステアリング情報、及びアクセル・ブレーキ情報のうち少なくとも1つを含む。
 (路側機の動作)
 次に、第1実施形態に係る路側機200の動作について説明する。図5は、第1実施形態に係る路側機200の動作を示す図である。
 図5に示すように、ステップS1において、通信部21は、道路R上を走行する各車両100から送信される情報を無線通信により受信する。制御部22は、通信部21が受信する情報に基づいて、道路Rにおける各車両100の走行経路を含む走行挙動を特定し、特定した走行挙動の情報を蓄積する。
 ステップS2において、制御部22は、ステップS1で各車両100について特定された走行挙動に対して統計又は機械学習を行う第1処理を実行する。
 ステップS3において、制御部22は、第1処理の結果に基づいて、道路R上の交通障害物Eの有無及び交通障害物Eの位置について判定する第2処理を実行する。
 交通障害物Eが存在しないと判定した場合(ステップS4:NO)、本フローが終了する。
 一方、交通障害物Eが存在すると判定し、交通障害物Eの位置を判定した場合(ステップS4:YES)、ステップS5において、制御部22は、ステップS3で判定した交通障害物Eの位置へ向けて走行する車両100に対して、交通障害物Eの位置を示す情報を路車間通信により送信するように通信部21を制御する。交通障害物Eの位置を示す情報は、例えば、交通障害物Eの経度及び緯度、道路Rにおいて交通障害物Eが存在する車線の識別子、又は道路Rにおける交通障害物Eの相対的な位置(例えば、左側、右側)を示す情報である。
 ステップS5において、制御部22は、ステップS3で判定した交通障害物Eの位置へ向けて走行する車両100に対して、車載カメラ15の撮像画像の提供を要求する撮像画像要求を路車間通信により送信するように通信部21を制御してもよい。
 制御部22は、交通障害物Eの位置を示す情報と撮像画像要求とを含む1つの路車間通信メッセージを車両100に送信してもよい。或いは、制御部22は、交通障害物Eの位置を示す情報と撮像画像要求とを別々の路車間通信メッセージにより車両100に送信してもよい。
 車両100(車載機150)の制御部16は、交通障害物Eの位置を示す情報を路側機200から受信し、自車両の進行方向前方に交通障害物Eがあると判定した場合、その旨及び交通障害物Eの位置を通知部13により運転者に通知する。車両100(車載機150)の制御部16は、交通障害物Eの位置を避けるように車両100の車速制御及びステアリング制御を行ってもよい。
 また、車両100(車載機150)の制御部16は、撮像画像要求を路側機200から受信した場合、一定期間にわたって車載カメラ15により車両前方を撮影させて、撮像画像(動画像)を取得する。或いは、車両100(車載機150)の制御部16は、撮像画像要求を路側機200から受信した場合、交通障害物Eの位置を示す情報に基づいて、交通障害物Eの直前で1回だけ撮像画像(静止画像)を取得するように車載カメラ15を制御してもよい。
 ステップS6において、制御部22は、交通障害物Eに対するセンシングを行うように、道路Rと関連付けられた路側センサを制御する。例えば、制御部22は、ステップS3で判定した交通障害物Eの位置に基づいて、交通障害物Eに対する撮影を行うように路側カメラ500のパン、チルト、及びズームの少なくとも1つを制御する。なお、ステップS5及びステップS6は順序が逆であってもよい。
 ステップS7において、制御部22は、通信部21を介して車載カメラ15の撮像画像を車両100から取得し、インターフェイス23を介して路側カメラ500の撮像画像を路側カメラ500から取得し、取得した撮像画像に基づいて交通障害物Eの属性を判定する。交通障害物Eの属性は、交通障害物Eの種別(例えば、落下物、故障車、又は道路破損)を含む。交通障害物Eの属性は、交通障害物Eのサイズ(例えば、大、中、小)を含んでもよい。例えば、制御部22は、撮像画像に対する画像認識処理により交通障害物Eの属性を判定する。画像認識には、パターンマッチング技術や、強化学習等の学習(例えば、知識ベース、統計ベース、ニューラルネットベース)による画像認識技術を適用できる。
 ステップS8において、制御部22は、道路Rを管理するためのサーバ装置400に対し、インターフェイス23を介して、ステップS3で判定した交通障害物Eの位置を示す情報と、ステップS7で判定した交通障害物Eの属性を示す情報とを通知する。これにより、サーバ装置400は、交通障害物Eを除去するための適切な措置をとることができる。
 ステップS8において、制御部22は、道路Rと関連付けられた他の路側機200に対し、通信部21を介して、ステップS3で判定した交通障害物Eの位置を示す情報と、ステップS7で判定した交通障害物Eの属性を示す情報とを路路間通信により通知する。このような通知を受けた他の路側機200は、例えば、通知された交通障害物Eの位置を示す情報及び交通障害物Eの属性を示す情報を路車間通信により送信する。これにより、交通障害物Eに関する情報を道路R上の多くの車両100に通知できる。
 次に、第1実施形態に係る交通障害物Eの判定動作の動作パターン1について説明する。図6は、第1実施形態に係る交通障害物Eの判定動作の動作パターン1を示す図である。
 図6に示すように、ステップS11において、制御部22は、道路R上の各車両100の走行経路を集計することにより走行領域を特定する。
 ステップS12において、制御部22は、各車両100から受信する情報に基づいて各車両100の走行経路を監視する。
 監視により、走行領域において一定時間にわたっていずれの車両100も走行しない無走行領域を検出した場合(ステップS13:YES)、ステップS14において、制御部22は、交通障害物Eが存在すると判定し、検出された無走行領域の位置に基づいて交通障害物Eの位置を判定する。例えば、制御部22は、無走行領域の中心位置を交通障害物Eの位置として判定してもよい。
 次に、第1実施形態に係る交通障害物Eの判定動作の動作パターン2について説明する。図7は、第1実施形態に係る交通障害物Eの判定動作の動作パターン2を示す図である。
 図7に示すように、ステップS21において、制御部22は、機械学習により、交通障害物Eが存在する場合における各車両100の一定期間にわたる走行挙動を学習し、道路R上の異常な走行挙動を示す挙動情報を生成する。
 ステップS22において、制御部22は、道路R上を走行する車両100から受信する情報に基づいてこの車両100の一定期間にわたる走行挙動を特定する。
 ステップS23において、制御部22は、ステップS21で生成した挙動情報とステップS22で特定した走行挙動とに基づいて、ステップS22で特定した走行挙動が異常な走行挙動を含むか否かを判定する。
 ステップS22で特定した走行挙動が異常な走行挙動を含むと判定した場合(ステップS23:YES)、ステップS24において、制御部22は、交通障害物Eが存在すると判定し、異常な走行挙動が検出された走行区間に基づいて交通障害物Eの位置を判定する。例えば、制御部22は、異常な走行挙動が検出された走行区間の中心位置を交通障害物Eの位置として判定してもよい。
 [第2実施形態]
 近年、機械学習を用いた画像認識技術が発展しており、路側カメラからの画像データから学習済みモデルを用いて移動体を認識できると考えられる。
 しかしながら、機械学習を行うためには、画像データにラベルを人手で付与(ラベル付け)して教師データを生成することが一般的であり、教師データを生成するための作業負担が大きい。特に、路側カメラは、その設置状態(すなわち、撮影条件)がカメラごとに異なり得るため、教師データを路側カメラごとに生成する必要があり、ラベル付けの作業負担が増大するという問題がある。
 そこで、第2実施形態は、作業負担を軽減しつつ、移動体の画像認識のための学習モデルを構築可能とすることを目的とする。
 第2実施形態に係る交通通信システムについて図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。第2実施形態について、第1実施形態との相違点を主として説明し、類似又は同一の構成の説明を省略する。
 (交通通信システムの構成)
 まず、第2実施形態に係る交通通信システムの構成について説明する。図8は、第2実施形態に係る交通通信システム1の構成を示す図である。
 図8に示すように、交通通信システム1は、道路Rを通る車両100と、道路Rの路側に設置される基地局である路側機200とを有する。車両100は、移動体の一例である。以下において、第2実施形態に係る交通通信システムの構成について第1実施形態との相違点を主として説明し、類似又は同一の構成の説明を省略する。
 各路側機200は、通信回線を介してサーバ装置400に接続される。この通信回線は、有線回線であってもよいし、無線回線であってもよい。
 各路側機200は、歩行者700の端末750との無線通信を行ってもよい。歩行者700及び端末750は、移動体の他の例である。端末750は、路側機200との無線通信が可能な端末であればよく、例えば、スマートフォン、タブレット端末、ノートPC、又はウェアラブル端末等である。
 図9は、第2実施形態に係る路側機200の設置環境を示す図である。
 図9に示すように、第1道路及び第2道路が交差する交差点の周辺に路側機200が設置されている。路側機200には、第2道路における所定の地理的範囲を撮像する画像センサ500が併設されている。画像センサ500は、撮像により得た画像データを路側機200に出力する。
 路側機200は、画像センサ500が出力する画像データに対する画像認識処理を行い、第2道路上の移動体の有無や属性を認識する。移動体は、例えば車両100及び歩行者700のうち少なくとも一方である。路側機200は、認識した移動体に関する下りメッセージを路車間通信により送信する。
 第1道路上を移動する車両100は、路側機200からの下りメッセージを受信し、受信した下りメッセージに基づく処理を行う。例えば、車両100は、路側機200からの下りメッセージに基づいて運転者への通知や警告を行ったり、車両100の運転を制御したりする。
 このような路側機200のユースケースにおいて、画像センサ500が出力する画像データに対する画像認識処理を路側機200が行うために、人工知能(AI)技術を利用する。具体的には、機械学習により、移動体を認識・識別するための学習モデルを構築し、構築した学習済みモデルに画像データを入力することで移動体を認識・識別可能とする。
第2実施形態において、機械学習として教師あり学習を用いる。
 このような機械学習を行うためには、画像データにラベルを人手で付与(ラベル付け)して教師データを生成することが従来行われており、教師データを生成するための作業負担が大きい。特に、路側に設置される画像センサ500は、その設置状態(すなわち、撮影条件)が画像センサ500ごとに異なり得るため、教師データを画像センサ500ごとに生成する必要があり、ラベル付けの作業負担がさらに増大してしまう。
 第2実施形態において、路側機200は、画像センサ500が出力する画像データに対するラベル付けを自動化するために、路側機200が受信する上りメッセージを利用する。すなわち、路側機200は、移動体の属性を示す属性データを含む上りメッセージをこの移動体から無線通信により受信する。そして、路側機200は、上りメッセージに含まれる属性データを画像センサ500が出力する画像データと関連付けることで、学習モデルの構築に用いる教師データを自動で生成する。このような学習モデルは、画像センサ500が出力する画像データから移動体の属性を識別するモデルである。
 これにより、学習モデルの構築に用いる教師データを画像センサ500ごとに自動で生成可能になるため、作業負担を軽減しつつ、移動体の画像認識のための学習モデルを構築可能である。学習済みモデルが得られた後においては、移動体が無線通信機能を有していなくても、この移動体の属性を画像データに基づいて識別できるようになる。
 (路側機の構成)
 次に、第2実施形態に係る路側機200の構成について説明する。図10は、第2実施形態に係る路側機200の構成を示す図である。
 図10に示すように、路側機200は、通信部21と、制御部22と、インターフェイス23とを有する。
 通信部21は、車両100に設けられる車載機150との無線通信(すなわち、路車間通信)を行う。通信部21は、歩行者700の端末750との無線通信を行ってもよい。
 通信部21は、アンテナ21aと、受信部21bと、送信部21cとを有し、アンテナ21aを介して無線通信を行う。アンテナ21aは、無指向性アンテナであってもよいし、指向性を有する指向性アンテナであってもよい。アンテナ21aは、指向性を動的に変更可能なアダプティブアレイアンテナであってもよい。受信部21bは、アンテナ21aが受信する無線信号を受信データに変換して制御部22に出力する。送信部21cは、制御部22が出力する送信データを無線信号に変換してアンテナ21aから送信する。
 通信部21の無線通信方式は、ARIB(Association of Radio Industries and Businesses)のT109規格に準拠した方式、3GPP(Third Generation Partnership Project)のV2X(Vehicle-to-everything)規格に準拠した方式、及び/又はIEEE(Institute of Electrical and Electronics Engineers)802.11シリーズ等の無線LAN(Local Area Network)規格に準拠した方式であってもよい。通信部21は、これらの通信規格のうち2以上の通信規格に対応可能に構成されていてもよい。
 制御部22は、路側機200における各種の機能を制御する。制御部22は、少なくとも1つのメモリ22bと、メモリ22bと電気的に接続された少なくとも1つのプロセッサ22aとを有する。メモリ22bは、揮発性メモリ及び不揮発性メモリを含み、プロセッサ22aにおける処理に用いる情報と、プロセッサ22aにより実行されるプログラムとを記憶する。メモリ22bは、記憶部に相当する。プロセッサ22aは、メモリ22bに記憶されたプログラムを実行することにより各種の処理を行う。
 インターフェイス23は、有線回線及び/又は無線回線を介して、少なくとも1つの画像センサ500と接続される。画像センサ500は、道路Rを撮影して得た撮影画像を出力する。画像センサ500は、路側カメラであってもよい。画像センサ500は、路側機200の一部を構成してもよい。
 インターフェイス23は、有線回線及び/又は無線回線を介して、少なくとも1つのLiDAR(Light Detection and Ranging)センサ600と接続されてもよい。LiDARセンサ600は、移動体を検出して検出データ(点群データ)を出力する。LiDARセンサ600は、画像センサ500と一体化されていてもよい。LiDARセンサ600は、画像センサ500は、路側機200の一部を構成してもよい。
 また、インターフェイス23は、有線回線及び/又は無線回線を介してサーバ装置400と接続される。制御部22は、インターフェイス23を介してサーバ装置400との通信を行う。
 このように構成された路側機200において、第1に、制御部22は、道路R上の移動体を撮像して画像データを出力する画像センサ500から画像データを取得する。移動体は、例えば車両100及び歩行者700のうち少なくとも一方である。
 また、受信部21bは、移動体の属性を示す属性データを含む上りメッセージを移動体から無線通信により受信する。受信部21bは、車両100(車載機150)から上りメッセージを受信してもよいし、歩行者700(端末750)から上りメッセージを受信してもよい。
 ここで、属性データは、移動体が車両100である場合、移動体が車両100である旨のデータに加えて、車両100のサイズ種別及び車両100の用途種別のうち少なくとも一方のデータを含んでもよい。車両100のサイズ種別には、例えば、大型自動車、中型自動車、普通自動車(軽自動車を含む)、自動二輪車(原動機付き自転車を含む)、自転車、路面電車等が含まれる。車両100の用途種別には、例えば、自家用自動車、緊急自動車、旅客運送用自動車、貨物運送用自動車、特殊自動車等が含まれる。属性データは、移動体が歩行者700である場合、移動体が歩行者700である旨のデータに加えて、歩行者の年齢層及び歩行者の移動状態のうち少なくとも一方のデータを含む。歩行者の年齢層には、子供、大人、シニア(老人)等が含まれる。歩行者の移動状態には、静止、歩いている、走っている等が含まれる。
 上りメッセージは、送信元である移動体の地理的な位置(緯度及び経度)を示す位置データを含んでもよい。このような位置データとしては、例えばGNSS(Global Navigation Satellite System)位置データを利用できる。さらに、上りメッセージは、送信元である移動体の移動方向(方角)を示す移動方向データを含んでもよい。
 第2に、制御部22は、受信部21bが受信した上りメッセージに含まれる属性データを画像センサ500が出力する画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成する。すなわち、制御部22は、教師データを生成する生成部の機能を有する。このような教師データを用いて構築される学習モデルは、画像センサ500が出力する画像データから移動体の属性を識別するモデルである。このように、制御部22は、受信部21bが受信した上りメッセージに含まれる属性データをラベルとして画像データに付与し、学習モデルの構築に用いる教師データを自動で生成する。これにより、移動体との無線通信を利用し、画像データに対するラベル付けを自動化できる。
 制御部22は、画像データに属性データを付与したものを教師データとして生成する場合に限らず、画像データとLiDARセンサ600の検出データとの組み合わせに属性データを付与したものを教師データとして生成してもよい。LiDARセンサ600の検出データを併用することで例えば夜間でも移動体を認識可能になる。具体的には、制御部22は、上りメッセージに含まれる属性データを、画像センサ500が出力する画像データ及びLiDARセンサ600が出力する検出データと関連付けて教師データを生成してもよい。このような教師データを用いて構築される学習モデルは、画像センサ500が出力する画像データ及びLiDARセンサ600が出力する検出データの組み合わせから移動体の属性を識別するモデルである。以下においては、画像データに属性データをラベルとして付与したものを教師データとして用いる一例について説明する。
 路側機200の受信部21bは、画像センサ500の撮像範囲(道路R上の所定の地理的領域)外の移動体からも上りメッセージを受信し得る。このような場合、上述したようなラベル付けがうまく機能しない懸念がある。このため、制御部22は、上りメッセージに含まれる位置データが、画像センサ500の撮像範囲(道路R上の所定の地理的領域)内の位置を示すことに応じて、この上りメッセージに含まれる属性データを画像センサ500が出力する画像データと関連付けて教師データを生成してもよい。言い換えると、制御部22は、上りメッセージに含まれる位置データが、画像センサ500の撮像範囲(道路R上の所定の地理的領域)外の位置を示す場合には、この上りメッセージに基づく教師データを生成しない。なお、画像センサ500の撮像範囲(道路R上の所定の地理的領域)を示す情報は、制御部22に予め記憶されているものとする。
 但し、移動体が画像センサ500の撮像範囲内に位置するような場合であっても、この移動体が画像センサ500から遠ざかる方向に移動するときには、この移動体の属性を識別する必要性が低い。例えば、図9に示すように、交差点の周辺に路側機200及び画像センサ500が設置される場合において、交差点から遠ざかる方向に向けて第2道路上を移動体が移動するときには、第1道路上を移動する車両100に対して通知を行う必要性が低いため、この移動体の属性を識別する必要性が低い。このため、制御部22は、移動体からの上りメッセージに含まれる移動方向データが所定の移動方向(図9の例では、交差点へ向かう方角である東方向)を示す場合、この上りメッセージに含まれる属性データを画像センサ500が出力する画像データと関連付けて教師データを生成する。言い換えると、制御部22は、移動体からの上りメッセージに含まれる移動方向データが所定の移動方向を示さない場合、この上りメッセージに基づく教師データを生成しない。なお、所定の移動方向を示す情報は、制御部22に予め記憶されているものとする。
 第3に、制御部22は、生成した教師データを用いて学習モデルを構築する。すなわち、制御部22は、教師データから学習モデルを構築する学習部の機能を有する。この場合、制御部22は、生成した教師データから機械学習(具体的には、教師あり学習)により学習モデルを構築し、構築された学習モデルである学習済みモデルを記憶する。
 或いは、このような学習部の機能をサーバ装置400が有していてもよい。制御部22は、生成した教師データをサーバ装置400にアップロードし、サーバ装置400が機械学習を行って得た学習済みモデルをダウンロードし、ダウンロードした学習済みモデルを記憶する。
 第4に、制御部22は、学習済みモデルを用いて、画像センサ500が出力する画像データから移動体の属性を識別する。すなわち、制御部22は、移動体の属性を識別する識別部の機能を有する。
 例えば、制御部22は、学習済みモデルを用いて、画像データに被写体として含まれる移動体が車両100であるか又は歩行者700であるかを識別する。制御部22は、画像データに被写体として含まれる移動体が車両100である場合、この車両100のサイズ種別を識別したり、この車両100の用途種別を識別したりしてもよい。制御部22は、画像データに被写体として含まれる移動体が歩行者700である場合、この歩行者700の年齢層を識別したり、この歩行者700の移動状態を識別したりしてもよい。
 制御部22は、学習済みモデルを用いた移動体の識別結果に基づいて交通事故に関する危険度を判定してもよい。例えば、制御部22は、交通事故発生の頻度が統計的に高い属性を有する移動体については危険度が高いと判定し、そうでない場合は危険度が低いと判定してもよい。
 第5に、制御部22は、学習済みモデルを用いた移動体の識別結果に基づく情報を含む下りメッセージを無線通信により送信部21cから送信する。下りメッセージの送信は、ブロードキャスト、ユニキャスト、又はマルチキャストで行われる。例えば、制御部22は、学習済みモデルを用いて識別された移動体の属性を示す情報を下りメッセージに含める。制御部22は、移動体の属性に基づいて判定された危険度を示す情報を下りメッセージに含めてもよい。
 (車両の構成)
 次に、第2実施形態に係る車両100の構成について説明する。図11は、第2実施形態に係る車両100の構成を示す図である。
 図11に示すように、車両100は、通信部11と、GNSS受信機12と、通知部13と、駆動制御部14と、制御部16とを有する。通信部11、GNSS受信機12、及び制御部16は、車載機150を構成する。
 通信部11は、路側機200との無線通信(すなわち、路車間通信)を行う。具体的には、通信部11は、アンテナ11aと、受信部11bと、送信部11cとを有し、アンテナ11aを介して無線通信を行う。受信部11bは、アンテナ11aが受信する無線信号を受信データに変換して制御部16に出力する。送信部11cは、制御部16が出力する送信データを無線信号に変換してアンテナ11aから送信する。
 通信部11の無線通信方式は、ARIBのT109規格に準拠した方式、3GPPのV2X規格に準拠した方式、及び/又はIEEE802.11シリーズ等の無線LAN規格に準拠した方式であってもよい。通信部11は、これらの通信規格のうち2以上の通信規格に対応可能に構成されていてもよい。
 GNSS受信機12は、GNSS衛星からGNSS信号を受信し、現在位置を示す位置データを出力する。GNSS受信機12は、例えば、GPS、GLONASS(Global Navigation Satellite System)、IRNSS(Indian Regional Navigational Satellite System)、COMPASS、Galileo、及びQZSS(Quasi-Zenith Satellite System)のうち少なくとも1つのGNSSの受信機を含んで構成される。移動方向データは、位置データに基づいて生成される。
 通知部13は、制御部16の制御下で、車両100の運転者に対する情報の通知を行う。通知部13は、情報を表示するディスプレイ13aと、情報を音声出力するスピーカ13bとを有する。
 駆動制御部14は、動力源としてのエンジン又はモータ、動力伝達機構、及びブレーキ等を制御する。車両100が自動運転車両である場合、駆動制御部14は、制御部16と連携して車両100の運転制御を行ってもよい。
 制御部16は、車両100(車載機150)における各種の機能を制御する。制御部16は、少なくとも1つのメモリ16bと、メモリ16bと電気的に接続された少なくとも1つのプロセッサ16aとを有する。メモリ16bは、揮発性メモリ及び不揮発性メモリを含み、プロセッサ16aにおける処理に用いる情報及びプロセッサ16aにより実行されるプログラムを記憶する。プロセッサ16aは、メモリ16bに記憶されたプログラムを実行することにより各種の処理を行う。
 このように構成された車両100において、制御部16は、上述したような上りメッセージを生成し、生成した上りメッセージを送信部11cから送信する。制御部16は、上りメッセージの生成及び送信を周期的に行ってもよい。
 受信部11bは、上述したような下りメッセージを路側機200から受信し、受信した下りメッセージを制御部16に出力する。制御部16は、この下りメッセージの内容に応じた情報を運転者に通知するように通知部13を制御する。例えば、制御部16は、下りメッセージが示す移動体の属性を示す情報を通知したり、下りメッセージが示す危険度を示す情報を通知したりする。制御部16は、下りメッセージの内容に応じた自動運転制御を行うように駆動制御部14を制御してもよい。例えば、制御部16は、交通事故を防止するためにステアリング及びブレーキを制御してもよい。
 (交通通信システムの動作例)
 次に、第2実施形態に係る交通通信システム1の動作例について説明する。図12は、第2実施形態に係る交通通信システム1において機械学習を行うための動作例1を示す図である。
 図12に示すように、ステップS101において、画像センサ500は、道路上の移動体を撮像して画像データを出力する。路側機200の制御部22は、画像センサ500から画像データを取得する。
 ステップS102において、路側機200の受信部21bは、移動体から上りメッセージを受信する。上りメッセージは、この移動体の属性データを含む。上りメッセージは、この移動体の位置データ及び移動方向データを含んでもよい。
 ステップS103において、路側機200の制御部22は、ステップS102で受信した上りメッセージに基づく教師データを生成するか否かを判定してもよい。例えば、制御部22は、上りメッセージに含まれる位置データが、画像センサ500の撮像範囲(道路R上の所定の地理的領域)内の位置を示す場合、この上りメッセージに基づく教師データを生成すると判定してもよい。制御部22は、移動体からの上りメッセージに含まれる移動方向データが所定の移動方向を示す場合、この上りメッセージに基づく教師データを生成すると判定してもよい。ここでは、教師データを生成すると制御部22が判定したと仮定して説明を進める。
 ステップS104において、路側機200の制御部22は、受信部21bが受信した上りメッセージに含まれる属性データを画像センサ500が出力する画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成する。制御部22は、画像データに属性データを付与したものを教師データとして生成する場合に限らず、画像データとLiDARセンサ600の検出データとの組み合わせに属性データを付与したものを教師データとして生成してもよい。
 ステップS105において、路側機200の制御部22は、ステップS104で生成した教師データ(属性データ及び画像データの組み合わせ)をサーバ装置400にアップロードする。なお、路側機200に複数の画像センサ500が接続されている場合、制御部22は、対応する画像センサ500のIDを教師データに付与してもよい。
 ステップS106において、サーバ装置400は、路側機200からアップロードされた教師データから教師あり学習により学習モデルを構築する。路側機200に複数の画像センサ500が接続されている場合、サーバ装置400は、画像センサ500のIDに基づいて画像センサ500ごとに学習モデルを構築してもよい。
 サーバ装置400は、ある条件が満たされるまで教師データの収集及び学習モデルの構築(更新)を継続し、学習済みモデルを生成する。この条件は、一定の期間が経過したという条件であってもよいし、一定数の教師データが収集されたという条件であってもよい。
 ステップS107において、サーバ装置400は、学習済みモデルを路側機200に配信する。サーバ装置400は、学習済みモデルを配信する際に、対応する画像センサ500のIDを路側機200に通知してもよい。
 ステップS108において、路側機200の制御部22は、サーバ装置400から取得した学習済みモデルを記憶する。制御部22は、学習済みモデルを画像センサ500ごとに記憶してもよい。
 図13は、第2実施形態に係る交通通信システム1において機械学習を行うための動作例2を示す図である。
 図13に示すように、ステップS111乃至S114の動作は、上述のステップS101乃至S104の動作と同様である。
 ステップS115において、路側機200の制御部22は、ステップS114で生成した教師データから教師あり学習により学習モデルを構築する。路側機200に複数の画像センサ500が接続されている場合、制御部22は、画像センサ500ごとに学習モデルを構築してもよい。制御部22は、ある条件が満たされるまで教師データの収集及び学習モデルの構築(更新)を継続し、学習済みモデルを生成する。この条件は、一定の期間が経過したという条件であってもよいし、一定数の教師データが収集されたという条件であってもよい。
 ステップS116において、路側機200の制御部22は、生成した学習済みモデルを記憶する。制御部22は、学習済みモデルを画像センサ500ごとに記憶してもよい。制御部22は、学習済みモデルの更新を継続してもよい。
 図14は、第2実施形態に係る交通通信システム1における学習済みモデル生成後の動作例を示す図である。
 図14に示すように、ステップS201において、画像センサ500は、道路上の移動体を撮像して画像データを出力する。路側機200の制御部22は、画像センサ500から画像データを取得する。
 ステップS202において、路側機200の制御部22は、学習済みモデルを用いて、画像センサ500が出力する画像データから移動体の属性を識別する。
 ステップS203において、路側機200の制御部22は、学習済みモデルを用いた移動体の識別結果に基づいて交通事故に関する危険度を判定してもよい。
 ステップS204において、路側機200の制御部22は、学習済みモデルを用いた移動体の識別結果に基づく情報を含む下りメッセージを無線通信により送信部21cから送信する。車両100の受信部11bは、路側機200から下りメッセージを受信する。
 ステップS205において、車両100の制御部16は、受信した下りメッセージの内容に応じた情報を運転者に通知するように通知部13を制御する。制御部16は、下りメッセージの内容に応じた自動運転制御を行うように駆動制御部14を制御してもよい。
 (その他の実施形態)
 第1実施形態において図5乃至図7に示す動作を、路側機200に代えてサーバ装置400が実行してもよい。この場合、図5乃至図7に示す動作の説明において、路側機200をサーバ装置400と読み替える。ここで、サーバ装置400は、路側機200の近くに配置されるエッジサーバであってもよい。具体的には、サーバ装置400は、路側機200とインターネットとの間に設けられ、所定範囲に限定されたエリア内の道路Rを管轄する。サーバ装置400は、WAN(Wide Area Network)を介さずに、LAN(Local Area Network)を介して路側機200と接続されてもよい。
 上述した第2実施形態において、路側機200及び画像センサ500が交差点の周辺に設置される一例について説明した。しかしながら、路側機200及び画像センサ500は、図15に示すように、トンネルTの出口付近に設置されてもよい。図15に示す例において、画像センサ500は、トンネルTの出口付近を撮像して画像データを出力する。路側機200は、上述したような下りメッセージをトンネルT内の車両100(車載機150)に送信する。
 或いは、上述した第2実施形態において、路側機200及び画像センサ500は、図16に示すように、道路Rの曲がり角(カーブ)付近に設置されてもよい。図16に示す例において、道路Rは、車両100から見て左へのカーブを有する。このようなカーブの先の状況を車両100の運転者又は車載センサが検知することは困難である。このようなカーブ先には、車両100の通行を妨げる移動体が存在し得る。図16に示す例において、画像センサ500は、カーブの先の状況を撮像して画像データを出力する。路側機200は、上述したような下りメッセージを道路R上の車両100(車載機150)に送信する。
 上述した第2実施形態において路側機200の制御部22が行っていた動作を、路側機200に代えてサーバ装置400が行ってもよい。すなわち、教師データを生成する生成部、機械学習を行う学習部、及び学習済みモデルを用いて移動体を識別する識別部のうち少なくとも1つをサーバ装置400が有していてもよい。
 上述した第2実施形態において、サーバ装置400は、路側機200の近くに配置されるエッジサーバであってもよい。このようなエッジサーバを路側機200の一部とみなしてもよい。エッジサーバは、路側機200とインターネットとの間に設けられ、所定範囲に限定されたエリア内の道路Rを管轄する。エッジサーバは、WAN(Wide Area Network)を介さずに、LAN(Local Area Network)を介して路側機200と接続されてもよい。
 上述した第1実施形態及び第2実施形態を適宜組み合わせてもよい。例えば、第1実施形態において機械学習を行う場合に、第2実施形態における機械学習を行ってもよい。
 上述した第1及び第2実施形態に係る各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
 また、車載機150又は路側機200が行う各処理を実行する回路を集積化し、車載機150又は路側機200の少なくとも一部を半導体集積回路(チップセット、SoC)として構成してもよい。
 以上、図面を参照して第1及び第2実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
 本願は、日本国特許出願第2019-138999号(2019年7月29日出願)及び日本国特許出願第2019-214078号(2019年11月27日出願)の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (26)

  1.  交通通信システムに用いる基地局であって、
     道路上を走行する車両から送信される情報を無線通信により受信する通信部と、
     前記通信部が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定する制御部と、を備え、
     前記制御部は、
     前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理と、
     前記第1処理の結果に基づいて、前記道路上の交通障害物の有無及び前記交通障害物の位置について判定する第2処理と、を実行する
     基地局。
  2.  前記第1処理は、
      前記統計により、前記道路上で各車両が走行する走行領域を特定する処理と、
      前記走行領域を特定した後、前記特定した走行領域において一定期間にわたっていずれの車両も走行しない無走行領域を検出する処理と、を含み、
     前記第2処理は、
     前記無走行領域が検出された場合、前記交通障害物が存在すると判定する処理と、
     前記検出された無走行領域の位置に基づいて、前記交通障害物の位置を判定する処理と、を含む
     請求項1に記載の基地局。
  3.  前記第1処理は、前記機械学習により、前記道路上の異常な走行挙動を示す挙動情報を生成する処理を含み、
     前記第2処理は、
     前記挙動情報に基づいて、前記道路上を走行する車両について特定した前記走行挙動において前記異常な走行挙動が検出された場合、前記交通障害物が存在すると判定する処理と、
     前記異常な走行挙動が検出された走行区間に基づいて、前記交通障害物の位置を判定する処理と、を含む
     請求項1に記載の基地局。
  4.  前記制御部は、前記第2処理により前記交通障害物の位置を判定した場合、前記判定した交通障害物の位置へ向けて走行する車両に対して前記交通障害物の位置を示す情報を送信するように前記通信部を制御する
     請求項1乃至3のいずれか1項に記載の基地局。
  5.  前記制御部は、前記判定した交通障害物の位置へ向けて走行する車両に対して、車載カメラの撮像画像の提供を要求する撮像画像要求をさらに送信するように前記通信部を制御する
     請求項4に記載の基地局。
  6.  前記制御部は、前記車載カメラの撮像画像を前記車両から取得し、取得した撮像画像に基づいて前記交通障害物の属性を判定する
     請求項5に記載の基地局。
  7.  前記制御部は、前記第2処理により前記交通障害物の位置を判定した場合、前記道路を管理するためのサーバ装置に対して、前記判定した交通障害物の位置を示す情報を通知する
     請求項1乃至6のいずれか1項に記載の基地局。
  8.  前記制御部は、前記第2処理により前記交通障害物の位置を判定した場合、前記道路と関連付けられた他の基地局に対して、前記判定した交通障害物の位置を示す情報を通知する
     請求項1乃至7のいずれか1項に記載の基地局。
  9.  前記制御部は、前記第2処理により前記交通障害物の位置を判定した場合、前記交通障害物に対するセンシングを行うように、前記道路と関連付けられた路側センサを制御する
     請求項1乃至8のいずれか1項に記載の基地局。
  10.  前記路側センサは、路側カメラであり、
     前記制御部は、前記第2処理により前記交通障害物の位置を判定した場合、前記交通障害物を撮影するように、前記路側カメラのパン、チルト、及びズームの少なくとも1つを制御する
     請求項9に記載の基地局。
  11.  前記制御部は、前記路側センサによる前記センシングの結果に基づいて前記交通障害物の属性を判定する
     請求項9又は10に記載の基地局。
  12.  交通通信システムであって、
     道路上を走行する車両から送信される情報を無線通信により受信する基地局と、
     前記通信部が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定する制御部と、を備え、
     前記制御部は、
     前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理と、
     前記第1処理の結果に基づいて前記道路上の交通障害物の位置について判定する第2処理と、を実行する
     交通通信システム。
  13.  前記基地局は、前記制御部を有する
     請求項12に記載の交通通信システム。
  14.  前記道路を管理するためのサーバ装置をさらに備え、
     前記サーバ装置は、前記制御部を有する
     請求項12に記載の交通通信システム。
  15.  前記サーバ装置は、所定範囲に限定されたエリア内の道路を管轄するエッジサーバである
     請求項14に記載の交通通信システム。
  16.  道路上を走行する車両から送信される情報を無線通信により基地局が受信することと、
     前記基地局が受信する前記情報に基づいて、前記道路における前記車両の走行経路を含む走行挙動を特定することと、
     前記道路上を走行する複数の車両のそれぞれについて特定された前記走行挙動に対して統計又は機械学習を行う第1処理を実行することと、
     前記第1処理の結果に基づいて前記道路上の交通障害物の位置について判定する第2処理を実行することと、を含む
     交通管理方法。
  17.  道路上の移動体を撮像して画像データを出力する画像センサと、
     前記移動体の属性を示す属性データを含む上りメッセージを前記移動体から無線通信により受信する受信部と、
     前記上りメッセージに含まれる前記属性データを前記画像センサが出力する画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成する生成部と、を備え、
     前記学習モデルは、前記画像センサが出力する画像データから前記移動体の属性を識別するモデルである
     交通通信システム。
  18.  前記道路の周辺に設置される路側機を備え、
     前記路側機は、前記受信部と、前記生成部とを有し、
     前記画像センサは、前記道路の周辺に設置される
     請求項17に記載の交通通信システム。
  19.  前記路側機は、
     前記教師データを用いて構築された前記学習モデルである学習済みモデルを用いて、前記画像センサが出力する画像データから前記移動体の属性を識別する識別部と、
     前記識別部による識別結果に基づく情報を含む下りメッセージを無線通信により送信する送信部と、を有する
     請求項18に記載の交通通信システム。
  20.  前記画像センサは、前記道路上の所定の地理的領域に対して撮像を行い、
     前記上りメッセージは、前記移動体の地理的な位置を示す位置データをさらに含み、
     前記生成部は、前記上りメッセージに含まれる前記位置データが、前記所定の地理的領域内の位置を示すことに応じて、前記上りメッセージに含まれる前記属性データを前記画像センサが出力する画像データと関連付けて前記教師データを生成する
     請求項17乃至19のいずれか1項に記載の交通通信システム。
  21.  前記上りメッセージは、前記移動体の移動方向を示す移動方向データをさらに含み、
     前記生成部は、前記上りメッセージに含まれる前記移動方向データが所定の移動方向を示すことに応じて、前記上りメッセージに含まれる前記属性データを前記画像センサが出力する画像データと関連付けて前記教師データを生成する
     請求項17乃至20のいずれか1項に記載の交通通信システム。
  22.  前記移動体を検出するLiDAR(Light Detection and Ranging)センサを備え、
     前記生成部は、前記上りメッセージに含まれる前記属性データを、前記画像センサが出力する画像データ及び前記LiDARセンサが出力する検出データと関連付けて前記教師データを生成し、
     前記学習モデルは、前記画像センサが出力する画像データ及び前記LiDARセンサが出力する検出データの組み合わせから前記移動体の属性を識別するモデルである
     請求項17乃至21のいずれか1項に記載の交通通信システム。
  23.  前記属性データは、前記移動体が車両である場合、前記車両のサイズ種別及び前記車両の用途種別のうち少なくとも一方のデータを含む
     請求項17乃至22のいずれか1項に記載の交通通信システム。
  24.  前記属性データは、前記移動体が歩行者である場合、前記歩行者の年齢層及び前記歩行者の移動状態のうち少なくとも一方のデータを含む
     請求項17乃至23のいずれか1項に記載の交通通信システム。
  25.  道路の周辺に設置される路側機であって、
     前記道路上の移動体の属性を示す属性データを含むメッセージを前記移動体から無線通信により受信する受信部と、
     前記移動体を撮像する画像センサから画像データを取得し、前記メッセージに含まれる前記属性データを前記画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成する生成部と、を備え、
     前記学習モデルは、前記画像センサが出力する画像データから前記移動体の属性を識別するモデルである
     路側機。
  26.  交通通信システムで実行する教師データ生成方法であって、
     道路上の移動体の属性を示す属性データを含むメッセージを無線通信により受信することと、
     前記移動体を撮像する画像センサから画像データを取得することと、
     前記メッセージに含まれる前記属性データを前記画像データと関連付けることで、機械学習による学習モデルの構築に用いる教師データを生成することと、を有し、
     前記学習モデルは、前記画像センサが出力する画像データから前記移動体の属性を識別するモデルである
     教師データ生成方法。
PCT/JP2020/028564 2019-07-29 2020-07-22 基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法 WO2021020304A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/571,686 US20220130237A1 (en) 2019-07-29 2022-01-10 Base station, roadside device, traffic communication system, traffic management method, and training data generation method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-138999 2019-07-29
JP2019138999A JP7401217B2 (ja) 2019-07-29 2019-07-29 基地局、交通通信システム、及び交通管理方法
JP2019-214078 2019-11-27
JP2019214078A JP7296305B2 (ja) 2019-11-27 2019-11-27 交通通信システム、路側機、及び教師データ生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/571,686 Continuation US20220130237A1 (en) 2019-07-29 2022-01-10 Base station, roadside device, traffic communication system, traffic management method, and training data generation method

Publications (1)

Publication Number Publication Date
WO2021020304A1 true WO2021020304A1 (ja) 2021-02-04

Family

ID=74230360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028564 WO2021020304A1 (ja) 2019-07-29 2020-07-22 基地局、路側機、交通通信システム、交通管理方法、及び教師データ生成方法

Country Status (2)

Country Link
US (1) US20220130237A1 (ja)
WO (1) WO2021020304A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024555A1 (ja) * 2022-07-25 2024-02-01 株式会社小糸製作所 障害物検出システム、障害物検出方法、障害物検出装置及び障害物検出プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024000838A (ja) * 2022-06-21 2024-01-09 トヨタ自動車株式会社 通知システムおよび通知方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2004118730A (ja) * 2002-09-27 2004-04-15 Denso Corp 障害物情報提供装置及び障害物衝突防止支援システム
JP2010039705A (ja) * 2008-08-04 2010-02-18 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別装置の学習方法
WO2017047687A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 監視システム
JP2018169880A (ja) * 2017-03-30 2018-11-01 トヨタ自動車株式会社 車両捜索システム、ナンバープレート情報蓄積装置、および方法
JP2018173291A (ja) * 2017-03-31 2018-11-08 日本電気株式会社 検出装置、検出方法及びプログラム
WO2018225347A1 (ja) * 2017-06-09 2018-12-13 ボッシュエンジニアリング株式会社 走行障害検出装置及び車両ナビゲーションシステム
JP2019109675A (ja) * 2017-12-18 2019-07-04 株式会社豊田中央研究所 運転行動データ生成装置、運転行動データベース
WO2019142458A1 (ja) * 2018-01-22 2019-07-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両監視装置、不正検知サーバ、および、制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127042B2 (en) * 2014-05-19 2021-09-21 Allstate Insurance Company Content output systems using vehicle-based data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157487A (ja) * 2001-11-22 2003-05-30 Mitsubishi Electric Corp 交通状況監視装置
JP2004118730A (ja) * 2002-09-27 2004-04-15 Denso Corp 障害物情報提供装置及び障害物衝突防止支援システム
JP2010039705A (ja) * 2008-08-04 2010-02-18 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別装置の学習方法
WO2017047687A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 監視システム
JP2018169880A (ja) * 2017-03-30 2018-11-01 トヨタ自動車株式会社 車両捜索システム、ナンバープレート情報蓄積装置、および方法
JP2018173291A (ja) * 2017-03-31 2018-11-08 日本電気株式会社 検出装置、検出方法及びプログラム
WO2018225347A1 (ja) * 2017-06-09 2018-12-13 ボッシュエンジニアリング株式会社 走行障害検出装置及び車両ナビゲーションシステム
JP2019109675A (ja) * 2017-12-18 2019-07-04 株式会社豊田中央研究所 運転行動データ生成装置、運転行動データベース
WO2019142458A1 (ja) * 2018-01-22 2019-07-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両監視装置、不正検知サーバ、および、制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024555A1 (ja) * 2022-07-25 2024-02-01 株式会社小糸製作所 障害物検出システム、障害物検出方法、障害物検出装置及び障害物検出プログラム

Also Published As

Publication number Publication date
US20220130237A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US11630998B2 (en) Systems and methods for automatically training neural networks
CN110349405B (zh) 利用联网汽车的实时交通监视
US20200211376A1 (en) Systems and Methods to Enable a Transportation Network with Artificial Intelligence for Connected and Autonomous Vehicles
US11039384B2 (en) Wireless communication system, information acquiring terminal, computer program, method for determining whether to adopt provided information
US8902080B2 (en) Vehicle-mounted narrow-band wireless communication apparatus and roadside-to-vehicle narrow-band wireless communication system
US20150307131A1 (en) Autonomous Driving in a Hazard Situation
US10255806B2 (en) Information-processing system, terminal device, portable terminal device, and non-transitory tangible computer-readable storage medium
JP6687169B2 (ja) 情報生成装置、情報生成方法、コンピュータプログラムおよび無線通信システム
CN113748316B (zh) 用于车辆遥测的系统和方法
JP6375772B2 (ja) 通報システム、情報処理システム、サーバ装置、端末装置、及びプログラム
US20220130237A1 (en) Base station, roadside device, traffic communication system, traffic management method, and training data generation method
CN112073936A (zh) 用于网络节点通信的系统和方法
EP3996063A1 (en) Safety performance evaluation device, safety performance evaluation method, information processing device, and information processing method
WO2019131075A1 (ja) 送信装置、点群データ収集システムおよびコンピュータプログラム
JP2022542641A (ja) 動的なイベントの特定および流布のための方法およびシステム
US10249192B2 (en) Notification regarding an estimated movement path of a vehicle
JP2009251968A (ja) 緊急通報システム、通信管理サーバー、及び車載情報通信装置
JP7401217B2 (ja) 基地局、交通通信システム、及び交通管理方法
WO2021039772A1 (ja) 基地局、交通通信システム、及び交通通信方法
WO2016024384A1 (ja) 情報処理システム、端末装置、プログラム、携帯端末装置、コンピュータ読み出し可能持続的有形記録媒体
WO2023228687A1 (ja) 交通通信システム、端末装置、及びプログラム
JP7484716B2 (ja) 情報提供装置、情報提供方法、情報提供システムおよびコンピュータプログラム
WO2017160562A1 (en) Methods and systems for monitoring intersections with stationary connected vehicles
JP7296305B2 (ja) 交通通信システム、路側機、及び教師データ生成方法
JP2017162472A (ja) 自動車のための情報システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846824

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20846824

Country of ref document: EP

Kind code of ref document: A1