WO2020110915A1 - 情報処理装置、および情報処理システム、並びに情報処理方法 - Google Patents

情報処理装置、および情報処理システム、並びに情報処理方法 Download PDF

Info

Publication number
WO2020110915A1
WO2020110915A1 PCT/JP2019/045696 JP2019045696W WO2020110915A1 WO 2020110915 A1 WO2020110915 A1 WO 2020110915A1 JP 2019045696 W JP2019045696 W JP 2019045696W WO 2020110915 A1 WO2020110915 A1 WO 2020110915A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unknown object
unit
vehicle
communication
Prior art date
Application number
PCT/JP2019/045696
Other languages
English (en)
French (fr)
Inventor
竜太 佐藤
佑介 日永田
山本 祐輝
啓太郎 山本
承夏 梁
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980076738.7A priority Critical patent/CN113168767B/zh
Priority to US17/309,362 priority patent/US20220019813A1/en
Priority to JP2020557649A priority patent/JP7540338B2/ja
Priority to DE112019005949.1T priority patent/DE112019005949T5/de
Publication of WO2020110915A1 publication Critical patent/WO2020110915A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present disclosure relates to an information processing device, an information processing system, and an information processing method. More specifically, it enables safe traveling of a mobile device such as a vehicle by executing object identification using analysis information of a captured image of a camera mounted on the mobile device such as a vehicle or communication information between the mobile devices.
  • the present invention relates to an information processing device, an information processing system, and an information processing method.
  • Semantic Segmentation As a technology to identify objects in captured images. Semantic segmentation is based on the degree of matching between dictionary data (learned data) for object identification based on various actual object shapes and other characteristic information, and the degree of matching with the objects in the image. ) A technique for identifying which object category each pixel belongs to, such as a car or a person. However, as a drawback of this object identification processing, there is a problem that it is difficult or impossible to identify an unregistered object having a shape or feature not registered in the dictionary.
  • Japanese Patent Laid-Open No. 2013-25423 discloses a configuration in which a plurality of vehicles traveling in a line form transmit and receive positional information to each other and maintain a predetermined interval for traveling.
  • this technology only discloses a configuration for maintaining the distance between vehicles by applying communication information between vehicles that form a limited platoon. It does not disclose a configuration for performing identification.
  • the present disclosure performs more reliable object identification by analyzing an image captured by a camera mounted on a mobile device such as a vehicle and performing object identification using communication information between mobile devices, thereby ensuring safe traveling of the mobile device.
  • An object is to provide an information processing device, an information processing system, and an information processing method that can be performed.
  • the first aspect of the present disclosure is An image analysis unit that analyzes an image captured by a camera mounted on a mobile device and identifies an object in the image, As a result of the analysis by the image analysis unit, an unknown object specifying unit that specifies an unknown object in an image area determined to be an unknown object area, For the unknown object specified by the unknown object specifying unit, a communication unit for transmitting information,
  • the unknown object identification unit is an information processing device that identifies an unknown object in an image area determined to be an unknown object area using peripheral object information received via the communication unit.
  • the second aspect of the present disclosure is A self-position acquisition unit that acquires the current position of the mobile device, A communication unit that transmits mobile device information including self-position information acquired by the self-position acquisition unit,
  • the information processing apparatus includes a communication control unit that changes a transmission mode of mobile device information via the communication unit in response to reception of unknown object information via the communication unit.
  • the third aspect of the present disclosure is A management server that creates and updates a dynamic map that reflects traffic information on the map, A mobile device for referencing the dynamic map, The management server is Based on the unknown object information transmitted by the mobile device, to perform a map update process to record the details of the unknown object on the dynamic map, The mobile device is in an information processing system capable of confirming the details of the unknown object by referring to the updated dynamic map.
  • the fourth aspect of the present disclosure is An information processing method executed by an information processing device, An image analysis step in which the image analysis unit analyzes an image captured by a camera attached to the mobile device and identifies an object in the image, The unknown object identification unit, as a result of the analysis by the image analysis unit, an unknown object identification step of identifying an unknown object in the image area determined to be an unknown object area, The communication unit has a communication step of transmitting information to the unknown object specified by the unknown object specifying unit, The unknown object identification step is an information processing method for identifying an unknown object in an image area determined to be an unknown object area using peripheral object information received via the communication unit.
  • the fifth aspect of the present disclosure is An information processing method executed by an information processing device, A self-position acquisition unit, a self-position acquisition step of acquiring the current position of the mobile device, A communication step in which the communication section transmits mobile device information including the self-position information acquired by the self-position acquisition section;
  • the communication control unit executes a communication control step of changing a transmission mode of the mobile device information via the communication unit in response to reception of unknown object information via the communication unit.
  • the sixth aspect of the present disclosure is An information processing method executed by an information processing device, A self-position acquisition unit, a self-position acquisition step of acquiring the current position of the mobile device, A communication step in which the communication section transmits mobile device information including the self-position information acquired by the self-position acquisition section;
  • the mobile device control unit executes the mobile device control step of performing the mobile control of the mobile device in response to the unknown object information or the mobile device control information received via the communication unit.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which each configuration device is in the same housing.
  • an apparatus and a method that realizes safe traveling by performing object identification using image analysis and vehicle-to-vehicle communication information are realized.
  • an image analysis unit that analyzes an image captured by a vehicle-mounted camera and executes object identification in the image, and an image region determined to be an unknown object region as a result of analysis by the image analysis unit is unknown.
  • An unknown object specifying unit that specifies an object and a communication unit that transmits information to an unknown object such as the second vehicle specified by the unknown object specifying unit.
  • the unknown object specifying unit specifies the second vehicle, which is an unknown object in the image area determined to be the unknown object area, using the peripheral object information received via the communication unit.
  • the communication unit transmits unknown object information or control information for traveling control of the second vehicle to the second vehicle.
  • composition and processing of this indication It is a figure explaining an outline of composition and processing of this indication. It is a figure explaining an example of composition and processing of a 1st example of this indication. It is a figure explaining semantic segmentation. It is a figure explaining semantic segmentation and an object identification reliability score. It is a figure explaining the structure and process of an unknown object area
  • 3 is a diagram illustrating a configuration example of an information processing device A mounted on a vehicle A.
  • FIG. 6 is a diagram illustrating a configuration example of an information processing device B mounted on a vehicle B.
  • FIG. FIG. 11 is a diagram showing a flowchart illustrating a sequence of processing executed by information processing apparatus A mounted on vehicle A. It is a figure showing a flow chart explaining a sequence of processing which information processor B carried in vehicles B performs. It is a figure explaining composition and processing of a 2nd example of this indication. It is a figure explaining an example of composition of information processor B of a 2nd example of this indication. It is a figure explaining a process of a vehicle control part of information processor B of a 2nd example of this indication. It is a figure showing the flow chart explaining the sequence of the processing which information processor B of a 2nd example of this indication performs. It is a figure explaining composition and processing of a 3rd example of this indication.
  • a camera is mounted on a moving device such as a vehicle, and an object on the road is identified by analyzing a captured image of the camera. Further, in addition to the object identification based on this image, communication is performed with another vehicle, another roadside communication unit (RSU: Roadside Unit), or a server, and the object identification is performed based on these communication information.
  • RSU Roadside Unit
  • a server By these processes, reliable object identification can be realized, and safe traveling of a moving device such as a vehicle is possible.
  • a moving device equipped with an information processing device that executes the process of the present disclosure will be described as a vehicle (automobile), but this is an example, and the process of the present disclosure describes various types of movement other than the vehicle. It can also be used for a device, for example, a mobile device such as a traveling robot or a drone.
  • FIG. 1 shows a plurality of vehicles 10 traveling on a road.
  • the vehicle 10 includes not only conventional vehicles that are driven by a driver's driving operation, but also automatic driving vehicles that do not require a driver's driving operation.
  • FIG. 1 shows a vehicle 10, a management server 20, and a roadside communication unit (RSU: Roadside Unit) 30. These have a configuration capable of communicating with each other via the network 50. Communication between vehicles is called V2V communication (vehicle-to-vehicle communication). Communication between a vehicle and infrastructure equipment such as a roadside communication unit (RSU) is called V2I communication (vehicle-to-infrastructure communication). Also, these are collectively referred to as V2X communication. V2X communication includes vehicle-to-vehicle communication, vehicle-infrastructure equipment communication, vehicle-server communication, and the like. A vehicle 10 shown in FIG. 1 is a vehicle that performs the above V2X communication.
  • V2V communication vehicle-to-vehicle communication
  • V2I communication vehicle-to-infrastructure communication
  • vehicle-server communication and the like.
  • a vehicle 10 shown in FIG. 1 is a vehicle that performs the above V2X communication.
  • Each vehicle 10 transmits vehicle information such as its own position information, vehicle type, vehicle size, and identifier (ID) to other vehicles at any time or intermittently (multicast transmission).
  • vehicle information such as its own position information, vehicle type, vehicle size, and identifier (ID) to other vehicles at any time or intermittently (multicast transmission).
  • the self-position information can be acquired using position information acquired using GPS or a dynamic map (DM) provided by the management server 20.
  • the dynamic map (DM) is a map in which, in addition to static map information, traffic information that changes sequentially, such as traffic congestion information and accident information, is reflected on the map.
  • the management server 20 uses information received from infrastructure equipment such as vehicles and roadside communication units (RSUs) to generate and update a dynamic map in which the latest road conditions are nowadays, and stores the dynamic map in a storage unit.
  • the dynamic map (DM) generated and updated by the management server 20 is provided to the vehicle 10, and the vehicle 10 can determine its own position, traveling route, etc. based on this map.
  • the self-driving vehicle can drive by selecting the optimum route by referring to the dynamic map (DM).
  • the vehicle 10 has a configuration in which a camera is mounted, an object (object) such as an oncoming vehicle on the traveling route is identified, and control for avoiding a collision with the object is performed. Specifically, for example, when the vehicle 10 is an autonomous vehicle, control of the traveling direction, control of stop, deceleration, etc. are performed so as not to collide with the identified object.
  • an object on the road is displayed on a monitor that the driver can check to warn the driver.
  • the object display area is blinked, an alarm sound is output, and the like, and processing for alerting the driver is performed.
  • FIG. 2 shows a configuration example of an information processing device mounted on a vehicle. Note that, in the following, in the situation where the vehicle A, 10a on the left side shown in FIG. 2 is traveling and is approaching the vehicle B, 10b on the right side shown in FIG. 2, the V2V communication between the vehicle A, 10a and the vehicle B, 10b ( An example of a process of performing communication using inter-vehicle communication) will be described.
  • the block diagram shown in FIG. 2 is a configuration used for performing the above processing. These configurations correspond to a part of the configuration of the information processing device mounted on each vehicle.
  • the vehicles A and 10a have a camera 101, and take an image of the traveling direction, for example.
  • the captured image is input to the image analysis unit 102.
  • the image analysis unit 102 analyzes a captured image of the camera 101 and performs a process of identifying an object in the image. That is, object identification (object identification) of what the object imaged in each image area of the captured image is executed.
  • the object identification (object identification) processing executed by the image analysis unit 102 is executed by applying an existing method such as pattern matching or semantic segmentation.
  • pattern matching for example, pattern data including shape and characteristic information of a person or a car is stored in a storage unit, and the pattern data stored in the storage unit is compared with the subject in the image area on the captured image to determine each subject. This is the process of identifying.
  • Semantic segmentation stores dictionary data (learned data) for object identification based on various actual object shapes and other characteristic information in the storage unit, and determines the degree of matching between this dictionary data and the objects in the captured image. Is a technique for identifying an object in an image based on the. However, in the semantic segmentation, more precise learning data is used to identify an object in a pixel unit of a captured image.
  • FIG. 3 shows an example of the result of the semantic segmentation on the image captured by the camera 101 provided in the vehicle 10a.
  • the image shown in the figure is shown as a monochrome image, but it is actually a color image.
  • the image analysis unit 102 refers to dictionary data (learned data) for object identification based on various actual object shapes and other characteristic information, and performs object identification in pixel units of a captured image.
  • the image analysis unit 102 performs object identification as to what the object in the image is based on the degree of matching between the dictionary data and the object in the image. As a result, an image color-coded according to the type of object shown in FIG. 3 is generated.
  • Automatable vehicles for example, enable safe driving by using such object identification results to perform driving control that avoids collision-prone objects in the traveling direction.
  • the image analysis unit 102 performs object identification processing using existing techniques such as semantic segmentation and pattern matching. Further, the image analysis unit 102 also generates a reliability score indicating the reliability of the object identification result in addition to the object identification result.
  • the reliability score is a score indicating the reliability of the object identification for each identification object identified from the captured image.
  • FIG. 4 shows an example of data in which the identification reliability is associated with each of the object identification results that are the results of the semantic segmentation processing.
  • the example shown in FIG. 4 is an example in which a reliability score of 0 to 100 is set, where 0 is the lowest reliability and 100 is the highest reliability.
  • the reliability score of this identification result is 10, and an object with such an extremely low reliability is determined as an unknown object.
  • FIG. 4 is an application example of the semantic segmentation
  • the image analysis unit 102 is not limited to the semantic segmentation, and other methods, for example, various methods such as pattern matching and the like, are used for the object captured from the camera image. It may be configured to perform identification. However, even when other methods are applied, the object identification result and the reliability score corresponding to each identification result are generated together. As shown in FIG. 2, the object identification result generated by the image analysis unit 102 and the object identification reliability score are input to the unknown object region extraction unit 103.
  • the unknown object area extraction unit 103 uses the “object identification result” and the “object identification reliability score” input from the image analysis unit 102 to extract the unknown object area from the image captured by the camera 101.
  • the unknown object region extraction unit 103 inputs the “object identification result” and the “object identification reliability score” from the image analysis unit 102.
  • the object identification reliability score is input to the reliability score threshold processing unit 121 of the unknown object region extraction unit 103.
  • the unknown object area information generation unit 122 inputs the “object identification result” from the image analysis unit 102, and indicates the image area for which the reliability score threshold processing unit 121 sets the reliability equal to or less than the threshold value. Enter “Low reliability area information”.
  • the unknown object area information generation unit 122 determines, in the “object identification result” input from the image analysis unit 102, an object corresponding to a low-reliability area in which a reliability value equal to or less than a threshold value is set as an unknown object, and
  • the “unknown object area information” indicating the image area occupied by the unknown object is generated and output to the unknown object specifying unit 104.
  • the unknown object specifying unit 104 inputs the “unknown object region information” generated by the unknown object region information generating unit 122, and the region indicated by the “unknown object region information”, that is, the object identification reliability score is a threshold value. A process for identifying an unknown object such as the position of the unknown object in the image area below is executed. The detailed configuration and processing of the unknown object identification unit 104 will be described with reference to FIG.
  • the “unknown object region information” generated by the unknown object region information generating unit 122 is input to the unknown object specifying unit 104.
  • the “unknown object area information” is input to the first coordinate conversion unit 131 of the unknown object specifying unit 104.
  • the unknown object specifying unit 104 further acquires “peripheral object information” including position information of various objects including the current surrounding objects of the own vehicle, for example, other vehicles through the communication unit 105, and
  • the “peripheral object information” is input to the second coordinate conversion unit 135.
  • the communication unit 105 executes V2V communication (vehicle-to-vehicle communication) with a vehicle around the current own vehicle, and includes vehicle information (vehicle position, vehicle ID, vehicle type, vehicle) including position information of each vehicle from the surrounding vehicle. Size, V2V communication address, etc.). Further, information that enables communication with the management server 20 and the roadside communication unit (RSU) 30 described with reference to FIG. The position information (three-dimensional position information) of various objects is acquired.
  • V2V communication vehicle-to-vehicle communication
  • the unknown object identification unit 104 inputs the “unknown object region information” generated by the unknown object region information generation unit 122 into the first coordinate conversion unit 131 and acquires it via the communication unit 105.
  • the “peripheral object information” is input to the second coordinate conversion unit 135.
  • the “unknown object area information” generated by the unknown object area information generation unit 122 and the peripheral object position information included in the “peripheral object information” acquired via the communication unit 105 are position information corresponding to their own coordinates. Therefore, it is impossible to collate these two position information directly.
  • the first coordinate conversion unit 131 and the second coordinate conversion unit 132 convert each position information into coordinate position information having one common coordinate.
  • the peripheral object position information included in the “unknown object region information” and the “peripheral object information” converted into the common coordinate position information is input to the matching processing unit 133.
  • the matching processing unit detects a matching area between the “unknown object area information” and the “peripheral object position information”. For example, a specific vehicle position determined to be an unknown object in image analysis is detected.
  • the matching processing unit 133 detects a specific vehicle position determined to be an unknown object by these processes, and further, the information about the vehicle corresponding to the detected position information is input to the “peripheral object information” via the communication unit. To get it.
  • the matching processing unit 133 identifies a vehicle determined to be an unknown object by image analysis based on the “peripheral object information” that has been input via the communication unit.
  • the unknown object specifying unit 104 further transmits “unknown object information” to the vehicle specified by the matching processing unit 133 using the V2V communication (vehicle-to-vehicle communication) via the communication unit 105.
  • the "peripheral object information" input by the unknown object identifying unit 104 via the communication unit 105 includes address information of each vehicle that can be used for communication (unicast communication) with each vehicle, as described above. ing. That is, the vehicle information (vehicle position, vehicle ID, vehicle type, vehicle size, V2V communication address, etc.) including the positional information of each vehicle is received from the surrounding vehicle through V2V communication (vehicle-to-vehicle communication) with the vehicle. By using this address information, "unknown object information" can be transmitted to another vehicle that is the specified object.
  • the vehicles A and 10a shown in FIG. 2 have “unknown object information” via the communication unit 105 with respect to the vehicles B and 10b shown in FIG. To send.
  • the communication unit 202 of the vehicles B and 10b receives the "unknown object information" from the vehicles A and 10a. By this reception processing, the vehicles B and 10b can confirm that the own vehicle is recognized as an unknown object by the surrounding vehicles.
  • the “unknown object information” received by the communication unit 202 of the vehicles B and 10b from the vehicles A and 10a is input to the communication control unit 203.
  • the communication control unit 203 controls the communication of the communication unit 202 and performs a process of changing the transmission mode of the vehicle information being transmitted (multicast transmission) via the communication unit 202.
  • the vehicle information being transmitted via the communication unit 202 includes vehicle information (vehicle position, vehicle position information including vehicle self-position information acquired by the self-position acquisition unit 201 such as GPS of the vehicles B and 10b). ID, vehicle type, vehicle size, V2V communication address, etc.). These pieces of vehicle information are constantly or intermittently multicast-transmitted via the communication unit 202.
  • the communication control unit 203 controls the communication of the communication unit 202 and changes the transmission mode of the vehicle information being transmitted via these communication units 202. Specifically, communication control such as communication band, communication frequency, increase in communication output, and selection processing according to the priority of transmission data is executed.
  • the vehicles around the vehicles B and 10b can surely receive important vehicle information of high priority, such as vehicle position information and vehicle type, which are multicast-transmitted from the vehicles B and 10b. It becomes possible to correctly understand the actual conditions of B and 10b. As a result, it becomes possible to accurately grasp the position of the vehicles A and 10a, which are determined to be unknown by the image analysis, that is, the positions and types of the vehicles B and 10b.
  • FIG. 7 for the content of the communication data of “unknown object information” transmitted by the vehicles A, 10a to the vehicles B, 10b (unicast transmission) and the specific example of the vehicle information transmitted by the vehicles B, 10b by multicast. And explain.
  • (B) vehicle information transmission data of the normal communication mode of the vehicle B (transmission data contents by multicast communication) will be described.
  • This data is data that each vehicle constantly or intermittently performs multicast transmission, and is data that can be received by surrounding vehicles.
  • This multicast transmission data is composed of, for example, the following data.
  • Source ID self ID
  • vehicle ID vehicle ID
  • IP address Internet Protocol address
  • MAC address media access control address
  • Self-position, speed, attitude information on the position, speed, and attitude of the vehicle.
  • Vehicle type information property information of the own vehicle such as vehicle type, size, and body texture.
  • Control information information on control and planning of the own vehicle such as target position, target speed, planned route, and the like.
  • Sensor information acquisition information of various sensors such as a camera, a LIDAR (laser distance measuring sensor), a sonar, and an IMU (inertial measurement unit).
  • these pieces of transmission data are examples, and it is not essential to include all of them.
  • the target position, the target speed, the planned route, etc., which are included in the control information, the information about the control of the own vehicle, the plan, etc. are the information that is mainly set at the start of traveling in the autonomous driving vehicle, and the information such as the vehicles other than the autonomous driving vehicle. In some cases, this information may not be transmitted. Also, regarding sensor information, since the mounting sensor differs for each vehicle, the transmission data differs for each vehicle.
  • the surrounding vehicles can receive these multicast transmission data, and the surrounding vehicles can accurately grasp the actual condition of the vehicle B by analyzing these multicast transmission data. Further, by acquiring the IP address and the like, it becomes possible to perform direct communication (unicast communication) with the vehicle B.
  • This data (A) is data to be transmitted in order to detect that the area determined by the vehicle A as an unknown object by image analysis is the vehicle B and notify the vehicle B that it has been recognized as an "unknown object”. Is.
  • This data (A) is composed of, for example, the following data.
  • Destination ID ID of data transmission destination of unicast communication
  • vehicle ID vehicle identifier
  • IP address IP address
  • IP address IP address
  • the unknown object information may include information analyzed in image analysis. For example, size information of the unknown object area may be included.
  • the vehicle B that has received this data (A) can know that the vehicle A, which is a surrounding vehicle, has determined that the own vehicle is an unknown object.
  • the “unknown object information” received by the communication unit 202 of the vehicles B and 10b from the vehicles A and 10a is input to the communication control unit 203, and the communication control unit 203 controls the communication of the communication unit 202, and the communication unit 202 is controlled.
  • a process of changing the transmission mode of the vehicle information during the multicast transmission is performed.
  • FIG. 8 is a diagram showing an example of a transmission mode change of transmission data executed by a communication control unit 203 when receiving a message.
  • FIG. 8 shows (B1) items and (B2) contents of the multicast transmission data of the vehicle information similar to FIG. 7(B), and further, (B3) shows an example of change when “unknown object information” is received. ing.
  • the table of FIG. 8 also shows a modification example of the communication mode at the bottom.
  • the multicast transmission data is composed of, for example, the following data.
  • Source ID self ID
  • vehicle ID vehicle identifier
  • IP address Internet Protocol address
  • MAC address media access control address
  • Self-position, speed, attitude information on the position, speed, and attitude of the vehicle.
  • Vehicle type information property information of the own vehicle such as vehicle type, size, and body texture.
  • Control information information on control and planning of the own vehicle such as target position, target speed, planned route, and the like.
  • Sensor information acquisition information of various sensors such as a camera, a LIDAR (laser distance measuring sensor), a sonar, and an IMU (inertial measurement unit).
  • the communication control unit 203 When the vehicles B and 10b receive the "unknown object information" from the surrounding vehicles such as the vehicles A and 10a, the communication control unit 203 performs emergency communication on the multicast transmission data being transmitted in the normal communication mode via the communication unit 202. Perform processing to switch to mode transmission. For example, the following transmission data change processing is performed in units of transmission data (1) to (5) shown in FIG.
  • Source ID self ID
  • vehicle ID vehicle identifier
  • IP address IP address
  • MAC address MAC address
  • the communication control unit 203 determines the vehicle identifier (vehicle identifier) according to the situation. Vehicle ID), IP address, and MAC address are selectively transmitted. However, the vehicle identifier (vehicle ID) is always transmitted. Specifically, for example, a process of transmitting two pieces of data of a vehicle identifier (vehicle ID) and an IP address is performed. By performing such limited transmission processing, it is possible to reduce communication data and increase the probability that data can be reliably transmitted to the destination.
  • the transmission priority is preset for each data, and the communication control unit 203 selects and transmits the transmission data in descending order of transmission priority. Further, the communication control unit 203 acquires information such as available communication band information at the time of data transmission, and if the available band is sufficient, sends all of the vehicle identifier (vehicle ID), IP address, and MAC address, If it is not sufficient, processing such as transmitting only the information selected from these is executed.
  • vehicle ID vehicle identifier
  • IP address IP address
  • MAC address MAC address
  • the communication control unit 203 performs the selective transmission process in accordance with the situation such as the available communication band and the transmission priority set in association with each data. I do. Specifically, for example, when the available communication band is small, a process of transmitting only the self position is performed. By performing such a limited transmission process, it is possible to increase the probability that the self-position information can be reliably notified to the transmission destination.
  • Vehicle type information property information of own vehicle such as vehicle type, size, body texture
  • Control information target position, target speed, planned route, control of own vehicle, information on planning,
  • Sensor information acquisition information of various sensors such as a camera, LIDAR (laser distance measuring sensor), sonar, IMU (inertial measurement unit), Similar to (1) and (2) above, the communication control unit 203 also selectively transmits each of these pieces of information according to the situation such as the available communication band and the transmission priority set in association with each data. Perform processing. Specifically, for example, when the available communication band is small, a process of transmitting only the vehicle type and size is performed. By performing such limited transmission processing, it is possible to increase the probability that the vehicle type and size can be reliably notified to the transmission destination.
  • the communication mode changing process is the following changing process.
  • the normal communication mode multicast transmission is performed using a predetermined output, frequency and band.
  • the communication control unit 203 changes the normal communication mode to the emergency communication mode, performs selective transmission according to the priority of the transmission data described above, and also changes the communication mode. .. Specifically, for example, control is performed to increase at least one of output, frequency, and band, and multicast transmission is executed.
  • communication control for increasing the reception probability of transmission data is executed by communication frequency control, priority control in QoS, control of time slot allocation processing, and the like.
  • FIG. 9 is a block diagram showing a configuration example of the information processing devices A and 100 mounted on the vehicles A and 10a. This configuration diagram is similar to the configuration of the information processing device of the vehicles A and 10a described above with reference to FIG.
  • the information processing apparatuses A and 100 include a camera (imaging unit) 101, an image analysis unit 102, an unknown object region extraction unit 103, an unknown object specifying unit 104, and a communication unit 105.
  • the communication unit 105 includes a transmission unit 105a that executes unicast transmission and the like, and a reception unit 105b that performs reception processing of multicast communication data, for example.
  • the camera (imaging unit) 101 captures an image of the vehicle, for example, in the traveling direction.
  • the image analysis unit 102 inputs a captured image of the camera (imaging unit) 101 and executes an identification process of an object included in the captured image. For example, as described above, object identification is performed using existing techniques such as pattern matching and semantic segmentation.
  • the image analysis unit 102 generates paired data of an “object identification result” that is the result of the object identification processing and an “object reliability score” that indicates the reliability of the object identification in units of the identification result, and extracts the unknown object region extraction unit. Output to 103.
  • the unknown object region extraction unit 103 inputs the “object identification result” and the “object reliability score” input from the image analysis unit 102, and extracts a region in which the “object reliability score” is equal to or less than a predetermined threshold value. Then, the extracted area is output to the unknown object specifying unit 104 as “unknown object area information”.
  • the unknown object specifying unit 104 inputs “unknown object region information” from the unknown object region extracting unit 103, and further inputs “peripheral object information” via the receiving unit 105b of the communication unit 105.
  • the "peripheral object information" input via the receiving unit 105b includes reception data from another vehicle by V2V (vehicle-to-vehicle communication) as well as reception data from the roadside communication unit (RSU) 30 and the management server 20 shown in FIG. Is also included.
  • the unknown object specifying unit 104 executes the process described above with reference to FIG. 6 by using each of these data, specifies the coordinate position indicated by the “unknown object area information”, and specifies the specified coordinates. An object existing at the position, for example, another vehicle is specified. This specific information is generated as "unknown object information", and the "unknown object information" is transmitted via the transmission unit 105a of the communication unit 105.
  • the "peripheral object information" input via the receiving unit 105b of the communication unit 105 includes address information of each vehicle that can be used for communication (unicast communication) with each vehicle. By using this, "unknown object information" is transmitted to the specified vehicle which is the specified object.
  • FIG. 10 The configuration diagram shown in FIG. 10 is similar to the configuration of the information processing device of the vehicles B and 10b described above with reference to FIG.
  • the information processing device B, 200 has a self-position acquisition unit 201, a communication unit 202, and a communication control unit 203.
  • the communication unit 202 has, for example, a transmission unit 202a that performs multicast transmission and the like, and a reception unit 202b that performs reception processing of unicast communication data, for example.
  • the self-position acquisition unit 201 acquires the self-position by using GPS or a dynamic map provided by the management server 20.
  • the acquired self-position information is multicast-transmitted together with other vehicle information via the transmission unit 202a of the communication unit 202.
  • the vehicle information transmitted by multicast is, for example, the data described above with reference to FIG.
  • the receiving unit 202b of the communication unit 202 receives, for example, "unknown object information" unicast-transmitted by another surrounding vehicle.
  • the “unknown object information” received by the receiving unit 202b of the communication unit 202 is input to the communication control unit 203.
  • the communication control unit 203 controls the communication unit 202 to change the transmission data content of the vehicle information that is the multicast transmission data, the transmission mode, and the like.
  • This process is the process described above with reference to FIG. That is, the communication control is performed so that the multicast transmission data transmitted by the vehicles B and 10b can be reliably received by the surrounding vehicles.
  • the process of limiting the transmission data that is, the process of transmitting only the data selected according to the priority, the communication mode changing process of increasing the transmission output, the band, and the transmission frequency are executed.
  • the flowchart shown in FIG. 11 is a flowchart for explaining the sequence of processing executed by the information processing apparatus A, 100 shown in FIG. 9, that is, the information processing apparatus A, 100 mounted on the vehicle A, 10a.
  • the flowchart shown in FIG. 12 is a flowchart for explaining the sequence of processing executed by the information processing device B, 200 shown in FIG. 10, that is, the information processing device B, 200 mounted on the vehicle B, 10b.
  • the processing according to the flowcharts shown in FIGS. 11 and 12 can be executed, for example, according to a program stored in the storage unit of the information processing device.
  • Step S101 First, the information processing apparatus A, 100 acquires a captured image.
  • This process is a process executed by the camera (imaging unit) 101 of the information processing apparatuses A and 100 shown in FIG.
  • the camera (imaging unit) 101 captures an image of the vehicle, for example, in the traveling direction.
  • An image captured by the camera (imaging unit) 101 is input to the image analysis unit 102.
  • step S102 image analysis processing of a captured image by the camera (imaging unit) 101 is executed.
  • This process is a process executed by the image analysis unit 102.
  • the image analysis unit 102 inputs a captured image of the camera (imaging unit) 101 and executes an identification process of an object included in the captured image. For example, as described above, object identification is performed using existing techniques such as pattern matching and semantic segmentation.
  • the image analysis unit 102 generates paired data of an “object identification result” that is the result of the object identification processing and an “object reliability score” that indicates the reliability of the object identification in units of the identification result, and extracts the unknown object region extraction unit. Output to 103.
  • Step S103 Next, in step S103, an unknown object region is extracted from the image captured by the camera (image capturing unit) 101. This processing is executed by the unknown object area extraction unit 103.
  • the unknown object region extraction unit 103 inputs the “object identification result” and the “object reliability score” input from the image analysis unit 102, and extracts a region in which the “object reliability score” is equal to or less than a predetermined threshold value. Then, the extracted area is output to the unknown object specifying unit 104 as “unknown object area information”.
  • Step S104 Next, in step S104, the surrounding object information acquisition process is executed. This process is executed by the unknown object specifying unit 104.
  • the unknown object specifying unit 104 inputs “unknown object region information” from the unknown object region extracting unit 103, and further inputs “peripheral object information” via the receiving unit 105b of the communication unit 105.
  • the "peripheral object information” includes reception data from another vehicle by V2V (vehicle-to-vehicle communication) as well as reception data from the roadside communication unit (RSU) 30 and the management server 20 shown in FIG.
  • V2V vehicle-to-vehicle communication
  • Steps S105 to S109 the unknown object identification unit 104 sequentially or in parallel executes the processes of steps S105 to S109 for all the unknown object regions extracted in step S103.
  • step S106 matching processing is performed between the unknown object area extracted in step S103 and the position information of the peripheral object acquired in step S104. That is, a peripheral object that matches the unknown object area, for example, a vehicle is detected.
  • step S107 it is determined whether or not the matching has succeeded, that is, whether or not a peripheral object that matches the unknown object area has been detected.
  • the matching is successful, that is, when the peripheral object that matches the unknown object area can be detected, the process proceeds to step S108.
  • the matching fails, that is, if a peripheral object that matches the unknown object area cannot be detected, the process proceeds to step S109, and the process for the unknown object area ends.
  • step S108 the peripheral object that matches the unknown object area is specified, and the specific object, for example, the specific vehicle is identified. Then, "unknown object information" is transmitted.
  • the transmission of "unknown object information" to a specific vehicle is executed as a unicast transmission to the specific vehicle by using the address information included in the multicast transmission data received from the specific vehicle.
  • the transmission destination ID, the transmission source ID (self ID), and the unknown object information, that is, the unknown object is determined.
  • the information processing apparatuses A and 100 of the vehicle A execute the processes of steps S105 to S109 sequentially or in parallel for all the unknown object regions extracted in step S103.
  • Step S201 First, the information processing device B, 200 acquires self-position information in step S201.
  • This process is a process executed by the self-position acquisition unit 20 shown in FIG.
  • the self-position acquisition unit 201 acquires the self-position by using GPS or a dynamic map provided by the management server 20.
  • step S202 it is determined whether "unknown object information" has been received. For example, it is the “unknown object information” transmitted in step S108 described with reference to the flowchart shown in FIG.
  • step S202 If it is determined in step S202 that "unknown object information" has not been received, the process proceeds to step S203. On the other hand, if it is determined in step S202 that "unknown object information" has been received, the process proceeds to step S204.
  • Step S203 When it is determined in step S202 that "unknown object information" has not been received, the process proceeds to step S203, and in step S203, the self-location information acquired in step S201 is multicast-transmitted in the normal communication mode.
  • This multicast transmission data is the data described above with reference to FIG. 7B, and is composed of the following data, for example.
  • Source ID self ID
  • vehicle ID vehicle identifier
  • IP address Internet Protocol address
  • MAC address Internet Protocol address
  • Self-position, speed, attitude information on the position, speed, and attitude of the vehicle.
  • Vehicle type information property information of the own vehicle such as vehicle type, size, and body texture.
  • Control information information on control and planning of the own vehicle such as target position, target speed, planned route, and the like.
  • Sensor information acquisition information of various sensors such as a camera, a LIDAR (laser distance measuring sensor), a sonar, and an IMU (inertial measurement unit).
  • Step S204 On the other hand, if it is determined in step S202 that "unknown object information" has been received, the process proceeds to step S204.
  • step S204 the transmission mode of the multicast transmission data is changed to the emergency communication mode. Specifically, communication control such as selection processing according to the priority of transmission data and communication frequency, output, and band change is performed. This processing is the transmission mode changing processing of the transmission data described above with reference to FIG. 8, and is executed by the communication control unit 203 shown in FIG.
  • the transmission of the predetermined data for example, the data shown in FIG. 7B is executed by the multicast transmission using the predetermined output, frequency, and band.
  • the emergency communication mode as described with reference to FIG. 8, selective transmission of important data selected according to the transmission priority information preset for each transmission data, output, frequency, band change, and QoS Communication control such as priority control and time slot allocation processing is performed.
  • Example 2 Example 2 of Performing Vehicle Control Based on Transmission of Unknown Object Information
  • the second embodiment described below is the same in that when the vehicle A, 10a determines that the vehicle B, 10b is an unknown object in the image analysis, “unknown object information” is transmitted to the vehicle B, 10b.
  • the vehicles B and 10b execute the traveling control of the vehicles B and 10b in response to the reception of the “unknown object information”. Specifically, for example, traveling control for collision avoidance such as reduction of traveling speed or stop processing is executed.
  • traveling control for collision avoidance such as reduction of traveling speed or stop processing is executed.
  • FIG. 13 is a diagram illustrating a configuration example of the information processing device mounted on the vehicle of the second embodiment. Similar to the above-described embodiment, in the situation where the vehicle A, 10a on the left side in FIG. 13 is traveling and is approaching the vehicle B, 10b on the right side in FIG. 13, the vehicle A, 10a and the vehicle B, 10b. A description will be given of a processing example in which V2V communication (vehicle-to-vehicle communication) is used for communication.
  • V2V communication vehicle-to-vehicle communication
  • the information processing device mounted on the vehicles A and 10a has the same configuration as the configuration described above with reference to FIG.
  • the configuration of the information processing device mounted on the vehicles B and 10b is different.
  • the vehicles B and 10b have a vehicle control unit 211.
  • the information processing device 210 mounted on the vehicles B and 10b includes a self-position acquisition unit 201, a communication unit 202, and a vehicle control unit 211.
  • the communication unit 202 has, for example, a transmission unit 202a that performs multicast transmission and the like, and a reception unit 202b that performs reception processing of unicast communication data, for example.
  • the self-position acquisition unit 201 acquires the self-position by using GPS or a dynamic map provided by the management server 20.
  • the acquired self-position information is multicast-transmitted together with other vehicle information via the transmission unit 202a of the communication unit 202.
  • the vehicle information transmitted by multicast is, for example, the data described above with reference to FIG.
  • the receiving unit 202b of the communication unit 202 receives, for example, "unknown object information" unicast-transmitted by another surrounding vehicle.
  • the “unknown object information” received by the receiving unit 202b of the communication unit 202 is input to the vehicle control unit 211.
  • the vehicle control unit 211 performs traveling control of the vehicles B and 10b, specifically, processes such as deceleration and stop in response to the reception of the “unknown object information”. A specific example of the process executed by the vehicle control unit 211 will be described with reference to FIG.
  • the vehicle control unit 211 executes at least one of the control example 1 and the control example 2 shown in FIG.
  • the control example 1 is a setting of various kinds of restrictions, for example, restriction processing such as speed restriction, acceleration restriction, travel place restriction, and the like.
  • the speed limit is a process of restricting traveling at a certain speed or less, and includes a stop process.
  • Acceleration restriction is a process of restricting acceleration beyond the current speed.
  • the travel place restriction is a process of restricting the travel path such as only the left lane.
  • the control example 2 is a change of the safety margin, for example, a process of increasing the margin (separation distance) with the obstacle.
  • an automatic driving vehicle or a vehicle equipped with a driving assistance mechanism is equipped with a mechanism that performs processing such as stopping when an obstacle reaches a specified distance or alert output processing.
  • the vehicle control unit 211 executes processing for increasing the specified distance, that is, the margin. This processing can reduce the possibility of collision with an obstacle or another vehicle.
  • the process of the management server 20 is further shown at the bottom.
  • the vehicle control by the vehicle control unit 211 of the vehicle B, 10b is not executed.
  • the management server 20 adds information indicating that the vehicles B and 10b are unknown objects or dangerous vehicles to the dynamic road map generated and updated by the management server.
  • This information is information that each vehicle can refer to at any time, and for example, when the vehicles B and 10b approach the vicinity of the host vehicle, the positions and sizes of the vehicles B and 10b are confirmed based on the dynamic road map. It becomes possible.
  • Step S221) the information processing device B, 200 acquires self-position information.
  • This process is a process executed by the self-position acquisition unit 20 shown in FIG.
  • the self-position acquisition unit 201 acquires the self-position by using GPS or a dynamic map provided by the management server 20.
  • step S222 the self-location information acquired in step S221 is multicast-transmitted in the normal communication mode.
  • This multicast transmission data is the data described above with reference to FIG. 7B, and is composed of the following data, for example.
  • Source ID self ID
  • vehicle ID vehicle identifier
  • IP address Internet Protocol address
  • MAC address Internet Protocol address
  • Self-position, speed, attitude information on the position, speed, and attitude of the vehicle.
  • Vehicle type information property information of the own vehicle such as vehicle type, size, and body texture.
  • Control information information on control and planning of the own vehicle such as target position, target speed, planned route, and the like.
  • Sensor information acquisition information of various sensors such as a camera, a LIDAR (laser distance measuring sensor), a sonar, and an IMU (inertial measurement unit).
  • step S223 Next, in step S223, it is determined whether "unknown object information" has been received. For example, it is the “unknown object information” transmitted in step S108 described with reference to the flowchart shown in FIG.
  • step S223 If it is determined in step S223 that "unknown object information" has not been received, the process ends. On the other hand, if it is determined in step S223 that "unknown object information" has been received, the process proceeds to step S224.
  • Step S224 If it is determined in step S223 that "unknown object information" has been received, vehicle control is executed in step S224.
  • This process is a process executed by the vehicle control unit 211 shown in FIG.
  • Example (Example 3) in which vehicle control information is transmitted to an unknown vehicle to execute remote control of the other vehicle [5. Example (Example 3) in which vehicle control information is transmitted to an unknown vehicle to execute remote control of the other vehicle]
  • vehicle control information is transmitted to the vehicle B, 10b.
  • the vehicles B and 10b execute the traveling control of the vehicles B and 10b based on the received "vehicle control information". That is, the vehicles A and 10a directly and remotely control the traveling of the vehicles B and 10b.
  • FIG. 17 is a diagram illustrating a configuration example of the information processing device mounted on the vehicle of the third embodiment. Similar to the above-described embodiment, the vehicle A, 10a and the vehicle B, 10b shown in FIG. 17 are moving and the vehicle A, 10a and the vehicle B, 10b shown in FIG. A description will be given of a processing example in which V2V communication (vehicle-to-vehicle communication) is used for communication.
  • V2V communication vehicle-to-vehicle communication
  • the information processing device mounted on the vehicles A and 10a has a configuration in which the vehicle control unit 121 is added to the configuration described above with reference to FIG.
  • the information processing device mounted on the vehicles B and 10b has the same configuration as that of the second embodiment described above with reference to FIGS. 113 and 14.
  • the vehicle control unit 211 of the vehicles B and 10b performs vehicle control according to vehicle control information (remote control information) received from the vehicles A and 10a.
  • the processing of the vehicle control unit 121 of the vehicles A and 10a will be described.
  • the vehicle control unit 121 of the vehicle A, 10a generates vehicle control information to be transmitted to the unknown object identified by the unknown object identification unit 104, that is, an unknown vehicle, and transmits the vehicle control information to the vehicles B and 10b via the communication unit 105 ( Unicast transmission).
  • the vehicle control information to be transmitted is information for causing the vehicles B and 10b to execute the control shown in the control examples 1 and 2 described above with reference to FIG. That is, it is control information for executing deceleration or stop due to speed limitation, acceleration limitation, traveling place limitation, or margin expansion processing with an obstacle.
  • the vehicle control information is transmitted to the vehicles B and 10b via the communication unit 105 of the vehicles A and 10a.
  • the communication unit 202 of the vehicles B and 10b inputs the vehicle control information received from the vehicles A and 10a to the vehicle control unit 211.
  • the vehicle control unit 211 controls the vehicles B and 10b according to the vehicle control information received from the vehicles A and 10a. Specifically, deceleration and stop due to speed limitation, acceleration limitation, traveling place limitation, or margin expansion processing with an obstacle are executed.
  • FIG. 18 is a flowchart illustrating a sequence of processing executed by the information processing apparatus A mounted on the vehicle A or 10a shown in FIG.
  • the flowchart shown in FIG. 19 is a flowchart for explaining the sequence of processing executed by the information processing device mounted on the vehicle B or 10b shown in FIG.
  • the processing according to the flowcharts shown in FIGS. 18 and 19 can be executed, for example, according to a program stored in the storage unit of the information processing device.
  • Steps S101 to S107 The processing of steps S101 to S107 is the same as the processing of steps S101 to S107 of the flow shown in FIG. 11 described above as the processing sequence of the first embodiment, and therefore the description thereof is omitted. Note that the processes of steps S105 to S109 are processes to be executed sequentially or in parallel for all the unknown object regions extracted in step S103.
  • Step S108b is a process executed when the matching is successful in Steps S106 to S107, that is, when a peripheral object that matches the unknown object region can be detected.
  • step S108b a peripheral object that matches the unknown object area is identified, and "vehicle control information" is transmitted to the specific object, for example, the specific vehicle.
  • the process of step S108 is a process executed by the unknown object identification unit 104 and the vehicle control unit 121 of the vehicles A and 10a shown in FIG.
  • the unknown object specifying unit 104 specifies a peripheral object that matches the unknown object area, acquires an address for performing data transmission to a specific vehicle that is the specified peripheral object, sets the acquisition address, and sets the acquired address. "Vehicle control information" is transmitted to a specific vehicle. The address is acquired from the multicast communication data received from the specific vehicle.
  • the vehicle control unit 121 generates vehicle control information to be transmitted to an unknown object identified by the unknown object identification unit 104, that is, an unknown vehicle, and transmits the vehicle control information to the vehicles B and 10b via the communication unit 105 (unicast transmission). ..
  • the vehicle control information to be transmitted is remote control information for causing the vehicles B and 10b to execute the control shown in the control examples 1 and 2 described above with reference to FIG. That is, it is specific control information for executing deceleration or stop due to speed limitation, acceleration limitation, traveling place limitation, or margin expansion processing with an obstacle.
  • the vehicle control information is transmitted to the vehicles B and 10b via the communication unit 105 of the vehicles A and 10a.
  • the flow shown in FIG. 19 is a flow obtained by partially modifying the flow shown in FIG. 16 described above as the second embodiment.
  • the change is that steps S223 to S224 in the flow shown in FIG. 16 are changed to steps S223b to S224b in the flow shown in FIG.
  • the processing of each step of the flow shown in FIG. 19 will be described below.
  • Step S221) the information processing device B, 200 acquires self-position information.
  • This process is a process executed by the self-position acquisition unit 20 of the vehicles B and 10b shown in FIG.
  • the self-position acquisition unit 201 acquires the self-position by using GPS or a dynamic map provided by the management server 20.
  • step S222 the self-location information acquired in step S221 is multicast-transmitted in the normal communication mode.
  • This multicast transmission data is the data described above with reference to FIG. 7B, and is composed of the following data, for example.
  • Source ID self ID
  • vehicle ID vehicle identifier
  • IP address Internet Protocol address
  • MAC address Internet Protocol address
  • Self-position, speed, attitude information on the position, speed, and attitude of the vehicle.
  • Vehicle type information property information of the own vehicle such as vehicle type, size, and body texture.
  • Control information information on control and planning of the own vehicle such as target position, target speed, planned route, and the like.
  • Sensor information acquisition information of various sensors such as a camera, a LIDAR (laser distance measuring sensor), a sonar and an IMU (inertial measurement unit).
  • step S223b it is determined whether "vehicle control information" has been received. For example, it is the “vehicle control information” transmitted in step S108b described with reference to the flowchart shown in FIG.
  • step S223b If it is determined in step S223b that the "vehicle control information" has not been received, the process ends. On the other hand, if it is determined in step S223b that the "vehicle control information" has been received, the process proceeds to step S224b.
  • Step S224b When it is determined in step S223b that "vehicle control information" has been received, vehicle control is executed in step S224b. This process is a process executed by the vehicle control unit 211 shown in FIG.
  • the vehicle control unit 211 executes vehicle control according to the vehicle control information (remote control information) received from the vehicles A and 10a.
  • This vehicle control information is vehicle control information generated by the vehicle control unit 121 of the vehicles A and 10a. That is, the vehicles B and 10b are controlled according to the vehicle control information generated by the vehicle control unit 121 of the vehicles A and 10a.
  • This vehicle control is control for reducing the possibility of self-occurrence such as a collision with another vehicle, such as speed limitation, acceleration limitation, traveling location limitation, margin expansion processing, etc. described above with reference to FIG. ..
  • FIG. 20 is a diagram showing the configuration of the information processing apparatus A mounted on the vehicles A and 10a that execute the processing of the fourth embodiment.
  • the configuration illustrated in FIG. 20 is a configuration in which an unknown object information transmission necessity determination unit 141 is added to the configuration of the information processing apparatus A of the vehicles A and 10a described above with reference to FIGS. 2 and 9.
  • Other configurations are the same as the configurations of the information processing apparatus A of the vehicles A and 10a described above with reference to FIGS. 2 and 9.
  • the unknown object information transmission necessity determination unit 141 inputs unknown object information from the unknown object specifying unit 104, communication band usage rate information from the communication unit 105, and based on these input information, Then, it is determined whether or not the “unknown object information” should be transmitted.
  • FIG. 21 shows a plurality of specific examples of the information transmission necessity determination process executed by the unknown object information transmission necessity determination unit 141.
  • the unknown object information transmission necessity determination unit 141 executes at least one determination process of determination examples 1 to 5 shown in FIG.
  • Judgment example 1 is an example of a process of judging whether or not information (unknown object information) needs to be transmitted based on the size of the unknown object region. For example, if the size of the unknown object area corresponds to a normal vehicle size, it is determined to be transmitted, and if it is clearly different, it is not transmitted.
  • the determination example 2 is a processing example of determining whether or not information (unknown object information) needs to be transmitted based on the object identification reliability score of the unknown object region. For example, it is transmitted when the object identification reliability score of the unknown object region is equal to or lower than the specified threshold (the unknown level is high). If it is larger than the specified threshold (the degree of unknownness is low), it is not transmitted. Alternatively, the setting may be made such that the reliability scores are transmitted in ascending order.
  • the determination example 3 is a processing example that determines whether information (unknown object information) needs to be transmitted based on a learning result using the segmentation result and the object identification reliability score of the unknown object region. For example, the learning using the segmentation result and the reliability score is executed to sequentially eliminate the unknown object area, and when the unknown object area remains after this processing, the unknown object area is transmitted. If it does not remain, it is not sent. Specifically, for example, a process of dividing an unknown object region and performing object identification in each divided region is executed.
  • the determination example 4 is a processing example of determining whether or not information (unknown object information) needs to be transmitted based on the position of the unknown object region and the distance to the vehicle. For example, the necessity of transmission is determined based on whether the unknown object region is in contact with the road surface, whether it is in contact with a sidewalk, or whether the distance to the own vehicle is short or long.
  • the determination example 5 is an example of the determination based on the band usage rate of the communication process currently executed by the communication unit and the object identification reliability score of the unknown object region. For example, the necessity of transmission is determined according to the value of band usage rate ⁇ object identification reliability score.
  • Band usage rate x object identification reliability score value ⁇ threshold value (Th) When the above judgment formula is satisfied, it is transmitted, and when it is not satisfied, it is not transmitted.
  • the unknown object information transmission necessity determination unit 141 determines whether information (unknown object information) transmission is necessary by executing at least one of the determination examples 1 to 5 shown in FIG.
  • Steps S101 to S107 The processing of steps S101 to S107 is the same as the processing of steps S101 to S107 of the flow shown in FIG. 11 described above as the processing sequence of the first embodiment, and therefore the description thereof is omitted. Note that the processes of steps S105 to S109 are processes to be executed sequentially or in parallel for all the unknown object regions extracted in step S103.
  • Step S301 is a process executed when the matching is successful in steps S106 to S107, that is, when a peripheral object that matches the unknown object area can be detected.
  • step S301 a transmission necessity determination process is performed to determine whether or not to transmit the “unknown object information” to the matched specific object, that is, the specific vehicle that is a peripheral object that matches the unknown object area.
  • step S301 is a process executed by the unknown object information transmission necessity determination unit 141 of the vehicles A and 10a shown in FIG.
  • the unknown object information transmission necessity determination unit 141 executes at least one of the determination processes of the determination examples 1 to 5 described above with reference to FIG. 21, and transmits the “unknown object information” to the specific vehicle. It is determined whether to do.
  • the fifth embodiment is an embodiment that can be executed in combination with the processing of the above-described first to fourth embodiments.
  • the fifth embodiment will be described with reference to FIG.
  • one vehicle A, 10a determines that the vehicle B, 10b is an unknown object, and transmits various information (unknown object information or vehicle control information) to the vehicle B, 10b. As explained.
  • the vehicles that determine the vehicles B and 10b as unknown objects are not only one vehicle A and 10a but also a vehicle C traveling in the vicinity thereof. , 10c, vehicles D, 10d, and the like. It is assumed that all of these multiple vehicles determine the vehicles B and 10b as unknown objects.
  • each vehicle transmits information (unknown object information or vehicle control information) to the vehicles B and 10b.
  • the vehicles B and 10b perform multicast transmission with a higher degree of urgency than when the unknown object information is received from the plurality of vehicles and when the unknown object information is received from only one vehicle. That is, processing such as selective transmission of highly important data and increase of transmission frequency is executed.
  • the data of high importance is, for example, position data or size information.
  • the transmission priority information is preset for each of the data to be multicast-transmitted, and the communication control units of the vehicles B and 10b preferentially select the data having the high transmission priority. Send. By performing such processing, it becomes possible to reliably notify only the important vehicle information of the vehicles B and 10b to a plurality of vehicles.
  • vehicles B and 10b When vehicles B and 10b receive "vehicle control information" from a plurality of vehicles, the following processing is performed. When the same “vehicle control information" is received from a plurality of vehicles, the process according to the common “vehicle control information” is performed. Further, as the processing when the "vehicle control information" having different contents is received from a plurality of vehicles, it is preferable to perform processing such as emergency stop processing. Alternatively, when the position of each vehicle that has transmitted the vehicle control information can be estimated, the control may be performed according to the vehicle control information received from the one vehicle closest to the vehicle.
  • the management server 20 receives information transmitted by a plurality of vehicles, that is, “unknown object information” and “vehicle control information”, and the management server 20 determines the positions of the vehicles B and 10b based on the information from each vehicle. May be analyzed and the analyzed position information may be provided to each vehicle. Further, when the management server 20 can receive the vehicle information from the vehicles B and 10b which are regarded as unknown objects, the vehicle information may be provided to other vehicles.
  • the management server 20 performs generation and update of a dynamic map that reflects the current traffic situation on the map, and, based on the unknown object information transmitted by each vehicle, details of the unknown object on the dynamic map. Execute the map update process to be recorded. Each vehicle can confirm the details of the unknown object by referring to the dynamic map updated by the management server 20. It should be noted that the management server 20 can record the detailed information of the unknown-object-corresponding vehicle based on the vehicle information received from the vehicle corresponding to the unknown object.
  • FIG. 24 is a diagram illustrating a hardware configuration example of the information processing device.
  • a CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 302 or a storage unit 308. For example, the processing according to the sequence described in the above embodiment is executed.
  • a RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301.
  • the CPU 301, the ROM 302, and the RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to an input/output interface 305 via a bus 304, and the input/output interface 305 includes an input unit including various switches, a keyboard, a touch panel, a mouse, a microphone, and a sensor, a camera, a data acquisition unit such as GPS.
  • An output unit 307 including a display 306, a display, a speaker, and the like is connected. The output unit 307 also outputs drive information for the drive unit of the moving device.
  • the CPU 301 inputs a command, status data, and the like input from the input unit 306, executes various types of processing, and outputs the processing result to, for example, the output unit 307.
  • the storage unit 308 connected to the input/output interface 305 includes, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
  • the communication unit 309 functions as a transmission/reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technique disclosed in this specification can have the following configurations.
  • An image analysis unit that analyzes an image captured by a camera mounted on a mobile device and identifies an object in the image
  • an unknown object specifying unit that specifies an unknown object in an image area determined to be an unknown object area
  • a communication unit for transmitting information For the unknown object specified by the unknown object specifying unit, a communication unit for transmitting information
  • the unknown object specifying unit is an information processing apparatus that specifies an unknown object in an image area determined to be an unknown object area using peripheral object information received via the communication unit.
  • the communication unit is The information processing device according to (1), which transmits unknown object information indicating that the unknown object is determined to be the unknown object identified by the unknown object identifying unit.
  • the unknown object identified by the unknown object identifying unit is the second moving device
  • the communication unit is The information processing apparatus according to (1) or (2), which transmits control information for executing movement control of the second mobile device to the second mobile device.
  • the unknown object specified by the unknown object specifying unit is the second moving device
  • the communication unit is The information processing apparatus according to any one of (1) to (3), which transmits remote control information for remotely controlling the second mobile device to the second mobile device.
  • the unknown object specifying unit is The information processing apparatus according to any one of (1) to (4), wherein an unknown object in an image area determined to be an unknown object area is specified using peripheral object information received via the communication unit.
  • the peripheral object information is The information processing apparatus according to (5), including information received from the unknown object.
  • the peripheral object information is Including received information from the unknown object, the received information includes address information available for communication to the unknown object, The information processing apparatus according to (5) or (6), wherein the communication unit transmits information to the unknown object using the address information.
  • the information processing device further includes An information transmission necessity determination unit that determines whether information transmission to the unknown object via the communication unit is necessary, The information transmission necessity determination unit, The necessity of information transmission is determined based on at least one of the size of the unknown object, the reliability score of the object identification in the image analysis unit, the distance to the mobile device, and the current communication status (1) to (7) The information processing device according to any one of the above.
  • a self-position acquisition unit that acquires the current position of the mobile device
  • a communication unit that transmits mobile device information including self-position information acquired by the self-position acquisition unit
  • An information processing apparatus having a communication control unit that changes a transmission mode of mobile device information via the communication unit in response to reception of unknown object information via the communication unit.
  • the communication control unit is In response to receiving unknown object information via the communication unit, The information processing device according to (9), wherein the transmission mode of the mobile device information via the communication unit is changed from the normal communication mode to the emergency communication mode.
  • the communication control unit is In response to receiving unknown object information via the communication unit, The information processing apparatus according to (9) or (10), in which only information having a high transmission priority is selected and transmitted according to the transmission priority associated with each piece of information forming the mobile device information.
  • the communication control unit In response to receiving unknown object information via the communication unit, The information processing apparatus according to any one of (9) to (11), which executes a communication mode changing process of increasing at least one of a transmission frequency, a transmission band, and a transmission output of the mobile device information from a normal time.
  • a self-position acquisition unit that acquires the current position of the mobile device
  • a communication unit that transmits mobile device information including self-position information acquired by the self-position acquisition unit
  • An information processing apparatus having a mobile device control unit that executes mobile control of the mobile device in response to reception of unknown object information or mobile device control information via the communication unit.
  • the moving device control unit The information processing device according to (13), which executes at least one of speed control, acceleration control, traveling place control, and margin control which is a distance from an obstacle, of the moving device.
  • the mobile device control information received via the communication unit is mobile device control information for remotely controlling the mobile device, The moving device control unit, The information processing apparatus according to (13) or (14), which executes mobile device control according to mobile device control information that is remote control information.
  • a management server for generating and updating a dynamic map reflecting traffic information on a map A mobile device for referencing the dynamic map, The management server is Based on the unknown object information transmitted by the mobile device, to perform a map update process to record the details of the unknown object on the dynamic map, The information processing system, wherein the mobile device is capable of confirming the details of the unknown object by referring to the updated dynamic map.
  • the management server is The information processing system according to (16), wherein details of the unknown object are recorded on the dynamic map based on mobile device information received from a mobile device corresponding to the unknown object.
  • An information processing method executed by an information processing device An image analysis step in which the image analysis unit analyzes an image captured by a camera attached to the mobile device and identifies an object in the image,
  • the unknown object identification unit as a result of the analysis by the image analysis unit, an unknown object identification step of identifying an unknown object in the image area determined to be an unknown object area
  • the communication unit has a communication step of transmitting information to the unknown object specified by the unknown object specifying unit
  • the unknown object identification step is an information processing method for identifying an unknown object in an image area determined to be an unknown object area using peripheral object information received via the communication unit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program in which the processing sequence is recorded is installed in the memory in the computer incorporated in the dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in a recording medium in advance.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as a built-in hard disk.
  • the various processes described in the specification may be executed not only in time series according to the description but also in parallel or individually according to the processing capability of the device that executes the process or the need.
  • the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of the respective configurations are in the same housing.
  • an apparatus and a method that enable safe traveling by performing object identification using image analysis and vehicle-to-vehicle communication information are realized.
  • an image analysis unit that analyzes an image captured by a vehicle-mounted camera and executes object identification in the image, and an image region determined to be an unknown object region as a result of analysis by the image analysis unit is unknown.
  • An unknown object specifying unit that specifies an object and a communication unit that transmits information to an unknown object such as the second vehicle specified by the unknown object specifying unit.
  • the unknown object specifying unit specifies the second vehicle, which is an unknown object in the image area determined to be the unknown object area, using the peripheral object information received via the communication unit.
  • the communication unit transmits unknown object information or control information for traveling control of the second vehicle to the second vehicle.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法を実現する。車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。

Description

情報処理装置、および情報処理システム、並びに情報処理方法
 本開示は、情報処理装置、および情報処理システム、並びに情報処理方法に関する。さらに詳細には、車両等の移動装置に搭載したカメラの撮影画像の解析情報や移動装置間の通信情報を利用したオブジェクト識別を実行することで、車両等の移動装置の安全走行を可能とする情報処理装置、および情報処理システム、並びに情報処理方法に関する。
 車両の安全走行のために、車両に備えたカメラの撮影画像を解析して、走行路上のオブジェクト(物体)の検出や識別を行う技術の開発が盛んに行われている。
 例えば、撮影画像内のオブジェクトを識別する技術としてセマンティック・セグメンテーションがある。セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状やその他の特徴情報に基づくオブジェクト識別用の辞書データ(学習済みデータ)と、画像内のオブジェクトとの一致度に基づいて、画像の構成画素(ピクセル)各々が、車、人等、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。しかし、このオブジェクト識別処理の欠点として、辞書に登録されていない形状や特徴を持つ未登録物体の識別が困難または不可能になるという問題がある。
 一方、車両間で通信を行い、他の車両から受信した情報に基づいて自車両の走行制御を行う技術についても様々な提案がなされている。
 例えば特許文献1(特開2013-25423号公報)は、隊列を組んで走行する複数車両間で相互に位置情報を送受信して所定間隔を維持して走行する構成を開示している。
 しかし、この技術は限定された隊列を構成する車両間での通信情報を適用して、車両間の間隔を維持するための構成を開示しているに過ぎず、車両前方に存在する不明オブジェクトの識別を行う構成を開示するるものではない。
特開2013-25423号公報
 本開示は、車両等の移動装置に搭載したカメラの撮影画像の解析とともに移動装置間の通信情報を利用したオブジェクト識別を実行することで、より確実なオブジェクト識別を行い、移動装置の安全走行を可能とする情報処理装置、および情報処理システム、並びに情報処理方法を提供することを目的とする。
 本開示の第1の側面は、
 移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
 前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
 前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
 前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置にある。
 さらに、本開示の第2の側面は、
 移動装置の現在位置を取得する自己位置取得部と、
 前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
 前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置にある。
 さらに、本開示の第3の側面は、
 地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
 前記ダイナミックマップを参照する移動装置を有し、
 前記管理サーバは、
 前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
 前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システムにある。
 さらに、本開示の第4の側面は、
 情報処理装置において実行する情報処理方法であり、
 画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
 不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
 通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
 前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において実行する情報処理方法であり、
 自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
 通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
 通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法にある。
 さらに、本開示の第6の側面は、
 情報処理装置において実行する情報処理方法であり、
 自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
 通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
 移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法にある。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
 具体的には、例えば、車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。
 本構成により、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の構成と処理の概要について説明する図である。 本開示の第1実施例の構成と処理の一例について説明する図である。 セマンティック・セグメンテーションについて説明する図である。 セマンティック・セグメンテーションと物体識別信頼度スコアについて説明する図である。 不明物体領域値湧出部の構成と処理について説明する図である。 不明物体特定部の構成と処理について説明する図である。 車両間の通信データの例について説明する図である。 不明物体情報受信時の送信データの変更例について説明する図である。 車両Aに搭載される情報処理装置Aの構成例について説明する図である。 車両Bに搭載される情報処理装置Bの構成例について説明する図である。 車両Aに搭載される情報処理装置Aが実行する処理のシーケンスについて説明するフローチャートを示す図である。 車両Bに搭載される情報処理装置Bが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第2実施例の構成と処理について説明する図である。 本開示の第2実施例の情報処理装置Bの構成例について説明する図である。 本開示の第2実施例の情報処理装置Bの車両制御部の処理について説明する図である。 本開示の第2実施例の情報処理装置Bが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第3実施例の構成と処理について説明する図である。 本開示の第3実施例の情報処理装置Aが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第3実施例の情報処理装置Bが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第4実施例の構成と処理について説明する図である。 本開示の第4実施例の車両Aの不明物体情報送信要否判定部が実行する処理について説明する図である。 本開示の第4実施例の情報処理装置Aが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第5実施例の構成と処理について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理システム、並びに情報処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.本開示の構成の概要について
 2.車両に搭載される情報処理装置の構成と処理の一例(実施例1)について
 3.車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて
 4.不明物体情報の送信に基づいて車両制御を実行させる実施例(実施例2)について
 5.不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例(実施例3)について
 6.不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例(実施例4)について
 7.複数の車両の取得情報を利用した処理を行う実施例(実施例5)につい
 8.情報処理装置の構成例について
 9.本開示の構成のまとめ
  [1.本開示の構成の概要について]
 まず、図1を参照して本開示の構成の概要について説明する。
 本開示は、例えば車両等の移動装置にカメラを搭載し、カメラの撮影画像の解析により走行路上の物体(オブジェクト)識別を行う。さらに、この画像に基づく物体識別に併せて他の車両、あるいはその他の路側通信ユニット(RSU:Roadside Unit)や、サーバとの通信を行い、これらの通信情報に基づいて物体識別を行う。これらの処理により、確実な物体(オブジェクト)識別を実現し、車両等の移動装置の安全走行を可能とするものである。
 なお、以下の説明では、本開示の処理を実行する情報処理装置を搭載した移動装置を車両(自動車)として説明するが、これは一例であり、本開示の処理は、車両以外の様々な移動装置、例えば走行型ロボット、ドローン等の移動装置にも利用可能である。
 図1を参照して、本開示の構成例と処理の概要について説明する。
 図1には道路を走行する複数の車両10を示している。車両10は、運転者による運転操作により走行する従来型の車両の他、運転者による運転操作が不要な自動運転車両も含まれる。
 図1には車両10、管理サーバ20、路側通信ユニット(RSU:Roadside Unit)30を示している。これらは、ネットワーク50を介して相互に通信可能な構成を有する。
 車両間の通信は、V2V通信(車車間通信)と呼ばれる。また車両と路側通信ユニット(RSU)等のインフラ設備との通信は、V2I通信(車対インフラ通信)と呼ばれる。また、これらを総称してV2X通信と呼ぶ。V2X通信には、車両と車両、車両とインフラ設備、車両とサーバとの通信等が含まれる。
 図1に示す車両10は、上記のV2X通信を行う車両である。
 各車両10は、自己位置情報、車種や車両サイズ、識別子(ID)等の車両情報を、随時、あるいは間欠的に他の車両に送信(マルチキャスト送信)する。
 なお、自己位置情報は、GPSを利用して取得する位置情報、あるいは管理サーバ20の提供するダイナミックマップ(DM)を用いて取得することができる。
 ダイナミックマップ(DM)とは、静的な地図情報の他、逐次変化する交通情報、例えば渋滞情報や事故情報等を地図上に反映させたマップである。管理サーバ20は、車両や路側通信ユニット(RSU)等のインフラ設備から受信する情報等を用いて、最新の道路状況を繁栄させたダイナミックマップを生成、更新し、記憶部に保持する。
 管理サーバ20が生成、更新したダイナミックマップ(DM)は車両10に提供され、車両10は、このマップに基づいて自己位置や、走行経路等の決定等を行うことが可能となる。自動運転車両は、ダイナミックマップ(DM)を参照することで、最適ルートを選択して走行を行うことができる。
 なお、車両10は、カメラを搭載し、走行経路上の対向車等の物体(オブジェクト)を識別して、物体への衝突を回避させるための制御を行う構成を持つ。
 具体的には、例えば車両10が自動運転車両の場合は、識別された物体へ衝突しないように進行方向の制御や、停止、減速等の制御を行う。また、運転者が運転する車両の場合は、運転者が確認可能なモニタ上に走行路上の物体を表示して、運転者に警告する。例えば物体表示領域の点滅や警報音の出力等を行い、運転者に注意を促す処理を行う。
  [2.車両に搭載される情報処理装置の構成と処理の一例(実施例1)について]
 次に、図2以下を参照して車両に搭載される情報処理装置の構成と処理の一例(実施例1)について説明する。
 図2には、車両に搭載される情報処理装置の構成例を示している。なお、以下では、図2に示す左側の車両A,10aが走行中、図2に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
 図2に示すブロック図は、上記処理を行うために利用される構成である。これらの構成は、各車両に搭載された情報処理装置の一部の構成に相当する。
 まず、車両A,10aに搭載された情報処理装置の構成について説明する。
 車両A,10aはカメラ101を有しており、例えば進行方向の画像を撮影する。撮影画像は、画像解析部102に入力される。
 画像解析部102は、カメラ101の撮影画像の解析を実行して、画像内の物体(オブジェクト)の識別処理を行う。すなわち、撮影画像の各画像領域に撮影されている物体が何であるかの物体識別(オブジェクト識別)を実行する。
 画像解析部102の実行する物体識別(オブジェクト識別)処理は、既存の手法、例えば、パターンマッチングや、セマンティック・セグメンテーション等の手法を適用して実行される。
 パターンマッチングは、例えば人や車等の形状や特徴情報を含むパターンデータを記憶部に格納し、この記憶部に格納されたパターンデータと撮影画像上の画像領域の被写体を比較して各被写体を識別する処理である。
 セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状、その他の特徴情報に基づくオブジェクト識別用の辞書データ(学習済みデータ)を記憶部に格納し、この辞書データと撮影画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う技術である。ただし、セマンティック・セグメンテーションでは撮影画像の画素(ピクセル)単位で物体識別を行うためにより緻密な学習データを利用する。
 図3以下を参照して、セマンティック・セグメンテーションの概要について説明する。図3には、車両10aに備えられたカメラ101によって撮影された画像に対するセマンティック・セグメンテーションの結果の一例を示している。なお、図に示す画像は、白黒画像として示しているが、実際はカラー画像である。
 画像解析部102は、様々な実際のオブジェクトの形状、その他の特徴情報に基づくオブジェクト識別用の辞書データ(学習済みデータ)を参照して撮影画像の画素単位のオブジェクト識別を行う。
 画像解析部102は、辞書データと、画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う。この結果として、図3に示すオブジェクトの種類に応じて色分けされた画像が生成される。
 図3に示す画像は、以下のようなオブジェクト種類に応じた色分けがなされている。
 建物(ビル、家)=赤
 車=紫
 植物(木、草)=緑
 道路=ピンク
 歩道=青
 これらは、辞書データに基づいて識別されたオブジェクトの種類に応じて色分けした結果である。
 例えば自動運転車両は、このようなオブジェクト識別結果を利用して進行方向にある衝突可能性のあるオブジェクトを回避する運転制御を行うことで安全走行を可能としている。
 画像解析部102は、上述したように、セマンティック・セグメンテーションや、パターンマッチング等の既存技術を使用した物体識別処理を行う。
 さらに、画像解析部102は、物体識別結果に併せて物体識別結果の信頼度を示す信頼度スコアを併せて生成する。
 信頼度スコアは、撮影画像から識別された識別物体単位でその物体識別の信頼度を示すスコアである。
 セマンティック・セグメンテーション処理結果である物体識別結果の各々に識別信頼度を対応付けたデータ例を図4に示す。
 図4に示す例は、最低信頼度を0、最高信頼度を100とした信頼度=0~100の信頼度スコアを設定した例である。
 図に示す例では、各識別物体に対応して、以下の信頼度スコアが設定されている。
 (1)識別結果=建物(ビル、家)、信頼度スコア=35、
 (2)識別結果=車、信頼度スコア=80、
 (3)識別結果=植物(木、草)、信頼度スコア=60、
 (4)識別結果=植物(木、草)、信頼度スコア=65、
 (5)識別結果=道路、信頼度スコア=85、
 (6)識別結果=歩道、信頼度スコア=52、
 (7)識別結果=車、信頼度スコア=10→不明物体(不明オブジェクト)
 信頼度スコアが高いものは、その識別結果が正しいと判断できるが、識別結果が低いものは、識別結果を信用できない場合がある。
 例えば、
 (7)識別結果=車、信頼度スコア=10
 この識別結果の信頼度スコアは10であり、このように極めて低い信頼度の物体については、不明物体と判定される。
 なお、具体的には信頼度のしきい値、例えばしきい値=20を設定し、このしきい値以下あるいはしきい値未満の信頼度スコアが設定された物体は、「不明物体」と判定する。
 なお、図4は、セマンティック・セグメンテーションの適用例であるが、画像解析部102は、セマンティック・セグメンテーションに限らず、その他の手法、例えばパターンマッチング等の様々な手法を用いてカメラ撮影画像からの物体識別を行う構成としてもよい。ただし、その他の手法を適用した場合も物体識別結果と、各識別結果に対応する信頼度スコアを併せて生成する。
 図2に示すように、画像解析部102の生成した物体識別結果と、物体識別信頼度スコアは、不明物体領域抽出部103に入力される。
 不明物体領域抽出部103は、画像解析部102から入力する「物体識別結果」と、「物体識別信頼度スコア」を利用して、カメラ101の撮影画像から、不明物体領域を抽出する。
 図5を参照して不明物体領域抽出部103の詳細構成と詳細処理について説明する。
 図5に示すように、不明物体領域抽出部103は、画像解析部102から「物体識別結果」と、「物体識別信頼度スコア」を入力する。
 物体識別信頼度スコアは、不明物体領域抽出部103の信頼度スコアしきい値処理部121に入力される。
 信頼度スコアしきい値処理部121は、「物体識別信頼度スコア」が予め規定したしきい値、例えば「しきい値=20」と各識別物体に対応して設定された信頼度スコアを比較し、しきい値以下の信頼度の設定された「低信頼度領域情報」を生成して不明物体領域情報生成部122に出力する。
 不明物体領域情報生成部122は、画像解析部102から「物体識別結果」を入力するとともに、信頼度スコアしきい値処理部121から、しきい値以下の信頼度の設定された画像領域を示す「低信頼度領域情報」を入力する。
 不明物体領域情報生成部122は、画像解析部102から入力した「物体識別結果」中、しきい値以下の信頼度の設定された低信頼度領域に該当する物体を不明物体と判定し、この不明物体が占有する画像領域を示す「不明物体領域情報」を生成して不明物体特定部104に出力する。
 不明物体特定部104は、不明物体領域情報生成部122が生成した「不明物体領域情報」を入力して、この「不明物体領域情報」が示す領域、すなわち、物体識別信頼度スコアがしきい値以下の画像領域にある不明物体の位置等、不明物体を特定する処理を実行する。
 不明物体特定部104の詳細構成と処理について、図6を参照して説明する。
 図6に示すように、不明物体特定部104には、不明物体領域情報生成部122が生成した「不明物体領域情報」が入力される。「不明物体領域情報」は、不明物体特定部104の第1座標変換部131に入力される。
 不明物体特定部104は、さらに、通信部105を介して、現在の自車両の周囲の物体、例えば他の車両等を含む様々な物体の位置情報を含む「周辺物体情報」を取得し、この「周辺物体情報」を第2座標変換部135に入力する。
 通信部105は、現在の自車両の周囲の車両とのV2V通信(車車間通信)を実行しており、周囲車両から各車両の位置情報を含む車両情報(車両位置、車両ID、車種、車サイズ、V2V通信用アドレス等)を受信する。さらに、図1を参照して説明した管理サーバ20や路側通信ユニット(RSU)30との通信も実行し、これらからダイナミックマップ(DM)を含む周囲の状況を確認可能な情報、具体的には様々な物体の位置情報(3次元位置情報)を取得する。
 図6に示すように、不明物体特定部104は、不明物体領域情報生成部122が生成した「不明物体領域情報」を第1座標変換部131に入力し、通信部105を介して取得した「周辺物体情報」を第2座標変換部135に入力する。
 不明物体領域情報生成部122が生成した「不明物体領域情報」と、通信部105を介して取得した「周辺物体情報」に含まれる周辺物体位置情報は、それぞれ独自の座標に対応した位置情報であり、直接、これらの2つの位置情報の照合を行うことができない。
 第1座標変換部131と、第2座標変換部132は、これら各々の位置情報を共通の1つの座標を持つ座標位置情報に変換する。
 その後、共通の座標位置情報に変換された「不明物体領域情報」と「周辺物体情報」に含まれる周辺物体位置情報はマッチング処理部133に入力される。
 マッチング処理部は、「不明物体領域情報」と「周辺物体位置情報」との一致領域を検出する。
 例えば、画像解析において不明物体と判定された特定の車両位置を検出する。
 マッチング処理部133は、これらの処理によって不明物体と判定された特定の車両位置を検出し、さらに、この検出位置情報に対応する車両に関する情報を、通信部を介して入力済みの「周辺物体情報」を参照して取得する。
 マッチング処理部133は、通信部を介して入力済みの「周辺物体情報」に基づいて、画像解析で不明物体と判定された車両を特定する。
 不明物体特定部104は、さらに、マッチング処理部133が特定した車両に対してV2V通信(車車間通信)を利用して「不明物体情報」を、通信部105を介して送信する。
 なお、不明物体特定部104が通信部105を介して入力する「周辺物体情報」には、前述したように、各車両に対する通信(ユニキャスト通信)に利用可能な各車両のアドレス情報が含まれている。すなわち、車両とのV2V通信(車車間通信)により、周囲車両から各車両の位置情報を含む車両情報(車両位置、車両ID、車種、車サイズ、V2V通信用アドレス等)を受信している。このアドレス情報を利用して、特定された物体である他の車両に対して、「不明物体情報」を送信することができる。
 このように図2に示す車両A,10aは、車両A,10aにおける画像解析において不明物体と判定された図2に示す車両B,10bに対して、通信部105を介して「不明物体情報」を送信する。
 次に、図2を参照して、図2に示す車両B,10bに搭載された情報処理装置の構成と処理について説明する。
 車両B,10bの通信部202は、車両A,10aから「不明物体情報」を受信する。
 この受信処理によって、車両B,10bは、自車両が周囲車両から不明物体と認識されたとことを確認することができる。
 車両B,10bの通信部202が車両A,10aから受信した「不明物体情報」は、通信制御部203に入力される。
 通信制御部203は、通信部202の通信制御を行い、通信部202を介して送信(マルチキャスト送信)中の車両情報の送信態様を変更する処理を行う。
 なお、通信部202を介して送信(マルチキャスト送信)中の車両情報とは、車両B,10bのGPS等の自己位置取得部201が取得した車両の自己位置情報を含む車両情報(車両位置、車両ID、車種、車サイズ、V2V通信用アドレス等)である。これらの車両情報は、常時、または間欠的に通信部202を介してマルチキャスト送信されている。
 通信制御部203は、通信部202の通信制御を行い、これら通信部202を介して送信中の車両情報の送信態様を変更する。具体的には、通信帯域や通信頻度、通信出力の上昇、さらに送信データの優先度に応じた選択処理等の通信制御を実行する。
 この通信制御により、車両B,10bの周囲車両は、車両B,10bからマルチキャスト送信される優先度の高い重要な車両情報、例えば車両位置情報や車種等を確実に受信することが可能となり、車両B,10bの実態を正しく把握することが可能となる。
 結果として車両A,10aも画像解析で不明と判定された物体、すなわち車両B,10bの位置や車種等を正確に把握することが可能となる。
 車両A,10aが車両B,10bに対して送信(ユニキャスト送信)する「不明物体情報」の通信データの内容と、車両B,10bがマルチキャスト送信する車両情報の具体例について、図7を参照して説明する。
 図7には、
 (A)車両Aから車両Bへの送信データ(ユニキャスト通信による送信データ内容)
 (B)車両Bの通常通信モードの車両情報送信データ(マルチキャスト通信による送信データ内容)
 これらの各通信データを示している。
 まず、(B)車両Bの通常通信モードの車両情報送信データ(マルチキャスト通信による送信データ内容)について説明する。
 このデータは、各車両が、常時、または間欠的にマルチキャスト送信するデータであり、周囲の車両が受信可能なデータである。
 このマルチキャスト送信データは、例えば以下のデータによって構成される。
 送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
 自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
 車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
 制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
 センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
 なお、これらの送信データは一例であり、これらの全てを含むことは必須ではない。
 例えば制御情報に含まれる目標位置、目標速度、計画経路等、自車の制御、計画に関する情報等は、主として自動運転車両において走行開始時に設定される情報であり、自動運転車両以外の車両等の場合、これらの情報は送信されない場合がある。
 また、センサ情報についても、各車両によって装着センサが異なるため、各車両によって送信データは異なる。
 これらのマルチキャスト送信データは周囲車両が受信可能であり、周囲車両は、これらのマルチキャスト送信データを解析することで、車両Bの実態を正確に把握することが可能となる。
 また、IPアドレス等を取得することで車両Bに対する直接通信(ユニキャスト通信)を行うことが可能となる。
 次に、(A)車両Aから車両Bへの送信データ(ユニキャスト通信による送信データ内容)について説明する。
 このデータ(A)は、車両Aが画像解析で不明物体と判定した領域が車両Bであることを検出し、この車両Bに「不明物体」と認識されたことを通知するために送信するデータである。
 このデータ(A)は例えば以下のデータによって構成される。
 送信先ID(ユニキャスト通信のデータ送信先のID)=通信相手の車両識別子(車両ID)、IPアドレス、MACアドレス
 送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス
 不明物体情報=不明物体と判定されたことを示す通知情報
 なお、不明物体情報には、画像解析において解析された情報を含めてもよい。例えば不明物体領域のサイズ情報等を含めてもよい。
 このデータ(A)を受信した車両Bは、周囲車両である車両Aが自車を不明物体として判定したことを知ることができる。
 車両B,10bの通信部202が車両A,10aから受信した「不明物体情報」は、通信制御部203に入力され、通信制御部203が、通信部202の通信制御を行い、通信部202を介してマルチキャスト送信中の車両情報の送信態様を変更する処理を行う。
 図8を参照して、車両B,10bの通信制御部203が実行する送信データの送信態様の変更処理例について説明するる
 図8は、車両B,10bが、周囲車両から「不明物体情報」を受信した際に通信制御部203が実行する送信データの送信態様変更例を示す図である。
 図8には、図7(B)と同様の車両情報のマルチキャスト送信データの(B1)項目と、(B2)内容、さらに、(B3)として、「不明物体情報」受信時の変更例を示している。
 なお、図8の表には、さらに最下段に通信態様の変更例も示している。
 先に図7(B)を参照して説明したように、マルチキャスト送信データは、例えば以下のデータによって構成される。
 送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
 自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
 車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
 制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
 センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
 車両B,10bが、車両A,10a等の周囲車両から「不明物体情報」を受信すると、通信制御部203は、通信部202を介して通常通信モードで送信中のマルチキャスト送信データについて、緊急通信モードでの送信に切り替える処理を行う。
 例えば、図8に示す送信データ(1)~(5)単位で、以下のような送信データ変更処理を行う。
 (1)送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス
 周囲車両から「不明物体情報」を受信した場合、通信制御部203は、状況に応じて、車両識別子(車両ID)、IPアドレス、MACアドレスの選択的送信を行う。ただし、車両識別子(車両ID)は必ず送信する。
 具体的には、例えば、車両識別子(車両ID)、IPアドレスの2つのデータを送信する処理を行う。このような限定的な送信処理を行うことで、通信データを削減し、送信先に確実にデータを送信できる確率を高めることができる。
 なお、各データには、送信優先度が予め設定されており、通信制御部203は送信優先度の高い順に送信データを選択して送信する。
 また、通信制御部203は、データ送信時の利用可能な通信帯域情報等を取得し、利用可能な帯域が十分であれば車両識別子(車両ID)、IPアドレス、MACアドレスの全てを送信し、十分でない場合は、これらの中から選択した情報のみの送信を行うといった処理を実行する。
 (2)自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報、
 この自己位置、速度、姿勢についても上記(1)と同様、通信制御部203は、利用可能な通信帯域等の状況と各データに対応付けて設定された送信優先度に応じた選択的送信処理を行う。具体的には、例えば、利用可能な通信帯域が少ない場合は、自己位置のみを送信する処理を行う。このような限定的な送信処理を行うことで、送信先に確実に自己位置情報を通知できる確率を高めることができる。
 (3)車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報、
 (4)制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報、
 (5)センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報、
 これらの各情報についても上記(1)、(2)と同様、通信制御部203は、利用可能な通信帯域等の状況と各データに対応付けて設定された送信優先度に応じた選択的送信処理を行う。具体的には、例えば、利用可能な通信帯域が少ない場合は、車種と大きさのみを送信するといった処理を行う。このような限定的な送信処理を行うことで、送信先に確実に車種と大きさを通知できる確率を高めることができる。
 (6)通信態様の変更処理は以下のような変更処理となる。
 通常通信モードでは、予め規定された出力、頻度、帯域を利用したマルチキャスト送信を実行する。
 周囲車両から「不明物体情報」を受信すると、通信制御部203は、通常通信モードを緊急通信モードに変更し、上述した送信データの優先度に応じた選択送信を行うとともに、通信態様も変更する。具体的には、例えば出力、頻度、帯域の少なくともいずれかをアップさせる制御を行ってマルチキャスト送信を実行する。
 例えば通信頻度制御、QoSにおける優先度制御、タイムスロット割り当て処理の制御等により、送信データの受信確率を高める通信制御を実行する。
 このような処理を行うことで、自車に関する優先度の高い重要な車両情報を周囲の車両に確実に通知することが可能となる。
  [3.車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて]
 次に、図9以下を参照して、本実施例1において車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて説明する。
 図9は、車両A,10aに搭載された情報処理装置A,100の構成例を示すブロック図である。
 この構成図は、先に図2を参照して説明した車両A,10aの情報処理装置の構成と同様の構成である。
 情報処理装置A,100は、カメラ(撮像部)101、画像解析部102、不明物体領域抽出部103、不明物体特定部104、通信部105を有する。
 通信部105は、例えばユニキャスト送信等を実行する送信部105aと、例えばマルチキャスト通信データの受信処理を行う受信部105bを有する。
 カメラ(撮像部)101は、車両の例えば進行方向の画像を撮影する。
 画像解析部102は、カメラ(撮像部)101の撮影画像を入力し、撮影画像に含まれる物体の識別処理を実行する。例えば前述したようにパターンマッチングやセマンティック・セグメンテーション等の既存技術を利用した物体識別を実行する。
 画像解析部102は、物体識別処理の結果である「物体識別結果」と、物体識別の信頼度を示す「物体信頼度スコア」のペアデータを、識別結果単位で生成して不明物体領域抽出部103に出力する。
 不明物体領域抽出部103は、画像解析部102から入力した「物体識別結果」と、「物体信頼度スコア」を入力し、「物体信頼度スコア」が予め規定したしきい値以下の領域を抽出し、この抽出領域を「不明物体領域情報」として、不明物体特定部104に出力する。
 不明物体特定部104は、不明物体領域抽出部103から「不明物体領域情報」を入力し、さらに、通信部105の受信部105bを介して「周辺物体情報」を入力する。受信部105bを介して入力する「周辺物体情報」にはV2V(車車間通信)による他車からの受信データの他、図1に示す路側通信ユニット(RSU)30や管理サーバ20からの受信データも含まれる。
 不明物体特定部104は、これらの各データを利用して、先に図6を参照して説明した処理を実行して、「不明物体領域情報」の示す座標位置を特定し、特定された座標位置に存在する物体、例えば他車を特定する。この特定情報を「不明物体情報」として生成し、「不明物体情報」を、通信部105の送信部105aを介して送信する処理を行う。
 なお、通信部105の受信部105bを介して入力する「周辺物体情報」には、各車両に対する通信(ユニキャスト通信)に利用可能な各車両のアドレス情報が含まれており、このアドレス情報を利用して、特定された物体である特定車両に対して、「不明物体情報」を送信する。
 次に、図10を参照して、車両B,10bに搭載された情報処理装置B,200の構成と処理について説明する。
 図10に示す構成図は、先に図2を参照して説明した車両B,10bの情報処理装置の構成と同様の構成である。
 情報処理装置B,200は、自己位置取得部201、通信部202、通信制御部203を有する。通信部202は、例えばマルチキャスト送信等を実行する送信部202aと、例えばユニキャスト通信データの受信処理を行う受信部202bを有する。
 自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。取得した自己位置情報は、通信部202の送信部202aを介してその他の車両情報とともにマルチキャスト送信される。
 マルチキャスト送信される車両情報は、例えば先に図7(B)を参照して説明したデータである。
 通信部202の受信部202bは、例えば、他の周囲車両がユニキャスト送信した「不明物体情報」を受信する。
 通信部202の受信部202bが受信した「不明物体情報」は、通信制御部203に入力される。
 通信制御部203は、「不明物体情報」の入力を検出すると、通信部202を制御して、マルチキャスト送信データである車両情報の送信データ内容の変更や送信態様の変更等を行う。
 この処理は、先に図8を参照して説明した処理である。
 すなわち、車両B,10bの送信するマルチキャスト送信データが、周囲車両に確実に受信できるような通信制御を行う。
 具体的には、例えば送信データの制限処理、すなわち優先度に応じて選択されたデータのみの送信処理や、送信出力、帯域、送信頻度を上げる通信態様変更処理等を実行する。
 次に、図11、図12に示すフローチャートを参照して、図9、図10を参照して説明した情報処理装置の実行する処理シーケンスについて説明する。
 図11に示すフローチャートは、図9に示す情報処理装置A,100、すなわち、車両A,10aに搭載された情報処理装置A,100の実行する処理のシーケンスを説明するフローチャートである。
 また、図12に示すフローチャートは、図10に示す情報処理装置B,200、すなわち、車両B,10bに搭載された情報処理装置B,200の実行する処理のシーケンスを説明するフローチャートである。
 図11、図12に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
 まず、図11にに示すフローチャートを参照して、図9に示す情報処理装置A,100、すなわち、車両A,10aに搭載された情報処理装置A,100の実行する処理シーケンスについて説明する。
 以下、フローチャートの各ステップの処理について説明する。
  (ステップS101)
 まず、情報処理装置A,100は、撮影画像を取得する。
 この処理は、図9に示す情報処理装置A,100のカメラ(撮像部)101が実行する処理である。カメラ(撮像部)101は、車両の例えば進行方向の画像を撮影する。
 カメラ(撮像部)101による撮影画像は、画像解析部102に入力される。
  (ステップS102)
 次に、ステップS102において、カメラ(撮像部)101による撮影画像の画像解析処理を実行する。
 この処理は画像解析部102が実行する処理である。
 画像解析部102は、カメラ(撮像部)101の撮影画像を入力し、撮影画像に含まれる物体の識別処理を実行する。例えば前述したようにパターンマッチングやセマンティック・セグメンテーション等の既存技術を利用した物体識別を実行する。
 画像解析部102は、物体識別処理の結果である「物体識別結果」と、物体識別の信頼度を示す「物体信頼度スコア」のペアデータを、識別結果単位で生成して不明物体領域抽出部103に出力する。
  (ステップS103)
 次に、ステップS103において、カメラ(撮像部)101の撮影画像から不明物体領域を抽出する。
 この処理は、不明物体領域抽出部103が実行する。
 不明物体領域抽出部103は、画像解析部102から入力した「物体識別結果」と、「物体信頼度スコア」を入力し、「物体信頼度スコア」が予め規定したしきい値以下の領域を抽出し、この抽出領域を「不明物体領域情報」として、不明物体特定部104に出力する。
  (ステップS104)
 次に、ステップS104において、周囲物体情報の取得処理を実行する
 この処理は、不明物体特定部104が実行する。
 不明物体特定部104は、不明物体領域抽出部103から「不明物体領域情報」を入力し、さらに、通信部105の受信部105bを介して「周辺物体情報」を入力する。なお「周辺物体情報」にはV2V(車車間通信)による他車からの受信データの他、図1に示す路側通信ユニット(RSU)30や管理サーバ20からの受信データが含まれる。
  (ステップS105~S109)
 次に、不明物体特定部104は、ステップS103において抽出された全ての不明物体領域について、ステップS105~S109の処理を順次、または並列に実行する。
 まず、ステップS106において、ステップS103で抽出した不明物体領域とステップS104で取得した周辺物体の位置情報のマッチング処理を行う。
 すなわち不明物体領域と一致する周辺物体、例えば車両を検出する。
 ステップS107では、マッチングが成功したか否か、すなわち不明物体領域と一致する周辺物体が検出できたか否かを判定する。
 マッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合は、ステップS108に進む。
 一方、マッチングが失敗、すなわち不明物体領域と一致する周辺物体が検出できなかった場合は、ステップS109に進み、この不明物体領域に対する処理は終了する。
 マッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合は、ステップS108に進み、ステップS108において、不明物体領域と一致する周辺物体を特定し、その特定物体、例えば特定車両に対して、「不明物体情報」を送信する。
 特定車両に対する「不明物体情報」の送信は、その特定車両から受信したマルチキャスト送信データに含まれるアドレス情報を利用して、その特定車両に対するユニキャスト送信として実行する。
 このユニキャスト送信による送信データには、先に図7(A)を参照して説明した通り、送信先ID、送信元ID(自己ID)と、不明物体情報、すなわち、不明物体と判定されたことを示す通知情報が含まれる。
 車両Aの情報処理装置A,100は、このステップS105~S109の処理を、ステップS103において抽出された全ての不明物体領域について、順次、または並列に実行する。
 次に、図12に示すフローチャートを参照して、図10に示す情報処理装置B,200、すなわち、車両B,10bに搭載された情報処理装置B,200の実行する処理シーケンスについて説明する。
  (ステップS201)
 まず、情報処理装置B,200は、ステップS201において自己位置情報を取得する。
 この処理は、図10に示す自己位置取得部20が実行する処理である。
 自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
  (ステップS202)
 次に、ステップS202において、「不明物体情報」を受信したか否かを判定する。
 例えば、図11に示すフローチャートを参照して説明したステップS108において送信される「不明物体情報」である。
 ステップS202において、「不明物体情報」を受信していないと判定した場合は、ステップS203に進む。
 一方、ステップS202において、「不明物体情報」を受信したと判定した場合は、ステップS204に進む。
  (ステップS203)
 ステップS202において、「不明物体情報」を受信していないと判定した場合は、ステップS203に進み、ステップS203において、ステップS201で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
 このマルチキャスト送信データは、先に図7(B)を参照して説明したデータであり、例えば以下のデータによって構成される。
 送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
 自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
 車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
 制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
 センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
  (ステップS204)
 一方、ステップS202において、「不明物体情報」を受信したと判定した場合は、ステップS204に進む。
 ステップS204では、マルチキャスト送信データの送信態様を緊急通信モードに変更する。具体的には、送信データの優先度に応じた選択処理や通信頻度、出力、帯域の変更等の通信制御を行う。
 この処理は、先に図8を参照して説明した送信データの送信態様変更処理であり、図10に示す通信制御部203において実行される。
 なお、通常通信モードでは、予め規定された出力、頻度、帯域を利用したマルチキャスト送信によって予め規定されたデータ、例えば図7(B)に示すデータの送信を実行する。
 緊急通信モードでは、図8を参照して説明したように、各送信データに予め設定された送信優先度情報に従って選択される重要データの選択的送信や、出力、頻度、帯域の変更、QoSにおける優先度制御、タイムスロット割り当て処理等の通信制御を行う。これらの通信制御により、重要な車両情報を周囲車両が受信できる確率を高めることが可能となる。
  [4.不明物体情報の送信に基づいて車両制御を実行させる実施例(実施例2)について]
 次に実施例2として、不明物体情報の送信に基づいて車両制御を実行させる実施例について説明する。
 先に説明した実施例では、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「不明物体情報」を送信し、車両B,10bは、「不明物体情報」の受信に応じて、マルチキャスト送信中の車両情報の送信データの内容や送信態様を変更する処理を行う実施例であった。
 以下に説明する実施例2は、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「不明物体情報」を送信する点は同じである。本実施例2において、車両B,10bは、「不明物体情報」の受信に応じて、車両B,10bの走行制御を実行する。
 具体的には、例えば走行速度の低下、あるいは停止処理など、衝突回避のための走行制御等を実行する。
 以下、この実施例2について説明する。
 図13は、本実施例2の車両に搭載される情報処理装置の構成例を示す図である。先に説明した実施例と同様、図13に示す左側の車両A,10aが走行中、図13に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
 本実施例2において、車両A,10aに搭載される情報処理装置は、先に図2を参照して説明した構成と同様の構成を有する。
 本実施例2では、車両B,10bに搭載される情報処理装置の構成が異なる。
 図13に示すように、車両B,10bは車両制御部211を有する。
 車両B,10bに搭載される情報処理装置210の構成について、図14を参照して説明する。
 図14に示すように、車両B,10bに搭載される情報処理装置210は、、自己位置取得部201、通信部202、車両制御部211を有する。通信部202は、例えばマルチキャスト送信等を実行する送信部202aと、例えばユニキャスト通信データの受信処理を行う受信部202bを有する。
 自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。取得した自己位置情報は、通信部202の送信部202aを介してその他の車両情報とともにマルチキャスト送信される。
 マルチキャスト送信される車両情報は、例えば先に図7(B)を参照して説明したデータである。
 通信部202の受信部202bは、例えば、他の周囲車両がユニキャスト送信した「不明物体情報」を受信する。
 通信部202の受信部202bが受信した「不明物体情報」は、車両制御部211に入力される。
 車両制御部211は、「不明物体情報」の受信に応じて、車両B,10bの走行制御、具体的には、減速や停止等の処理を行う。
 車両制御部211の実行する処理の具体例について、図15を参照して説明する。
 車両制御部211は、図15に示す制御例1、または制御例2の少なくともいずれかの処理を実行する。
 制御例1は、各種制限の設定であり、例えば、速度制限、加速度制限、走行場所制限等の制限処理である。速度制限とは、一定の速度以下での走行に制限する処理であり、停止処理も含まれる。加速度制限は、現在の速度以上に加速することを制限する処理である。走行場所制限は、左車線のみ等、走行路を制限する処理である。
 車両制御部211が、このような走行制御を行うことで、突然の加速や速度変更、あるいは走行ルート変更等による衝突の可能性を低減させることが可能となる。
 制御例2は、安全マージンの変更であり、例えば、障害物とのマージン(離間距離)を大きくする処理である。自動運転車両や運転補助機構の装着された車両では、車両の衝突や接触を回避するため、障害物に規定距離まで近づくと停止させる処理や、アラート出力処理などを行う機構が装着されている。車両制御部211は、この規定距離、すなわちマージンを大きくする処理を実行する。
 この処理により、障害物や他車両との衝突の可能性を低減できる。
 図15には、さらに、最下段に管理サーバ20の処理を示している。
 例えば車両B,10bが、車両A,10aからの送信データを受信できない場合、車両B,10bの車両制御部211による車両制御は実行されないことになる。
 このような場合、管理サーバ20は、管理サーバが生成し更新するダイナミックロードマップに車両B,10bが不明物体、あるいは危険車両であることを示す情報を追記する。
 この情報は、各車両が、随時、参照可能な情報であり、例えば自車両の近辺に車両B,10bが近づいた場合、ダイナミックロードマップに基づいて車両B,10bの位置やサイズ等を確認することが可能となる。
 次に、図16に示すフローチャートを参照して、図14に示す情報処理装置B,210、すなわち、車両B,10bに搭載された情報処理装置B,210の実行する処理シーケンスについて説明する。
  (ステップS221)
 まず、情報処理装置B,200は、自己位置情報を取得する。
 この処理は、図14に示す自己位置取得部20が実行する処理である。
 自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
  (ステップS222)
 次に、ステップS222において、ステップS221で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
 このマルチキャスト送信データは、先に図7(B)を参照して説明したデータであり、例えば以下のデータによって構成される。
 送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
 自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
 車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
 制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
 センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
  (ステップS223)
 次に、ステップS223において、「不明物体情報」を受信したか否かを判定する。
 例えば、図11に示すフローチャートを参照して説明したステップS108において送信される「不明物体情報」である。
 ステップS223において、「不明物体情報」を受信していないと判定した場合は処理を終了する。
 一方、ステップS223において、「不明物体情報」を受信したと判定した場合は、ステップS224に進む。
  (ステップS224)
 ステップS223において、「不明物体情報」を受信したと判定した場合は、ステップS224において、車両制御を実行する。
 この処理は、図14に示す車両制御部211が実行する処理である。
 車両制御部211は、先に図15を参照して説明した処理、例えば速度制限、加速度制限、走行場所制限、マージン拡大処理等、他車両との衝突等の自己発生可能性を低減させるために有効となる走行制御を実行する。
  [5.不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例(実施例3)について]
 次に実施例3として、不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例について説明する。
 先に説明した実施例2では、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「不明物体情報」を送信し、車両B,10bが「不明物体情報」の受信に応じて、車両B,10b自信が走行制御を実行する実施例であった。
 以下に説明する実施例3は、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「車両制御情報」を送信する。車両B,10bは、受信した「車両制御情報」に基づいて車両B,10bの走行制御を実行する。すなわち、車両A,10aが車両B,10bの走行を、直接的にリモート制御する。
 以下、この実施例3について説明する。
 図17は、本実施例3の車両に搭載される情報処理装置の構成例を示す図である。先に説明した実施例と同様、図17に示す左側の車両A,10aが走行中、図17に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
 本実施例3において、車両A,10aに搭載される情報処理装置は、先に図2を参照して説明した構成に、車両制御部121を追加した構成となる。車両B,10bに搭載される情報処理装置は、先に図113、図14を参照して説明した実施例2の構成と同様である。ただし、車両B,10bの車両制御部211は、車両A,10aから受信する車両制御情報(リモート制御情報)に従って車両制御を行う。
 車両A,10aの車両制御部121の処理について説明する。
 車両A,10aの車両制御部121は、不明物体特定部104が特定した不明物体、すなわち不明車両に対して送信する車両制御情報を生成して通信部105を介して車両B,10bに送信(ユニキャスト送信)する。
 送信する車両制御情報は、先に図15を参照して説明した制御例1,2に示す制御を車両B,10bに実行させるための情報である。すなわち速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行させるための制御情報である。
 これらの車両制御情報は、車両A,10aの通信部105を介して車両B,10bに送信される。
 車両B,10bの通信部202は、車両A,10aから受信した車両制御情報を車両制御部211に入力する。
 車両制御部211は、車両A,10aから受信した車両制御情報に従って車両B,10bの制御を行う。
 具体的には、速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行する。
 本実施例3の車両A,10a、および車両B,10bに搭載された情報処理装置の実行する処理シーケンスについて図18、図19に示すフローチャートを参照して説明する。
 図18に示すフローチャートは、図17に示す車両A,10aに搭載された情報処理装置Aの実行する処理のシーケンスを説明するフローチャートである。
 また、図19に示すフローチャートは、図17に示す車両B,10bに搭載された情報処理装置の実行する処理のシーケンスを説明するフローチャートである。
 図18、図19に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
 まず、図18に示すフローチャートを参照して、図17に示す車両A,10aに搭載された情報処理装置Aの実行する処理シーケンスについて説明する。
 以下、フローチャートの各ステップの処理について説明する。
 なお、図18に示すフローチャートは、先に実施例1の処理シーケンスとして説明した図11に示すフローとほぼ同様のフローであり、相違点は、図11に示すフローのステップS108の処理を、図18に示すフローのステップS108bの処理に置き換えた点である。その他の処理は、図11に示すフローと同様の処理である。
 以下、この相違点を中心として説明する。
  (ステップS101~S107)
 ステップS101~S107の処理は、先に実施例1の処理シーケンスとして説明した図11に示すフローのステップS101~S107の処理と同様の処理であるので説明を省略する。
 なお、ステップS105~S109の処理は、ステップS103において抽出された全ての不明物体領域について順次、または並列に実行する処理である。
  (ステップS108b)
 次に、本実施例3に特有の処理であるステップS108bの処理について説明する。
 ステップS108bは、ステップS106~S107においてマッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合に実行する処理である。
 ステップS108bにおいて、不明物体領域と一致する周辺物体を特定し、その特定物体、例えば特定車両に対して、「車両制御情報」を送信する。
 このステップS108の処理は、図17に示す車両A,10aの不明物体特定部104と車両制御部121が実行する処理である。
 不明物体特定部104は、不明物体領域と一致する周辺物体を特定し、特定された周辺物体である特定車両に対してデータ送信を行うためのアドレスを取得し、この取得アドレスを設定してその特定車両に「車両制御情報」を送信する。
 なお、アドレスは特定車両から受信するマルチキャスト通信データから取得する。
 車両制御部121は、不明物体特定部104が特定した不明物体、すなわち不明車両に対して送信する車両制御情報を生成して通信部105を介して車両B,10bに送信(ユニキャスト送信)する。
 送信する車両制御情報は、先に図15を参照して説明した制御例1,2に示す制御を車両B,10bに実行させるためのリモート制御情報である。すなわち速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行させるための具体的な制御情報である。
 これらの車両制御情報は、車両A,10aの通信部105を介して車両B,10bに送信される。
 次に、図19に示すフローチャートを参照して、図17に示す車両B,10bに搭載された情報処理装置Bの実行する処理シーケンスについて説明する。
 なお、図19に示すフローは、先に実施例2として説明した図16に示すフローを一部変更したフローである。変更点は、図16に示すフローのステップS223~S224を、図19に示すフローのステップS223b~S224bへの変更である。
 以下、図19に示すフローの各ステップの処理について説明する。
  (ステップS221)
 まず、情報処理装置B,200は、自己位置情報を取得する。
 この処理は、図17に示す車両B,10bの自己位置取得部20が実行する処理である。
 自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
  (ステップS222)
 次に、ステップS222において、ステップS221で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
 このマルチキャスト送信データは、先に図7(B)を参照して説明したデータであり、例えば以下のデータによって構成される。
 送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
 自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
 車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
 制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
 センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
  (ステップS223b)
 次に、ステップS223bにおいて、「車両制御情報」を受信したか否かを判定する。
 例えば、図18に示すフローチャートを参照して説明したステップS108bにおいて送信される「車両制御情報」である。
 ステップS223bにおいて、「車両制御情報」を受信していないと判定した場合は処理を終了する。
 一方、ステップS223bにおいて、「車両制御情報」を受信したと判定した場合は、ステップS224bに進む。
  (ステップS224b)
 ステップS223bにおいて、「車両制御情報」を受信したと判定した場合は、ステップS224bにおいて、車両制御を実行する。
 この処理は、図17に示す車両制御部211が実行する処理である。
 車両制御部211は、車両A,10aから受信した車両制御情報(リモート制御情報)に従って車両制御を実行する。この車両制御情報は、車両A,10aの車両制御部121が生成した車両制御情報である。すなわち、車両B,10bは車両A,10aの車両制御部121が生成した車両制御情報に従って制御されることになる。
 この車両制御は、先に図15を参照して説明した例えば速度制限、加速度制限、走行場所制限、マージン拡大処理等、他車両との衝突等の自己発生可能性を低減させるための制御である。
  [6.不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例(実施例4)について]
 次に実施例4として、不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例について説明する。
 上述した実施例1~3では、不明物体であると判定した特定車両に対して、「不明物体情報」、または「車両制御情報」を送信する実施例について説明した。
 以下に説明する実施例は、これら実施例1~3の変形例であり、「不明物体情報」や「車両制御情報」を送信する必要があるか否かを判定し、送信要の判定がなされた場合にのみ、情報送信を実行する実施例である。
 本実施例4は、上述した実施例1~3に併せて実行することが可能である。
 図20以下を参照して本実施例4について説明する。
 なお、以下の説明では、「不明物体情報」の送信例について説明するが、本実施例は、「車両制御情報」を送信する場合にも適用可能である。
 図20は、本実施例4の処理を実行する車両A,10aに搭載された情報処理装置Aの構成を示す図である。
 図20に示す構成は、先に図2や図9を参照して説明した車両A,10aの情報処理装置Aの構成に、不明物体情報送信要否判定部141を追加した構成である。
 その他の構成は、先に図2や図9を参照して説明した車両A,10aの情報処理装置Aの構成と同様の構成である。
 不明物体情報送信要否判定部141は、不明物体特定部104から、不明物体情報を入力し、通信部105から通信帯域使用率情報を入力し、これらの入力情報に基づいて、不明物体に対して「不明物体情報」の送信を実行すべきか否かを判定する。
 不明物体情報送信要否判定部141が実行する情報送信要否判定処理の具体例について、図21を参照して説明する。
 図21には、不明物体情報送信要否判定部141が実行する情報送信要否判定処理の複数の具体例を示している。不明物体情報送信要否判定部141は、図21に示す判定例1~5の少なくともいずれかの判定処理を実行する。
 判定例1は、不明物体領域のサイズに基づいて情報(不明物体情報)送信の要否を判定する処理例である。
 例えば、不明物体領域のサイズが通常の車両サイズに相当する場合は送信すると判定し、明らかに異なる場合は非送信とする。
 判定例2は、不明物体領域の物体識別信頼度スコアに基づいて情報(不明物体情報)送信の要否を判定する処理例である。
 例えば、不明物体領域の物体識別信頼度スコアが規定しきい値以下(不明度が高い)の場合に送信する。また規定しきい値より大きい場合(不明度が低い)場合は非送信とする。または信頼度スコアが低い順に順次、送信する設定としてもよい。
 判定例3は、セグメンテーション結果と不明物体領域の物体識別信頼度スコアを用いた学習結果に基づいて情報(不明物体情報)送信の要否を判定する処理例である。
 例えば、セグメンテーション結果と信頼度スコアを用いた学習を実行して不明物体領域を順次、解消する処理を行い、この処理後に不明物体領域が残存する場合は送信する。残存しない場合は非送信とする。具体的には、例えば不明物体領域を分割して各分割領域で物体識別を行うといった処理を実行する。
 判定例4は、不明物体領域の位置や自車両との距離に基づいて情報(不明物体情報)送信の要否を判定する処理例である。
 例えば、不明物体領域が路面に接しているか否か、歩道に接しているか否か、自車との距離が近いか遠いか等に基づいて送信要否を判定する。
 判定例5は、現在、通信部が実行している通信処理の帯域使用率と不明物体領域の物体識別信頼度スコアに基づいて判定する処理例である。
 例えば、帯域使用率×物体識別信頼度スコアの値に応じて送信要否を判定する。具体的には、
 帯域使用率×物体識別信頼度スコアの値<しきい値(Th)
 上記判定式を満たす場合に送信し、満たさない場合は非送信とする。
 不明物体情報送信要否判定部141は、このように図21に示す判定例1~5の少なくともいずれかの処理を実行して、情報(不明物体情報)送信の要否を判定する。
 次に、図22に示すフローチャートを参照して、図20に示す本実施例4の車両A,10aに搭載された情報処理装置Aの実行する処理シーケンスについて説明する。
 以下、フローチャートの各ステップの処理について説明する。
 なお、図22に示すフローチャートは、先に実施例1の処理シーケンスとして説明した図11に示すフローとほぼ同様のフローであり、相違点は、図11に示すフローのステップS108の処理を、図22に示すフローのステップS301~S303の処理に置き換えた点である。その他の処理は、図11に示すフローと同様の処理である。
 以下、この相違点を中心として説明する。
  (ステップS101~S107)
 ステップS101~S107の処理は、先に実施例1の処理シーケンスとして説明した図11に示すフローのステップS101~S107の処理と同様の処理であるので説明を省略する。
 なお、ステップS105~S109の処理は、ステップS103において抽出された全ての不明物体領域について順次、または並列に実行する処理である。
  (ステップS301)
 次に、本実施例4に特有の処理であるステップS301の処理について説明する。
 ステップS301は、ステップS106~S107においてマッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合に実行する処理である。
 ステップS301において、マッチングした特定の物体、すなわち不明物体領域と一致する周辺物体である特定車両に対して、「不明物体情報」を送信するか否かを判定する送信要否判定処理を実行する。
 このステップS301の処理は、図20に示す車両A,10aの不明物体情報送信要否判定部141が実行する処理である。
 不明物体情報送信要否判定部141は、先に図21を参照して説明した判定例1~5の少なくともいずれかの判定処理を実行して、特定車両に対して「不明物体情報」を送信するか否かを判定する。
  (ステップS302~S303)
 ステップS301の判定処理において、不明物体情報送信要否判定部141が、特定車両に対して「不明物体情報」を送信要と判定した場合(ステップS302=Yes)は、ステップS303に進み、ステップS303において、特定車両に対して「不明物体情報」を送信する。
 一方、ステップS301の判定処理において、不明物体情報送信要否判定部141が、特定車両に対して「不明物体情報」を送信不要と判定した場合(ステップS302=Yes)は、ステップS303における「不明物体情報」送信処理を実行することなく処理を終了する。
 これらの処理を行うことで、画像解析によって検出された物体の不明度が高い場合や、通信の使用帯域率が低く利用可能な通信帯域に余裕がある場合など、特定条件を満たす場合にのみ「不明物体情報」の送信処理が実行されることになり、必要度の低い情報送信が抑制され、通信の輻輳等の発生を防止できる。
 なお、上述の実施例4の説明では、「不明物体情報」の送信例について説明したが、本実施例4は、「車両制御情報」を送信する場合にも適用可能である。
  [7.複数の車両の取得情報を利用した処理を行う実施例(実施例5)について]
 次に、実施例5として、複数の車両の取得情報を利用した処理を行う実施例について説明する。
 本実施例5は、上述した実施例1~4の処理に併せて実行することが可能な実施例である。
 本実施例5について、図23を参照して説明する。
 実施例1~4では、いずれも1台の車両A,10aが車両B,10bを不明物体と判定し、車両B,10bに様々な情報(不明物体情報や車両制御情報)を送信する実施例として説明した。
 実際の交通状況を考えると、例えば図23に示すように、車両B,10bを不明物体と判定する車両は、1台の車両A,10aのみならず、そのの近辺を走行している車両C,10cや、車両D,10d等、複数の車両であることが想定される。
 これらの複数車両が全て、車両B,10bを不明物体と判定するといった状況が想定される。
 このように複数の車両が車両B,10bを不明物体と判定した場合、各車両が車両B,10bに対して情報(不明物体情報や車両制御情報)を送信することになる。
 車両B,10bは、これら複数車両から不明物体情報を受信した場合、1台のみから不明物体情報を受信した場合より緊急度を上げたマルチキャスト送信を行う。すなわち重要度の高いデータの選択送信や送信頻度アップ等の処理を実行する。なお、重要度の高いデータとは例えば位置データやサイズ情報である。
 前述したようにマルチキャスト送信対象となるデータの各々には送信優先度情報が予め設定されており、車両B,10bの通信制御部は各データの送信優先度の高いデータを優先的に選択して送信する。
 このような処理を行うことで、複数の車両に車両B,10bの重要な車両情報のみを確実に通知することが可能となる。
 また、車両B,10bが、複数車両から「車両制御情報」を受信した場合には、以下の処理を行う。
 複数車両から同じ内容の「車両制御情報」を受信した場合には、その共通の「車両制御情報」に従った処理を行う。
 また、複数車両から異なる内容の「車両制御情報」を受信した場合の処理としては、緊急停止処理を行うといった処理を行うことが好ましい。
 あるいは、車両制御情報を送信した各車両の位置が推定可能な場合は、最も近い距離にある1台の車両から受信した車両制御情報に従った制御を行う構成としてもよい。
 さらに、複数の車両が送信する情報、すなわち「不明物体情報」や「車両制御情報」を管理サーバ20が受信し、管理サーバ20において、各車両からの情報に基づいて、車両B,10bの位置を解析して、解析した位置情報を各車両に提供する構成としてもよい。
 また、管理サーバ20が不明物体とされた車両B,10bから車両情報を受信できた場合は、この車両情報を他の各車両に提供する構成としてもよい。
 例えば、管理サーバ20は、地図上に現在の交通状況を反映させたダイナミックマップの生成、更新を実行するとともに、各車両の送信する不明物体情報に基づいて、ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行する。
 各車両は、管理サーバ20が更新したダイナミックマップを参照することで、不明物体の詳細を確認することが可能となる。
 なお、管理サーバ20は、不明物体に対応する車両から受信する車両情報に基づいて不明物体対応車両の詳細情報を記録することができる。
  [8.情報処理装置の構成例について]
 次に、上述した処理を実行する情報処理装置の具体的なハードウェア構成例について、図24を参照して説明する。車両A,10aや車両B,10bに搭載される情報処理装置として適用可能なハードウェア構成例について説明する。
 図24は、情報処理装置のハードウェア構成例を示す図である。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等のデータ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。なお、出力部307は、移動装置の駆動部に対する駆動情報も出力する。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [9.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
 前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
 前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
 前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置。
 (2) 前記通信部は、
 前記不明物体特定部によって特定された不明物体に対して、不明物体であると判定されたことを示す不明物体情報を送信する(1)に記載の情報処理装置。
  (3) 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
 前記通信部は、
 前記第2の移動装置に対して、該第2の移動装置の移動制御を実行させるための制御情報を送信する(1)または(2)に記載の情報処理装置。
  (4) 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
 前記通信部は、
 前記第2の移動装置に対して、該第2の移動装置をリモート制御するためのリモート制御情報を送信する(1)~(3)いずれかに記載の情報処理装置。
  (5) 前記不明物体特定部は、
 前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する(1)~(4)いずれかに記載の情報処理装置。
  (6) 前記周辺物体情報は、
 前記不明物体からの受信情報を含む(5)に記載の情報処理装置。
  (7) 前記周辺物体情報は、
 前記不明物体からの受信情報を含み、該受信情報には前記不明物体に対する通信に利用可能なアドレス情報を含み、
 前記通信部は、前記アドレス情報を利用して前記不明物体に対する情報送信を行う(5)または(6)に記載の情報処理装置。
  (8) 前記情報処理装置は、さらに、
 前記通信部を介した前記不明物体に対する情報送信の要否を判定する情報送信要否判定部を有し、
 前記情報送信要否判定部は、
 不明物体のサイズ、または前記画像解析部における物体識別の信頼度スコア、または前記移動装置との距離、または現在の通信状況の少なくともいずれかに基づいて情報送信の要否を判定する(1)~(7)いずれかに記載の情報処理装置。
  (9) 移動装置の現在位置を取得する自己位置取得部と、
 前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
 前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置。
  (10) 前記通信制御部は、
 前記通信部を介した不明物体情報の受信に応じて、
 前記通信部を介した移動装置情報の送信態様を通常通信モードから緊急通信モードに変更する(9)に記載の情報処理装置。
  (11) 前記通信制御部は、
 前記通信部を介した不明物体情報の受信に応じて、
 前記移動装置情報を構成する各情報に対応付けられた送信優先度に従って送信優先度の高い情報のみを選択して送信する(9)または(10)に記載の情報処理装置。
  (12) 前記通信制御部は、
 前記通信部を介した不明物体情報の受信に応じて、
 前記移動装置情報の送信頻度、または送信帯域、または送信出力の少なくともいずれか通常時より上昇させる通信態様変更処理を実行する(9)~(11)いずれかに記載の情報処理装置。
  (13) 移動装置の現在位置を取得する自己位置取得部と、
 前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
 前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御部を有する情報処理装置。
  (14) 前記移動装置制御部は、
 前記移動装置の速度制御、または加速度制御、または走行場所制御、障害物との離間距離であるマージン制御の少なくともいずれかを実行する(13)に記載の情報処理装置。
  (15) 前記通信部を介して受信する前記移動装置制御情報は、前記移動装置をリモート制御する移動装置制御情報であり、
 前記移動装置制御部は、
 リモート制御情報である移動装置制御情報に従った移動装置制御を実行する(13)または(14)に記載の情報処理装置。
  (16) 地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
 前記ダイナミックマップを参照する移動装置を有し、
 前記管理サーバは、
 前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
 前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システム。
  (17) 前記管理サーバは、
 前記不明物体に対応する移動装置から受信する移動装置情報に基づいて前記ダイナミックマップ上に前記不明物体の詳細を記録する(16)に記載の情報処理システム。
  (18) 情報処理装置において実行する情報処理方法であり、
 画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
 不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
 通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
 前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法。
  (19) 情報処理装置において実行する情報処理方法であり、
 自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
 通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
 通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法。
  (20) 情報処理装置において実行する情報処理方法であり、
 自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
 通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
 移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法。
 明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
 具体的には、例えば、車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。
 本構成により、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
  10 車両
  20 管理サーバ
  30 路側通信ユニット(RSU)
  50 ネットワーク
 100 情報処理装置A
 101 カメラ(撮像部)
 102 画像解析部
 103 不明物体領域抽出部
 104 不明物体特定部
 105 通信部
 121 車両制御部
 141 不明物体情報送信要否判定部
 200 情報処理装置B
 201 自己位置取得部
 202 通信部
 203 通信制御部
 211 車両制御部
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (20)

  1.  移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
     前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
     前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
     前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置。
  2.  前記通信部は、
     前記不明物体特定部によって特定された不明物体に対して、不明物体であると判定されたことを示す不明物体情報を送信する請求項1に記載の情報処理装置。
  3.  前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
     前記通信部は、
     前記第2の移動装置に対して、該第2の移動装置の移動制御を実行させるための制御情報を送信する請求項1に記載の情報処理装置。
  4.  前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
     前記通信部は、
     前記第2の移動装置に対して、該第2の移動装置をリモート制御するためのリモート制御情報を送信する請求項1に記載の情報処理装置。
  5.  前記不明物体特定部は、
     前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する請求項1に記載の情報処理装置。
  6.  前記周辺物体情報は、
     前記不明物体からの受信情報を含む請求項5に記載の情報処理装置。
  7.  前記周辺物体情報は、
     前記不明物体からの受信情報を含み、該受信情報には前記不明物体に対する通信に利用可能なアドレス情報を含み、
     前記通信部は、前記アドレス情報を利用して前記不明物体に対する情報送信を行う請求項5に記載の情報処理装置。
  8.  前記情報処理装置は、さらに、
     前記通信部を介した前記不明物体に対する情報送信の要否を判定する情報送信要否判定部を有し、
     前記情報送信要否判定部は、
     不明物体のサイズ、または前記画像解析部における物体識別の信頼度スコア、または前記移動装置との距離、または現在の通信状況の少なくともいずれかに基づいて情報送信の要否を判定する請求項1に記載の情報処理装置。
  9.  移動装置の現在位置を取得する自己位置取得部と、
     前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
     前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置。
  10.  前記通信制御部は、
     前記通信部を介した不明物体情報の受信に応じて、
     前記通信部を介した移動装置情報の送信態様を通常通信モードから緊急通信モードに変更する請求項9に記載の情報処理装置。
  11.  前記通信制御部は、
     前記通信部を介した不明物体情報の受信に応じて、
     前記移動装置情報を構成する各情報に対応付けられた送信優先度に従って送信優先度の高い情報のみを選択して送信する請求項9に記載の情報処理装置。
  12.  前記通信制御部は、
     前記通信部を介した不明物体情報の受信に応じて、
     前記移動装置情報の送信頻度、または送信帯域、または送信出力の少なくともいずれか通常時より上昇させる通信態様変更処理を実行する請求項9に記載の情報処理装置。
  13.  移動装置の現在位置を取得する自己位置取得部と、
     前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
     前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御部を有する情報処理装置。
  14.  前記移動装置制御部は、
     前記移動装置の速度制御、または加速度制御、または走行場所制御、障害物との離間距離であるマージン制御の少なくともいずれかを実行する請求項13に記載の情報処理装置。
  15.  前記通信部を介して受信する前記移動装置制御情報は、前記移動装置をリモート制御する移動装置制御情報であり、
     前記移動装置制御部は、
     リモート制御情報である移動装置制御情報に従った移動装置制御を実行する請求項13に記載の情報処理装置。
  16.  地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
     前記ダイナミックマップを参照する移動装置を有し、
     前記管理サーバは、
     前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
     前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システム。
  17.  前記管理サーバは、
     前記不明物体に対応する移動装置から受信する移動装置情報に基づいて前記ダイナミックマップ上に前記不明物体の詳細を記録する請求項16に記載の情報処理システム。
  18.  情報処理装置において実行する情報処理方法であり、
     画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
     不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
     通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
     前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法。
  19.  情報処理装置において実行する情報処理方法であり、
     自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
     通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
     通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法。
  20.  情報処理装置において実行する情報処理方法であり、
     自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
     通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
     移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法。
PCT/JP2019/045696 2018-11-30 2019-11-21 情報処理装置、および情報処理システム、並びに情報処理方法 WO2020110915A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980076738.7A CN113168767B (zh) 2018-11-30 2019-11-21 信息处理设备、信息处理系统和信息处理方法
US17/309,362 US20220019813A1 (en) 2018-11-30 2019-11-21 Information processing device, information processing system, and information processing method
JP2020557649A JP7540338B2 (ja) 2018-11-30 2019-11-21 情報処理装置、および情報処理システム、並びに情報処理方法
DE112019005949.1T DE112019005949T5 (de) 2018-11-30 2019-11-21 Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem und informationsverarbeitungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018224881 2018-11-30
JP2018-224881 2018-11-30

Publications (1)

Publication Number Publication Date
WO2020110915A1 true WO2020110915A1 (ja) 2020-06-04

Family

ID=70853331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045696 WO2020110915A1 (ja) 2018-11-30 2019-11-21 情報処理装置、および情報処理システム、並びに情報処理方法

Country Status (5)

Country Link
US (1) US20220019813A1 (ja)
JP (1) JP7540338B2 (ja)
CN (1) CN113168767B (ja)
DE (1) DE112019005949T5 (ja)
WO (1) WO2020110915A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023124904A1 (de) 2022-09-21 2024-03-21 Subaru Corporation Erkennungsvorrichtung für den bereich vor einem fahrzeug und fahrzeugsteuereinheit

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327185B1 (ko) * 2019-12-24 2021-11-17 한국도로공사 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
US20220081004A1 (en) * 2020-09-15 2022-03-17 Tusimple, Inc. DETECTING AN UNKNOWN OBJECT BY A LEAD AUTONOMOUS VEHICLE (AV) AND UPDATING ROUTING PLANS FOR FOLLOWING AVs
US11987261B2 (en) 2020-09-15 2024-05-21 Tusimple, Inc. Detecting a road structure change by a lead autonomous vehicle (AV) and updating routing plans for the lead AV and following AVs
JP2022077757A (ja) * 2020-11-12 2022-05-24 本田技研工業株式会社 車両報知装置および車両報知システム
JP2022104397A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 車両の運転制御システム、及び、車両の管制装置
JP2023070231A (ja) * 2021-11-09 2023-05-19 ルネサスエレクトロニクス株式会社 衝突回避システムおよびそれを搭載した車両

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046426A (ja) * 2002-07-10 2004-02-12 Honda Motor Co Ltd 車両用警告システム
JP2009211397A (ja) * 2008-03-04 2009-09-17 Toyota Infotechnology Center Co Ltd 無線通信方法及び車両通信システム
JP2010102455A (ja) * 2008-10-22 2010-05-06 Tokai Rika Co Ltd 車両位置算出システム
JP2010272083A (ja) * 2009-05-25 2010-12-02 Denso Corp 車載通信装置および通信システム
JP2013228843A (ja) * 2012-04-25 2013-11-07 Clarion Co Ltd 車両情報通信システム
JP2016181031A (ja) * 2015-03-23 2016-10-13 株式会社デンソー 自動走行制御装置、又は、自動走行制御システム
JP2017188035A (ja) * 2016-04-08 2017-10-12 株式会社デンソー 運転支援システム
JP2018067880A (ja) * 2016-10-21 2018-04-26 株式会社デンソーテン 通信装置、車載システムおよび通信方法
JP2018513504A (ja) * 2015-02-10 2018-05-24 ライダー システムズ エルエルシーRidar Systems Llc 自動車に対する近接認識システム
JP2018097534A (ja) * 2016-12-12 2018-06-21 トヨタ自動車株式会社 工事関連情報推定システム
US20180304887A1 (en) * 2015-10-22 2018-10-25 Robert Bosch Gmbh Method and device for reducing a risk of a collision of a motor vehicle with an object

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639196B2 (ja) * 2000-08-07 2005-04-20 株式会社日立製作所 車両特定装置
CN1849613A (zh) * 2003-09-10 2006-10-18 皇家飞利浦电子股份有限公司 用于特征识别的设备和方法
JP2006318093A (ja) * 2005-05-11 2006-11-24 Mazda Motor Corp 車両用移動物体検出装置
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP4799236B2 (ja) * 2006-03-23 2011-10-26 富士重工業株式会社 車載表示システム
JP4614098B2 (ja) * 2006-03-28 2011-01-19 アイシン・エィ・ダブリュ株式会社 周辺状況認識装置及び方法
JP2008149786A (ja) * 2006-12-14 2008-07-03 Mazda Motor Corp 車両用運転支援装置及び車両用運転支援システム
US20120147188A1 (en) * 2009-09-03 2012-06-14 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP5565385B2 (ja) 2011-07-16 2014-08-06 株式会社デンソー 車両用無線通信装置および通信システム
KR101491256B1 (ko) * 2013-05-28 2015-02-06 현대자동차주식회사 무선통신을 이용한 차선인식 장치 및 방법
DE102013210729A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
CN104036275B (zh) * 2014-05-22 2017-11-28 东软集团股份有限公司 一种车辆盲区内目标对象的检测方法及其装置
US9842503B2 (en) * 2014-07-28 2017-12-12 Mitsubishi Electric Corporation Driving support apparatus and driving support method
CN104346955A (zh) * 2014-10-16 2015-02-11 浙江吉利汽车研究院有限公司 基于人车通信的行人避撞方法和避撞系统
JP2016101031A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 三相モータのステータ
JP2017097510A (ja) * 2015-11-20 2017-06-01 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
EP3425607A4 (en) * 2016-03-01 2019-04-10 Ricoh Company Ltd. MOBILE BODY MANAGEMENT DEVICE, MOBILE BODY MANAGEMENT METHOD, AND STORAGE MEDIUM
EP3273423B1 (en) * 2016-07-21 2019-03-13 Continental Automotive GmbH Device and method for a vehicle for recognizing a pedestrian
JP6478414B2 (ja) * 2016-09-13 2019-03-06 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
CN107554430B (zh) * 2017-09-20 2020-01-17 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046426A (ja) * 2002-07-10 2004-02-12 Honda Motor Co Ltd 車両用警告システム
JP2009211397A (ja) * 2008-03-04 2009-09-17 Toyota Infotechnology Center Co Ltd 無線通信方法及び車両通信システム
JP2010102455A (ja) * 2008-10-22 2010-05-06 Tokai Rika Co Ltd 車両位置算出システム
JP2010272083A (ja) * 2009-05-25 2010-12-02 Denso Corp 車載通信装置および通信システム
JP2013228843A (ja) * 2012-04-25 2013-11-07 Clarion Co Ltd 車両情報通信システム
JP2018513504A (ja) * 2015-02-10 2018-05-24 ライダー システムズ エルエルシーRidar Systems Llc 自動車に対する近接認識システム
JP2016181031A (ja) * 2015-03-23 2016-10-13 株式会社デンソー 自動走行制御装置、又は、自動走行制御システム
US20180304887A1 (en) * 2015-10-22 2018-10-25 Robert Bosch Gmbh Method and device for reducing a risk of a collision of a motor vehicle with an object
JP2017188035A (ja) * 2016-04-08 2017-10-12 株式会社デンソー 運転支援システム
JP2018067880A (ja) * 2016-10-21 2018-04-26 株式会社デンソーテン 通信装置、車載システムおよび通信方法
JP2018097534A (ja) * 2016-12-12 2018-06-21 トヨタ自動車株式会社 工事関連情報推定システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023124904A1 (de) 2022-09-21 2024-03-21 Subaru Corporation Erkennungsvorrichtung für den bereich vor einem fahrzeug und fahrzeugsteuereinheit

Also Published As

Publication number Publication date
JP7540338B2 (ja) 2024-08-27
US20220019813A1 (en) 2022-01-20
JPWO2020110915A1 (ja) 2021-10-14
CN113168767B (zh) 2023-08-15
DE112019005949T5 (de) 2021-08-19
CN113168767A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
WO2020110915A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
US10459440B2 (en) System and method for remotely assisting autonomous vehicle operation
EP3371668B1 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
JP6962926B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
JP7456442B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102419789B1 (ko) 자율주행차량 주행 우선순위 결정 방법 및 장치
US20130018572A1 (en) Apparatus and method for controlling vehicle at autonomous intersection
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP7548225B2 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
US20220095086A1 (en) Method and apparatus for indicating, obtaining, and sending automated driving information
JP2020095481A (ja) 車両の制御装置及び自動運転システム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
JP7537787B2 (ja) 衝突事故防止方法、その装置、そのサーバ及びそのコンピュータプログラム
CN111532276A (zh) 对自动化车辆的周围环境模型的再利用
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
WO2020213275A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7548224B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020100540A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2021006287A1 (ja) 異常検出装置と異常検出方法およびプログラムと情報処理システム
WO2020122057A1 (ja) 画像処理装置、画像処理方法および画像処理システム
JPWO2020136893A1 (ja) 通信システム、通信端末、制御方法、プログラム、およびプログラムを記憶する記憶媒体
KR102409498B1 (ko) 차량통행 우선정보 제공 시스템, 그리고 이를 위한 통행 우선정보 제공 서버
US20230206596A1 (en) Information processing device, information processing method, and program
WO2024161593A1 (ja) 監視システム、監視装置及び監視方法
KR20240032620A (ko) 자율주행 원격 지원 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19888531

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020557649

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19888531

Country of ref document: EP

Kind code of ref document: A1