WO2019103157A1 - データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2019103157A1
WO2019103157A1 PCT/JP2018/043584 JP2018043584W WO2019103157A1 WO 2019103157 A1 WO2019103157 A1 WO 2019103157A1 JP 2018043584 W JP2018043584 W JP 2018043584W WO 2019103157 A1 WO2019103157 A1 WO 2019103157A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
map
sensor
event
data
Prior art date
Application number
PCT/JP2018/043584
Other languages
English (en)
French (fr)
Inventor
片多 啓二
幸田 健志
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Publication of WO2019103157A1 publication Critical patent/WO2019103157A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data

Definitions

  • the present invention relates to a technology for acquiring peripheral information of a mobile body such as a vehicle.
  • Non-Patent Document 1 discloses a specification regarding a data format for collecting data detected by a sensor on the vehicle side by a cloud server.
  • data transmitted from the vehicle side is generally a feature (a road surface Road structures such as stop lines, lane markers, road accessories such as road signs and pedestrian crossings, structures such as buildings around roads, others such as vehicles on the road) and corresponding features described on the map Generated by reference.
  • a feature a road surface Road structures such as stop lines, lane markers, road accessories such as road signs and pedestrian crossings, structures such as buildings around roads, others such as vehicles on the road
  • the contents of the map will be different if the creation policy etc. is different.
  • the maps to be created are different in the case of a creation policy that emphasizes the absolute positional accuracy of individual features and the like and a creation policy that emphasizes the accuracy of the relative positional relationship between features.
  • the creation policy is the same, and even if it is a map with the same format, the contents differ because the location information changes due to the influence of the earth's crustal change depending on the time of creating the map. Therefore, since the data transmitted from the vehicle side is data dependent on the map referred to by the vehicle side, it is necessary to correct the data according to the referred map.
  • a plurality of types of sensors are mounted on the vehicle, and a plurality of types of maps Refer to As described above, the map is corrected and updated, so the version and creation date differ for each updated section.
  • the server apparatus When correcting the referred map, it is transmitted to the server apparatus along with the information related to the change point detected and the like of the detailed information of the plurality of maps that the vehicle referred (utilized).
  • the server device uses these information to correct / update the corresponding map.
  • a wireless communication means eg, a mobile telephone communication network
  • the present invention has been made to solve the above-described problems, and an information processing apparatus that collects information on detected objects from each moving body specifies information on a map used in each moving body. It is a main object of the present invention to provide an information transmission apparatus and an information processing apparatus that exchange data having a data structure that is suitable for the above.
  • the invention according to the claim is an information processing apparatus for collecting detected object information, which is information related to an object detected by a detection apparatus mounted on a moving object, wherein the map used when the detection apparatus detects the object It is a data structure of data transmitted to the information processing apparatus prior to collection of the detected object information in order to specify the information, and information on a map that the movable body can use when detecting the object, and Map identification information associated with the information on the map for identifying each of the maps available to the mobile object.
  • the invention described in the claims is an information transmitting apparatus, including map specifying information for specifying each of the maps stored in the storage unit, and information regarding the map specified by the map specifying information.
  • a storage unit for storing reference information, and a transmission unit for transmitting the reference information prior to the detected object information to an information processing apparatus for collecting detected object information which is information on an object detected for each moving object; Have.
  • the invention described in the claims is an information processing apparatus for collecting, from a moving object, detected object information which is information related to a detected object, and map specification for specifying each of maps which can be used by the moving object.
  • a receiving unit for receiving, from the mobile unit, reference information including information and information on a map specified by the map specifying information; and for each mobile unit that has transmitted the reference information, the reference information received by the receiving unit.
  • a storage unit for storing.
  • the invention described in the claims is a control method executed by the information transmitting apparatus, which is map specification information for specifying each of the maps stored in the storage unit, and a map specified by the map specification information. And transmitting, prior to the detected object information, an information processing apparatus that collects detected object information that is information related to an object detected for each moving object.
  • the invention described in the claims is a control method executed by an information processing apparatus that collects, from a moving object, detected object information that is information related to a detected object, and identifies each of the maps that can be used by the moving object.
  • the information processing apparatus for collecting detected object information which is information on an object detected by a detection device mounted on a mobile object, is used when the detection apparatus detects the object.
  • a map it is a data structure of data received prior to acquisition of the detected object information, and information about a map that the mobile can use when detecting the object, and the mobile use Map identification information associated with information about the map for identifying each of the possible maps.
  • the block configuration of a terminal unit and a server unit is shown. It is the block diagram which showed the processing outline which a terminal unit performs.
  • the specific example of the data structure of a map reference table and a sensor reference table is shown.
  • the specific example of the data structure of a platform reference table and an algorithm reference table is shown.
  • An overview of the data structure of upload information is shown.
  • 7 shows a data structure of vehicle metadata. Indicates the data structure of an object recognition event.
  • 7 shows a data structure of a position estimation event.
  • the correspondence table regarding the data structure and media type of media information is shown. It is a flowchart of upload information transmission processing. It is a flowchart of a detection process of a position estimation event.
  • the example of the map reference table which a server apparatus holds, and the map reference table which reflected the newest state is shown. It is a flowchart of the upload information reception process which concerns on 2nd Example. It is a flowchart of reference table retransmission processing according to the second embodiment.
  • an information processing apparatus for collecting detected object information, which is information on an object detected by a detection apparatus mounted on a mobile object, when the detection apparatus detects the object It is a data structure of data transmitted to the information processing apparatus prior to collection of the detected object information in order to specify the map which has been sent, and information related to the map that the movable body can use when detecting the object And map specifying information associated with the information on the map for specifying each of the maps available to the mobile object.
  • an object detected by the detection device is not limited to an object detected by the detection device performing detection processing alone, and another device performs predetermined analysis processing on output data of the detection device. The object detected by doing is also included.
  • a map that can be used by a mobile unit is not limited to a map that can be used (referenced) by the control unit of the mobile unit and the like, and a device mounted on the mobile unit (for example Also included are maps available for processing devices.
  • the information processing apparatus receives the map specifying information together with the detected object information from the moving body by referring to the data having such a data structure, the information processing apparatus preferably specifies the map used to generate the detected object information. Can. Therefore, it is possible to preferably reduce the amount of data communication when transmitting information related to the map used by the mobile unit to the information processing apparatus.
  • the information on the map is information on a version, a format, a vendor, and / or a name of the map.
  • the information processing apparatus corrects the detected object information transmitted from the moving body by referring to the data having such a data structure, when the information transmitted from the moving body includes the map specifying information. It is possible to preferably identify the map information required for the
  • the data structure is transmitted to the information processing apparatus before transmission of the detected object information, and further includes attribute information on the mobile object.
  • the mobile object can preferably notify the information processing apparatus of the information indicating the correspondence between the map specification information and the information related to the map, together with the attribute information of the mobile object, before transmitting the detected object information.
  • the information transmitting apparatus includes map specifying information for specifying each of the maps stored in the storage unit, and information on the map specified by the map specifying information. And a transmitting unit for transmitting the reference information prior to the detected object information to an information processing apparatus for collecting the detected object information which is information on an object detected for each moving object. And.
  • the information transmitting apparatus prior to the transmission of the detected object information, the information transmitting apparatus preferably notifies the information processing apparatus of the correspondence between the information on the usable map and the map specifying information for specifying the map. Can.
  • the information transmitting apparatus can preferably notify the information processing apparatus of the information related to the used map, for example, by map specifying information while suppressing an increase in the amount of data communication.
  • the transmitting unit after the transmission of the reference information, includes detected object information on a detected object, and map specifying information for specifying a map used when detecting the object. , To the information processing apparatus.
  • the information transmitting apparatus can suitably reduce the amount of data communication when notifying the information processing apparatus of the information of the map used to generate the detected object information.
  • the transmission unit may transmit the reference information when establishing communication with the information processing apparatus.
  • an information processing apparatus for collecting, from a moving object, detected object information which is information related to a detected object, for identifying each of maps usable by the moving object.
  • a receiver that receives, from the mobile unit, reference information including the map specific information on the map and information related to the map specified by the map specific information, and the reference information received by the receiver is transmitted to the reference information
  • a storage unit for storing data for each body.
  • the information processing apparatus can appropriately recognize, for each mobile unit, the correspondence between the information on the usable map and the map specifying information for specifying the map.
  • the storage unit stores the reference information in association with identification information of the mobile unit or identification information of communication connection with the mobile unit. According to this aspect, the information processing apparatus can store the reference information so that the reference information corresponding to the mobile object to be communicated can be identified accurately.
  • the receiving unit after receiving the reference information, receives the detected object information and the map identification information from a moving body that has transmitted the reference information, and the information processing apparatus
  • the apparatus further includes an identification unit that identifies information related to the map used when detecting the object based on the map identification information and the reference information.
  • the information processing apparatus transmits, together with the detected object information, the information related to the map used when detecting the object by referring to the reference information received from the moving object which is the transmission source of the detected object information. It can identify suitably based on map specific information.
  • the information processing apparatus further includes a correction unit that corrects the detected object information based on information on the map specified by the specification unit.
  • the information processing apparatus can suitably acquire detected object information which does not depend on the specification or the like of the map referred to at the time of generation of the detected object information.
  • a control method to be executed by the information transmitting apparatus the map specifying information for specifying each of the maps stored in the storage unit and the map specifying information. Transmitting, prior to the detected object information, the reference information including the information related to the detected map to the information processing apparatus that collects the detected object information that is information related to the object detected for each moving object .
  • the information transmitting apparatus can notify the information processing apparatus of the information related to the used map by the map specifying information while suppressing an increase in the amount of data communication.
  • a program causes a computer to execute the control method described above.
  • the computer functions as the above-described information transmitting apparatus or information processing apparatus by executing this program.
  • the program is stored in a storage medium.
  • an information processing apparatus for collecting detected object information, which is information on an object detected by a detection apparatus mounted on a moving object, detects the object when the detection apparatus detects the object A data structure of data received prior to acquisition of the detected object information in order to specify the map used in the information, the information related to the map that the movable body can use when detecting the object, and the movement Map identification information associated with the information on the map for identifying each of the maps available to the body.
  • the information processing apparatus receives data having such a data structure, it preferably specifies the map used to generate the detected object information when the map specifying information is received from the moving object together with the detected object information. Can.
  • FIG. 1 is a schematic configuration of a data acquisition system according to the first embodiment.
  • the data collection system includes a terminal device 1 that moves with each vehicle that is a mobile body, and a server device 2 that communicates with each terminal device 1 via a network. Then, the data collection system updates the map held by the server device 2 based on the information transmitted from each terminal device 1.
  • map includes data used for ADAS (Advanced Driver Assistance System) and automatic operation.
  • the terminal device 1 establishes a communication session with the server device 2 and transmits upload information “Iu” to the server device 2.
  • the terminal device 1 when establishing a communication session with the server device 2, the terminal device 1 includes the attribute information and the like of the vehicle on which the terminal device 1 is mounted in the upload information Iu and transmits it to the server device 2.
  • the terminal device 1 detects a predetermined event based on the output of the sensor unit 7 including a camera and a lidar (LIDAR: Laser Illuminated Detection and Ranging, Laser Imaging Detection and Ranging or LiDAR: Light Detection and Ranging), etc.
  • information regarding the detected event also called “event information” is included in the upload information Iu and transmitted to the server device 2.
  • the above-mentioned events include, for example, an "object recognition event” which is an event related to recognition of an object (object) around the vehicle position.
  • the terminal device 1 When transmitting the upload information Iu including event information to the server device 2, the terminal device 1 adds, to the upload information Iu, information specifying the map, sensor, etc. used at the time of event detection such as object detection, as described later. .
  • the data structure of the upload information Iu will be described later.
  • An external sensor such as a lidar is an example of a detection device, and an external sensor used to generate position information, a GPS receiver, an autonomous positioning device such as a gyro sensor, and the like are an example of a position detection device.
  • the terminal device 1 may be an on-vehicle device attached to the vehicle or a part of the on-vehicle device, or may be a part of the vehicle. Alternatively, as long as the sensor unit 7 can be connected, it may be a portable terminal device such as a notebook PC.
  • the terminal device 1 is an example of an information transmission device.
  • the server device 2 receives the upload information Iu from each terminal device 1 and stores it. For example, based on the collected upload information Iu, the server device 2 detects a change portion (change point) from the creation reference time point of map data described later, and updates map data for reflecting the detected change point, etc. Do.
  • the server device 2 is an example of an information processing device.
  • FIG. 2A shows a block diagram showing a functional configuration of the terminal device 1.
  • the terminal device 1 mainly includes a communication unit 11, a storage unit 12, an input unit 13, a control unit 14, an interface 15, and an output unit 16.
  • the elements in the terminal device 1 are mutually connected via a bus line 98.
  • the communication unit 11 transmits the upload information Iu to the server device 2 or receives map data for updating the map DB 4 from the server device 2 based on the control of the control unit 14. In addition, the communication unit 11 may perform processing of transmitting a signal for controlling the vehicle to the vehicle, and processing of receiving a signal regarding the state of the vehicle from the vehicle.
  • the storage unit 12 stores a program executed by the control unit 14 and information necessary for the control unit 14 to execute a predetermined process.
  • the storage unit 12 stores a plurality of map DBs 4, a sensor data cache 6, vehicle attribute information "IV”, and a plurality of reference tables "RT".
  • the map DB 4 is a database including, for example, road data, facility data, and feature information around the road.
  • Road data includes lane network data for route search, road shape data, traffic regulation data, and the like.
  • the feature information includes information such as a signboard such as a road sign, a road marking such as a stop line, a road division line such as a center line, and a structure along a road.
  • the feature information may include high-precision point cloud information of a feature to be used for vehicle position estimation.
  • various data necessary for position estimation may be stored in the map DB 4.
  • the storage unit 12 may store a plurality of map DBs 4 divided according to data types (road data, facility data, feature information), and uses (for guidance, for automatic driving, for fault detection)
  • a plurality of map DBs 4 divided into, for example, may be stored.
  • the sensor data cache 6 is a cache memory that temporarily holds output data (so-called raw data) of the sensor unit 7.
  • the vehicle attribute information IV indicates information about the attribute of a vehicle equipped with the terminal device 1 such as the type of vehicle, vehicle ID, vehicle length, vehicle width, vehicle height, fuel type of vehicle, and the like.
  • the reference table RT is identification information for reference (also referred to as “reference ID”) for each of the map DB 4, an external sensor of the sensor unit 7, a platform usable by the control unit 14, and an algorithm executed by the control unit 14. Is a table in which each attribute information is associated with each other.
  • the reference table RT is transmitted to the server device 2 as the upload information Iu together with the vehicle attribute information IV immediately after establishment of the communication session between the terminal device 1 and the server device 2. Then, when the server apparatus 2 receives the upload information Iu including the event information, the reference table RT uses the reference ID included in the event information to transmit information, etc. of the map DB 4 and sensor used at the time of event detection. Is referenced to identify. The details of the reference table RT will be described in detail in the [data structure] section.
  • the input unit 13 is a button operated by the user, a touch panel, a remote controller, a voice input device, etc. For example, an input for specifying a destination for a route search, an input for specifying on / off of automatic operation, etc. And supplies the generated input signal to the control unit 14.
  • the output unit 16 is, for example, a display, a speaker, or the like that performs output based on control of the control unit 14.
  • the interface 15 performs an interface operation for supplying output data of the sensor unit 7 to the control unit 14 and the sensor data cache.
  • the sensor unit 7 includes a plurality of external sensors for recognizing the surroundings of the vehicle such as the lidar 31 and the camera 32, and internal sensors such as the GPS receiver 33, the gyro sensor 34, the position sensor 35, and the three-axis sensor 36. Including.
  • the lidar 31 discretely measures the distance to an object present in the outside world, recognizes the surface of the object as a three-dimensional point group, and generates point group data.
  • the camera 32 generates image data captured from a vehicle.
  • the position sensor 35 is provided to detect the position of each external sensor, and the three-axis sensor 36 is provided to detect the attitude of each external sensor.
  • the sensor unit 7 may have any external sensor and internal sensor other than the external sensor and the internal sensor shown in FIG. 2A.
  • the sensor unit 7 may include an ultrasonic sensor, an infrared sensor, a microphone or the like as an external sensor.
  • An optional external sensor included in the sensor unit 7 functions as a detection device.
  • the control unit 14 includes a CPU or the like that executes a predetermined program on one or more platforms, and controls the entire terminal device 1.
  • the control unit 14 functionally includes a position estimation unit 17, an object detection unit 18, and an upload data generation unit 19.
  • the control unit 14 functions as a generation unit, a transmission unit, a determination unit, a computer that executes a program, and the like.
  • FIG. 3 is a block diagram showing an outline of processing of the position estimation unit 17, the object detection unit 18, and the upload data generation unit 19 of the terminal device 1.
  • the position estimation unit 17 estimates the vehicle position (including the attitude of the vehicle) based on the output data of the sensor unit 7 held in the sensor data cache 6 and the map DB 4.
  • the position estimation unit 17 can execute various position estimation methods.
  • the position estimation unit 17 further collates the road data of the map DB 4 with the autonomous navigation, for example, a method of estimating the vehicle position by dead reckoning (autonomous navigation) based on the outputs of self-standing positioning sensors such as the GPS receiver 33 and the gyro sensor 34, etc.
  • Vehicle position estimation method for performing processing the land indicated by the output data of external sensors such as the lidar 31 and the camera 32 and the feature information of the map DB 4 on the basis of a predetermined object (landmark) existing around A vehicle position estimation method or the like based on position information of the mark is executed.
  • the position estimation unit 17 executes the position estimation method with the highest estimation accuracy among the currently executable position estimation methods, and indicates the vehicle position and the like obtained based on the executed position estimation method.
  • the position information is supplied to the upload data generation unit 19.
  • the position estimation unit 17 includes information specifying the executed position estimation method in the vehicle position information and supplies the information to the upload data generation unit 19.
  • the object detection unit 18 detects a predetermined object based on point cloud information, image data, audio data, and the like output from the sensor unit 7.
  • the object detection unit 18 extracts feature information corresponding to the object detected by the sensor unit 7 from the map DB 4 based on the vehicle position estimated by the position estimation unit 17. Then, when there is a difference between the position and the shape of the object detected by the sensor unit 7 and the position and the shape of the object indicated by the feature information extracted from the map DB 4, the object detection unit 18 When the corresponding feature information does not exist, the information on the object detected by the sensor unit 7 (also referred to as “object data”) is supplied to the upload data generation unit 19.
  • the object detection unit 18 detects a specific object regardless of whether the object detected by the sensor unit 7 and the object indicated by the feature information of the map DB 4 have a difference in shape, position, or the like.
  • the object data regarding the object may be supplied to the upload data generation unit 19. For example, when the object detection unit 18 recognizes the content, shape, position, etc. of the road sign based on the output of the sensor unit 7, or when it recognizes the position, shape, etc. of the lane boundary (ie, division line etc.). These recognition results may be supplied to the upload data generation unit 19 as object data.
  • the upload data generation unit 19 receives the vehicle position information supplied from the position estimation unit 17, the object data supplied from the object detection unit 18, and the output data of the sensor unit 6 supplied from the sensor data cache 6 Based on the data) and the reference table RT, the upload information Iu is generated. Then, the upload data generation unit 19 transmits the generated upload information Iu to the server device 2 by the communication unit 11. For example, when a communication session with the server device 2 is established, the upload data generation unit 19 generates the upload information Iu including the vehicle attribute information IV and the reference table RT, and the communication unit 11 generates the generated upload information Iu.
  • the upload data generation unit 19 determines that an event has occurred based on the vehicle position information and the object data, the upload data generation unit 19 generates event information related to the event, and the upload unit Iu including the event information is transmitted to the server device by the communication unit 11 Send to 2
  • the event detected by the upload data generation unit 19 in the present embodiment relates to the recognition of the boundary of the lane, the "position estimation event” which is an event related to the estimation of the vehicle position, in addition to the "object recognition event” described above.
  • FIG. 2B is a block diagram showing a functional configuration of the server device 2.
  • the server device 2 mainly includes a communication unit 21, a storage unit 22, and a control unit 23.
  • the elements in the server device 2 are connected to one another via a bus line 99.
  • the communication unit 21 receives upload information Iu from each terminal device 1 or transmits map data for updating the map DB 4 to each terminal device 1 based on the control of the control unit 23.
  • the storage unit 22 stores a program executed by the control unit 23 and information necessary for the control unit 23 to execute a predetermined process.
  • the storage unit 22 stores a distribution map DB 5, a reference table DB 8, and an event information DB 9.
  • the distribution map DB 5 is map data for distributing to each terminal device 1, and is updated based on event information etc. included in the upload information Iu received from each terminal device 1. Similar to the map DB 4, the distribution map DB 5 stores various data used in automatic driving, ADAS, etc., such as road data, facility data, and feature information around the road.
  • Reference table DB8 is a database which memorized reference table RT contained in upload information Iu received from each terminal unit 1 for every vehicle.
  • the reference table RT may be associated with the vehicle ID of the vehicle that is the transmission source, and may be associated with the session ID of the communication session established at the time of transmission of the reference table RT.
  • the event information DB 9 is a database in which event information included in the upload information Iu received from each terminal device 1 is recorded. The data recorded in the event information DB 9 is used, for example, for updating the distribution map DB 5, and is reflected on the distribution map DB 5 after predetermined statistical processing, verification processing, and the like are performed.
  • the control unit 23 includes a CPU or the like that executes a predetermined program, and controls the entire server device 2.
  • the control unit 23 registers the reference table RT in the reference table DB 8 for each vehicle.
  • the control unit 23 receives the upload information Iu including the event information from the terminal device 1 by the communication unit 21, the control unit 23 refers to the reference table RT registered in the reference table DB 8, thereby the terminal device 1 of the transmission source. Identifies the map, sensors, platforms, and attribute information etc. about the algorithm used for event detection.
  • the control unit 23 corrects the event information included in the upload information Iu and adds the reliability based on the specified map, sensor, platform, and attribute information on the algorithm, etc. (for example, a map of a specific vendor Set the reliability low, or correct the event information if there is a known error, etc.), register the event information after the correction or the addition of the reliability, etc. in the event information DB 9 .
  • the control unit 23 prevents errors or the like based on differences in maps, sensors, platforms, and algorithms used when each terminal device 1 detects an event.
  • Update the distribution map DB 5 suitably.
  • the control unit 23 functions as a reception unit, a specification unit, a correction unit, a processing unit, a conversion unit, a computer that executes a program, and the like.
  • each reference table RT transmitted by the terminal device 1 to the server device 2 will be described.
  • FIG. 4A shows a specific example of the data structure of a reference table RT (also referred to as "map reference table RTM") related to a map.
  • the map reference table RTM is a table in which the map DB 4 stored by the terminal device 1 is listed, and includes items of “reference map ID”, “vendor”, “format”, and “version”.
  • the “reference map ID” is a reference ID assigned to each map DB 4 stored in the terminal device 1.
  • a serial number from 0 is assigned as the reference map ID.
  • Reference map ID is an example of map specific information.
  • “Vendor” is information (for example, a company name or the like) for specifying a map vendor (manufacturer) corresponding to each reference map ID.
  • "Format” is information for specifying the data format of the map corresponding to each reference map ID.
  • "Version” is information for identifying the version of the map corresponding to each reference map ID. For example, in the example of FIG.
  • map DB4 of reference map ID "1" shows that it is a map of version "3" manufactured by “vendor B” and formatted by “format Yf". ing.
  • the map DB 4 with the reference map ID “1” and the map DB 4 with the reference map ID “2” are manufactured by the “vendor B” that is the same vendor, and the format and version are different.
  • the items of the map reference table RTM are not limited to “reference map ID”, “vendor”, “format”, and “version”, and items indicating the map name (including model number) may be provided.
  • an item indicating map type information such as a white line map which is map information of a white line on a road as a type and use of a map, a sign map obtained by converting only signs to map data, etc. may be provided.
  • the terminal device 1 may store the map reference table RTM in advance in the storage unit 12 or may automatically generate or update the map reference table RTM at a predetermined timing.
  • the terminal device 1 refers to the attribute information or the like added to the map DB 4 stored in the storage unit 12 at a predetermined timing such as when the vehicle is started, for example. It recognizes the format, version, etc. and automatically generates a map reference table RTM.
  • the map reference table RTM is an example of reference information.
  • the terminal device 1 stores the map reference table RTM shown in FIG. 4A, and transmits it to the server device 2 in association with the vehicle ID when establishing a communication session. Then, when an event is detected, the terminal device 1 includes the reference map ID corresponding to the map DB 4 used for the event detection in the event information and transmits it to the server device 2 together with the vehicle ID.
  • the server device 2 preferably specifies the vendor, format, and version of the referenced map from the reference map ID included in the event information. can do.
  • the terminal device 1 may include the reference map ID as information such as the vendor, the format, and the version of the map DB 4 used for the event detection in the event information transmitted to the server device 2 each time the event is detected. Therefore, the amount of communication can be suitably reduced as compared with the case where the information such as the vendor, the format, and the version of the map DB 4 is directly included in the event information.
  • the necessity of notifying the server device 2 of each piece of information such as the vendor, the format, and the version of the map referred to by the terminal device 1 will be supplementarily described.
  • the map creation policy differs depending on the vendor (map company), and when the creation policy differs, the contents of the map also differ. For example, in the case of a creation policy that emphasizes absolute positional accuracy of individual features etc. and a creation policy that emphasizes the accuracy of relative positional relationship between features, the maps created are different It becomes. Similarly, if the data format of the maps is different, even if they are created by the same vendor, the created maps have different parts depending on the data format. Therefore, even if the latitude and longitude are the same, when referring to maps created by different vendors or data formats, the pointing position may be different.
  • the terminal device 1 notifies the server device 2 of the vendor, format, and version information of the map DB 4 referred to at the time of event detection by including the reference map ID in the event information.
  • the server device 2 performs correction processing (normalization processing) necessary for application to the distribution map DB 5 on the position information of the object included in the event information, etc. .
  • the server device 2 is suitable for updating the distribution map DB 5 even when there is a difference between the creation policy and the data format of the map DB 4 referred to by the terminal device 1 and the distribution map DB 5 to be updated.
  • Event information can be corrected and collected to be data. Alternatively, only event information applicable to the map data format to be updated can be selected and used.
  • FIG. 4 (B) shows a specific example of the data structure of a reference table RT (also referred to as “sensor reference table RTS”) relating to a sensor.
  • the sensor reference table RTS is a table listing the external sensors of the sensor unit 7 that may be used for event detection, and includes “reference sensor ID”, “type”, “vendor”, “model”, “FW version” , “Sensor offset”, “Sensor direction”, “Vertical viewing angle”, and “Horizontal viewing angle”.
  • the “reference sensor ID” is a reference ID assigned to the external sensor of the sensor unit 7 used for event detection, and in the example of FIG. 4B, a serial number from 0 is assigned as the reference sensor ID. ing.
  • the “reference sensor ID” is an example of device identification information.
  • “Type” is information for identifying the type of sensor corresponding to each reference sensor ID. Here, outside sensors of a rider, a camera, a radar, and an ultrasonic sensor are listed as “types”.
  • “Vendor” is information (for example, a company name or the like) for identifying a vendor (manufacturer) of a sensor corresponding to each reference sensor ID.
  • “Model” is information for identifying a model of a sensor corresponding to each reference sensor ID.
  • the “model” may be any information that specifies sensor hardware, such as a model number.
  • the “FW version” is information for identifying the version of firmware of the sensor corresponding to each reference sensor ID.
  • “Sensor offset” is information for specifying the position of the sensor corresponding to each reference sensor ID from the center of the vehicle. The above-mentioned position is specified based on the output of the position sensor 35, for example.
  • “Sensor direction” is information specifying the relative direction of the sensor corresponding to each reference sensor ID with respect to the vehicle. The above-mentioned relative direction is specified based on the output of the three-axis sensor 36, for example.
  • the “vertical viewing angle” and the “horizontal viewing angle” are information specifying the vertical viewing angle and the horizontal viewing angle of the sensor corresponding to each reference sensor ID.
  • Information specified in “type”, “vendor”, “model”, “sensor offset”, “sensor direction”, “vertical viewing angle” and “horizontal viewing angle” is an example of detection device information, “FW The information specified by “Version” is an example of firmware information.
  • the sensor reference table RTS the sensor type, vendor, model, firmware version, installation position, installation direction, and viewing angle for each sensor of the sensor unit 7 which may be used for event detection
  • Each information (that is, information on hardware and software etc. of the sensor) is associated with the reference sensor ID.
  • the terminal device 1 may store in advance the sensor reference table RTS illustrated in FIG. 4B in the storage unit 12 or may automatically generate or update the sensor reference table RTS at a predetermined timing. In the latter case, for example, the terminal device 1 communicates with each sensor of the sensor unit 7 at a predetermined timing such as when the vehicle is started, to thereby identify the sensor type, hardware, software (firmware), installation position, and the like. Information on the installation direction and the viewing angle is acquired, and a sensor reference table RTS as shown in FIG. 4B is generated.
  • the sensor reference table RTS is an example of reference information.
  • the terminal device 1 stores such a sensor reference table RTS, transmits it to the server device 2 in association with the vehicle ID when establishing a communication session. Then, at the time of event detection, the terminal device 1 includes the reference sensor ID corresponding to the sensor used for event detection in the event information and transmits it to the server device 2 together with the vehicle ID.
  • the server device 2 preferably specifies information related to the sensor used at the time of event detection from the reference sensor ID included in the event information. be able to. Therefore, in this case, the terminal device 1 does not need to directly include each piece of information such as the type of sensor used for event detection in the event information transmitted to the server device 2 each time an event is detected. Can be reduced to
  • the terminal device 1 notifies the server device 2 of each type of sensor type, vendor, model, firmware version used at the time of event detection by including the reference map ID in the event information. Do. Then, the server device 2, for example, based on information such as the type, model, firmware, etc. of the specified sensor, position information etc. included in the event information, correction processing (normalization processing) required when applying to the distribution map DB 5 Do against
  • the correction unit of the control unit 23 included in the server device 2 recognizes the position of the object by the rider of the specific model compared to the recognition by the sensors of other vendors (described later) If it is found that it tends to recognize the offset position (indicated by the offset position), the information on the position of the object obtained from the lidar of the specific model is corrected to a position slightly distant. Can.
  • the correction unit of the control unit 23 may correct the type of the object (represented by the object type described later) by reflecting the proficiency of the object identification according to the sensor type (type) and the unfair hand. it can.
  • the camera can easily identify the gender of the human, while the rider is not good at identifying the gender. Therefore, even if “female” is identified as the object recognition result using the lidar, highly reliable data can be obtained by correcting the recognition result to "human” unrelated to gender.
  • the server apparatus 2 can correct
  • each piece of information such as the type of sensor described above is closely related to the reliability of the information detected by the sensor. Therefore, for example, the server device 2 can also determine the reliability of the received event information based on each information such as the type of sensor specified by referring to the sensor reference table RTS. For example, when it is known that the variation in performance and the measurement error of a specific sensor are large, it is possible to process the data generated using the sensor with low reliability. Therefore, the server device 2 previously stores, for example, a table in which each piece of information such as the type of sensor is associated with the information on the reliability.
  • the server device 2 when the server device 2 receives the event information to which the sensor reference ID is added, the above-described table regarding the reliability is based on each information such as the type of sensor specified from the sensor reference ID using the sensor reference table RTS. Etc. to determine the reliability of the received event information.
  • the server device 2 regards, for example, an object detection result indicated by event information whose determined reliability is a predetermined value or more as sufficiently reliable information, without performing statistical processing with other event information, etc. , And promptly respond to the distribution map DB5.
  • the server device 2 determines the reliability of the event information further considering weather information indicating the weather at the position of the terminal device 1 in addition to each information such as the type of sensor used at the time of event detection. You can also For example, the server apparatus 2 raises the reliability of event information based on the output of the rider in the case of cloudy weather than in the case of fine weather or rain. In another example, the server device 2 raises the reliability of event information based on the output of the camera when it is sunny, rather than when it is cloudy or rainy.
  • the server device 2 may receive from the server that manages the weather at each point the weather information of the position indicated by the position information included in the upload information Iu transmitted from the terminal device 1;
  • the weather information on the position of the terminal device 1 may be estimated by receiving the output of the sensor unit 7 such as a sensor from the terminal device 1.
  • the server device 2 may determine the reliability of the event information further considering the time zone at the time of generation of the event information. In this case, for example, the server device 2 lowers the reliability of event information generated based on the output of the camera in the nighttime than in the daytime.
  • FIG. 5A shows a specific example of the data structure of a reference table RT (also referred to as “platform reference table RTP”) related to a platform on which the control unit 14 of the terminal device 1 executes a program or the like.
  • the platform reference table RTP is a table listing the platforms that may be used at the time of event detection, and each item of “reference platform ID”, “vendor”, “HW model”, “FW version”, “SW version” including.
  • “platform” is hardware on which a program for executing object recognition, for example, the control unit 14 of the terminal device 1 operates, firmware for controlling the hardware, and basic software executed on the hardware.
  • An operating system (OS) refers to a basic configuration for performing object recognition.
  • Reference platform ID is a reference ID assigned to a platform that may be used at the time of event detection, and in the example of FIG. 5A, a serial number from 0 is assigned as a reference platform ID.
  • Vendor is information identifying the vendor of the platform corresponding to each reference platform ID
  • HW model is information of the hardware model of the platform corresponding to each reference platform ID.
  • FW version is information of the firmware version of the platform corresponding to each reference platform ID
  • SW version is information of the software version of the platform (that is, operating system) corresponding to each reference platform ID It is.
  • each piece of information for identifying platform attributes is associated with a reference platform ID.
  • the terminal device 1 may store the platform reference table RTP in advance in the storage unit 12 as in the map reference table RTM and the sensor reference table RTS, and may automatically generate or update the platform reference table RTP at a predetermined timing. In the latter case, the terminal device 1 may add a record representing platform information installed at the time of platform installation to the platform reference table RTP.
  • the platform reference table RTP is an example of reference information.
  • the terminal device 1 stores such a platform reference table RTP, and transmits it to the server device 2 in association with the vehicle ID when establishing a communication session. Then, at the time of event detection, the terminal device 1 includes the reference platform ID corresponding to the platform used for event detection in the event information and transmits it to the server device 2 together with the vehicle ID.
  • the server device 2 preferably specifies attribute information on the platform used at the time of event detection from the reference platform ID included in the event information. can do.
  • the terminal device 1 may include the reference platform ID as the information such as the vendor of the platform used for the event detection in the event information transmitted to the server device 2 each time the event is detected. Can be suitably reduced because it is not necessary to directly include. Then, for example, the server device 2 corrects the event information to which the reference platform ID is added or / or to the event information based on each information of the platform specified from the reference platform ID with reference to the platform reference table RTP. Add reliability etc. As a correction of the above-mentioned event information, for example, when there is a bug in which an object is erroneously recognized in a specific platform, the correction unit of the control unit 23 included in the server device 2 corrects can do.
  • the server device 2 may obtain information on "male” or “female” objects recognized under the platform, Reliable data can be obtained by correcting to "human” information that is not related to gender.
  • the correction unit of the control unit 23 can set the reliability lower for the information of the recognition result of the object recognized on the basis of the specific platform.
  • FIG. 5B shows a specific example of the data structure of a reference table RT (also referred to as “algorithm reference table RTA”) related to an algorithm executed by the control unit 14 of the terminal device 1.
  • the algorithm reference table RTA is a table listing algorithms that the control unit 14 may use when detecting each event such as a position estimation event, an object recognition event, a lane boundary recognition event, etc. “Type”, “vendor”, “ Includes each item of "Version”.
  • Reference algorithm ID is a reference ID assigned to an algorithm that may be used at the time of event detection, and in the example of FIG. 5B, a serial number from 0 is assigned as a reference algorithm ID.
  • Type is information indicating the type of algorithm corresponding to each reference algorithm ID. In the present embodiment, the “type” includes information on types within the category (scheme A, scheme B, etc.) in addition to information on categories of algorithms such as position estimation and object recognition.
  • “Vendor” is information specifying a vendor that provides software for realizing an algorithm corresponding to each reference algorithm ID, and “Version” is information specifying a version of the software.
  • each piece of information on an algorithm executed at the time of generation of event information is associated with a reference algorithm ID.
  • the algorithm reference table RTA may be a separate table for each category of algorithm.
  • the algorithm reference table RTA may be composed of a plurality of tables including a table for position estimation, a table for object recognition, and a table for lane boundary recognition.
  • the terminal device 1 may store the algorithm reference table RTA in the storage unit 12 in advance, and may update the algorithm reference table RTA based on the information of software installed when the software of the corresponding algorithm is installed.
  • the algorithm reference table RTA is an example of reference information.
  • the terminal device 1 stores the algorithm reference table RTA shown in FIG. 5 (B), and transmits it to the server device 2 when establishing a communication session. Then, at the time of event detection, the terminal device 1 includes, in the event information, a reference algorithm ID corresponding to the algorithm used for event detection, and transmits the event information to the server device 2.
  • the server device 2 preferably specifies the information of the algorithm used at the time of generating the event information from the reference algorithm ID included in the event information. can do.
  • the terminal device 1 may include the reference algorithm ID as the information on the algorithm used for the event detection in the event information transmitted to the server device 2 each time the event is detected, and directly includes each information on the algorithm Since it is not necessary, the amount of communication can be suitably reduced.
  • the accuracy and reliability of the processing result differ depending on the algorithm to be applied.
  • object detection etc. there are cases where there are objects that can be suitably detected by the algorithm to be applied and objects that can not be detected accurately by the algorithm, and updating of the distribution map DB 5 correctly taking into consideration such a case
  • information on the algorithm to be applied is required.
  • the terminal device 1 notifies the server device 2 of each piece of information on the algorithm used at the time of event detection by including the reference algorithm ID in the event information.
  • the server apparatus 2 can use suitably the information regarding an algorithm, for example for the calculation process of the reliability of received event information, etc.
  • the reliability for the recognition result is It can be set low.
  • FIG. 6 is a diagram showing an overview of the data structure of the upload information Iu transmitted by the terminal device 1.
  • the upload information Iu includes header information, travel route information, event information, and media information.
  • the header information corresponds to "Envelope" of the here specification
  • the travel route information corresponds to "Path” of the here specification
  • the event information corresponds to "Path Events” of the here specification
  • the media Information corresponds to "Path Media” in the here specification.
  • the header information includes the items of “Version (Version)”, “Sender (Submitter)”, and “Vehicle Metadata (vehicleMetaData)”.
  • the English notation in parentheses indicates the name in the here specification.
  • the terminal device 1 specifies the version of the data structure version of the upload information Iu to be used in "Version”, and the company name (the OEM name of the vehicle or the system vendor for transmitting the upload information Iu in "Sender") Specify the name information.
  • the terminal device 1 designates each information of vehicle attribute information IV, and the information of reference table RT to "vehicle metadata" so that it may mention later.
  • the travel route information includes an item of “Position Estimate”.
  • the English notation in parentheses indicates the name in the here specification.
  • position estimation as will be described later with reference to FIG. 7, the information on estimated latitude, longitude, altitude, and estimation accuracy thereof, as well as time stamp information indicating the time of position estimation, will be described later.
  • time stamp information indicating the time of position estimation
  • Event information includes items of "position estimation event”, "object recognition event (Object Detection)", “sign recognition event (Sign Recognition)”, and “lane boundary recognition event” (Lane Boundary Recognition). .
  • position estimation event indicates the name in the here specification, and the “position estimation event” indicates an item newly added by the applicant.
  • the terminal device 1 When the terminal device 1 detects a position estimation event, the terminal device 1 designates the information as the detection result as the “position estimation event”. In the "position estimation event”, for example, information on an algorithm or the like applied to position estimation is specified as described later with reference to FIG. Further, when the terminal device 1 detects an object recognition event, the terminal device 1 specifies information to be a detection result as an “object recognition event”.
  • the terminal device 1 designates the information used as the detection result as a "label recognition event”, when a label recognition event is detected.
  • label recognition event for example, information on the recognition result of the label when the label is detected is specified.
  • the terminal device 1 designates the information as the detection result as the “lane boundary recognition event”.
  • lane boundary recognition event for example, information on the recognition result of the boundary when the boundary of the lane is detected is specified.
  • the items "position estimation event”, "object recognition event”, “label recognition event”, and “lane boundary recognition event” are optional items. Therefore, the terminal device 1 only needs to designate the information as the detection result for the item corresponding to the detected event.
  • Event information including items of “object recognition event”, “label recognition event”, or “lane boundary recognition event” is an example of detected object information.
  • Media information is a data type used when transmitting raw data which is output data (detection information) of the sensor unit 7.
  • the data structure of the media information will be described later with reference to FIG.
  • FIG. 7A shows the data structure of "vehicle metadata" included in the header information.
  • FIG. 7 shows, for each element (sub-item) included in the “vehicle metadata”, information indicating whether each element is required or optional.
  • vehicle metadata includes “vehicle type (vehicleTypeGenericEnum)”, “vehicle ID”, “vehicle length (vehicleLength_m)”, “vehicle width (vehicleWidth_m)”, and “vehicle height (vehicleWidth_m)”.
  • vehicleHeight_m “first fuel type (primaryFuelType)”, “map reference table”, “sensor reference table”, “platform reference table” and “algorithm reference table”.
  • the upload data generation unit 19 of the terminal device 1 stores the elements such as “vehicle type”, “vehicle length”, “vehicle width”, “vehicle height”, “first fuel type”, etc.
  • the information based on the stored vehicle attribute information IV is designated.
  • each element such as “vehicle length”, “vehicle width”, “vehicle height”, “first fuel type” is an optional item, and when information corresponding to vehicle attribute information IV does not exist, etc.
  • the upload data generation unit 19 designates, for “vehicle ID”, the identification number of the vehicle included in the vehicle attribute information IV stored in the storage unit 12 or the like.
  • the vehicle ID may be an ID assigned to the terminal device 1 in addition to the unique ID assigned to the vehicle, or may be an ID for identifying the owner of the vehicle.
  • the vehicle ID is an example of mobile object identification information.
  • the upload data generation unit 19 designates the information of the map reference table RTM stored in the storage unit 12 in the “map reference table”.
  • the “map reference table” has an iterative structure so that all information can be specified regardless of the number of records in the map reference table RTM.
  • FIG. 7B shows a correspondence table between elements (subelements) of the “map reference table” of FIG. 7A and information stored in each subelement.
  • the first reference map ID, vendor, format and version subelements are the first record of the map reference table RTM of FIG. 4A.
  • the upload data generation unit 19 can preferably include the information of the map reference table RTM in the "vehicle metadata".
  • the upload data generation unit 19 designates information of the sensor reference table RTS stored in the storage unit 12 in the “sensor reference table”, for example, in accordance with the same format as the “map reference table” shown in FIG.
  • the information of the platform reference table RTP stored in the storage unit 12 is specified in the “platform reference table”, and the information of the algorithm reference table RTA stored in the storage unit 12 is specified in the “algorithm reference table”.
  • each reference table RT can be preferably included in the upload information Iu transmitted after the session with the server device 2 is established. Since each element of “map reference table”, “sensor reference table”, “platform reference table”, and “algorithm reference table” is an optional element, the upload data generation unit 19 establishes a session with the server device 2. It is not necessary to include the reference table RT corresponding to the items of "map reference table”, “sensor reference table”, “platform reference table”, and “algorithm reference table” in the upload information Iu transmitted after the second time.
  • each time the upload data generation unit 19 establishes a session with the server device 2 the information of each reference table RT may be transmitted only once.
  • the server device 2 can hold the latest reference table.
  • FIG. 8 shows a data structure of "object recognition event" included in event information.
  • FIG. 8 shows, for each element (sub-item) included in the “object recognition event”, information indicating whether the designation of the information corresponding to each element is mandatory or optional.
  • object recognition event includes “time stamp (timeStampUTC_ms)”, “object ID (detectedObjectID)”, “offset position (PositionOffset)”, “object type (objectType)”, and “object size ( “objectSize_m)”, “object size accuracy (objectSizeAccuracy_m)", “media ID (mediaID)”, “reference map ID list”, “reference sensor ID list”, “reference platform ID list” and “reference algorithm ID list” Contains elements.
  • the upload data generation unit 19 of the terminal device 1 When receiving the object data indicating the detection result of the object from the object detection unit 18, the upload data generation unit 19 of the terminal device 1 generates event information including an "object recognition event" having a data structure shown in FIG. .
  • the upload data generation unit 19 designates the time at the time of object detection in “time stamp”, and designates the object ID of the detected object in “object ID”.
  • the object ID is, for example, an ID assigned to each of the objects (features) registered in the map DB 4 and is included in feature information corresponding to each object, for example.
  • the upload data generation unit 19 specifies information of the relative position (for example, the difference in latitude and the difference in longitude, etc.) of the detected object from the vehicle in the “offset position”.
  • the upload data generation unit 19 sets the information to “object size”. , To each element of "object size precision”.
  • the upload data generation unit 19 can use the “media ID Designated as ". The detailed information and the like of the medium (raw data) designated by the element of “media ID” are separately stored in the item of “media information”.
  • the upload data generation unit 19 designates a reference map ID for specifying one or more map DBs 4 referred to at the time of the detection process of the object detected by the object detection unit 18.
  • the reference map ID is defined in the map reference table RTM, and the upload data generation unit 19 refers to the reference map ID corresponding to the map DB 4 used for the object detection processing in the map reference table RTM. Designated as ".
  • a plurality of reference map IDs can be designated in the “reference map ID list”.
  • the map reference table RTM is already transmitted to the server device 2 when establishing a communication session with the server device 2.
  • each of the one or more map DBs 4 used for object detection is referred to by referring to the map reference table RTM. It is possible to specify the vendor, format, version etc. of As described above, the terminal device 1 includes the reference map ID in the event information of the “object recognition event” to thereby provide detailed information on each attribute of the one or more map DBs 4 referred to at the time of detection of the object recognition event.
  • the server device 2 can be preferably notified by the minimum amount of data.
  • the upload data generation unit 19 designates a reference sensor ID corresponding to one or more sensors of the sensor unit 7 used in the detection process of the object detected by the object detection unit 18 Do.
  • the reference sensor ID is defined in the sensor reference table RTS, and the upload data generation unit 19 refers to the reference sensor ID corresponding to the sensor used in the object detection process in the sensor reference table RTS, “reference sensor ID list” Designated as
  • a plurality of reference sensor IDs can be designated in the “reference sensor ID list”.
  • the sensor reference table RTS has already been transmitted to the server device 2 when establishing a communication session with the server device 2.
  • the server apparatus 2 when the server apparatus 2 receives the upload information Iu including the event information in which one or more reference sensor IDs are designated, the type of each sensor used for object detection by referring to the sensor reference table RTS. , Vendor, model, firmware version, etc. can be identified.
  • the terminal device 1 includes the one or more reference sensor IDs in the event information of the “object recognition event” to thereby provide detailed information on the attributes of each of the one or more sensors used when detecting the object recognition event. Can be preferably notified to the server apparatus 2 with a minimum amount of data.
  • the upload data generation unit 19 designates a reference platform ID corresponding to one or more platforms used for the detection process of the object detected by the object detection unit 18.
  • the reference platform ID is defined in the platform reference table RTP, and the upload data generation unit 19 selects the reference platform ID corresponding to the platform used in the object detection process in the platform reference table RTP, “reference platform ID list”.
  • a plurality of reference platform IDs can be specified in the “reference platform ID list”.
  • the platform reference table RTP has already been transmitted to the server device 2 when establishing a communication session with the server device 2.
  • the server apparatus 2 when the server apparatus 2 receives the upload information Iu including the event information in which the reference platform ID is specified, the vendor of each platform used for the object detection by referring to the platform reference table RTP, It is possible to specify the hardware model, firmware version, software version and the like.
  • the terminal device 1 minimizes the detailed information on each attribute of the platform used at the time of detection of the object recognition event by including one or more reference platform IDs in the event information of the "object recognition event".
  • the server apparatus 2 can be preferably notified by the data amount of
  • the upload data generation unit 19 designates one or more reference IDs corresponding to the algorithm used for the detection process of the object detected by the object detection unit 18.
  • the reference algorithm ID is defined in the algorithm reference table RTA
  • the upload data generation unit 19 refers to the reference algorithm ID corresponding to the algorithm used in the object detection process in the algorithm reference table RTA.
  • a plurality of reference algorithm IDs can be designated in the “reference algorithm ID list”.
  • the algorithm reference table RTA has already been transmitted to the server device 2 when establishing a communication session with the server device 2.
  • the server apparatus 2 when the server apparatus 2 receives the upload information Iu including the event information for which the reference algorithm ID is specified, the type of one or more algorithms used for object detection by referring to the algorithm reference table RTA, It becomes possible to specify the vendor, version, etc. of the software that has implemented the processing of the algorithm.
  • the terminal device 1 includes detailed information on each of the algorithms used when detecting an object recognition event by including one or more reference algorithm IDs in the event information of the “object recognition event” as minimum data.
  • the server apparatus 2 can be preferably notified by the amount.
  • each element of “reference map ID list”, “reference sensor ID list”, “reference platform ID list”, and “reference algorithm ID list” is an optional element. Therefore, the terminal device 1 does not designate the reference ID corresponding to the reference table RT, for example, when there is a reference table RT that has not been transmitted among the reference tables RT that define these reference IDs.
  • FIG. 9 shows a data structure of "position estimation event" included in event information.
  • FIG. 9 shows, for each element (sub-item) included in the “position estimation event”, information indicating whether the designation of the information corresponding to each element is mandatory or optional.
  • position estimation event is “time stamp”, “position estimation type”, “reference object ID”, “latitude”, “longitude”, “reference map ID”, “reference sensor ID” , “Reference platform ID”, and “reference algorithm ID” are included.
  • designation of information is mandatory for each element of “time stamp” and “position estimation type”, and “reference object ID”, “latitude”, “longitude” and “reference map ID” , And each element of “reference sensor ID”, “reference platform ID”, and “reference algorithm ID”, specification of information is optional.
  • the upload data generation unit 19 of the terminal device 1 determines that a position estimation event has occurred, and generates event information having a data structure shown in FIG. 9. .
  • the event information on the estimation of the vehicle position does not have to be generated each time the vehicle position is estimated, and a large change occurs in the estimation result, or the map, sensor, platform, or algorithm used for estimation. If a change occurs in the event information, event information may be generated.
  • the upload data generation unit 19 specifies information indicating the date and time when position estimation was performed. Also, for the “position estimation type”, the upload data generation unit 19 executes position estimation (also referred to as “absolute position estimation”) not based on an object serving as a landmark, or an object serving as a landmark Specify information on whether or not position estimation (also referred to as “relative position estimation”) based on is performed.
  • position estimation also referred to as “absolute position estimation”
  • relative position estimation is detection data of an object by an external sensor
  • the upload data generation unit 19 sets the element to “0” when absolute position estimation is performed, and specifies the element to “1” when relative position estimation is performed.
  • the upload data generation unit 19 performs the relatively low-accuracy absolute position estimation without using the external sensor, or does not use the external sensor. It is possible to preferably make the server apparatus 2 grasp whether relatively high-accuracy relative position estimation using an output is being performed.
  • the “position estimation type” can also be used to determine whether position information designated by “latitude” and “longitude” described later indicates an absolute position or a relative position.
  • the upload data generation unit 19 designates a reference object ID which is an object ID of an object based on which the relative position is estimated. As described above, by providing the “reference object ID”, the upload data generation unit 19 can appropriately notify the server device 2 of the object used as the reference in the position estimation. Then, for example, as described later, the reference object ID is used to calculate the absolute position (latitude and longitude) of the vehicle from relative position information designated by “latitude” and “longitude”. In another example, the reference object ID may be used to set the reliability of estimated position information.
  • the server device 2 recognizes the type or the like of the object based on the position estimation based on the reference object ID, for example, by referring to the distribution map DB 5 or the like, and the reliability of position estimation from the recognized type or the like Estimate For example, when an object suitable for position estimation is designated as the reference object ID, the server device 2 considers that highly reliable position estimation is being performed, and the terminal device while the position estimation is being performed. Increase the reliability set in the event information received from 1. On the other hand, when an object unsuitable for position estimation is designated as the reference object ID, the server device 2 considers that position estimation with relatively low reliability is being performed, and while the position estimation is being performed. The reliability set to the event information received from the terminal device 1 is lowered. Similarly, the server device 2 may use the value designated as the “position estimation type” for the setting of the reliability described above.
  • the upload data generation unit 19 designates the latitude and longitude of the vehicle position estimated by the position estimation unit 17 for “latitude” and “longitude”, respectively. Further, when the relative position estimation is performed by the position estimation unit 17, the upload data generation unit 19 determines the difference between the latitude and longitude between the object specified by the reference object ID and the estimated own vehicle position (ie, the latitude for the reference object A difference and a longitude difference may be designated as “latitude” and “longitude”, respectively. In this case, the server device 2 acquires the latitude and longitude of the object indicated by the reference object ID from any of the map data stored in the distribution map DB 5, and the latitude difference and the longitude designated as “latitude” and “longitude”, respectively.
  • the absolute position of the vehicle that is, the latitude and the longitude are recognized.
  • standard object it is desirable to make it the same as the map data (namely, the map data used for position estimation) which reference map ID contained in the event information regarding position estimation.
  • the upload data generation unit 19 designates a reference map ID corresponding to the map DB 4 referred to in the position estimation process by the position estimation unit 17 as the “reference map ID”.
  • the upload data generation unit 19 specifies the reference sensor ID corresponding to the sensor for which the position estimation unit 17 uses the output data in the position estimation process.
  • the upload data generation unit 19 designates a reference platform ID corresponding to the platform at the time of the position estimation processing by the position estimation unit 17.
  • the upload data generation unit 19 specifies a reference algorithm ID corresponding to the algorithm applied by the position estimation unit 17 in the position estimation process as the “reference algorithm ID”.
  • a reference algorithm ID corresponding to the algorithm of the post-change position estimation method is specified in the “reference algorithm ID”.
  • multiple IDs can be specified in the same way as the data structure of the object recognition event described in FIG. 8 instead of “reference map ID”, “reference sensor ID”, “reference platform ID”, and “reference algorithm ID”
  • a “reference map ID list”, a “reference sensor ID list”, a “reference platform ID list”, and a “reference algorithm ID list” may be provided.
  • the terminal device 1 includes the reference ID in the event information of the “position estimation event” to minimize the detailed information of the map DB 4 used for the position estimation, the sensor, the platform, and the algorithm.
  • the server device 2 can be notified.
  • the data structure of the "position estimation event” is not limited to the structure shown in FIG.
  • elements for example, “latitude” and “longitude”
  • overlapping elements in the “position estimation” item of “traveling route information” of the upload information Iu only for “position estimation” of “traveling route information” It may be provided.
  • each element of “estimated position type” and “reference object ID” is provided in the “position estimation” item of “traveling route information” instead of being provided in the “position estimation event” item May be
  • the “reference recognition event” and the lane boundary recognition event which are items of event information other than “object recognition event” and “position estimation event”
  • the map ID, the reference sensor ID, the reference platform ID, and the reference algorithm ID are newly provided.
  • the upload data generation unit 19 can designate each reference ID in the event information, so that the detailed information on the map DB 4 used at the time of generation of the event information, the sensor, the platform, and the algorithm is minimized. The amount can be notified to the server device 2.
  • FIG. 10A shows an example of the data structure of media information of the upload information Iu shown in FIG.
  • FIG. 10A shows, for each element included in the “media information”, information indicating whether the designation of the information corresponding to each element is mandatory or optional.
  • “media information” includes “time stamp”, “media type (media type)”, “media format (media format)”, “media content (media content)”, and “media content”.
  • Media ID Media ID
  • Reference Sensor ID Sensor Offset
  • Sensor Direction Media Content Duration
  • Sensor Vertical Viewing Sensor Vertical Viewing
  • Sensor Horizontal Viewing Angle "Sensor Roll Angle”
  • Sensor Horizontal Viewing Angle Nsapitchi angle
  • Sensayo angle Nsapitchi angle
  • the English notation in parentheses indicates the name of each element in the here specification, and the “reference sensor ID”, “sensor roll angle”, “sensor pitch angle”, and “sensor yaw angle” not indicated in the parenthesis.
  • media content a still image, a moving image, an audio
  • the upload data generation unit 19 specifies information indicating the date and time when the media content (raw data) to be transmitted is generated.
  • the upload data generation unit 19 designates information on the type and format of raw data to be transmitted.
  • the upload data generation unit 19 stores binary data of the raw data to be transmitted in the “media content”.
  • the upload data generation unit 19 designates the media ID specified by the event information such as “object recognition event” which is identification information of the raw data to be transmitted and is shown in FIG.
  • the upload data generation unit 19 designates information on the time length of the medium.
  • the upload data generation unit 19 specifies information on the reference sensor ID associated with the sensor that has output the raw data to be transmitted in the sensor reference table RTS.
  • the upload data generation unit 19 includes the information of the reference sensor ID in the media information to identify the type of sensor used to acquire the raw data to be transmitted, vendor, hardware, software (firmware), installation position, and the like.
  • the information on the installation direction and the viewing angle can be suitably notified to the server device 2.
  • the server device 2 processes the received raw data based on the information of the type of the sensor used to acquire the raw data, the vendor, the hardware, and the software (firmware).
  • the server device 2 performs predetermined image processing to change the resolution or adjust the contrast, It can be made easy to use in image recognition processing.
  • the external sensor that has acquired the media data is a microphone
  • the server device 2 corrects the audio data that is the media data into audio data in which the acoustic characteristics due to the difference in the vendor or model of the microphone are suppressed. can do.
  • information such as the installation position of the sensor specified by the reference sensor ID is used for processing of converting the coordinate system of the raw data from the coordinate system based on the sensor to an absolute coordinate system as described later Be done.
  • the type of sensor used to acquire raw data, vendor, hardware, software (firmware), installation position, installation direction, and viewing angle information can be individually specified instead of “reference sensor ID”. Elements may be provided in the media information.
  • the upload data generation unit 19 designates the information of the roll angle of the sensor that has output the raw data to be transmitted with respect to the vehicle.
  • the upload data generation unit 19 designates information on the pitch angle of the sensor that has output the raw data to be transmitted, with respect to the vehicle.
  • the upload data generation unit 19 designates information on the yaw angle of the sensor that has output the raw data to be transmitted with respect to the vehicle.
  • the upload data generation unit 19 specifies the information on the roll angle, the pitch angle, and the yaw angle of these sensors based on the output of the three-axis sensor 36, for example.
  • FIG. 10B shows a correspondence table between numbers designated in “Media Type” and media types.
  • an image is associated with No. 2
  • a video is associated with No. 3
  • an audio is associated with No. 4
  • rider data is associated with No. 5
  • other media types are associated with No. 1.
  • the raw data output from the sensor of the sensor unit 7 is data based on a local coordinate system based on the sensor, and depends on the position and posture of the target sensor. Therefore, when the server device 2 analyzes such raw data afterward to perform object recognition, etc., a vehicle coordinate system with the raw data of the target as a reference of the vehicle based on the information of the position and attitude of the sensor It is necessary to convert into an absolute coordinate system based on the information of the position and attitude of the vehicle included in the travel route information etc. On the other hand, when converting from a coordinate system based on a sensor to a coordinate system based on a vehicle, etc., information on the installation position of the sensor specified by the reference sensor ID (that is, information on "sensor offset" in FIG.
  • each element of “sensor roll angle”, “sensor pitch angle” and “sensor yaw angle” is provided in the media information, and raw data is transmitted from the terminal device 1 to the server device 2 It is assumed that data of roll angle, pitch angle and yaw angle of the used sensor can be specified.
  • the server device 2 can convert raw data received from the terminal device 1 into data of the absolute coordinate system based on each element of the media information, thereby updating the layout map DB 5 represented by the absolute coordinate system. It can be used suitably.
  • pitch angle and yaw angle is specified instead of absolute angle Information indicating a roll angle, a pitch angle, and a yaw angle, which indicates “” may be designated.
  • the terminal device 1 sets the “sensor roll angle” and the “sensor pitch angle” based on the outputs of the sensor unit 7 such as the 3-axis sensor 36 or the orientation sensor provided in the sensor that outputs raw data.
  • the information on the roll angle and the pitch angle of the sensor with respect to the horizontal plane is specified, and the information on the direction in which the sensor is directed is specified in “sensor yaw angle”.
  • the server device 2 should preferably notify the terminal device 1 of information necessary to convert the raw data coordinate system from the coordinate system based on the sensor to the absolute coordinate system. Can.
  • FIG. 11 is a flowchart relating to the transmission of the upload information Iu executed by the terminal device 1.
  • the terminal device 1 determines whether a communication session has been established with the server device 2 (step S101).
  • the terminal device 1 transmits upload information Iu including each reference table RT and the vehicle attribute information IV to the server device 2 (step S102).
  • the terminal device 1 designates each reference table RT and the vehicle attribute information IV as each element of "vehicle metadata" included in the header information.
  • the uploaded information Iu is transmitted to the server device 2.
  • the terminal device 1 determines whether a predetermined event has been detected (step S103). For example, based on the output of the sensor unit 7, the terminal device 1 determines whether an event (position estimation event, object recognition event, etc.) to be transmitted as event information has occurred. Note that a specific example of the detection process of the position estimation event will be described later with reference to FIG.
  • the terminal device 1 when detecting an event (step S103; Yes), the terminal device 1 specifies a reference ID corresponding to the map DB 4 used at the time of event detection, a sensor, a platform, and an algorithm based on each reference table RT. Event information including the reference ID is generated (step S104). In this case, the terminal device 1 refers to the information of the reference ID identified based on each reference table RT as “reference map ID”, “reference sensor ID”, “reference sensor ID” of the event information corresponding to the position estimation event, the object recognition event, etc. Designate in each element of Platform ID and Reference Algorithm ID.
  • the terminal device 1 determines whether to transmit raw data output by a specific sensor of the sensor unit 7 (step S105). Then, when transmitting the raw data (step S105; Yes), the terminal device 1 detects the position, attitude, etc. of the sensor that outputs the raw data to be transmitted, based on the output of the position sensor 35 or the three-axis sensor 36, etc. (Step S106). Thereby, the terminal device 1 specifies information to be designated as “sensor offset”, “sensor roll angle”, “sensor pitch angle”, “sensor yaw angle” and the like of the media information shown in FIG. 10 (A). Then, the terminal device 1 generates media information including raw data (step S107).
  • the terminal device 1 transmits the upload information Iu to the server device 2 (step S108).
  • the terminal device 1 transmits upload information Iu including the event information generated in step S104 to the server device 2.
  • the terminal device 1 transmits the upload information Iu including the event information and the media information to the server device 2.
  • the terminal device 1 may transmit the event information and the media information at different timings. For example, the terminal device 1 may transmit the media information generated in step S107 separately to the server device 2 after transmitting the upload information Iu including the event information to the server device 2 immediately after step S104.
  • the terminal device 1 determines whether the communication session with the server device 2 has been disconnected (step S109). Then, when the communication session with the server device 2 is disconnected (step S109; Yes), the terminal device 1 ends the processing of the flowchart. On the other hand, when the communication session with the server device 2 is not disconnected (step S109; No), the terminal device 1 returns the process to step S103, and performs event detection again.
  • FIG. 12 is a flowchart showing a specific example of detection processing of a position estimation event.
  • the terminal device 1 executes the process of the flowchart of FIG. 12 as part of the process of determining the event detection of step S103 of FIG.
  • the terminal device 1 specifies a position estimation method that can be executed at the present time (step S201). For example, the terminal device 1 estimates the vehicle position by combining the autonomous navigation and the map matching with the self vehicle position estimation method by dead reckoning based on the output of the self-standing positioning sensor such as the GPS receiver 33 and the gyro sensor 34; Position estimation that can be performed at this time among a plurality of vehicle position estimation methods determined in advance, such as a method of estimating the vehicle position by collating the outputs of the rider 31 and the camera 32 with the feature information of the map DB 4 Identify the method. For example, the terminal device 1 can be executed at the present time by determining whether each sensor used for each position estimation method is operating normally, availability of map matching, presence or absence of an object as a reference in position estimation, etc. Specific location estimation method.
  • the terminal device 1 executes the most accurate position estimation among the position estimation methods that can be executed at the current time point specified in step S201 (step S202).
  • the priority based on the position estimation accuracy and the like are predetermined, and the terminal device 1 determines that the position estimation method that can be executed at this time is the most. Identify high-precision position estimation methods.
  • the above-mentioned priority may differ depending on the external environment such as weather or road type.
  • the terminal device 1 determines whether it is necessary to switch the position estimation method (step S203). For example, the terminal device 1 performs a process similar to step S201 to specify a position estimation method that can be executed at the present time, and when the position estimation method with higher accuracy than the current position estimation method becomes executable. Or, when execution of the present position estimation method can not be continued, it is determined that switching of the position estimation method is necessary.
  • step S203 if it is necessary to switch the position estimation method (step S203; Yes), the terminal device 1 switches the position estimation method (step S204). Then, the terminal device 1 determines that a position estimation event has occurred (step S205). After that, the terminal device 1 generates the upload information Iu including the event information of the position estimation event having the data structure described in FIG. 9 by executing the processing after step S104 in FIG. Send the uploaded information Iu. In addition, even if there is no change in the position estimation method to be executed, the terminal device 1 designates the “reference object ID” of the position estimation event when there is a change in the object serving as the reference in relative position estimation. When there is a change in an object to be changed, upload information Iu including event information of a position estimation event may be generated and transmitted.
  • step S203 when the switching of the position estimation method is not necessary (step S203; No), the terminal device 1 continues to perform the determination process of step S203.
  • FIG. 13 is a flow chart showing a procedure of reception process of upload information Iu executed by the server device 2.
  • the server device 2 determines whether there is a connection request from the terminal device 1 (step S301). Then, when there is a connection request (step S301; Yes), the server device 2 establishes a communication session with the terminal device 1, and receives from the terminal device 1 the upload information Iu including the reference table RT and the vehicle attribute information IV. (Step S302). After that, the server device 2 extracts each reference table RT from the received upload information Iu, and associates the reference table RT with the vehicle ID included in the session ID of the communication session established with the terminal device 1 or the upload information Iu to reference table DB8. (Step S303). As a result, the server device 2 can store the reference table RT transmitted from each of the terminal devices 1 that has established communication for each of the terminal devices 1 (that is, for each vehicle).
  • the server device 2 receives the upload information Iu including the event information from the terminal device 1 which has established the communication session (step S304). Then, the server device 2 records the event information included in the upload information Iu in the event information DB 9.
  • the server device 2 determines whether the communication session with the terminal device 1 that has established the communication session is disconnected (step S305). Then, when determining that the communication session has been disconnected (step S305; Yes), the server device 2 deletes the reference table RT associated with the session ID with the terminal device 1 from which the communication session has been disconnected from the reference table DB8. (Step S306).
  • the server device 2 may not delete the reference table RT from the reference table DB8. In this case, the reference table RT remaining without being deleted from the reference table DB 8 is referred to again by the server device 2 when the transmission source terminal device 1 establishes a communication session with the server device 2 again.
  • the server device 2 receives each reference table RT from the terminal device 1 in step S302. And it is not necessary to execute the process of storing each reference table RT in the reference table DB 8 in step S303.
  • step S305 when the communication session with the terminal device 1 which has established the communication session is not disconnected (step S305; No), the server device 2 continues to receive the upload information Iu including event information from the terminal device 1 in step S304. Do the processing.
  • step S304 the process performed when the server apparatus 2 receives the upload information Iu including the event information in step S304 will be specifically described.
  • the server device 2 refers to the corresponding map reference table RTM from the reference table DB 8 to refer to the vendor, format, and version of the map DB 4 referred to by the terminal device 1. Identify.
  • the server device 2 grasps information on the difference between the map stored in the distribution map DB 5 to be updated and the various maps stored in the map DB 4 to which the terminal device 1 refers. Thereby, the server device 2 recognizes the deviation between the map DB 4 used by the terminal device 1 and the distribution map DB 5 to be updated, and records the event information whose position information etc. has been corrected by the deviation in the event information DB 9 . Therefore, in this case, the server device 2 can collect event information that does not depend on the attribute of the map DB 4 used by the terminal device 1 and use it for updating the distribution map DB 5.
  • the server device 2 refers to the corresponding sensor reference table RTS from the reference table DB 8 to find out the type of sensor used when the terminal device 1 detects an event, Recognize sensor attributes such as vendor, model, firmware version. Then, the server device 2 performs a correction process according to the attribute of the recognized sensor on the event information indicating the object recognition result and the like, and records the corrected event information in the event information DB 9. As a result, the server device 2 can correct event information so as not to depend on the type of sensor used for event detection, attributes such as model, etc., and can collect event information suitable for updating the distribution map DB 5. Further, the server device 2 may add information of reliability according to the attribute of the recognized sensor to the event information, and may register it in the event information DB 9.
  • the server apparatus 2 includes the reference platform ID in the event information
  • the vendor model of the platform used by the terminal apparatus 1 at the time of event detection by referring to the corresponding platform reference table RTP from the reference table DB8. Etc., and correction of event information and / or addition of reliability to event information is performed according to the recognition result.
  • the event information includes the reference algorithm ID
  • the server device 2 recognizes the information on the algorithm used when the terminal device 1 detected the event by referring to the corresponding algorithm reference table RTA from the reference table DB 8 Then, according to the recognition result, correction of event information and / or addition of reliability to event information is performed.
  • the server device 2 refers to the sensor reference table RTS from the reference sensor ID of the media information to find out the type of sensor that acquired the raw data, and the vendor. , Attributes, such as model and firmware version, and process the raw data in consideration of the attributes of these sensors. Thereby, the server apparatus 2 can process raw data suitably, in consideration of the attribute of the sensor which acquired raw data.
  • the server device 2 is a terminal device based on information on the roll angle, pitch angle, and yaw angle of the sensor designated by each element of “sensor roll angle”, “sensor pitch angle”, and “sensor yaw angle” of the media information.
  • the raw data received from 1 is converted to data of an absolute coordinate system which is a coordinate system adopted in the map. Thereby, the server device 2 can convert the received raw data into data represented in the absolute coordinate system, and can be suitably used for updating the layout map DB 5.
  • the server device 2 may, for example, receive “position estimation type”, “reference object ID”, “reference map ID” of the position estimation event of FIG. Based on information designated as “reference sensor ID”, “reference platform ID”, “reference algorithm ID” or the like, the reliability (accuracy) for position estimation of the current terminal device 1 is estimated. Then, in consideration of the estimated reliability, the server apparatus 2 sets the reliability of the event information transmitted from the terminal apparatus 1 or the like.
  • the position estimation type is relative position estimation
  • the server device 2 does not specify relative position information designated by “latitude”, “longitude” or the like based on the position information of the object indicated by the reference object ID. Convert to static location information.
  • the server device 2 receives the upload information Iu including the event information from the terminal device 1, and the unknown reference ID is included in the event information even when the reference table RT is referred to.
  • the terminal device 1 is further requested to retransmit the reference table RT.
  • the server device 2 receives the latest reference table RT from the terminal device 1 as necessary, and suitably acquires information corresponding to the reference ID designated by the event information.
  • FIG. 14A shows a map reference table RTM stored in association with a predetermined vehicle ID in the reference table DB 8 of the server device 2.
  • FIG. 14B refers to the map shown in FIG. 14A.
  • the map reference table RTM which the terminal device 1 of the transmission source of the table RTM stores at this time is shown.
  • the record of the reference map ID "4" is added to the latest map reference table RTM. There is.
  • the server device 2 When the terminal device 1 detects a predetermined event such as an object recognition event with reference to the map DB 4 of the reference map ID “4”, the server device 2 adds upload information Iu in which the reference map ID “4” is added to the event information. Send to When the server apparatus 2 receives the upload information Iu, the server apparatus 2 extracts from the reference map DB 8 the map reference table RTM shown in FIG. 14A corresponding to the terminal apparatus 1 of the transmission source, and adds the reference map added to the event information. Search for the record corresponding to ID "4". In this case, since the server apparatus 2 does not have a record corresponding to the reference map ID "4" in the map reference table RTM shown in FIG.
  • the server apparatus 2 requests the terminal apparatus 1 to retransmit the map reference table RTM.
  • Send When the terminal device 1 receives the above-described retransmission request, the terminal device 1 extracts the latest map reference table RTM shown in FIG. 14B stored in the storage unit 12 and transmits the map reference table RTM to the server device 2. Thereby, the server device 2 can acquire the latest map reference table RTM from the terminal device 1 and can preferably specify the detailed information of the map corresponding to the reference map ID “4”. Note that instead of transmitting the entire map reference table RTM to the server device 2, the terminal device 1 transmits only the record corresponding to the reference map ID "4" as information for newly generating the map reference table RTM. May be In this case, the server device 2 may transmit to the terminal device 1 a transmission request specifying an ID corresponding to a record for which transmission is requested.
  • FIG. 15 is a flowchart showing the procedure of upload reception processing executed by the server device 2 in the second embodiment.
  • the server device 2 stores the reference table RT received from the terminal device 1 in the reference table DB 8 in association with the vehicle ID, and the target reference ID does not exist in the reference table RT stored in the reference table DB8. In such a case, the retransmission request for the reference table RT is made.
  • the server device 2 When there is a connection request from the terminal device 1 (step S401; Yes), the server device 2 establishes a communication session with the terminal device 1 and receives upload information Iu including the vehicle attribute information IV from the terminal device 1 (Step S402).
  • the terminal device 1 includes the reference table RT in the upload information Iu when there is no history of sending the reference table RT to the server device 2 (for example, when a communication session is established for the first time with the server device 2). If there is a history of sending to the server device 2 and sending the reference table RT to the server device 2, the reference table RT may not be included in the upload information Iu.
  • the terminal device 1 may not transmit the above-described upload information Iu to the server device 2 when the server device 2 has a history of transmitting both the reference table RT and the vehicle attribute information IV. In this case, the server device 2 does not perform the reception process of the upload information Iu in step S402. Then, when the reference table RT is included in the received upload information Iu, the server device 2 stores the reference table RT in the reference table DB 8 in association with the vehicle ID included in the upload information Iu.
  • the server device 2 determines whether or not the upload information Iu including event information has been received from the terminal device 1 that has established the communication session (step S404).
  • the server apparatus 2 receives the upload information Iu including the event information (step S404; Yes)
  • the server apparatus 2 determines whether the event information includes an unknown reference ID (step S405).
  • the reference ID in this case may be any of a reference map ID, a reference sensor ID, a reference platform ID, and a reference algorithm ID.
  • the process proceeds to step S408.
  • the server device 2 determines that the unknown reference ID is included in the event information in step S405 (step S405; Yes), that is, the server device 2 is defined in the reference table RT recorded in the reference table DB8.
  • the reference ID not included or the unnatural reference ID is included in the event information
  • a retransmission request for the reference table RT is transmitted to the terminal device 1 (step S406).
  • the unnatural reference ID indicates, for example, the case where the content of the upload information Iu received as the received object recognition event is clearly different from the information indicated by the reference ID. For example, in the upload information Iu received as an object recognition event, although the information that “human” is recognized as an object type is stored, the reference algorithm ID points to a lane recognition algorithm, etc. say.
  • the media information corresponding to the media ID indicated in the upload information Iu received as an object recognition event is “image”
  • the sensor indicated by the reference sensor ID indicates “mike” And so on.
  • the reference table By performing the RT retransmission request, the contents of the reference table DB 8 of the server device 2 are updated.
  • the server device 2 may transmit a retransmission request for requesting retransmission of all of the map reference table RTM, the sensor reference table RTS, the platform reference table RTP, and the algorithm reference table RTA.
  • a retransmission request may be sent requesting retransmission of only the reference table RT corresponding to the reference ID.
  • the server device 2 associates the reference table RT with the vehicle ID corresponding to the terminal device 1 of the transmission source It stores in DB 8 (step S407).
  • the server device 2 refers to the newly received reference table RT, and thereby the attribute information on the map, sensor, platform or algorithm used at the time of generation of the event information of the upload information Iu received in step S404. It can be suitably identified.
  • the server device 2 may delete from the reference table DB 8 the reference table RT referenced when it is determined in step S406 that an unknown reference ID is present.
  • server apparatus 2 registers event information corrected based on each attribute information on a specified map, a sensor, a platform, and an algorithm in event information DB9.
  • step S405 when the server apparatus 2 does not include an unknown reference ID in the event information (step S405; No), that is, the reference table RT in which all the reference IDs included in the event information are stored in the reference table DB8. If the map, sensor, platform, and algorithm used when generating the event information of the upload information Iu received in step S404, by referring to the reference table RT already registered in the reference table DB8, if it is correctly defined in Attribute information is preferably specified. Then, the server device 2 registers event information reflecting attribute information of the identified map, sensor, platform, and algorithm in the event information DB 9.
  • the server device 2 determines whether the communication session with the terminal device 1 has been disconnected (step S408). Then, when the communication session with the terminal device 1 is disconnected (step S408; Yes), the server device 2 ends the processing of the flowchart. In this case, the server device 2 continuously stores the reference table RT transmitted from the terminal device 1 whose communication session has been disconnected in the reference table DB 8 without discarding it. On the other hand, when the communication session with the terminal device 1 has not been disconnected (step S408; No), the server device 2 returns the process to step S404 and performs the process of receiving the upload information Iu.
  • the control unit 23 of the server device 2 in the second embodiment is an example of a computer that executes an acquisition unit, an identification unit, a correction unit, a map information request unit, an update unit, and a program.
  • FIG. 16 is a flowchart showing a procedure of retransmission processing of the reference table RT performed by the terminal device 1 in the second embodiment.
  • the terminal device 1 repeatedly executes the process of the flowchart of FIG. 16 in parallel with the upload transmission process shown in FIG.
  • the terminal device 1 determines whether a request for retransmission of the reference table RT has been received from the server device 2 (step S501).
  • the terminal device 1 receives a retransmission request for the reference table RT from the server device 2 (step S501; Yes)
  • the terminal device 1 transmits the reference table RT specified in the above-mentioned retransmission request to the server device 2 (step S502) .
  • the server device 2 it is possible to transmit to the server device 2 the reference table RT in which the reference ID included in the event information of the upload information Iu is properly defined.
  • the terminal device 1 when the terminal device 1 receives a retransmission request for the reference table RT from the server device 2, the terminal device 1 performs update (regeneration) processing of each reference table RT stored in the storage unit 12, and the reference table after the update processing The RT may be sent to the server device 2.
  • the terminal device 1 can supply the server 2 with the reference table RT that accurately reflects the latest states of the terminal device 1 and the vehicle.
  • the terminal device 1 changes the available map, sensor, platform, or algorithm regardless of whether or not the retransmission request for the lookup table RT is received from the server device 2 or not.
  • the corresponding reference table RT When the corresponding reference table RT is detected, the corresponding reference table RT may be updated immediately.
  • the control unit 14 of the terminal device 1 in the second embodiment is an example of a computer that executes a first transmission unit, a reception unit, a generation unit, a second transmission unit, and a program.
  • an information transmitting apparatus for exchanging data having a data structure suitable as data for transmitting information of a detected object to each information processing apparatus which collects information from the moving objects, and data having the data structure
  • An object of the present invention is to provide an information processing apparatus.
  • the method of acquiring position information differs depending on the vehicle, and when the acquisition method is different, the acquired position information may differ depending on the acquisition method.
  • a data structure suitable as a data structure for transmitting position information on the position of a mobile unit, and an information transmitting apparatus and information transmitting / receiving data having the data structure It is an object to provide a processing device.
  • data transmitted from the vehicle side is generally generated with reference to the map.
  • the contents of the map will be different if the creation policy etc. is different.
  • the maps to be created are different in the case of a creation policy that emphasizes the absolute positional accuracy of individual features and the like and a creation policy that emphasizes the accuracy of the relative positional relationship between features. Therefore, since the data transmitted from the vehicle side is data dependent on the map referred to by the vehicle side, it is necessary to correct the data according to the referred map.
  • the above embodiments provide an information processing apparatus capable of suitably identifying a map used for generating detected object information, and an information transmitting apparatus for transmitting detected object information. As one purpose.
  • a data structure suitable for transmitting to an information processing apparatus that collects information of an object detected from each moving object, and information for transmitting data having the data structure It is an object to provide a transmitter.
  • an information processing apparatus for collecting information of detected objects from each mobile body is suitable data for specifying information on a detection device used in each mobile body.
  • An object of the present invention is to provide an information transmitting apparatus and an information processing apparatus which exchange data having a structure and the data structure.
  • an information transmitting apparatus for exchanging data having a data structure suitable as data received by an information processing apparatus that collects detection information from each mobile unit and data having the data structure
  • An object of the present invention is to provide an information processing apparatus.
  • the platform adopted by the vehicle that supplies data may differ from vehicle to vehicle.
  • the server that collects data needs to acquire the information of the platform adopted by each vehicle and use it for analysis of the collected data.
  • a data structure suitable as data to be received by the information processing apparatus for collecting information of detected objects from each moving body and data having the data structure are exchanged. It is an object to provide an information transmitting apparatus and an information processing apparatus.
  • an algorithm executed by a vehicle that supplies data may differ from vehicle to vehicle. And when the algorithm to apply is different, the data produced
  • a data structure suitable as data to be received by the information processing apparatus that collects information of detected objects from each moving body and data having the data structure are exchanged. It is an object to provide an information transmitting apparatus and an information processing apparatus.
  • the process of the server device 2 described in the embodiment may be executed by a server system (a so-called cloud server) including a plurality of server devices.
  • a server system a so-called cloud server
  • server devices including a plurality of server devices.
  • the server system includes a server storing distribution map DB 5, a server storing reference table DB 8, a server storing event information DB 9, and a server performing reception processing of upload information Iu shown in FIG. 13 or FIG. It may be composed of In this case, each server appropriately receives information required to execute a pre-assigned process from another server and executes a predetermined process.
  • the server system is an example of the information processing apparatus.
  • FIG. 17 is a schematic configuration of a data acquisition system according to a modification.
  • the data collection system shown in FIG. 17 has a plurality of terminal devices 1, a vehicle cloud 2A, and a map cloud 2B.
  • the vehicle cloud 2A is a server group mainly managed by a car vendor
  • the map cloud 2B is a server group mainly managed by a map vendor.
  • the vehicle cloud 2A and the map cloud 2B similarly to the server device 2 of the first and second embodiments, upload information Iu including a reference table RT and upload information Iu including event information to which a reference ID is added. , And may be received from the terminal device 1 of each vehicle.
  • the vehicle cloud 2A and the map cloud 2B can each collect event information.
  • the vehicle cloud 2A may transmit the event information received and accumulated from the terminal device 1 to the map cloud 2B excluding information that can specify each vehicle.
  • the vehicle cloud 2A may transmit the reference table RT to the map cloud 2B together with the event information including each reference ID.
  • the vehicle cloud 2A may transmit the reference table RT for each vehicle received from each terminal device 1 to the map cloud 2B as it is, or may replace it with the newly generated reference table RT and transmit it to the map cloud 2B. May be In the latter case, the vehicle cloud 2A rewrites each reference ID included in the event information to be transmitted so as to match the reference table RT generated by itself.
  • the communication data amount can be suitably reduced by sharing the reference table RT in advance.
  • the terminal device 1 When the terminal device 1 detects an event such as an object recognition event, a sign recognition event, or a lane boundary recognition event, it calculates the reliability (confidence level) for the detected event, and the server of event information according to the calculated reliability. The necessity of transmission to the device 2 may be determined.
  • an event such as an object recognition event, a sign recognition event, or a lane boundary recognition event
  • the terminal device 1 may recognize the recognition relevance ratio of the feature value extracted from the output data of the external sensor such as a camera, or information of position estimation accuracy acquired in position estimation (for example, DOP value in the case of GPS) And set the reliability of the detected event. Then, the terminal device 1 transmits upload information Iu including event information indicating the detection result of the detected event to the server device 2 only when the set reliability is equal to or more than a predetermined value.
  • the terminal device 1 can prevent unnecessary transmission of low-reliability event information to the server device 2, and the communication data amount can be suitably reduced.
  • the terminal device 1 adds the information of the set reliability to the event information and transmits it to the server device 2 instead of determining the necessity of transmission of the event information to the server device 2 according to the reliability. It is also good. In this case, the terminal device 1 transmits the upload information Iu including the event information indicating the detection result of the detected event to the server device 2 regardless of the calculated degree of reliability.
  • the server device 2 may store in advance a reference table RT common to all vehicles for at least one of the map reference table RTM, the sensor reference table RTS, the platform reference table RTP, and the algorithm reference table RTA.
  • the terminal device 1 and the server device 2 store the common platform reference table RTP in advance, and when the server device 2 includes the reference platform ID in the event information, the above-described common
  • the platform reference table RTP the detailed information of the platform when the event of the terminal device 1 is detected is specified.
  • the server device 2 stores the platform reference table RTP in advance, and delivers the stored platform reference table RTP to the terminal device 1 when establishing a communication session with the terminal device 1, etc.
  • the terminal device 1 may hold the platform reference table RTP common to the server device 2.
  • the server device 2 does not need to manage the platform reference table RTP for each vehicle, and identification of platform information based on the reference platform ID can be suitably simplified.
  • the server device 2 may store and refer to the reference table RT common to all vehicles.
  • the terminal device 1 may appropriately receive the information of the map DB 4 from the map management device that stores the plurality of map DBs 4 instead of storing the plurality of map DBs 4 in the storage unit 12.
  • the terminal device 1 refers to information on a map, a sensor, a platform, and an algorithm used at the time of event detection as a reference map ID, a reference sensor ID, a reference platform ID, and a reference algorithm ID. Is notified to the server apparatus 2 by including in the event information. Instead of this, the terminal device 1 may include information corresponding to at least one of the reference IDs directly in the event information and transmit it to the server device 2.
  • FIG. 18 is an example of a data structure of “object recognition event” of event information according to the modification.
  • the data structure of the “object recognition event” shown in FIG. It has a data structure in which a sensor vendor, a sensor model, and a sensor FW version can be repeatedly specified.
  • the data structure shown in FIG. 18 corresponds to “platform vendor” corresponding to each item of the platform reference table RTP, “platform HW model "," Platform FW version ",” platform SW version "has a data structure that can be repeatedly specified.
  • the terminal device 1 can also preferably notify the server device 2 of such information by directly including information on the sensor, platform, and algorithm used at the time of event detection in the event information. In this case, the terminal device 1 does not have to transmit the corresponding lookup table RT to the server device 2.
  • the server device 2 can collect information on sensors, platforms, and algorithms used by various terminal devices 1 in the world, they are common to all vehicles shown in [Modification 3]. It can be used to create the reference table RT.
  • the terminal device 1 may individually designate information on a sensor that has generated raw data, instead of the reference sensor ID.
  • FIG. 19 shows a data structure of media information according to a modification.
  • elements of “sensor type”, “sensor vendor”, “sensor model”, and “sensor FW version” are provided.
  • the terminal device 1 designates each information of the sensor which acquired the raw data to be transmitted to these elements, and in the same manner as when the reference sensor ID is designated, each information of the sensor which acquired the raw data to be transmitted is Preferably, the server device 2 can be notified.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

マップ参照テーブルRTMは、端末装置1の記憶部12に記憶される地図の各々を特定するための参照マップIDと、当該参照マップIDにより特定される地図に関する情報とを含む。端末装置1は、サーバ装置2と通信セッションを確立した場合に、マップ参照テーブルRTMを含むアップロード情報Iuをサーバ装置2へ送信する。

Description

データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体
 本発明は、車両等の移動体の周辺情報を取得する技術に関する。
 従来から、車両に設置されたセンサの出力に基づき地図データを更新する技術が知られている。例えば、特許文献1には、車両等の移動体に設置されたセンサの出力に基づいて部分地図の変化点を検出した場合に、当該変化点に関する変化点情報をサーバ装置に送信する運転支援装置が開示されている。また、非特許文献1には、車両側のセンサが検出したデータをクラウドサーバで収集するためのデータフォーマットに関する仕様が開示されている。
特開2016-156973号公報
here社ホームページ、Vehicle Sensor Data Cloud Ingestion Interface Specification(v2.0.2),[平成29年10月27日検索]、インターネット<URL:https://lts.cms.here.com/static-cloud-content/Company_Site/2015_06/Vehicle_Sensor_Data_Cloud_Ingestion_Interface_Specification.pdf>
 各車両で検出した変化点等に関する情報をサーバ装置が収集して地図データの更新等を行うシステムでは、車両側から送信されるデータは、一般的に車がセンサーで計測した地物(路面や停止線、レーンマーカー等の道路構造、道路標識や横断歩道橋などの道路付帯設備、道路周辺の建物などの構造物、路上の車両等のその他)と地図上に記載されている対応する地物を参照して生成される。一方、地図は、作成方針等が異なると地図の内容も異なるものとなる。例えば、個々の地物等の絶対的な位置精度を重視する作成方針の場合と、地物間の相対的な位置関係の精度を重視する作成方針の場合とでは、作成される地図は異なる。また、作成方針が同一、さらには同一のフォーマットの地図であっても地図を作成する時期によっては、地球の地殻変動の影響による位置情報の変化が発生するため内容が異なってくる。従って、車両側から送信されるデータは、当該車両側で参照される地図に依存したデータとなっているため、参照された地図に応じて補正する必要がある。
 ドライバー無しで自動的に運行する自動運転車両や、道路状況に応じてドライバーの運転操作を補助・補正する高度な運転支援車両では、車両に複数の種類のセンサを搭載し、複数の種類の地図を参照する。前述の様に地図は補正・更新されていくので、更新区画ごとにバージョン、作成日が異なる。
 参照した地図を補正する場合は、車両が参照した(利用した)複数の地図の詳細情報を検出した変化点等に関する情報に付随してサーバ装置に送信する。サーバ装置はこれらの情報を該当する地図の補正・更新に利用する。複数の地図の詳細情は、移動体(移動中の車両)から無線通信手段(例:携帯電話通信網)を使って送信する必要があるが、必要なデータ量が大きくなってしまうという課題がある。
 本発明は、上記のような課題を解決するためになされたものであり、検出した物体の情報を各移動体から収集する情報処理装置が各移動体において使用された地図に関する情報を特定するのに好適なデータ構造及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを主な目的とする。
 請求項に記載の発明は、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置に、前記検出装置が前記物体を検出する際に用いた地図を特定させるために、前記検出物体情報の収集に先立って前記情報処理装置に送信されるデータのデータ構造であって、前記物体を検出する際に前記移動体が利用可能な地図に関する情報と、前記移動体が利用可能な地図の各々を特定するための、前記地図に関する情報と関連付けた地図特定情報と、を含む。
 また、請求項に記載の発明は、情報送信装置であって、記憶部に記憶される地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を記憶する記憶部と、前記参照情報を、移動体ごとに検出された物体に関する情報である検出物体情報を収集する情報処理装置へ、前記検出物体情報に先立って送信する送信部と、を有する。
 また、請求項に記載の発明は、検出された物体に関する情報である検出物体情報を移動体から収集する情報処理装置であって、移動体が利用可能な地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を前記移動体から受信する受信部と、前記受信部が受信した参照情報を、当該参照情報を送信した移動体毎に記憶する記憶部と、を有する。
 また、請求項に記載の発明は、情報送信装置が実行する制御方法であって、記憶部に記憶される地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を、移動体ごとに検出された物体に関する情報である検出物体情報を収集する情報処理装置へ、前記検出物体情報に先立って送信する送信工程と、を有する。
 また、請求項に記載の発明は、検出された物体に関する情報である検出物体情報を移動体から収集する情報処理装置が実行する制御方法であって、移動体が利用可能な地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を前記移動体から受信する受信工程と、前記受信工程が受信した参照情報を、当該参照情報を送信した移動体毎に記憶部に記憶する記憶工程と、を有する。
 また、請求項に記載の発明は、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置が、前記検出装置が前記物体を検出する際に用いた地図を特定するために、前記検出物体情報の取得に先立って受信するデータのデータ構造であって、前記物体を検出する際に前記移動体が利用可能な地図に関する情報と、前記移動体が利用可能な地図の各々を特定するための、前記地図に関する情報と関連付けた地図特定情報と、を含む。
データ収集システムの概略構成である。 端末装置及びサーバ装置のブロック構成を示す。 端末装置が実行する処理概要を示したブロック図である。 マップ参照テーブル及びセンサ参照テーブルのデータ構造の具体例を示す。 プラットフォーム参照テーブル及びアルゴリズム参照テーブルのデータ構造の具体例を示す。 アップロード情報のデータ構造の概要を示す。 車両メタデータのデータ構造を示す。 オブジェクト認識イベントのデータ構造を示す。 位置推定イベントのデータ構造を示す。 メディア情報のデータ構造及びメディアタイプに関する対応表を示す。 アップロード情報送信処理のフローチャートである。 位置推定イベントの検知処理のフローチャートである。 アップロード情報受信処理のフローチャートである。 サーバ装置が保有するマップ参照テーブル及び最新状態を反映したマップ参照テーブルの例を示す。 第2実施例に係るアップロード情報受信処理のフローチャートである。 第2実施例に係る参照テーブル再送処理のフローチャートである。 変形例に係るデータ収集システムの概略構成である。 変形例に係るオブジェクト認識イベントのデータ構造である。 変形例に係るメディア情報のデータ構造である。
 本発明の好適な実施形態によれば、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置に、前記検出装置が前記物体を検出する際に用いた地図を特定させるために、前記検出物体情報の収集に先立って前記情報処理装置に送信されるデータのデータ構造であって、前記物体を検出する際に前記移動体が利用可能な地図に関する情報と、前記移動体が利用可能な地図の各々を特定するための、前記地図に関する情報と関連付けた地図特定情報と、を含む。ここで、「検出装置が検出した物体」とは、検出装置が単体で検出処理を行うことで検出された物体に限られず、検出装置の出力データに対して他の装置が所定の解析処理を行うことで検出された物体も含まれる。また、「移動体が利用可能な地図」とは、移動体の制御部等が利用(参照)可能な地図に限らず、移動体に搭載された装置(例えば検出装置又は検出装置の出力データを処理する装置)が利用可能な地図も含まれる。情報処理装置は、このようなデータ構造を有するデータを参照することで、移動体から検出物体情報と共に地図特定情報を受信した場合に、検出物体情報の生成に用いた地図を好適に特定することができる。従って、情報処理装置に対して移動体が利用した地図に関する情報を送信する際のデータ通信量を好適に削減することができる。
 上記データ構造の一態様では、前記地図に関する情報は、前記地図のバージョン、フォーマット、ベンダー、及び名称の少なくともいずれかに関する情報である。情報処理装置は、このようなデータ構造を有するデータを参照することで、移動体から送信された情報に地図特定情報が含まれていた場合に、移動体から送信された検出物体情報を補正するのに必要な地図の情報を好適に特定することができる。
 上記データ構造の一態様では、上記データ構造は、前記検出物体情報の送信前に前記情報処理装置に送信され、前記移動体に関する属性情報をさらに含む。この態様により、移動体は、検出物体情報の送信前において、地図特定情報と地図に関する情報との対応関係を示す情報を、移動体の属性情報と共に好適に情報処理装置に通知することができる。
 本発明の他の好適な実施形態によれば、情報送信装置は、記憶部に記憶される地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を記憶する記憶部と、前記参照情報を、移動体ごとに検出された物体に関する情報である検出物体情報を収集する情報処理装置へ、前記検出物体情報に先立って送信する送信部と、を有する。この態様では、情報送信装置は、検出物体情報の送信に先立って、利用可能な地図に関する情報と、当該地図を特定するための地図特定情報との対応関係を好適に情報処理装置に通知することができる。これにより、情報送信装置は、例えば、利用した地図に関する情報を、データ通信量の増加を抑制しつつ、地図特定情報により情報処理装置に好適に通知することができる。
 上記情報送信装置の一態様では、前記送信部は、前記参照情報の送信後において、検出した物体に関する検出物体情報と、前記物体を検出する際に利用した地図を特定するための地図特定情報と、を前記情報処理装置へ送信する。これにより、情報送信装置は、検出物体情報の生成に利用した地図の情報を情報処理装置に通知する際のデータ通信量を好適に削減することができる。好適な例では、前記送信部は、前記情報処理装置と通信を確立したときに前記参照情報を送信するとよい。
 本発明の他の好適な実施形態によれば、検出された物体に関する情報である検出物体情報を移動体から収集する情報処理装置であって、移動体が利用可能な地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を前記移動体から受信する受信部と、前記受信部が受信した参照情報を、当該参照情報を送信した移動体毎に記憶する記憶部と、を有する。この態様によれば、情報処理装置は、利用可能な地図に関する情報と、当該地図を特定するための地図特定情報との対応関係を、移動体ごとに好適に認識することができる。
 上記情報処理装置の一態様では、前記記憶部は、前記参照情報を、前記移動体の識別情報又は前記移動体との通信接続の識別情報と関連付けて記憶する。この態様により、情報処理装置は、通信対象である移動体に対応する参照情報を的確に識別できるように参照情報を記憶することができる。
 上記情報処理装置の他の一態様では、前記受信部は、前記参照情報の受信後、当該参照情報を送信した移動体から前記検出物体情報と前記地図特定情報とを受信し、前記情報処理装置は、前記地図特定情報と、前記参照情報とに基づき、前記物体を検出する際に利用された地図に関する情報を特定する特定部をさらに有する。この態様により、情報処理装置は、検出物体情報の送信元である移動体から受信した参照情報を参照することで、物体を検出する際に利用した地図に関する情報を、検出物体情報と共に送信される地図特定情報に基づき好適に特定することができる。
 上記情報処理装置の他の一態様では、情報処理装置は、前記特定部が特定した地図に関する情報に基づき、前記検出物体情報を補正する補正部をさらに有する。この態様により、情報処理装置は、検出物体情報の生成時に参照された地図の仕様等に依存しない検出物体情報を、好適に取得することができる。
 本発明の他の好適な実施形態によれば、情報送信装置が実行する制御方法であって、記憶部に記憶される地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を、移動体ごとに検出された物体に関する情報である検出物体情報を収集する情報処理装置へ、前記検出物体情報に先立って送信する送信工程と、を有する。情報送信装置は、この制御方法を実行することで、利用した地図に関する情報を、データ通信量の増加を抑制しつつ、地図特定情報により情報処理装置に通知することが可能となる。
 本発明の他の好適な実施形態によれば、検出された物体に関する情報である検出物体情報を移動体から収集する情報処理装置が実行する制御方法であって、移動体が利用可能な地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を前記移動体から受信する受信工程と、前記受信工程が受信した参照情報を、当該参照情報を送信した移動体毎に記憶部に記憶する記憶工程と、を有する。情報処理装置は、この制御方法を実行することで、利用可能な地図に関する情報と、当該地図を特定するための地図特定情報との対応関係を、移動体ごとに好適に認識することができる。
 本発明の他の好適な実施形態によれば、プログラムは、上記記載の制御方法を、コンピュータにより実行させる。コンピュータは、このプログラムを実行することで、上記記載の情報送信装置又は情報処理装置として機能する。好適には、上記プログラムは、記憶媒体に記憶される。
 本発明の他の好適な実施形態によれば、移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置が、前記検出装置が前記物体を検出する際に用いた地図を特定するために、前記検出物体情報の取得に先立って受信するデータのデータ構造であって、前記物体を検出する際に前記移動体が利用可能な地図に関する情報と、前記移動体が利用可能な地図の各々を特定するための、前記地図に関する情報と関連付けた地図特定情報と、を含む。情報処理装置は、このようなデータ構造を有するデータを受信することで、移動体から検出物体情報と共に地図特定情報を受信した場合に、検出物体情報の生成に用いた地図を好適に特定することができる。
 以下、図面を参照して本発明の好適な実施例について説明する。
 <第1実施例>
 [データ収集システムの概要]
 図1は、第1実施例に係るデータ収集システムの概略構成である。データ収集システムは、移動体である各車両と共に移動する端末装置1と、各端末装置1とネットワークを介して通信を行うサーバ装置2とを備える。そして、データ収集システムは、各端末装置1から送信された情報に基づき、サーバ装置2が保有する地図を更新する。なお、以後において、「地図」とは、従来の経路案内用の車載機が参照するデータに加えて、ADAS(Advanced Driver Assistance System)や自動運転に用いられるデータも含むものとする。
 端末装置1は、サーバ装置2と通信セッションを確立し、アップロード情報「Iu」をサーバ装置2に送信する。本実施例では、端末装置1は、サーバ装置2と通信セッションを確立した場合に、端末装置1が搭載された車両の属性情報等をアップロード情報Iuに含めてサーバ装置2へ送信する。また、端末装置1は、カメラやライダ(LIDAR:Laser Illuminated Detection and Ranging、Laser Imaging Detection and Ranging または LiDAR:Light Detection and Ranging)などから構成されるセンサ部7の出力に基づき、所定のイベントを検知した場合に、検知したイベントに関する情報(「イベント情報」とも呼ぶ。)をアップロード情報Iuに含めてサーバ装置2へ送信する。上記のイベントは、例えば、自車位置周辺の物体(オブジェクト)の認識に関するイベントである「オブジェクト認識イベント」などが存在する。端末装置1は、イベント情報を含むアップロード情報Iuをサーバ装置2に送信する場合、後述するように、オブジェクト検出等のイベント検出時に使用した地図、センサ等を特定する情報をアップロード情報Iuに付加する。アップロード情報Iuのデータ構造については後述する。ライダなどの外界センサは、検出装置の一例であり、位置情報の生成に用いられる外界センサ、GPS受信機、ジャイロセンサなどの自律測位装置等は位置検出装置の一例である。
 なお、端末装置1は、車両に取り付けられた車載機又は車載機の一部であってもよく、車両の一部であってもよい。あるいは、センサ部7を接続することができれば、ノート型PC等の可搬性のある端末機器であってもよい。端末装置1は、情報送信装置の一例である。
 サーバ装置2は、各端末装置1からアップロード情報Iuを受信して記憶する。サーバ装置2は、例えば、収集したアップロード情報Iuに基づき、後述する地図データの作成基準時点からの変化部分(変化点)を検出し、検出した変化点を反映するための地図データの更新などを行う。サーバ装置2は、情報処理装置の一例である。
 [端末装置の構成]
 図2(A)は、端末装置1の機能的構成を表すブロック図を示す。図2(A)に示すように、端末装置1は、主に、通信部11と、記憶部12と、入力部13と、制御部14と、インターフェース15と、出力部16とを有する。端末装置1内の各要素は、バスライン98を介して相互に接続されている。
 通信部11は、制御部14の制御に基づき、アップロード情報Iuをサーバ装置2へ送信したり、地図DB4を更新するための地図データをサーバ装置2から受信したりする。また、通信部11は、車両を制御するための信号を車両に送信する処理、車両の状態に関する信号を車両から受信する処理を行ってもよい。
 記憶部12は、制御部14が実行するプログラムや、制御部14が所定の処理を実行する為に必要な情報を記憶する。本実施例では、記憶部12は、複数の地図DB4と、センサデータキャッシュ6と、車両属性情報「IV」と、複数の参照テーブル「RT」とを記憶する。
 地図DB4は、例えば、道路データ、施設データ、及び道路周辺の地物情報などを含むデータベースである。道路データには、経路探索用の車線ネットワークデータ、道路形状データ、交通法規データなどが含まれる。地物情報は、道路標識等の看板や停止線等の道路標示、センターライン等の道路区画線や道路沿いの構造物等の情報を含む。また、地物情報は、自車位置推定に用いるための地物の高精度な点群情報などを含んでもよい。その他、地図DB4には、位置推定に必要な種々のデータが記憶されてもよい。なお、記憶部12は、データの種類(道路データ、施設データ、地物情報)ごとに分けられた複数の地図DB4を記憶してもよく、用途(案内用、自動運転用、障害検知用)等に分けられた複数の地図DB4を記憶してもよい。
 センサデータキャッシュ6は、センサ部7の出力データ(所謂生データ)を一時的に保持するキャッシュメモリである。車両属性情報IVは、車両の種別、車両ID、車両長さ、車幅、車高、車両の燃料タイプなどの端末装置1を搭載する車両の属性に関する情報を示す。
 参照テーブルRTは、地図DB4、センサ部7の外界センサ、制御部14が利用可能なプラットフォーム、制御部14が実行するアルゴリズムの各々に対し、参照用の識別情報(「参照ID」とも呼ぶ。)と、それぞれの属性情報とを対応付けたテーブルである。参照テーブルRTは、端末装置1とサーバ装置2との通信セッションの確立直後に車両属性情報IVと共にアップロード情報Iuとしてサーバ装置2へ送信される。そして、参照テーブルRTは、イベント情報を含むアップロード情報Iuをサーバ装置2が受信した場合に、イベント情報に含まれる参照IDから、イベント検出時に使用された地図DB4及びセンサの情報等をサーバ装置2が特定するために参照される。参照テーブルRTの詳細については[データ構造]のセクションで詳しく説明する。
 入力部13は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ、音声入力装置等であり、例えば、経路探索のための目的地を指定する入力、自動運転のオン及びオフを指定する入力などを受け付け、生成した入力信号を制御部14へ供給する。出力部16は、例えば、制御部14の制御に基づき出力を行うディスプレイやスピーカ等である。
 インターフェース15は、センサ部7の出力データを制御部14やセンサデータキャッシュに供給するためのインターフェース動作を行う。センサ部7は、ライダ31やカメラ32などの車両の周辺環境を認識するための複数の外界センサと、GPS受信機33、ジャイロセンサ34、ポジションセンサ35、3軸センサ36などの内界センサを含む。ライダ31は、外界に存在する物体までの距離を離散的に測定し、当該物体の表面を3次元の点群として認識し、点群データを生成する。カメラ32は、車両から撮影した画像データを生成する。ポジションセンサ35は、各外界センサの位置を検出するために設けられ、3軸センサ36は、各外界センサの姿勢を検出するために設けられている。なお、センサ部7は、図2(A)に示した外界センサ及び内界センサ以外の任意の外界センサ及び内界センサを有してもよい。例えば、センサ部7は、外界センサとして、超音波センサ、赤外線センサ、マイクなどを含んでもよい。センサ部7に含まれる任意の外界センサは、検出装置として機能する。
 制御部14は、1または複数のプラットフォーム上で所定のプログラムを実行するCPUなどを含み、端末装置1の全体を制御する。制御部14は、機能的には、位置推定部17と、オブジェクト検出部18と、アップロードデータ生成部19とを含む。制御部14は、生成部、送信部、判定部、プログラムを実行するコンピュータ等として機能する。
 図3は、端末装置1の位置推定部17、オブジェクト検出部18、及びアップロードデータ生成部19の処理概要を示したブロック図である。
 位置推定部17は、センサデータキャッシュ6に保持されているセンサ部7の出力データ及び地図DB4に基づき、自車位置(車両の姿勢も含む)を推定する。位置推定部17は、種々の位置推定方法を実行可能となっている。位置推定部17は、例えば、GPS受信機33及びジャイロセンサ34等の自立測位センサの出力に基づくデッドレコニング(自律航法)による自車位置推定方法、自律航法に地図DB4の道路データなどをさらに照合する処理(マップマッチング)を行う自車位置推定方法、周囲に存在する所定のオブジェクト(ランドマーク)を基準としてライダ31やカメラ32などの外界センサの出力データと地図DB4の地物情報が示すランドマークの位置情報とに基づく自車位置推定方法などを実行する。そして、位置推定部17は、現在実行可能な位置推定方法の中から最も高い推定精度となる位置推定方法を実行し、実行した位置推定方法に基づき得られた自車位置等を示した自車位置情報を、アップロードデータ生成部19へ供給する。本実施例では、位置推定部17は、実行した位置推定方法を特定する情報を自車位置情報に含めてアップロードデータ生成部19へ供給する。
 オブジェクト検出部18は、センサ部7が出力する点群情報、画像データ、音声データ等に基づき、所定のオブジェクトを検出する。この場合、例えば、オブジェクト検出部18は、位置推定部17が推定した自車位置に基づき、センサ部7により検出したオブジェクトに対応する地物情報を地図DB4から抽出する。そして、オブジェクト検出部18は、センサ部7により検出したオブジェクトの位置及び形状等と、地図DB4から抽出した地物情報が示すオブジェクトの位置及び形状等とに違いがある場合、又は、地図DB4に該当する地物情報が存在しない場合などに、センサ部7により検出したオブジェクトに関する情報(「オブジェクトデータ」とも呼ぶ。)を、アップロードデータ生成部19へ供給する。
 なお、オブジェクト検出部18は、センサ部7により検出したオブジェクトと地図DB4の地物情報が示すオブジェクトとに形状や位置等に違いがあるか否かに関わらず、特定のオブジェクトを検出した場合に、当該オブジェクトに関するオブジェクトデータをアップロードデータ生成部19へ供給してもよい。例えば、オブジェクト検出部18は、センサ部7の出力に基づき、道路標識の内容、形状、位置等を認識した場合、又は、車線境界(即ち区画線等)の位置、形状等を認識した場合に、これらの認識結果をオブジェクトデータとしてアップロードデータ生成部19へ供給してもよい。
 アップロードデータ生成部19は、位置推定部17から供給される自車位置情報と、オブジェクト検出部18から供給されるオブジェクトデータと、センサデータキャッシュ6から供給されるセンサ部6の出力データ(所謂生データ)と、参照テーブルRTとに基づき、アップロード情報Iuを生成する。そして、アップロードデータ生成部19は、生成したアップロード情報Iuを、通信部11によりサーバ装置2へ送信する。例えば、アップロードデータ生成部19は、サーバ装置2との通信セッションを確立した場合に、車両属性情報IV及び参照テーブルRTを含むアップロード情報Iuを生成し、生成したアップロード情報Iuを通信部11によりサーバ装置2へ送信する。また、アップロードデータ生成部19は、自車位置情報及びオブジェクトデータに基づきイベントが発生したと判定した場合、当該イベントに関するイベント情報を生成し、イベント情報を含むアップロード情報Iuを通信部11によりサーバ装置2へ送信する。本実施例においてアップロードデータ生成部19が検出するイベントは、前述した「オブジェクト認識イベント」に加え、自車位置の推定を実施したことに関するイベントである「位置推定イベント」、車線の境界の認識に関するイベントである「車線境界認識イベント」、標識の認識に関するイベントである「標識認識イベント」などがある。なお、車線境界認識イベント及び標識認識イベント等は、オブジェクト認識イベントの一部としてオブジェクト認識イベントに統合されていてもよい。
 [サーバ装置の構成]
 図2(B)は、サーバ装置2の機能的構成を示すブロック図を示す。図2(B)に示すように、サーバ装置2は、主に、通信部21と、記憶部22と、制御部23とを有する。サーバ装置2内の各要素は、バスライン99を介して相互に接続されている。
 通信部21は、制御部23の制御に基づき、各端末装置1からアップロード情報Iuを受信したり、地図DB4を更新するための地図データを各端末装置1へ送信したりする。
 記憶部22は、制御部23が実行するプログラムや、制御部23が所定の処理を実行する為に必要な情報を記憶する。本実施例では、記憶部22は、配信地図DB5と、参照テーブルDB8と、イベント情報DB9とを記憶する。
 配信地図DB5は、各端末装置1に配信するための地図データであり、各端末装置1から受信するアップロード情報Iuに含まれるイベント情報等に基づき更新が行われる。配信地図DB5は、地図DB4と同様、道路データ、施設データ、及び道路周辺の地物情報など、自動運転やADASなどで使用される種々のデータが記録されている。
 参照テーブルDB8は、各端末装置1から受信するアップロード情報Iuに含まれる参照テーブルRTを車両ごとに記憶したデータベースである。この場合、参照テーブルRTは、送信元である車両の車両IDと関連付けられてもよく、参照テーブルRTの送信時に確立された通信セッションのセッションIDと関連付けられてもよい。イベント情報DB9は、各端末装置1から受信するアップロード情報Iuに含まれるイベント情報を記録したデータベースである。イベント情報DB9に記録されたデータは、例えば、配信地図DB5の更新に用いられ、所定の統計処理、検証処理等が行われた後に配信地図DB5に反映される。
 制御部23は、所定のプログラムを実行するCPUなどを含み、サーバ装置2の全体を制御する。本実施例では、制御部23は、通信部21により参照テーブルRTを含むアップロード情報Iuを端末装置1から受信した場合に、当該参照テーブルRTを車両ごとに参照テーブルDB8に登録する。また、制御部23は、通信部21によりイベント情報を含むアップロード情報Iuを端末装置1から受信した場合に、参照テーブルDB8に登録された参照テーブルRTを参照することで、送信元の端末装置1がイベント検出に用いた地図、センサ、プラットフォーム、及びアルゴリズムに関する属性情報等を特定する。そして、制御部23は、特定した地図、センサ、プラットフォーム、及びアルゴリズムに関する属性情報等に基づき、アップロード情報Iuに含まれるイベント情報の補正や信頼度の付加などを行い(例えば、特定のベンダーの地図については信頼性を低く設定したり、既知の誤りがある場合にはイベント情報を補正する等を行う)、補正や信頼度の付加などが行われた後のイベント情報をイベント情報DB9に登録する。これにより、制御部23は、イベント情報DB9を用いた配信地図DB5の更新時において、各端末装置1がイベント検出時に使用した地図、センサ、プラットフォーム、アルゴリズムの違いに基づく誤差等が生じないように、配信地図DB5の更新を好適に実行する。制御部23は、受信部、特定部、補正部、加工部、変換部、プログラムを実行するコンピュータ等として機能する。
 [参照テーブル]
 まず、端末装置1がサーバ装置2に送信する各参照テーブルRTについて説明する。
 (1)マップ参照テーブル
 図4(A)は、地図に関する参照テーブルRT(「マップ参照テーブルRTM」とも呼ぶ。)のデータ構造の具体例を示す。マップ参照テーブルRTMは、端末装置1が記憶する地図DB4を列挙したテーブルであり、「参照マップID」、「ベンダー」、「フォーマット」、「バージョン」の各項目を含む。
 「参照マップID」は、端末装置1が記憶する各地図DB4に対して割り振られた参照IDであり、図4(A)の例では、参照マップIDとして、0からの通し番号が割り振られている。参照マップIDは、地図特定情報の一例である。「ベンダー」は、各参照マップIDに対応する地図のベンダー(製造元)を特定する情報(例えば会社名など)である。「フォーマット」は、各参照マップIDに対応する地図のデータフォーマットを特定する情報である。「バージョン」は、各参照マップIDに対応する地図のバージョンを特定する情報である。例えば、図4(A)の例では、参照マップIDが「1」の地図DB4は、「ベンダーB」により製造され、「フォーマットYf」によりフォーマットされたバージョン「3」の地図であることを示している。なお、参照マップIDが「1」の地図DB4と参照マップIDが「2」の地図DB4とは、同一のベンダーである「ベンダーB」により製造されており、フォーマット及びバージョンがそれぞれ異なっている。なお、マップ参照テーブルRTMの項目は、「参照マップID」、「ベンダー」、「フォーマット」、「バージョン」に限られず、地図の名称(型番などを含む)を示す項目などが設けられてもよいし、地図の種類・用途としての、道路上の白線の地図情報である白線地図や、標識のみを地図データ化した標識地図などの、地図の種類情報を示す項目などが設けられても良い。
 ここで、端末装置1は、マップ参照テーブルRTMを予め記憶部12に記憶してもよく、所定のタイミングにより自動で生成又は更新を行ってもよい。後者の場合、例えば、端末装置1は、車両の起動時などの所定のタイミングで、記憶部12に記憶された地図DB4に付加された属性情報などを参照することで、各地図DB4のベンダー、フォーマット、バージョン等を認識し、マップ参照テーブルRTMを自動生成する。マップ参照テーブルRTMは、参照情報の一例である。
 次に、マップ参照テーブルRTMの用途について説明する。端末装置1は、図4(A)に示すマップ参照テーブルRTMを記憶し、通信セッション確立時に車両IDと関連付けてサーバ装置2へ送信する。そして、端末装置1は、イベント検知時には、イベント検知に用いた地図DB4に対応する参照マップIDをイベント情報に含めて車両IDと共にサーバ装置2に送信する。この場合、サーバ装置2は、事前に端末装置1から受信したマップ参照テーブルRTMを参照することで、イベント情報に含まれる参照マップIDから、参照された地図のベンダー、フォーマット、バージョンを好適に特定することができる。よって、この場合、端末装置1は、イベント検知の度にサーバ装置2へ送信するイベント情報には、イベント検知に用いた地図DB4のベンダー、フォーマット、バージョン等の情報として参照マップIDを含めればよいため、地図DB4のベンダー、フォーマット、バージョン等の情報を直接イベント情報に含める場合と比較して、通信量を好適に削減することができる。
 ここで、端末装置1が参照した地図のベンダー、フォーマット、バージョン等の各情報をサーバ装置2に通知する必要性について補足説明する。
 一般に、地図の作成方針は、ベンダー(地図会社)によって異なり、作成方針が異なると地図の内容も異なる。例えば、個々の地物等の絶対的な位置精度を重視する作成方針の場合と、地物間の相対的な位置関係の精度を重視する作成方針の場合とでは、作成される地図は異なるものとなる。同様に、地図のデータフォーマットが異なる場合には、同一ベンダーが作成した場合であっても、作成される地図はデータフォーマットに依存して異なる部分が生じる。従って、同じ緯度経度であっても、異なるベンダー又はデータフォーマットにより作成された地図を参照した場合には、指し示す位置が異なる場合がある。また、地殻変動により、陸地も常に移動するため、同じベンダーの同じデータフォーマットの地図であっても、新しいバージョンの地図と古いバージョンの地図とでは、同じ地物であっても異なる緯度経度が設定されていることがある。
 以上を勘案し、本実施例では、端末装置1は、参照マップIDをイベント情報に含めることで、イベント検出時に参照した地図DB4のベンダー、フォーマット、バージョンの各情報をサーバ装置2に通知する。この場合、サーバ装置2は、特定したベンダー、フォーマット、バージョンに基づき、配信地図DB5に適用する際に必要な補正処理(正規化処理)をイベント情報に含まれるオブジェクトの位置情報等に対して行う。これにより、サーバ装置2は、端末装置1が参照した地図DB4と更新対象である配信地図DB5との作成方針やデータフォーマット等に相違がある場合であっても、配信地図DB5の更新に好適なデータとなるようにイベント情報を補正して収集することができる。あるいは、更新対象の地図データフォーマットに適用可能なイベント情報のみを取捨選択して活用することができる。
(2)センサ参照テーブル
 図4(B)は、センサに関する参照テーブルRT(「センサ参照テーブルRTS」とも呼ぶ。)のデータ構造の具体例を示す。センサ参照テーブルRTSは、イベント検出に用いられる可能性があるセンサ部7の外界センサを列挙したテーブルであり、「参照センサID」、「タイプ」、「ベンダー」、「モデル」、「FWバージョン」、「センサオフセット」、「センサ方向」、「垂直視野角」及び「水平視野角」の各項目を含む。
 「参照センサID」は、イベント検出に用いられるセンサ部7の外界センサに対して割り振られた参照IDであり、図4(B)の例では、参照センサIDとして、0からの通し番号が割り振られている。「参照センサID」は、装置特定情報の一例である。「タイプ」は、各参照センサIDに対応するセンサの種別を特定する情報である。ここでは、「タイプ」として、ライダ、カメラ、レーダ、超音波センサの各外界センサが列挙されている。「ベンダー」は、各参照センサIDに対応するセンサのベンダー(製造元)を特定する情報(例えば会社名など)である。「モデル」は、各参照センサIDに対応するセンサのモデルを特定する情報である。「モデル」は、型番号などのセンサのハードウェアを特定する任意の情報であってもよい。「FWバージョン」は、各参照センサIDに対応するセンサのファームウェアのバージョンを特定する情報である。「センサオフセット」は、各参照センサIDに対応するセンサの車両中心からの位置を特定する情報である。上述の位置は、例えば、ポジションセンサ35の出力に基づき特定される。「センサ方向」は、各参照センサIDに対応するセンサの車両に対する相対的な方向を特定する情報である。上述の相対的な方向は、例えば、3軸センサ36の出力に基づき特定される。「垂直視野角」及び「水平視野角」は、各参照センサIDに対応するセンサの垂直視野角及び水平視野角を特定する情報である。「タイプ」、「ベンダー」、「モデル」、「センサオフセット」、「センサ方向」、「垂直視野角」及び「水平視野角」において指定される情報は、検出装置情報の一例であり、「FWバージョン」で指定される情報は、ファームウェア情報の一例である。
 このように、センサ参照テーブルRTSには、イベント検出に用いられる可能性があるセンサ部7の各センサに対して、センサのタイプ、ベンダー、モデル、ファームウェアバージョン、設置位置、設置方向、視野角の各情報(即ちセンサのハードウェア及びソフトウェア等に関する情報)と参照センサIDとが関連付けられている。なお、端末装置1は、図4(B)に示すセンサ参照テーブルRTSを予め記憶部12に記憶してもよく、所定のタイミングにより自動で生成又は更新を行ってもよい。後者の場合、例えば、端末装置1は、車両の起動時などの所定のタイミングで、センサ部7の各センサと通信を行うことで、センサの種別、ハードウェア、ソフトウェア(ファームウェア)、設置位置、設置方向、視野角の各情報を取得し、図4(B)に示すようなセンサ参照テーブルRTSを生成する。センサ参照テーブルRTSは、参照情報の一例である。
 次に、センサ参照テーブルRTSの用途について説明する。端末装置1は、このようなセンサ参照テーブルRTSを記憶し、通信セッション確立時に車両IDと関連付けてサーバ装置2へ送信する。そして、端末装置1は、イベント検知時には、イベント検知に用いたセンサに対応する参照センサIDをイベント情報に含めて車両IDと共にサーバ装置2に送信する。この場合、サーバ装置2は、事前に端末装置1から受信したセンサ参照テーブルRTSを参照することで、イベント情報に含まれる参照センサIDから、イベント検出時に使用されたセンサに関する情報を好適に特定することができる。よって、この場合、端末装置1は、イベント検知の度にサーバ装置2へ送信するイベント情報には、イベント検知に用いたセンサのタイプ等の各情報を直接含める必要がないため、通信量を好適に削減することができる。
 ここで、センサのタイプ、ベンダー、モデル、ファームウェアバージョンの各属性(仕様)に関する情報をサーバ装置2に通知する必要性について補足説明する。タイプ、モデル、ファームウェア等が異なるセンサにより、同一オブジェクトを同一位置で測定した場合、測定するセンサ固有のスペック等に起因して、出力データに違いが乗じる。以上を勘案し、本実施例では、端末装置1は、参照マップIDをイベント情報に含めることで、イベント検出時に使用したセンサのタイプ、ベンダー、モデル、ファームウェアバージョンの各情報をサーバ装置2に通知する。そして、サーバ装置2は、例えば、特定したセンサのタイプ、モデル、ファームウェア等の情報に基づき、配信地図DB5に適用する際に必要な補正処理(正規化処理)をイベント情報に含まれる位置情報等に対して行う。
 上述の補正処理として、例えば、サーバ装置2に含まれる制御部23の補正部は、特定のモデルのライダによるオブジェクトの認識が、他のベンダのセンサによる認識に比べて、オブジェクトの位置(後述するオフセット位置によって示される)を近く認識する傾向にあることが判明している際には、当該特定モデルのライダから取得されたオブジェクトの位置に関する情報を、少し遠くの位置に補正する処理を行うことができる。他の例では、制御部23の補正部は、センサのタイプ(種類)によるオブジェクト識別の得手、不得手を反映させて認識したオブジェクトの種類(後述するオブジェクトタイプによって示される)を補正することができる。具体的には、「人間」をオブジェクトとして識別した際に、カメラは当該人間の性別を識別しやすいのに対して、ライダは性別の識別には不得手である。そこで、ライダを使ったオブジェクト認識結果として「女性」を識別したとしても、当該認識結果を性別とは無関係の「人間」に補正することで、信頼性の高いデータとすることができる。
 なお、これらのことはセンサのモデル、ファームウェアバージョンについても同様のことが言える。
 これにより、サーバ装置2は、イベント検出時に使用されたセンサの属性等に起因したデータのばらつきを補正し、配信地図DB5の更新に好適なイベント情報を好適に収集することができる。
 また、上述したセンサのタイプ等の各情報は、当該センサにより検出した情報の信頼度と密接に関連する。よって、例えば、サーバ装置2は、センサ参照テーブルRTSを参照することで特定したセンサのタイプ等の各情報に基づき、受信したイベント情報の信頼度を決定することもできる。例えば、ある特定のセンサの性能ばらつきや計測誤差が大きいことがわかっているような場合には、そのセンサを用いて生成されたデータについては信頼度を下げて処理することが可能である。従って、サーバ装置2は、例えば、センサのタイプ等の各情報と信頼度に関する情報とを対応付けたテーブル等を予め記憶しておく。そして、サーバ装置2は、センサ参照IDが付加されたイベント情報の受信した場合、センサ参照IDからセンサ参照テーブルRTSを用いて特定したセンサのタイプ等の各情報に基づき、信頼度に関する上述のテーブル等を参照し、受信したイベント情報の信頼度を決定する。この場合、サーバ装置2は、例えば、決定した信頼度が所定値以上であるイベント情報が示すオブジェクト検出結果等を、十分信頼できる情報とみなし、他のイベント情報との統計処理などを行うことなく、配信地図DB5に即時に反映させるといった対応を行う。
 また、この場合、サーバ装置2は、イベント検出時に用いたセンサのタイプ等の各情報に加えて、端末装置1の位置における天候を示した天候情報をさらに勘案してイベント情報の信頼度を決定することもできる。例えば、サーバ装置2は、曇りの場合には、晴天又は雨の場合よりも、ライダの出力に基づくイベント情報の信頼度を上げる。他の例では、サーバ装置2は、晴れの場合には、曇り又は雨の場合よりも、カメラの出力に基づくイベント情報の信頼度を上げる。この場合、サーバ装置2は、各地点の天候を管理するサーバから、端末装置1から送信されるアップロード情報Iuに含まれる位置情報が示す位置の天候情報を受信してもよく、照度センサや雨滴センサなどのセンサ部7の出力を端末装置1から受信することで端末装置1の位置の天候情報を推定してもよい。同様に、サーバ装置2は、イベント情報の生成時での時間帯をさらに勘案してイベント情報の信頼度を決定してもよい。この場合、例えば、サーバ装置2は、夜間の場合には、昼間の場合よりも、カメラの出力に基づき生成されたイベント情報の信頼度を下げる。
 (3)プラットフォーム参照テーブル
 図5(A)は、端末装置1の制御部14がプログラム等を実行するプラットフォームに関する参照テーブルRT(「プラットフォーム参照テーブルRTP」とも呼ぶ。)のデータ構造の具体例を示す。プラットフォーム参照テーブルRTPは、イベント検出時に用いられる可能性があるプラットフォームを列挙したテーブルであり、「参照プラットフォームID」、「ベンダー」、「HWモデル」、「FWバージョン」、「SWバージョン」の各項目を含む。なお、「プラットフォーム」とは端末装置1の制御部14が例えばオブジェクト認識を実行するプログラムが稼働するハードウェア、及び当該ハードウェアを制御するためのファームウェア、当該ハードウェア上で実行される基本ソフトであるオペレーティングシステム(OS)等、オブジェクト認識を実行するための基礎的構成を指す。
 「参照プラットフォームID」は、イベント検出時に用いられる可能性があるプラットフォームに対して割り振られた参照IDであり、図5(A)の例では、参照プラットフォームIDとして、0からの通し番号が割り振られている。「ベンダー」は、各参照プラットフォームIDに対応するプラットフォームのベンダーを特定する情報であり、「HWモデル」は、各参照プラットフォームIDに対応するプラットフォームのハードウェアモデルの情報である。また、「FWバージョン」は、各参照プラットフォームIDに対応するプラットフォームのファームウェアのバージョンの情報であり、「SWバージョン」は、各参照プラットフォームIDに対応するプラットフォームのソフトウェア(すなわちオペレーティングシステム)のバージョンの情報である。
 このように、プラットフォーム参照テーブルRTPには、イベント検出に用いられる可能性がある各プラットフォームに対して、プラットフォームの属性を特定するための各情報と参照プラットフォームIDとが関連付けられている。なお、端末装置1は、マップ参照テーブルRTM及びセンサ参照テーブルRTSと同様、プラットフォーム参照テーブルRTPを予め記憶部12に記憶してもよく、所定のタイミングにより自動で生成又は更新を行ってもよい。後者の場合、端末装置1は、プラットフォームをインストールした時点でインストールしたプラットフォームの情報を表すレコードをプラットフォーム参照テーブルRTPに追加してもよい。プラットフォーム参照テーブルRTPは、参照情報の一例である。
 次に、プラットフォーム参照テーブルRTPの用途について説明する。端末装置1は、このようなプラットフォーム参照テーブルRTPを記憶し、通信セッション確立時に車両IDと関連付けてサーバ装置2へ送信する。そして、端末装置1は、イベント検知時には、イベント検知に用いたプラットフォームに対応する参照プラットフォームIDをイベント情報に含めて車両IDと共にサーバ装置2に送信する。この場合、サーバ装置2は、事前に端末装置1から受信したプラットフォーム参照テーブルRTPを参照することで、イベント情報に含まれる参照プラットフォームIDから、イベント検出時に使用されたプラットフォームに関する属性情報を好適に特定することができる。よって、この場合、端末装置1は、イベント検知の度にサーバ装置2へ送信するイベント情報には、イベント検知に用いたプラットフォームのベンダー等の情報として参照プラットフォームIDを含めればよく、プラットフォームに関する各情報を直接含める必要がないため、通信量を好適に削減することができる。そして、例えば、サーバ装置2は、プラットフォーム参照テーブルRTPを参照して参照プラットフォームIDから特定したプラットフォームの各情報に基づき、当該参照プラットフォームIDが付加されたイベント情報の補正又は/及び当該イベント情報への信頼度の付加などを行う。上述のイベント情報の補正として、例えば、特定のプラットフォームにおいて、オブジェクトを誤認識するバグがある場合、サーバ装置2に含まれる制御部23の補正部は、当該プラットフォームにおいて認識されたオブジェクトの情報を補正することができる。具体的には、特定のプラットフォームにおいて「人間」の性別を誤認識するバグが既知である場合、サーバ装置2は当該プラットフォームの基で認識された「男性」若しくは「女性」のオブジェクトの情報を、性別とは無関係な「人間」の情報に補正することで信頼性の高いデータとすることができる。他の例では、制御部23の補正部は、特定プラットフォームの基で認識されたオブジェクトの認識結果の情報に対して、信頼性を低く設定することができる。
 (4)アルゴリズム参照テーブル
 図5(B)は、端末装置1の制御部14が実行するアルゴリズムに関する参照テーブルRT(「アルゴリズム参照テーブルRTA」とも呼ぶ。)のデータ構造の具体例を示す。アルゴリズム参照テーブルRTAは、制御部14が位置推定イベント、オブジェクト認識イベント、車線境界認識イベントなどの各イベント検出時に用いる可能性があるアルゴリズムを列挙したテーブルであり、「タイプ」、「ベンダー」、「バージョン」の各項目を含む。
 「参照アルゴリズムID」は、イベント検出時に用いられる可能性があるアルゴリズムに対して割り振られた参照IDであり、図5(B)の例では、参照アルゴリズムIDとして、0からの通し番号が割り振られている。「タイプ」は、各参照アルゴリズムIDに対応するアルゴリズムの種類を示す情報である。本実施例では、「タイプ」は、位置推定、オブジェクト認識などのアルゴリズムのカテゴリの情報に加えて、カテゴリ内の種類(方式A、方式B等)に関する情報も含まれている。「ベンダー」は、各参照アルゴリズムIDに対応するアルゴリズムを実現するためのソフトウェアを提供するベンダーを特定する情報であり、「バージョン」は、上記ソフトウェアのバージョンを特定する情報である。
 このように、アルゴリズム参照テーブルRTAには、イベント情報の生成時に実行したアルゴリズムに関する各情報と参照アルゴリズムIDとが関連付けられている。なお、アルゴリズム参照テーブルRTAは、アルゴリズムのカテゴリごとに別テーブルとなっていてもよい。例えば、アルゴリズム参照テーブルRTAは、位置推定用のテーブル、オブジェクト認識用のテーブル、車線境界認識用のテーブルを含む複数テーブルから構成されてもよい。
 端末装置1は、アルゴリズム参照テーブルRTAを予め記憶部12に記憶してもよく、対応するアルゴリズムのソフトウェアをインストールした時点でインストールしたソストウェアの情報に基づきアルゴリズム参照テーブルRTAを更新してもよい。アルゴリズム参照テーブルRTAは、参照情報の一例である。
 次に、アルゴリズム参照テーブルRTAの用途について説明する。端末装置1は、図5(B)に示すアルゴリズム参照テーブルRTAを記憶し、通信セッション確立時にサーバ装置2へ送信する。そして、端末装置1は、イベント検知時には、イベント検知に用いたアルゴリズムに対応する参照アルゴリズムIDをイベント情報に含めてサーバ装置2に送信する。この場合、サーバ装置2は、事前に端末装置1から受信したアルゴリズム参照テーブルRTAを参照することで、イベント情報に含まれる参照アルゴリズムIDから、イベント情報生成時に使用されたアルゴリズムの情報を好適に特定することができる。よって、この場合、端末装置1は、イベント検知の度にサーバ装置2へ送信するイベント情報には、イベント検知に用いたアルゴリズムに関する情報として参照アルゴリズムIDを含めればよく、アルゴリズムに関する各情報を直接含める必要がないため、通信量を好適に削減することができる。
 一般に、位置推定イベントやオブジェクト認識イベントなどの各イベント検知処理では、適用するアルゴリズムによって、処理結果に対する精度及び信頼性が異なる。また、オブジェクト検出などにおいても、適用するアルゴリズムにより好適に検出可能なオブジェクトと、当該アルゴリズムでは精度良く検出できないオブジェクトとが存在する場合があり、このような場合を勘案した正確な配信地図DB5の更新処理を行うためには、適用するアルゴリズムの情報が必要となる。以上を勘案し、本実施例では、端末装置1は、参照アルゴリズムIDをイベント情報に含めることで、イベント検出時に使用したアルゴリズムに関する各情報をサーバ装置2に通知する。これにより、サーバ装置2は、アルゴリズムに関する情報を、例えば受信したイベント情報の信頼度の算出処理などに好適に用いることができる。
 より具体的には、第1の例では、「自動車」の認識に最適化されたアルゴリズムID=2のオブジェクト認識アルゴリズムが、あるオブジェクトを「人間」と認識した場合、当該認識結果に対する信頼度を低く設定することができる。また、第2の例では、「人間」の認識に最適化されたアルゴリズムID=3のオブジェクト認識アルゴリズムが、同じオブジェクト(アルゴリズムID=2のオブジェクト認識アルゴリズムが「人間」と認識したオブジェクト)を「女性」と認識していた場合、アルゴリズムID=2のオブジェクト認識アルゴリズムによる認識結果である「人間」を「女性」に修正する。これにより、アルゴリズムID=2のオブジェクト認識アルゴリズムによる認識結果を、より具体的な情報として扱うことができる。
 [アップロード情報のデータ構造]
 次に、アップロード情報Iuのデータ構造の具体例について説明する。以後では、一例として、here社が公開する非特許文献1の仕様書(以後「ヒア仕様書」とも呼ぶ。)に記載の仕様を参考としたアップロード情報Iuのデータ構造について例示する。
 (1)概要
 図6は、端末装置1が送信するアップロード情報Iuのデータ構造の概要を示す図である。図6に示すように、アップロード情報Iuは、ヘッダ情報と、走行経路情報と、イベント情報と、メディア情報とを含む。なお、ヘッダ情報は、ヒア仕様書の「Envelope」に相当し、走行経路情報は、ヒア仕様書の「Path」に相当し、イベント情報は、ヒア仕様書の「Path Events」に相当し、メディア情報は、ヒア仕様書の「Path Media」に相当する。
 ヘッダ情報(Envelope)は、「バージョン(Version)」、「送信元(Submitter)」、「車両メタデータ(vehicleMetaData)」の各項目を含む。なお、括弧内の英語表記はヒア仕様書内での名称を示す。端末装置1は、「バージョン」に、使用されるアップロード情報Iuのデータ構造のバージョンの情報を指定し、「送信元」には、アップロード情報Iuを送信する会社名(車両のOEM名又はシステムベンダー名)の情報を指定する。また、端末装置1は、「車両メタデータ」に、後述するように、車両属性情報IVの各情報や参照テーブルRTの情報を指定する。
 走行経路情報(Path)は、「位置推定(Position Estimate)」の項目を含む。なお、括弧内の英語表記はヒア仕様書内での名称を示す。端末装置1は、この「位置推定」には、図7を参照して後述するように、位置推定時を示すタイムスタンプ情報の他、推定した緯度、経度、標高の情報、及びこれらの推定精度に関する情報などを指定する。
 イベント情報(Path Events)は、「位置推定イベント」、「オブジェクト認識イベント(Object Detection)」、「標識認識イベント(Sign Recognition)」、「車線境界認識イベント(Lane Boundary Recognition)」の各項目を含む。なお、括弧内の英語表記はヒア仕様書内での名称を示し、「位置推定イベント」は、出願人が新たに追加した項目を示す。端末装置1は、位置推定イベントを検知した場合に、その検知結果となる情報を「位置推定イベント」に指定する。「位置推定イベント」には、図9を参照して後述するように、例えば位置推定に適用するアルゴリズム等に関する情報などが指定される。また、端末装置1は、オブジェクト認識イベントを検知した場合に、その検知結果となる情報を「オブジェクト認識イベント」に指定する。「オブジェクト認識イベント」には、図8を参照して後述するように、標識及び車線境界線以外の特定のオブジェクトを検出した際の当該オブジェクトの認識結果に関する情報が指定される。また、端末装置1は、標識認識イベントを検知した場合に、その検知結果となる情報を「標識認識イベント」に指定する。「標識認識イベント」には、例えば標識を検出した際の当該標識の認識結果に関する情報が指定される。また、端末装置1は、車線境界認識イベントを検知した場合に、その検知結果となる情報を「車線境界認識イベント」に指定する。「車線境界認識イベント」には、例えば、車線の境界を検出した際の当該境界の認識結果に関する情報が指定される。なお、これらの「位置推定イベント」、「オブジェクト認識イベント」、「標識認識イベント」、「車線境界認識イベント」の各項目は任意項目となっている。従って、端末装置1は、検知したイベントに対応する項目にのみ、その検知結果となる情報を指定すればよい。「オブジェクト認識イベント」、「標識認識イベント」、又は「車線境界認識イベント」の項目を含むイベント情報は、検出物体情報の一例である。
 メディア情報(Path Media)は、センサ部7の出力データ(検出情報)である生データを送信する際に使用されるデータタイプである。メディア情報のデータ構造については図10を参照して後述する。
 (2)車両メタデータ
 図7(A)は、ヘッダ情報に含まれる「車両メタデータ」のデータ構造を示す。図7は、「車両メタデータ」に含まれる要素(サブ項目)ごとに、各要素が必須であるか任意であるかの情報を示している。
 図7(A)に示すように、「車両メタデータ」は、「車両種別(vehicleTypeGenericEnum)」、「車両ID」、「車両長(vehicleLength_m)」、「車幅(vehicleWidth_m)」、「車高(vehicleHeight_m)」、「第1燃料タイプ(primaryFuelType)」、「マップ参照テーブル」、「センサ参照テーブル」、「プラットフォーム参照テーブル」及び「アルゴリズム参照テーブル」の各要素を少なくとも含んでいる。なお、括弧内の英語表記はヒア仕様書内での各要素の名称を示しており、括弧内表記がない「車両ID」、「マップ参照テーブル」、「センサ参照テーブル」、「プラットフォーム参照テーブル」及び「アルゴリズム参照テーブル」の各項目は、出願人が新たに追加した項目を示す。
 ここで、端末装置1のアップロードデータ生成部19は、「車両種別」、「車両長」、「車幅」、「車高」、「第1燃料タイプ」等の各要素に、記憶部12に記憶された車両属性情報IVに基づく情報を指定する。なお、「車両長」、「車幅」、「車高」、「第1燃料タイプ」等の各要素は任意項目であり、車両属性情報IVに対応する情報が存在しない場合などには、情報を指定しない。また、アップロードデータ生成部19は、「車両ID」には、記憶部12に記憶された車両属性情報IVに含まれる車両の識別番号等を指定する。なお、車両IDは、車両に割り当てられた固有のIDの他、端末装置1に割り当てられたIDであってもよく、車両の所有者を特定するIDであってもよい。車両IDは、移動体特定情報の一例である。
 また、アップロードデータ生成部19は、「マップ参照テーブル」に、記憶部12に記憶したマップ参照テーブルRTMの情報を指定する。例えば、「マップ参照テーブル」は、マップ参照テーブルRTMのレコードの数によらずに全ての情報を指定できるように、繰り返し構造を有する。
 図7(B)は、図7(A)の「マップ参照テーブル」が有する要素(サブ要素)と、各サブ要素に格納される情報との対応表を示す。図7(B)に示すデータ構造では、図4(A)に示すマップ参照テーブルRTMの項目である「参照マップID」、「ベンダー」、「フォーマット」、「バージョン」を繰り返して指定可能なデータ構造となっている。図7(A)の例では、最初の「参照マップID」、「ベンダー」、「フォーマット」、「バージョン」のサブ要素には、図4(A)のマップ参照テーブルRTMの1番目のレコードに記録された各情報が指定されており、2回目に繰り返された「参照マップID」、「ベンダー」、「フォーマット」、「バージョン」のサブ要素には、図4(A)のマップ参照テーブルRTMの2番目のレコードに記録された各情報が指定されている。これにより、アップロードデータ生成部19は、マップ参照テーブルRTMの情報を好適に「車両メタデータ」に含めることができる。
 アップロードデータ生成部19は、例えば図7(B)に示した「マップ参照テーブル」と同様の形式に従い、「センサ参照テーブル」に、記憶部12に記憶したセンサ参照テーブルRTSの情報を指定し、「プラットフォーム参照テーブル」に、記憶部12に記憶したプラットフォーム参照テーブルRTPの情報を指定し、「アルゴリズム参照テーブル」に、記憶部12に記憶したアルゴリズム参照テーブルRTAの情報を指定する。
 このように、「車両メタデータ」の項目に、「マップ参照テーブル」、「センサ参照テーブル」、「プラットフォーム参照テーブル」、「アルゴリズム参照テーブル」の各要素を設けることで、アップロードデータ生成部19は、サーバ装置2とのセッション確立後に送信するアップロード情報Iuに、各参照テーブルRTの情報を好適に含めることができる。なお、「マップ参照テーブル」、「センサ参照テーブル」、「プラットフォーム参照テーブル」、「アルゴリズム参照テーブル」の各要素は任意要素であるため、アップロードデータ生成部19は、サーバ装置2とのセッション確立から2度目以降に送信するアップロード情報Iuには、「マップ参照テーブル」、「センサ参照テーブル」、「プラットフォーム参照テーブル」、「アルゴリズム参照テーブル」の項目に対応する参照テーブルRTを含める必要がない。よって、アップロードデータ生成部19は、例えば、サーバ装置2とセッションを確立するごとに、各参照テーブルRTの情報を一回限り送信すればよい。もしくは、サーバ装置2とセッションが確立し、アップロード情報Iuを各参照テーブルRTと共に送信した後、参照テーブルRTの内容に変化が生じた際に、アップロード情報Iuに変化が生じた参照テーブルRTのみを付して送信することにより、サーバ装置2は最新の参照テーブルを保有することができる。
 (3)オブジェクト認識イベント
 図8は、イベント情報に含まれる「オブジェクト認識イベント」のデータ構造を示す。図8は、「オブジェクト認識イベント」に含まれる要素(サブ項目)ごとに、各要素に対応する情報の指定が必須であるか任意であるかの情報を示している。
 図8に示すように、「オブジェクト認識イベント」は、「タイムスタンプ(timeStampUTC_ms)」、「オブジェクトID(detectedObjectID)」、「オフセット位置(PositionOffset)」、「オブジェクトタイプ(objectType)」、「オブジェクトサイズ(objectSize_m)」、「オブジェクトサイズ精度(objectSizeAccuracy_m)」、「メディアID(mediaID)」、「参照マップIDリスト」、「参照センサIDリスト」、「参照プラットフォームIDリスト」及び「参照アルゴリズムIDリスト」の各要素を含んでいる。なお、括弧内の英語表記はヒア仕様書内での各要素の名称を示しており、括弧内表記がない「参照マップIDリスト」、「参照センサIDリスト」、「参照プラットフォームIDリスト」及び「参照アルゴリズムIDリスト」の各項目は、出願人が新たに追加した項目を示す。
 端末装置1のアップロードデータ生成部19は、オブジェクト検出部18からオブジェクトの検出結果を示すオブジェクトデータを受信した場合に、図8に示すデータ構造を有する「オブジェクト認識イベント」を含むイベント情報を生成する。ここで、アップロードデータ生成部19は、「タイムスタンプ」にはオブジェクト検出時の時刻を指定し、「オブジェクトID」には、検出したオブジェクトのオブジェクトIDを指定する。なお、オブジェクトIDは、例えば、地図DB4に登録されたオブジェクト(地物)にそれぞれ割り当てられたIDであって、例えば各オブジェクトに対応する地物情報に含まれる。また、「オフセット位置」には、アップロードデータ生成部19は、検出したオブジェクトの車両からの相対位置(例えば緯度差及び経度差等)の情報を指定する。同様に、アップロードデータ生成部19は、検出したオブジェクトのサイズ情報及び当該サイズの精度情報がオブジェクト検出部18から供給されるオブジェクトデータに含まれていた場合に、これらの情報を、「オブジェクトサイズ」、「オブジェクトサイズ精度」の各要素に指定する。また、アップロードデータ生成部19は、センサ部7が出力した画像、ビデオ、点群データなどの生データを送信する必要がある場合に、当該生データに対して付与した識別情報を、「メディアID」に指定する。そして、「メディアID」の要素で指定されたメディア(生データ)の詳細情報等については、「メディア情報」の項目に別途格納される。
 「参照マップIDリスト」には、アップロードデータ生成部19は、オブジェクト検出部18が検出したオブジェクトの検出処理時に参照した1又は複数の地図DB4を特定するための参照マップIDを指定する。この参照マップIDは、マップ参照テーブルRTMに規定されており、アップロードデータ生成部19は、オブジェクトの検出処理に使用した地図DB4がマップ参照テーブルRTMにおいて該当する参照マップIDを、「参照マップIDリスト」として指定する。なお、オブジェクトの検出処理時に複数の地図DB4を参照する可能性を考慮し、「参照マップIDリスト」では、複数の参照マップIDが指定可能となっている。ここで、マップ参照テーブルRTMは、サーバ装置2との通信セッション確立時に既にサーバ装置2へ送信されている。よって、サーバ装置2は、参照マップIDが指定されたイベント情報を含むアップロード情報Iuを受信した場合に、マップ参照テーブルRTMを参照することで、オブジェクト検出に使用した1又は複数の地図DB4の各々のベンダー、フォーマット、バージョン等を特定することが可能となる。このように、端末装置1は、この参照マップIDを「オブジェクト認識イベント」のイベント情報に含めることで、オブジェクト認識イベントの検出時に参照した1又は複数の地図DB4の各々の属性に関する詳細情報を、最小限のデータ量により好適にサーバ装置2に通知することができる。
 同様に、「参照センサIDリスト」には、アップロードデータ生成部19は、オブジェクト検出部18が検出したオブジェクトの検出処理に使用したセンサ部7の1又は複数のセンサに対応する参照センサIDを指定する。この参照センサIDは、センサ参照テーブルRTSに規定されており、アップロードデータ生成部19は、オブジェクトの検出処理に使用したセンサがセンサ参照テーブルRTSにおいて該当する参照センサIDを、「参照センサIDリスト」として指定する。なお、オブジェクトの検出処理時に複数のセンサを使用する可能性を考慮し、「参照センサIDリスト」では、複数の参照センサIDが指定可能となっている。ここで、センサ参照テーブルRTSは、サーバ装置2との通信セッション確立時に既にサーバ装置2へ送信されている。よって、サーバ装置2は、1又は複数の参照センサIDが指定されたイベント情報を含むアップロード情報Iuを受信した場合に、センサ参照テーブルRTSを参照することで、オブジェクト検出に使用した各センサのタイプ、ベンダー、モデル、ファームウェアバージョン等を特定することが可能となる。このように、端末装置1は、1又は複数の参照センサIDを「オブジェクト認識イベント」のイベント情報に含めることで、オブジェクト認識イベントの検出時に使用した1又は複数のセンサの各々の属性に関する詳細情報を、最小限のデータ量により好適にサーバ装置2に通知することができる。
 さらに、「参照プラットフォームIDリスト」には、アップロードデータ生成部19は、オブジェクト検出部18が検出したオブジェクトの検出処理に使用した1又は複数のプラットフォームに対応する参照プラットフォームIDを指定する。この参照プラットフォームIDは、プラットフォーム参照テーブルRTPに規定されており、アップロードデータ生成部19は、オブジェクトの検出処理に使用したプラットフォームがプラットフォーム参照テーブルRTPにおいて該当する参照プラットフォームIDを、「参照プラットフォームIDリスト」として指定する。なお、オブジェクトの検出処理時に複数のプラットフォームを使用する可能性を考慮し、「参照プラットフォームIDリスト」では、複数の参照プラットフォームIDが指定可能となっている。ここで、プラットフォーム参照テーブルRTPは、サーバ装置2との通信セッション確立時に既にサーバ装置2へ送信されている。よって、サーバ装置2は、参照プラットフォ-ムIDが指定されたイベント情報を含むアップロード情報Iuを受信した場合に、プラットフォーム参照テーブルRTPを参照することで、オブジェクト検出に使用した各プラットフォームのベンダー、ハードウェアモデル、ファームウェアバージョン、ソフトウェアバージョン等を特定することが可能となる。このように、端末装置1は、1又は複数の参照プラットフォームIDを「オブジェクト認識イベント」のイベント情報に含めることで、オブジェクト認識イベントの検出時に使用したプラットフォームの各々の属性に関する詳細情報を、最小限のデータ量により好適にサーバ装置2に通知することができる。
 さらに、「参照アルゴリズムIDリスト」には、アップロードデータ生成部19は、オブジェクト検出部18が検出したオブジェクトの検出処理に使用したアルゴリズムに対応する1又は複数の参照IDを指定する。この参照アルゴリズムIDは、アルゴリズム参照テーブルRTAに規定されており、アップロードデータ生成部19は、オブジェクトの検出処理に使用したアルゴリズムがアルゴリズム参照テーブルRTAにおいて該当する参照アルゴリズムIDを、「参照アルゴリズムIDリスト」として指定する。なお、オブジェクトの検出処理時に複数のアルゴリズムを使用する可能性を考慮し、「参照アルゴリズムIDリスト」では、複数の参照アルゴリズムIDが指定可能となっている。ここで、アルゴリズム参照テーブルRTAは、サーバ装置2との通信セッション確立時に既にサーバ装置2へ送信されている。よって、サーバ装置2は、参照アルゴリズムIDが指定されたイベント情報を含むアップロード情報Iuを受信した場合に、アルゴリズム参照テーブルRTAを参照することで、オブジェクト検出に使用した1又は複数のアルゴリズムのタイプ、当該アルゴリズムの処理を実装したソフトウェアのベンダー及びバージョン等を特定することが可能となる。このように、端末装置1は、1又は複数の参照アルゴリズムIDを「オブジェクト認識イベント」のイベント情報に含めることで、オブジェクト認識イベントの検出時に使用したアルゴリズムの各々に関する詳細情報を、最小限のデータ量により好適にサーバ装置2に通知することができる。
 ここで、「参照マップIDリスト」、「参照センサIDリスト」、「参照プラットフォームIDリスト」、「参照アルゴリズムIDリスト」の各要素は、任意要素となっている。よって、端末装置1は、例えば、これらの参照IDを規定する参照テーブルRTのうち、送信していない参照テーブルRTが存在する場合などでは、当該参照テーブルRTに対応する参照IDについては指定しない。
 (4)位置推定イベント
 図9は、イベント情報に含まれる「位置推定イベント」のデータ構造を示す。図9は、「位置推定イベント」に含まれる要素(サブ項目)ごとに、各要素に対応する情報の指定が必須であるか任意であるかの情報を示している。
 図9に示すように、「位置推定イベント」は、「タイムスタンプ」、「位置推定種別」、「基準オブジェクトID」、「緯度」、「経度」、「参照マップID」、「参照センサID」、「参照プラットフォームID」、「参照アルゴリズムID」の各要素を含んでいる。図9の例では、「タイムスタンプ」、「位置推定種別」の各要素は、情報の指定が必須となっており、「基準オブジェクトID」、「緯度」、「経度」、「参照マップID」、「参照センサID」、「参照プラットフォームID」、「参照アルゴリズムID」の各要素は、情報の指定が任意となっている。端末装置1のアップロードデータ生成部19は、位置推定部17が自車位置の推定を行った場合に、位置推定イベントが発生したと判定し、図9に示すデータ構造を有するイベント情報を生成する。なお、自車位置の推定に関するイベント情報は、自車位置の推定を行うたびに毎回生成する必要はなく、推定結果に大きな変化が生じた場合や、推定に使用したマップ、センサ、プラットフォーム、アルゴリズムに変化が生じた場合にイベント情報を生成するようにしても良い。
 「タイムスタンプ」には、アップロードデータ生成部19は、位置推定を行った日時を示す情報を指定する。また、「位置推定種別」には、アップロードデータ生成部19は、ランドマークとなるオブジェクトを基準としない位置推定(「絶対位置推定」とも呼ぶ。)を実行したか、又は、ランドマークとなるオブジェクトを基準とした位置推定(「相対位置推定」とも呼ぶ。)を実行したかの情報を指定する。ここで、絶対位置推定は、外界センサの出力に基づかない位置推定(例えばGPSによる位置推定)を指し、相対位置推定は、外界センサによるオブジェクトの検出データと、地図DB4に含まれるオブジェクトの位置データとに基づく位置推定を指す。ここでは、アップロードデータ生成部19は、絶対位置推定を行った場合には、上記要素を「0」とし、相対位置推定を行った場合には、上記要素を「1」に指定する。このように、「位置推定種別」を設けることで、例えば、アップロードデータ生成部19は、実行した位置推定が外界センサを用いない比較的低精度な絶対位置推定を実行しているか、外界センサの出力を用いた比較的高精度な相対位置推定を実行しているかを好適にサーバ装置2に把握させることができる。また、「位置推定種別」は、後述する「緯度」及び「経度」で指定された位置情報が絶対的な位置を示すか相対的な位置を示すかを判定するために用いることもできる。
 また、「基準オブジェクトID」には、アップロードデータ生成部19は、相対位置推定を行った場合に基準としたオブジェクトのオブジェクトIDである基準オブジェクトIDを指定する。このように、「基準オブジェクトID」を設けることで、アップロードデータ生成部19は、位置推定で基準としたオブジェクトをサーバ装置2に好適に通知することができる。そして、例えば、基準オブジェクトIDは、後述するように、「緯度」及び「経度」で指定された相対的な位置情報から車両の絶対的な位置(緯度及び経度)を算出するために用いられる。他の例では、基準オブジェクトIDは、推定された位置情報の信頼度の設定に用いられてもよい。この場合、サーバ装置2は、例えば、配信地図DB5等を参照することで、基準オブジェクトIDに基づき、位置推定で基準としたオブジェクトの種別等を認識し、認識した種別等から位置推定の信頼度を推定する。例えば、サーバ装置2は、位置推定に好適なオブジェクトが基準オブジェクトIDに指定されている場合、信頼性が高い位置推定が行われていると見なし、当該位置推定が行われている間に端末装置1から受信したイベント情報に設定する信頼度を高くする。一方、サーバ装置2は、位置推定に不適なオブジェクトが基準オブジェクトIDに指定されている場合、信頼性が比較的低い位置推定が行われていると見なし、当該位置推定が行われている間に端末装置1から受信したイベント情報に設定する信頼度を低くする。同様に、サーバ装置2は、「位置推定種別」に指定された値を、上述の信頼度の設定に用いてもよい。
 「緯度」及び「経度」には、アップロードデータ生成部19は、位置推定部17が推定した自車位置の緯度及び経度をそれぞれ指定する。また、アップロードデータ生成部19は、位置推定部17により相対位置推定が行われた場合には、基準オブジェクトIDで指定したオブジェクトと推定自車位置との緯度及び経度の差(即ち基準オブジェクトに対する緯度差及び経度差)を、「緯度」及び「経度」にそれぞれ指定してもよい。この場合、サーバ装置2は、基準オブジェクトIDが示すオブジェクトの緯度及び経度を配信地図DB5に記憶された地図データのいずれかから取得し、「緯度」及び「経度」にそれぞれ指定された緯度差及び経度差を加算することで、車両の絶対的な位置である緯度及び経度を認識する。なお、基準オブジェクトの緯度及び経度を参照する地図データは、位置推定に関するイベント情報に含まれる参照マップIDが示す地図データ(すなわち位置推定に使用した地図データ)と同じにするのが望ましい。
 「参照マップID」には、アップロードデータ生成部19は、位置推定部17が位置推定処理で参照した地図DB4に対応する参照マップIDを指定する。「参照センサID」には、アップロードデータ生成部19は、位置推定部17が位置推定処理で出力データを使用したセンサに対応する参照センサIDを指定する。「参照プラットフォームID」には、アップロードデータ生成部19は、位置推定部17による位置推定処理時のプラットフォームに対応する参照プラットフォームIDを指定する。「参照アルゴリズムID」には、アップロードデータ生成部19は、位置推定部17が位置推定処理において適用したアルゴリズムに対応する参照アルゴリズムIDを指定する。この場合、「参照アルゴリズムID」には、変更後の位置推定手法のアルゴリズムに対応する参照アルゴリズムIDが指定される。なお、「参照マップID」、「参照センサID」、「参照プラットフォームID」、「参照アルゴリズムID」に代えて、図8で説明したオブジェクト認識イベントのデータ構造と同様、複数のIDを指定可能な「参照マップIDリスト」、「参照センサIDリスト」、「参照プラットフォームIDリスト」、「参照アルゴリズムIDリスト」が設けられてもよい。
 このように、端末装置1は、各参照IDを「位置推定イベント」のイベント情報に含めることで、位置推定に使用した地図DB4、センサ、プラットフォーム及びアルゴリズムの詳細情報を、最小限のデータ量により好適にサーバ装置2に通知することができる。
 「位置推定イベント」のデータ構造は、図9に示す構造に限られない。例えば、アップロード情報Iuの「走行経路情報」の「位置推定」の項目内の要素と重複する要素(例えば「緯度」及び「経度」)については、「走行経路情報」の「位置推定」にのみ設けられてもよい。他の例では、「推定位置種別」及び「基準オブジェクトID」の各要素は、「位置推定イベント」の項目に設けられる代わりに、「走行経路情報」の「位置推定」の項目内に設けられてもよい。
 なお、「オブジェクト認識イベント」及び「位置推定イベント」以外のイベント情報の項目である標識認識イベント及び車線境界認識イベント等についても同様に、ヒア仕様書で規定された各要素に加えて、「参照マップID」、「参照センサID」、「参照プラットフォームID」、「参照アルゴリズムID」の各要素を新たに設ける。これにより、アップロードデータ生成部19は、各参照IDをイベント情報内に指定することができるため、イベント情報の生成時に使用した地図DB4、センサ、プラットフォーム、アルゴリズムに関する詳細情報を、最小限のデータ通信量によりサーバ装置2に通知することができる。
 (5)メディア情報
 図10(A)は、図6に示されたアップロード情報Iuのメディア情報のデータ構造の一例を示す。図10(A)は、「メディア情報」に含まれる要素ごとに、各要素に対応する情報の指定が必須であるか任意であるかの情報を示している。
 図10(A)に示すように、「メディア情報」は、「タイムスタンプ(Timestamp)」、「メディアタイプ(Media Type)」、「メディアフォーマット(MediaFormat)」、「メディアコンテンツ(MediaContent)」、「メディアID(MediaID)」、「参照センサID」、「センサオフセット(SensorOffset)」、「センサ方向(Sensor Direction)」、「メディアコンテンツ時間(Media Content Duration)」、「センサ垂直視野角(Sensor Vertical Viewing Angle)」、「センサ水平視野角(Sensor Horizontal Viewing Angle)」、「センサロール角」、「センサピッチ角」及び「センサヨー角」の各要素を含んでいる。なお、括弧内の英語表記はヒア仕様書内での各要素の名称を示しており、括弧内表記がない「参照センサID」、「センサロール角」、「センサピッチ角」、及び「センサヨー角」の各項目は、出願人が新たに追加した項目を示す。また、図10(A)の例では、「タイムスタンプ」、「メディアコンテンツ」、「メディアID」の各要素は、情報の指定が必須となっており、他の各要素は、情報の指定が任意となっている。なお、「メディアコンテンツ」としては、静止画像、動画像、音声、その他センサーで取得した生データ、もしくはその加工データが例示できる。
 「タイムスタンプ」には、アップロードデータ生成部19は、送信するメディアコンテンツ(生データ)を生成した日時を示す情報を指定する。「メディアタイプ」及び「メディアフォーマット」には、アップロードデータ生成部19は、送信する生データの種類及びフォーマットの情報を指定する。「メディアコンテンツ」には、アップロードデータ生成部19は、送信すべき生データのバイナリデータを格納する。「メディアID」には、アップロードデータ生成部19は、送信する生データの識別情報であって、図8に示した「オブジェクト認識イベント」等のイベント情報で指定したメディアIDを指定する。「メディアコンテンツ時間」には、アップロードデータ生成部19は、送信する生データがビデオなどの時間軸を有するメディアである場合に、当該メディアの時間長の情報を指定する。
 「参照センサID」には、アップロードデータ生成部19は、送信する生データを出力したセンサがセンサ参照テーブルRTSにおいて対応付けられている参照センサIDの情報を指定する。このように、アップロードデータ生成部19は、メディア情報に参照センサIDの情報を含めることで、送信する生データの取得に利用したセンサの種別、ベンダー、ハードウェア、ソフトウェア(ファームウェア)、設置位置、設置方向、視野角の各情報をサーバ装置2に好適に通知することができる。サーバ装置2は、この場合、生データの取得に利用したセンサの種別、ベンダー、ハードウェア、ソフトウェア(ファームウェア)の各情報に基づき、受信した生データの加工処理を行う。上述の加工処理として、例えば、サーバ装置2は、メディア情報が、ある特定のカメラで撮影された画像である場合に、所定の画像処理を施して解像度を変化させたり、コントラストを調整して、画像認識処理において利用しやすくすることができる。他の例では、サーバ装置2は、メディアデータを取得した外界センサがマイクである場合、メディアデータであるオーディオデータを当該マイクのベンダーや機種の違いに起因する音響特性を抑えたオーディオデータに補正することができる。また、参照センサIDにより特定されるセンサの設置位置等の情報については、後述するように、センサを基準とした座標系から絶対的な座標系に生データの座標系を変換する処理等に使用される。なお、「参照センサID」の代わりに、生データの取得に利用したセンサの種別、ベンダー、ハードウェア、ソフトウェア(ファームウェア)、設置位置、設置方向、視野角の各情報をそれぞれ個別に指定可能な要素がメディア情報に設けられてもよい。
 「センサロール角」には、アップロードデータ生成部19は、送信する生データを出力したセンサの車両に対するロール角の情報を指定する。「センサピッチ角」には、アップロードデータ生成部19は、送信する生データを出力したセンサの車両に対するピッチ角の情報を指定する。「センサヨー角」には、アップロードデータ生成部19は、送信する生データを出力したセンサの車両に対するヨー角の情報を指定する。アップロードデータ生成部19は、これらのセンサのロール角、ピッチ角、ヨー角の情報を、例えば3軸センサ36の出力に基づき特定する。
 図10(B)は、「メディアタイプ」において指定する番号とメディアタイプとの対応表を示す。図10(B)の例では、番号2には画像、番号3にはビデオ、番号4にはオーディオ、番号5にはライダデータ、番号1にはその他のメディアタイプがそれぞれ対応付けられている。
 ここで、メディア情報に「センサロール角」、「センサピッチ角」及び「センサヨー角」の各要素が設けられていることの効果について補足説明する。
 一般に、センサ部7のセンサが出力する生データは、当該センサを基準としたローカル座標系に基づくデータであり、対象とするセンサの位置及び姿勢に依存する。従って、サーバ装置2は、このような生データを事後的に解析してオブジェクト認識などを行う場合、対象の生データを、センサの位置及び姿勢の情報に基づき、車両を基準とした車両座標系に変換し、さらに走行経路情報などに含まれる車両の位置及び姿勢の情報に基づき、絶対座標系に変換する必要がある。一方、センサを基準とした座標系から車両を基準とした座標系等に変換する場合、参照センサIDにより特定されるセンサの設置位置の情報(即ち図4(B)の「センサオフセット」の情報)及びセンサの設置方向の情報(即ち図4(B)の「センサ方向」の情報)のみでは、ロール方向の情報などが含まれておらず、正確な座標変換を行うことができない。以上を勘案し、本実施例では、メディア情報に「センサロール角」、「センサピッチ角」及び「センサヨー角」の各要素を設け、端末装置1からサーバ装置2に生データを送信する際に、使用したセンサのロール角、ピッチ角、ヨー角の情報を指定可能なデータ構造とする。これにより、サーバ装置2は、端末装置1から受信する生データをメディア情報の各要素に基づき絶対座標系のデータに変換することが可能となり、絶対座標系で表された配置地図DB5の更新に好適に用いることができる。
 なお、「センサロール角」、「センサピッチ角」及び「センサヨー角」の各要素には、車両に対する相対的なロール角、ピッチ角、ヨー角の情報が指定される代わりに、絶対的な角度を示すロール角、ピッチ角、ヨー角の情報が指定されてもよい。この場合、例えば、端末装置1は、生データを出力するセンサに設けられた3軸センサ36や方位センサ等のセンサ部7の出力に基づき、「センサロール角」及び「センサピッチ角」に、水平面に対するセンサのロール角及びピッチ角の情報を指定し、「センサヨー角」には、センサが向けられた方位の情報を指定する。この場合であっても、サーバ装置2は、センサを基準とした座標系から絶対的な座標系に生データの座標系を変換するために必要な情報を、好適に端末装置1に通知することができる。
 [処理フロー]
 次に、端末装置1及びサーバ装置2が実行する処理フローについて説明する。
 (1)アップロード情報送信処理
 図11は、端末装置1が実行するアップロード情報Iuの送信に関するフローチャートである。
 まず、端末装置1は、サーバ装置2と通信セッションを確立したか否か判定する(ステップS101)。そして、端末装置1は、サーバ装置2と通信セッションを確立した場合(ステップS101;Yes)、各参照テーブルRT及び車両属性情報IVを含むアップロード情報Iuをサーバ装置2へ送信する(ステップS102)。この場合、端末装置1は、例えばアップロード情報Iuが図6に示したデータ構造を有する場合、各参照テーブルRT及び車両属性情報IVを、ヘッダ情報に含まれる「車両メタデータ」の各要素として指定したアップロード情報Iuをサーバ装置2へ送信する。
 次に、端末装置1は、所定のイベントを検知したか否か判定する(ステップS103)。例えば、端末装置1は、センサ部7の出力に基づき、イベント情報として送信すべきイベント(位置推定イベント、オブジェクト認識イベント等)が発生したか否か判定する。なお、位置推定イベントの検知処理の具体例については、図12を参照して後述する。
 そして、端末装置1は、イベントを検知した場合(ステップS103;Yes)、イベント検知時に使用した地図DB4、センサ、プラットフォーム、及びアルゴリズムに対応する参照IDを各参照テーブルRTに基づき特定し、当該各参照IDを含むイベント情報を生成する(ステップS104)。この場合、端末装置1は、各参照テーブルRTに基づき特定した参照IDの情報を、位置推定イベント、オブジェクト認識イベントなどに対応するイベント情報の「参照マップID」、「参照センサID」、「参照プラットフォームID」、「参照アルゴリズムID」の各要素において指定する。
 次に、端末装置1は、センサ部7の特定のセンサが出力する生データを送信するか否か判定する(ステップS105)。そして、端末装置1は、生データを送信する場合(ステップS105;Yes)、ポジションセンサ35や3軸センサ36の出力等に基づき、送信する生データを出力するセンサの位置及び姿勢等を検出する(ステップS106)。これにより、端末装置1は、図10(A)に示すメディア情報の「センサオフセット」、「センサロール角」、「センサピッチ角」及び「センサヨー角」等に指定すべき情報を特定する。そして、端末装置1は、生データを含むメディア情報を生成する(ステップS107)。
 そして、端末装置1は、アップロード情報Iuをサーバ装置2へ送信する(ステップS108)。ここで、端末装置1は、生データを送信しない場合(ステップS105;No)、ステップS104で生成したイベント情報を含むアップロード情報Iuをサーバ装置2へ送信する。一方、端末装置1は、ステップS107でメディア情報を生成した場合には、イベント情報及びメディア情報を含むアップロード情報Iuをサーバ装置2へ送信する。なお、端末装置1は、イベント情報とメディア情報とを異なるタイミングで送信してもよい。例えば、端末装置1は、イベント情報を含むアップロード情報IuをステップS104の直後にサーバ装置2へ送信した後、ステップS107で生成したメディア情報を別途サーバ装置2へ送信してもよい。
 次に、端末装置1は、サーバ装置2との通信セッションが切断されたか否か判定する(ステップS109)。そして、端末装置1は、サーバ装置2との通信セッションが切断された場合(ステップS109;Yes)、フローチャートの処理を終了する。一方、端末装置1は、サーバ装置2との通信セッションが切断されていない場合(ステップS109;No)、ステップS103へ処理を戻し、再びイベントの検知を行う。
 (2)位置推定イベント検知処理
 図12は、位置推定イベントの検知処理の具体例を示したフローチャートである。端末装置1は、図12のフローチャートの処理を、図11のステップS103のイベント検知の判定処理の一部として実行する。
 まず、端末装置1は、現時点において実行可能な位置推定方法を特定する(ステップS201)。例えば、端末装置1は、GPS受信機33及びジャイロセンサ34等の自立測位センサの出力に基づくデッドレコニングによる自車位置推定方法、自律航法とマップマッチングとを組み合わせて自車位置を推定する方法、ライダ31やカメラ32などの出力と地図DB4の地物情報とを照合させて自車位置を推定する方法など、予め定められた複数の自車位置推定方法のうち、現時点で実行可能な位置推定方法を特定する。例えば、端末装置1は、各位置推定方法に用いる各センサが正常に動作しているか否か、マップマッチングの可否、位置推定において基準とするオブジェクトの存否などを判定することで、現時点で実行可能な位置推定方法を特定する。
 そして、端末装置1は、ステップS201で特定した、現時点で実行可能な位置推定方法のうち、最も高精度な位置推定を実行する(ステップS202)。この場合、例えば、各位置推定方法には、位置推定精度に基づく優先順位などが予め定められており、端末装置1は、この優先順位に基づき、現時点で実行可能な位置推定方法のうち、最も高精度な位置推定方法を特定する。なお、上述の優先順位は、天候や道路種別などの外部環境によって異なってもよい。
 次に、端末装置1は、位置推定方法の切り替えが必要か否か判定する(ステップS203)。例えば、端末装置1は、ステップS201と同様の処理を行うことで、現時点で実行可能な位置推定方法を特定し、現在の位置推定方法よりも高精度な位置推定方法が実行可能となった場合、又は、現在の位置推定方法の実行が継続できなくなった場合に、位置推定方法の切り替えが必要と判断する。
 そして、位置推定方法の切り替えが必要である場合(ステップS203;Yes)、端末装置1は、位置推定方法の切り替えを行う(ステップS204)。そして、端末装置1は、位置推定イベントが発生したと判定する(ステップS205)。その後、端末装置1は、図11のステップS104以降の処理を実行することで、図9で説明したデータ構造を有する位置推定イベントのイベント情報を含むアップロード情報Iuを生成し、サーバ装置2へ生成したアップロード情報Iuを送信する。なお、端末装置1は、実行する位置推定方法に変更がない場合であっても、相対位置推定において基準とするオブジェクトに変更があった場合、即ち位置推定イベントの「基準オブジェクトID」に指定すべきオブジェクトに変更があった場合には、位置推定イベントのイベント情報を含むアップロード情報Iuの生成及び送信を行ってもよい。
 一方、位置推定方法の切り替えが必要でない場合(ステップS203;No)、端末装置1は、引き続きステップS203の判定処理を行う。
 (3)アップロード情報受信処理
 図13は、サーバ装置2が実行するアップロード情報Iuの受信処理の手順を示したフローチャートである。
 まず、サーバ装置2は、端末装置1からの接続要求があるか否か判定する(ステップS301)。そして、サーバ装置2は、接続要求があった場合(ステップS301;Yes)、端末装置1と通信セッションを確立し、参照テーブルRTや車両属性情報IVを含むアップロード情報Iuを端末装置1から受信する(ステップS302)。その後、サーバ装置2は、受信したアップロード情報Iuから各参照テーブルRTを抽出し、端末装置1との間で確立した通信セッションのセッションID又はアップロード情報Iuに含まれる車両IDと関連付けて参照テーブルDB8に記憶する(ステップS303)。これにより、サーバ装置2は、通信を確立したそれぞれの端末装置1から送信される参照テーブルRTを、端末装置1毎(即ち車両毎)に記憶することができる。
 次に、サーバ装置2は、通信セッションを確立した端末装置1からイベント情報を含むアップロード情報Iuを受信する(ステップS304)。そして、サーバ装置2は、アップロード情報Iuに含まれるイベント情報をイベント情報DB9に記録する。
 次に、サーバ装置2は、通信セッションを確立した端末装置1との通信セッションが切断されたか否か判定する(ステップS305)。そして、サーバ装置2は、通信セッションが切断されたと判断した場合(ステップS305;Yes)、通信セッションが切断された端末装置1とのセッションIDと関連付けられた参照テーブルRTを参照テーブルDB8から削除する(ステップS306)。なお、サーバ装置2は、車両IDと関連付けられた参照テーブルRTの送信元の端末装置1と通信セッションが切断された場合には、当該参照テーブルRTを参照テーブルDB8から削除しなくともよい。この場合、参照テーブルDB8から削除されずに残った参照テーブルRTは、送信元の端末装置1が再度サーバ装置2と通信セッションを確立した場合に、サーバ装置2により再び参照される。このように、前に確立した通信セッションにおいて受信した参照テーブルRTが参照テーブルDB8に記録されている場合には、サーバ装置2は、各参照テーブルRTをステップS302で端末装置1から受信する処理、及び、ステップS303で参照テーブルDB8に各参照テーブルRTを記憶する処理を実行しなくともよい。
 一方、通信セッションを確立した端末装置1との通信セッションが切断されていない場合(ステップS305;No)、サーバ装置2は、ステップS304において、引き続き端末装置1からイベント情報を含むアップロード情報Iuの受信処理を行う。
 ここで、サーバ装置2がステップS304でイベント情報を含むアップロード情報Iuを受信した際に実行する処理について具体的に説明する。
 例えば、サーバ装置2は、イベント情報に参照マップIDが含まれる場合には、参照テーブルDB8から対応するマップ参照テーブルRTMを参照することで端末装置1が参照した地図DB4のベンダー、フォーマット、バージョンを特定する。サーバ装置2は、更新対象の配信地図DB5に記憶された地図と、端末装置1が参照する地図DB4に記憶された各種の地図との差分に関する情報を把握している。これにより、サーバ装置2は、端末装置1が使用した地図DB4と更新対象の配信地図DB5とのずれ分を認識し、当該ずれ分だけ位置情報等を修正したイベント情報をイベント情報DB9に記録する。従って、この場合、サーバ装置2は、端末装置1が使用した地図DB4の属性に依存しないイベント情報を収集し、配信地図DB5の更新に用いることができる。
 また、サーバ装置2は、イベント情報に参照センサIDが含まれる場合には、参照テーブルDB8から対応するセンサ参照テーブルRTSを参照することで端末装置1がイベントを検知した時に使用したセンサのタイプ、ベンダー、モデル、ファームウェアバージョンなどのセンサの属性を認識する。そして、サーバ装置2は、認識したセンサの属性に応じた補正処理を、オブジェクト認識結果等を示すイベント情報に対して行い、補正後のイベント情報をイベント情報DB9に記録する。これにより、サーバ装置2は、イベント検出に使用したセンサのタイプ、モデル等の属性に依存しないようにイベント情報を補正し、配信地図DB5の更新に好適なイベント情報を収集することができる。また、サーバ装置2は、認識したセンサの属性に応じた信頼度の情報をイベント情報に付加し、イベント情報DB9に登録してもよい。
 同様に、サーバ装置2は、イベント情報に参照プラットフォームIDが含まれる場合には、参照テーブルDB8から対応するプラットフォーム参照テーブルRTPを参照することで端末装置1がイベント検出時に使用したプラットフォームのベンダー、モデルなどの属性を認識し、その認識結果に応じて、イベント情報の補正又は/及びイベント情報への信頼度の付加などを行う。また、サーバ装置2は、イベント情報に参照アルゴリズムIDが含まれる場合には、参照テーブルDB8から対応するアルゴリズム参照テーブルRTAを参照することで、端末装置1がイベント検出時に使用したアルゴリズムに関する情報を認識し、その認識結果に応じて、イベント情報の補正又は/及びイベント情報への信頼度の付加などを行う。
 また、生データを含むメディア情報を有するアップロード情報Iuを受信した場合、サーバ装置2は、メディア情報の参照センサIDからセンサ参照テーブルRTSを参照することで、生データを取得したセンサのタイプ、ベンダー、モデル、ファームウェアバージョンなどの属性を特定し、これらのセンサの属性を勘案して生データの加工処理を行う。これにより、サーバ装置2は、生データを取得したセンサの属性を勘案し、生データを好適に加工することができる。また、サーバ装置2は、メディア情報の「センサロール角」、「センサピッチ角」及び「センサヨー角」の各要素に指定されたセンサのロール角、ピッチ角、ヨー角の情報に基づき、端末装置1から受信する生データを、地図で採用される座標系である絶対座標系のデータに変換する。これにより、サーバ装置2は、受信した生データを、絶対座標系で表されたデータに変換し、配置地図DB5の更新に好適に用いることができる。
 また、位置推定イベントに関するイベント情報を有するアップロード情報Iuを受信した場合、サーバ装置2は、例えば、図9の位置推定イベントの「位置推定種別」、「基準オブジェクトID」、「参照マップID」、「参照センサID」、「参照プラットフォームID」、「参照アルゴリズムID」等に指定された情報に基づき、現在の端末装置1の車両の位置推定に対する信頼度(精度)を推定する。そして、サーバ装置2は、推定した信頼度を勘案し、当該端末装置1から送信されるイベント情報に対する信頼度の設定等を行う。また、サーバ装置2は、位置推定種別が相対位置推定である場合には、「緯度」及び「経度」等に指定された相対位置情報を、基準オブジェクトIDが示すオブジェクトの位置情報に基づき、絶対的な位置情報に変換する。
 <第2実施例>
 第2実施例では、サーバ装置2は、イベント情報を含むアップロード情報Iuを端末装置1から受信した場合であって、参照テーブルRTを参照しても不明な参照IDがイベント情報に含まれていた場合に、端末装置1に対して参照テーブルRTの再送要求をさらに行う。これにより、サーバ装置2は、必要に応じて最新の参照テーブルRTを端末装置1から受信し、イベント情報で指定された参照IDに対応する情報を好適に取得する。
 図14(A)は、サーバ装置2の参照テーブルDB8において所定の車両IDと関連付けられて記憶されたマップ参照テーブルRTMを示し、図14(B)は、図14(A)に示されるマップ参照テーブルRTMの送信元の端末装置1が現時点で記憶するマップ参照テーブルRTMを示す。この例では、マップ参照テーブルRTMをサーバ装置2に送信した後に端末装置1がマップ参照テーブルRTMを更新したことにより、最新のマップ参照テーブルRTMには参照マップID「4」のレコードが追加されている。
 端末装置1は、参照マップID「4」の地図DB4を参照してオブジェクト認識イベントなどの所定のイベントを検出した場合、イベント情報に参照マップID「4」を付加したアップロード情報Iuをサーバ装置2へ送信する。サーバ装置2は、このアップロード情報Iuを受信した場合、送信元の端末装置1に対応する図14(A)に示すマップ参照テーブルRTMを参照マップDB8から抽出し、イベント情報に付加された参照マップID「4」に対応するレコードを探索する。この場合、サーバ装置2は、図14(A)に示すマップ参照テーブルRTMに参照マップID「4」に対応するレコードが存在しないことから、端末装置1に対してマップ参照テーブルRTMの再送要求を送信する。端末装置1は、上述の再送要求を受信した場合、記憶部12に記憶された図14(B)に示す最新のマップ参照テーブルRTMを抽出し、マップ参照テーブルRTMをサーバ装置2へ送信する。これにより、サーバ装置2は、端末装置1から最新のマップ参照テーブルRTMを取得し、参照マップID「4」に対応する地図の詳細な情報を好適に特定することができる。なお、端末装置1は、マップ参照テーブルRTM全体をサーバ装置2へ送信する代わりに、マップ参照テーブルRTMを新たに生成するための情報として、参照マップID「4」に対応するレコードのみを送信してもよい。この場合、サーバ装置2は、送信を要求するレコードに対応するIDを指定した送信要求を端末装置1に対して送信するとよい。
 図15は、第2実施例においてサーバ装置2が実行するアップロード受信処理の手順を示すフローチャートである。図15の例では、サーバ装置2は、端末装置1から受信した参照テーブルRTを車両IDと関連付けて参照テーブルDB8に記憶し、参照テーブルDB8に記憶した参照テーブルRTに対象の参照IDが存在しない場合などに当該参照テーブルRTの再送要求を行う。
 サーバ装置2は、端末装置1からの接続要求があった場合(ステップS401;Yes)、端末装置1と通信セッションを確立し、車両属性情報IVなどを含むアップロード情報Iuを端末装置1から受信する(ステップS402)。この場合、例えば、端末装置1は、サーバ装置2に参照テーブルRTを送信した履歴がない場合(例えばサーバ装置2と初めて通信セッションを確立した場合)には、参照テーブルRTをアップロード情報Iuに含めてサーバ装置2に送信し、サーバ装置2に参照テーブルRTを送信した履歴がある場合には、参照テーブルRTをアップロード情報Iuに含めなくともよい。なお、端末装置1は、サーバ装置2に参照テーブルRT及び車両属性情報IVの両方を送信した履歴がある場合には、上述のアップロード情報Iuをサーバ装置2に送信しなくともよい。この場合、サーバ装置2は、ステップS402のアップロード情報Iuの受信処理を行わない。そして、サーバ装置2は、受信したアップロード情報Iuに参照テーブルRTが含まれる場合には、参照テーブルRTをアップロード情報Iuに含まれる車両IDと関連付けて参照テーブルDB8に記憶する。
 次に、サーバ装置2は、通信セッションを確立した端末装置1からイベント情報を含むアップロード情報Iuを受信したか否か判定する(ステップS404)。そして、サーバ装置2は、イベント情報を含むアップロード情報Iuを受信した場合(ステップS404;Yes)、イベント情報内に不明な参照IDが含まれているか否か判定する(ステップS405)。この場合の参照IDは、参照マップID、参照センサID、参照プラットフォームID、参照アルゴリズムIDのいずれであってもよい。一方、サーバ装置2は、イベント情報を含むアップロード情報Iuを受信しない場合(ステップS404;No)、ステップS408へ処理を進める。
 そして、サーバ装置2は、ステップS405において、イベント情報内に不明な参照IDが含まれていると判断した場合(ステップS405;Yes)、即ち、参照テーブルDB8に記録された参照テーブルRTに定義されていない参照ID又は不自然な参照IDがイベント情報に含まれている場合、参照テーブルRTの再送要求を端末装置1へ送信する(ステップS406)。不自然な参照IDとは、例えば受信したオブジェクト認識イベントとして受信したアップロード情報Iuの内容が、参照IDが示す情報と明らかに異なる場合を指す。例えば、オブジェクト認識イベントとして受信したアップロード情報Iuにおいて、オブジェクトタイプとして「人間」が認識されたとの情報が記憶されていたにもかかわらず、参照アルゴリズムIDが、車線認識アルゴリズムを指している場合などを言う。また、別の例では、オブジェクト認識イベントとして受信したアップロード情報Iuにおいて示されるメディアIDに対応するメディア情報が、「画像」であるにもかかわらず、参照センサIDが示すセンサが「マイク」を示している場合などである。このような場合、サーバ装置1が参照テーブルDB8に記憶する参照テーブルRTの内容と、端末装置1が保有する参照テーブルRTとの間で、不整合が生じている可能性が高いため、参照テーブルRTの再送要求を行うことで、サーバ装置2の参照テーブルDB8の内容を更新するのである。
 なお、ステップS406では、サーバ装置2は、マップ参照テーブルRTM、センサ参照テーブルRTS、プラットフォーム参照テーブルRTP、アルゴリズム参照テーブルRTAの全ての再送を要求する再送要求を送信してもよく、不明又は不自然な参照IDに対応する参照テーブルRTのみの再送を要求する再送要求を送信してもよい。そして、サーバ装置2は、上述の再送要求の応答として端末装置1から送信された参照テーブルRTを受信した場合、当該参照テーブルRTを送信元の端末装置1に対応する車両IDと関連付けて参照テーブルDB8に記憶する(ステップS407)。これにより、サーバ装置2は、新たに受信した参照テーブルRTを参照することで、ステップS404で受信したアップロード情報Iuのイベント情報の生成時に用いた地図、センサ、プラットフォーム、又はアルゴリズム等に関する属性情報を好適に特定することができる。なお、サーバ装置2は、ステップS406で不明な参照IDが存在すると判定した際に参照した参照テーブルRTについては、参照テーブルDB8から削除するとよい。そして、ステップS407の実行後、サーバ装置2は、特定した地図、センサ、プラットフォーム、及びアルゴリズムの各属性情報に基づき補正したイベント情報をイベント情報DB9に登録する。
 一方、サーバ装置2は、イベント情報内に不明な参照IDが含まれていない場合(ステップS405;No)、即ち、イベント情報に含まれる参照IDがいずれも参照テーブルDB8に記憶された参照テーブルRTに正しく定義されている場合、既に参照テーブルDB8に登録された参照テーブルRTを参照することで、ステップS404で受信したアップロード情報Iuのイベント情報の生成時に用いた地図、センサ、プラットフォーム、及びアルゴリズムの属性情報を好適に特定する。そして、サーバ装置2は、特定した地図、センサ、プラットフォーム、及びアルゴリズムの属性情報を反映したイベント情報をイベント情報DB9に登録する。
 次に、サーバ装置2は、端末装置1との通信セッションが切断されたか否か判定する(ステップS408)。そして、サーバ装置2は、端末装置1との通信セッションが切断された場合(ステップS408;Yes)、フローチャートの処理を終了する。この場合、サーバ装置2は、通信セッションが切断された端末装置1から送信された参照テーブルRTを破棄することなく継続して参照テーブルDB8に記憶しておく。一方、サーバ装置2は、端末装置1との通信セッションが切断されていない場合(ステップS408;No)、再びステップS404へ処理を戻してアップロード情報Iuの受信処理を行う。このように、第2実施例におけるサーバ装置2の制御部23は、取得部、特定部、補正部、地図情報要求部、更新部、及びプログラムを実行するコンピュータの一例である。
 図16は、第2実施例において端末装置1が実行する参照テーブルRTの再送処理の手順を示すフローチャートである。端末装置1は、図16のフローチャートの処理を、図11に示したアップロード送信処理と並行して繰り返し実行する。
 まず、端末装置1は、参照テーブルRTの再送要求をサーバ装置2から受信したか否か判定する(ステップS501)。そして、端末装置1は、参照テーブルRTの再送要求をサーバ装置2から受信した場合(ステップS501;Yes)、上述の再送要求において指定された参照テーブルRTをサーバ装置2へ送信する(ステップS502)。これにより、アップロード情報Iuのイベント情報に含めた参照IDを的確に定義した参照テーブルRTをサーバ装置2へ送信することができる。好適には、端末装置1は、参照テーブルRTの再送要求をサーバ装置2から受信した場合、記憶部12に記憶した各参照テーブルRTの更新(再生成)処理を行い、更新処理後の参照テーブルRTをサーバ装置2へ送信してもよい。これにより、端末装置1は、端末装置1及び車両の最新の状態を的確に反映した参照テーブルRTを、サーバ装置2へ供給することができる。他の例では、端末装置1は、参照テーブルRTの再送要求をサーバ装置2から受信したか否かによらず、利用可能な地図、センサ、プラットフォーム、又はアルゴリズムのいずれかに変更があったことを検知した場合に、対応する参照テーブルRTを即時に更新してもよい。このように、第2実施例における端末装置1の制御部14は、第1送信部、受信部、生成部、第2送信部、及びプログラムを実行するコンピュータの一例である。
 以上説明したように、上記実施例は、検出した物体の情報を各移動体から収集する情報処理装置へ送信するデータとして好適なデータ構造、及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを一つの目的としている。
 また、各車両からセンサの出力データや物体の検出データなどを収集する場合、これらのデータの取得位置を示す車両の位置情報を取得する必要がある。一方、位置情報の取得方法は車両ごとに異なり、取得方法が異なる場合、得られる位置情報は、取得方法に応じて異なる場合がある。
 上記のような課題を解決するため、上記実施例は、移動体の位置に関する位置情報を送信するためのデータ構造として好適なデータ構造及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを一つの目的としている。
 また、各車両で検出した変化点等に関する情報をサーバ装置が収集して地図データの更新等を行うシステムでは、車両側から送信されるデータは、一般的に地図を参照して生成される。一方、地図は、作成方針等が異なると地図の内容も異なるものとなる。例えば、個々の地物等の絶対的な位置精度を重視する作成方針の場合と、地物間の相対的な位置関係の精度を重視する作成方針の場合とでは、作成される地図は異なる。従って、車両側から送信されるデータは、当該車両側で参照される地図に依存したデータとなっているため、参照された地図に応じて補正する必要がある。
 上記のような課題を解決するため、上記実施例は、検出物体情報の生成に利用した地図を好適に特定可能な情報処理装置、及び検出物体情報を送信する情報送信装置を提供することを一つの目的としている。
 また、センサの出力に基づき検出された物体の情報を各車両から収集する場合、これらの情報は、各車両が変化点等の検出に使用したセンサによってばらつきが存在する。よって、各車両がセンサの出力に基づき検出した情報を収集して地図データの更新等を高精度に行うためには、各車両が使用したセンサの情報に基づき収集した情報の補正等を行う必要がある。
 上記のような課題を解決するため、上記実施例は、各移動体から検出した物体の情報を収集する情報処理装置に送信するために好適なデータ構造及び当該データ構造を有するデータを送信する情報送信装置を提供することを一つの目的としている。
 また、センサの出力に基づき検出された物体の情報を各車両から収集する場合、これらの情報は、各車両が変化点等の検出に使用したセンサによってばらつきが存在する。よって、各車両がセンサの出力に基づき検出した情報を収集して地図データの更新等を高精度に行うためには、各車両が使用したセンサの情報に基づき収集した情報の補正等を行う必要がある。
 上記のような課題を解決するため、上記実施例は、検出した物体の情報を各移動体から収集する情報処理装置が各移動体において使用された検出装置に関する情報を特定するのに好適なデータ構造及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを一つの目的としている。
 また、センサが出力する検出情報を各車両から収集する場合、これらの検出情報は、各車両に備わるセンサによってばらつきが存在する。よって、各車両のセンサが出力する検出情報を収集して地図データの更新等を高精度に行うためには、各車両が使用したセンサの情報に基づき収集した検出情報の補正等を行う必要がある。
 上記のような課題を解決するため、上記実施例は、検出情報を各移動体から収集する情報処理装置が受信するデータとして好適なデータ構造及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを一つの目的としている。
 また、センサの出力に基づき検出された物体の情報を各車両から収集するシステムにおいて、データを供給する車両側で採用されるプラットフォームは車両ごとに異なる場合がある。この場合には、データを収集するサーバは、各車両側で採用されるプラットフォームの情報を取得し、収集したデータの解析等に利用する必要がある。
 上記のような課題を解決するため、上記実施例は、検出した物体の情報を各移動体から収集する情報処理装置が受信するデータとして好適なデータ構造及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを一つの目的としている。
 また、センサの出力に基づき検出された物体の情報を各車両から収集するシステムにおいて、データを供給する車両側で実行されるアルゴリズムは車両ごとに異なる場合がある。そして、適用するアルゴリズムが異なる場合、生成されるデータはアルゴリズムに応じて異なるものとなる。
 上記のような課題を解決するため、本実施例は、検出した物体の情報を各移動体から収集する情報処理装置が受信するデータとして好適なデータ構造及び当該データ構造を有するデータの授受を行う情報送信装置及び情報処理装置を提供することを一つの目的としている。
 <変形例>
 次に、上述の第1及び第2実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の各実施例に適用してもよい。
 [変形例1]
 実施例で説明したサーバ装置2の処理を、複数のサーバ装置からなるサーバシステム(所謂クラウドサーバ)が実行してもよい。
 例えば、サーバシステムは、配信地図DB5を記憶するサーバと、参照テーブルDB8を記憶するサーバと、イベント情報DB9を記憶するサーバと、図13又は図15に示すアップロード情報Iuの受信処理を行うサーバとから構成されていてもよい。この場合、各サーバは、予め割り当てられた処理を実行するのに必要な情報を他のサーバから適宜受信して所定の処理を実行する。この場合、サーバシステムは、情報処理装置の一例である。
 また、アップロード情報Iuに含まれるイベント情報は、端末装置1とサーバ装置2との間で授受が行われてもよく、サーバ間で授受が行われてもよい。図17は、変形例に係るデータ収集システムの概略構成である。図17に示すデータ収集システムは、複数の端末装置1と、車両クラウド2Aと、地図クラウド2Bとを有する。車両クラウド2Aは、主に車ベンダーが管理するサーバ群であり、地図クラウド2Bは、主に地図ベンダーが管理するサーバ群である。
 この場合、車両クラウド2A及び地図クラウド2Bは、第1及び第2実施例のサーバ装置2と同様に、参照テーブルRTを含むアップロード情報Iu及び参照IDが付されたイベント情報を含むアップロード情報Iuを、各車両の端末装置1から受信してもよい。これにより、車両クラウド2A及び地図クラウド2Bは、それぞれイベント情報を収集することが可能である。
 また、車両クラウド2Aは、端末装置1から受信して蓄積したイベント情報を、個々の車両を特定可能な情報などを除外して地図クラウド2Bへ送信してもよい。このとき、車両クラウド2Aは、各参照IDが含まれるイベント情報と共に、参照テーブルRTを地図クラウド2Bへ送信するとよい。この場合、車両クラウド2Aは、各端末装置1から受信した車両ごとの参照テーブルRTをそのまま地図クラウド2Bへ送信してもよく、自ら新たに生成した参照テーブルRTに置き換えて地図クラウド2Bへ送信してもよい。後者の場合、車両クラウド2Aは、送信すべきイベント情報に含まれる各参照IDを、自らが生成した参照テーブルRTと整合するように書き換える。このように、サーバ間でイベント情報の授受を行う場合であっても、参照テーブルRTを事前に共有することで、好適に通信データ量を削減することができる。
 [変形例2]
 端末装置1は、オブジェクト認識イベント、標識認識イベント、車線境界認識イベントなどのイベントを検出した場合、検出したイベントに対する信頼度(コンフィデンスレベル)を算出し、算出した信頼度に応じてイベント情報のサーバ装置2への送信の要否判定を行ってもよい。
 この場合、例えば、端末装置1は、カメラなどの外界センサの出力データから抽出した特徴量の認識適合率や、位置推定において取得される位置推定精度の情報(例えばGPSの場合にはDOP値)などを勘案し、検出したイベントの信頼度を設定する。そして、端末装置1は、設定した信頼度が所定値以上である場合に限り、検出したイベントの検出結果を示すイベント情報を含むアップロード情報Iuをサーバ装置2へ送信する。これにより、端末装置1は、信頼性が低いイベント情報を不要にサーバ装置2へ送信するのを防ぎ、通信データ量を好適に削減することができる。なお、端末装置1は、信頼度に応じてイベント情報のサーバ装置2への送信の要否判定を行う代わりに、設定した信頼度の情報をイベント情報に付加してサーバ装置2へ送信してもよい。この場合、端末装置1は、算出した信頼度の高低に関わらず、検出したイベントの検出結果を示すイベント情報を含むアップロード情報Iuをサーバ装置2へ送信する。
 [変形例3]
 サーバ装置2は、マップ参照テーブルRTM、センサ参照テーブルRTS、プラットフォーム参照テーブルRTP、アルゴリズム参照テーブルRTAの少なくともいずれかの参照テーブルRTについて、全車両に共通する参照テーブルRTを予め記憶してもよい。
 ここで、一例として、プラットフォーム参照テーブルRTPを全車両で共通する場合について説明する。この場合、端末装置1とサーバ装置2は、それぞれ共通のプラットフォーム参照テーブルRTPを予め記憶しておき、サーバ装置2は、イベント情報に参照プラットフォームIDが含まれていた場合には、上述の共通のプラットフォーム参照テーブルRTPを参照することで、端末装置1のイベント検出時のプラットフォームの詳細情報を特定する。この場合、例えば、サーバ装置2は、プラットフォーム参照テーブルRTPを予め記憶しておき、端末装置1との通信セッションの確立時などに、記憶したプラットフォーム参照テーブルRTPを端末装置1へ配信することで、サーバ装置2と共通のプラットフォーム参照テーブルRTPを端末装置1に保持させてもよい。
 この態様によれば、サーバ装置2は、車両ごとにプラットフォーム参照テーブルRTPを管理する必要がなくなり、参照プラットフォームIDに基づくプラットフォームの情報の特定を好適に簡易化することができる。マップ参照テーブルRTM、センサ参照テーブルRTS、及びアルゴリズム参照テーブルRTAについても同様に、サーバ装置2は、全ての車両に共通する参照テーブルRTを記憶及び参照してもよい。
 [変形例4]
 端末装置1は、複数の地図DB4を記憶部12に記憶する代わりに、複数の地図DB4を記憶する地図管理装置から地図DB4の情報を適宜受信してもよい。
 [変形例5]
 第1及び第2実施例では、端末装置1は、イベント検出時に使用した地図、センサ、プラットフォーム、及びアルゴリズムに関する情報を、参照マップID、参照センサID、参照プラットフォームID、参照アルゴリズムIDの各参照IDをイベント情報に含めることでサーバ装置2へ通知した。これに代えて、端末装置1は、少なくともいずれかの参照IDに対応する情報を直接イベント情報に含めてサーバ装置2へ送信してもよい。
 図18は、変形例に係るイベント情報の「オブジェクト認識イベント」のデータ構造の一例である。図18に示す「オブジェクト認識イベント」のデータ構造は、「参照センサIDリスト」において1又は複数の参照センサIDを指定する代わりに、センサ参照テーブルRTSの各項目に対応する「センサタイプ」、「センサベンダー」、「センサモデル」、「センサFWバージョン」を繰り返し指定可能なデータ構造となっている。同様に、図18に示すデータ構造は、「参照プラットフォームIDリスト」において1又は複数の参照プラットフォームIDを指定する代わりに、プラットフォーム参照テーブルRTPの各項目に対応する「プラットフォームベンダー」、「プラットフォームHWモデル」、「プラットフォームFWバージョン」、「プラットフォームSWバージョン」を繰り返し指定可能なデータ構造となっている。同様に、図18に示すデータ構造は、「参照アルゴリズムIDリスト」において1又は複数の参照アルゴリズムIDを指定する代わりに、アルゴリズム参照テーブルRTAの各項目に対応する「アルゴリズムタイプ」、「アルゴリズムベンダー」、「アルゴリズムバージョン」を繰り返し指定可能なデータ構造となっている。
 このように、端末装置1は、イベント検出時に使用したセンサ、プラットフォーム、及びアルゴリズムに関する情報をイベント情報に直接含めることによっても、これらの情報を好適にサーバ装置2に通知することができる。この場合、端末装置1は、対応する参照テーブルRTをサーバ装置2に送信する必要がない。また、サーバ装置2は、世の中にある様々な端末装置1が使用するセンサ、プラットフォーム、アルゴリズムについての情報を収集することができるため、それらを[変形例3]において示された全車両に共通する参照テーブルRTの作成に活用することができる。
 端末装置1は、メディア情報についても同様に、参照センサIDに代えて、生データを生成したセンサに関する情報を個別に指定してもよい。図19は、変形例に係るメディア情報のデータ構造を示す。図19の例では、参照センサIDに代えて、「センサタイプ」、「センサベンダー」、「センサモデル」、「センサFWバージョン」の要素が設けられている。端末装置1は、これらの要素に、送信する生データを取得したセンサの各情報を指定することで、参照センサIDを指定した場合と同様に、送信する生データを取得したセンサの各情報を好適にサーバ装置2に通知することができる。
 1 情報処理装置
 2 サーバ装置
 4 地図DB
 5 配信地図DB
 6 センサデータキャッシュ
 7 センサ部
 8 参照テーブルDB
 9 イベント情報DB

Claims (15)

  1.  移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置に、前記検出装置が前記物体を検出する際に用いた地図を特定させるために、前記検出物体情報の収集に先立って前記情報処理装置に送信されるデータのデータ構造であって、
     前記物体を検出する際に前記移動体が利用可能な地図に関する情報と、
     前記移動体が利用可能な地図の各々を特定するための、前記地図に関する情報と関連付けた地図特定情報と、
    を含む、データ構造。
  2.  前記地図に関する情報は、前記地図のバージョン、フォーマット、ベンダー、及び名称の少なくともいずれかに関する情報である請求項1に記載のデータ構造。
  3.  前記検出物体情報の送信前に前記情報処理装置に送信され、
     前記移動体に関する属性情報をさらに含む請求項1または2に記載のデータ構造。
  4.  記憶部に記憶される地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を記憶する記憶部と、
     前記参照情報を、移動体ごとに検出された物体に関する情報である検出物体情報を収集する情報処理装置へ、前記検出物体情報に先立って送信する送信部と、
    を有する情報送信装置。
  5.  前記送信部は、前記参照情報の送信後において、検出した物体に関する検出物体情報と、前記物体を検出する際に利用した地図を特定するための地図特定情報と、を前記情報処理装置へ送信する請求項4に記載の情報送信装置。
  6.  前記送信部は、前記情報処理装置と通信を確立したときに前記参照情報を送信する請求項4または5に記載の情報送信装置。
  7.  検出された物体に関する情報である検出物体情報を移動体から収集する情報処理装置であって、
     移動体が利用可能な地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を前記移動体から受信する受信部と、
     前記受信部が受信した参照情報を、当該参照情報を送信した移動体毎に記憶する記憶部と、
    を有する情報処理装置。
  8.  前記記憶部は、前記参照情報を、前記移動体の識別情報又は前記移動体との通信接続の識別情報と関連付けて記憶する請求項7に記載の情報処理装置。
  9.  前記受信部は、前記参照情報の受信後、当該参照情報を送信した移動体から前記検出物体情報と前記地図特定情報とを受信し、
     前記地図特定情報と、前記参照情報とに基づき、前記物体を検出する際に利用された地図に関する情報を特定する特定部をさらに有する請求項7または8に記載の情報処理装置。
  10.  前記特定部が特定した地図に関する情報に基づき、前記検出物体情報を補正する補正部をさらに有する請求項7~9のいずれか一項に記載の情報処理装置。
  11.  情報送信装置が実行する制御方法であって、
     記憶部に記憶される地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を、移動体ごとに検出された物体に関する情報である検出物体情報を収集する情報処理装置へ、前記検出物体情報に先立って送信する送信工程を有する制御方法。
  12.  検出された物体に関する情報である検出物体情報を移動体から収集する情報処理装置が実行する制御方法であって、
     移動体が利用可能な地図の各々を特定するための地図特定情報と、当該地図特定情報により特定される地図に関する情報とを含む参照情報を前記移動体から受信する受信工程と、
     前記受信工程が受信した参照情報を、当該参照情報を送信した移動体毎に記憶部に記憶する記憶工程と、
    を有する制御方法。
  13.  請求項11または12に記載の制御方法を、コンピュータにより実行させるプログラム。
  14.  請求項13に記載のプログラムを記憶したことを特徴とする記憶媒体。
  15.  移動体に搭載された検出装置が検出した物体に関する情報である検出物体情報を収集する情報処理装置が、前記検出装置が前記物体を検出する際に用いた地図を特定するために、前記検出物体情報の取得に先立って受信するデータのデータ構造であって、
     前記物体を検出する際に前記移動体が利用可能な地図に関する情報と、
     前記移動体が利用可能な地図の各々を特定するための、前記地図に関する情報と関連付けた地図特定情報と、
    を含む、データ構造。
PCT/JP2018/043584 2017-11-27 2018-11-27 データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体 WO2019103157A1 (ja)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
JP2017-227171 2017-11-27
JP2017227161 2017-11-27
JP2017227181 2017-11-27
JP2017227126 2017-11-27
JP2017227122 2017-11-27
JP2017227179 2017-11-27
JP2017227151 2017-11-27
JP2017-227178 2017-11-27
JP2017227171 2017-11-27
JP2017-227188 2017-11-27
JP2017-227151 2017-11-27
JP2017-227179 2017-11-27
JP2017-227181 2017-11-27
JP2017-227161 2017-11-27
JP2017-227126 2017-11-27
JP2017227178 2017-11-27
JP2017-227122 2017-11-27
JP2017227188 2017-11-27

Publications (1)

Publication Number Publication Date
WO2019103157A1 true WO2019103157A1 (ja) 2019-05-31

Family

ID=66630652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043584 WO2019103157A1 (ja) 2017-11-27 2018-11-27 データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2019103157A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2014122859A (ja) * 2012-12-21 2014-07-03 Aisin Aw Co Ltd 道路情報収集装置及び道路情報収集プログラム
JP2016194757A (ja) * 2015-03-31 2016-11-17 本田技研工業株式会社 サーバ、クライアントおよびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2014122859A (ja) * 2012-12-21 2014-07-03 Aisin Aw Co Ltd 道路情報収集装置及び道路情報収集プログラム
JP2016194757A (ja) * 2015-03-31 2016-11-17 本田技研工業株式会社 サーバ、クライアントおよびシステム

Similar Documents

Publication Publication Date Title
WO2019086000A1 (zh) 定位方法以及装置、服务器及系统
US11915440B2 (en) Generation of structured map data from vehicle sensors and camera arrays
WO2015083538A1 (ja) 車両位置推定システム,装置,方法、及び、カメラ装置
JP6838522B2 (ja) 画像収集システム、画像収集方法、画像収集装置、および記録媒体
JP2017198799A (ja) 情報収集システム
JP2019168271A (ja) データ構造、情報処理装置、データ通信方法、プログラム及び記憶媒体
CN104075712A (zh) 一种交互式的导航系统及方法
JP2020020634A (ja) 情報処理システム、プログラム、及び制御方法
JP2009037062A (ja) 地図データ更新装置、及び地図データ更新システム
JP2019168993A (ja) データ構造、情報処理装置、制御方法、プログラム及び記憶媒体
JP2018072069A (ja) 地図データ構造、送信装置及び地図表示装置
JP2023076483A (ja) 情報送信装置、制御方法、プログラム及び記憶媒体
JP7471364B2 (ja) 情報処理装置、データ通信方法、プログラム及び記憶媒体
WO2019181839A1 (ja) データ構造、端末装置、データ通信方法、プログラム及び記憶媒体
JP2019174191A (ja) データ構造、情報送信装置、制御方法、プログラム及び記憶媒体
WO2019103157A1 (ja) データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体
KR101397933B1 (ko) 무인 차량의 주행 정보 생성 장치, 이를 구비하는 무인 차량 및 그것의 제어 방법
WO2019103158A1 (ja) データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体
JP2023001276A (ja) データ構造、端末装置、データ通信方法、プログラム及び記憶媒体
JP2019168610A (ja) データ構造、情報処理装置及び地図作成装置
WO2019181844A1 (ja) データ構造、情報処理装置、データ通信方法、プログラム及び記憶媒体
EP4239562A2 (en) Server device, information processing method, program, and storage medium
JP2019168985A (ja) 制御装置、制御方法、プログラム及び記憶媒体
JP2024014983A (ja) データ構造、情報送信装置、制御方法、プログラム及び記憶媒体
WO2019182083A1 (ja) データ構造、情報送信装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18880127

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18880127

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP