WO2020241766A1 - 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ - Google Patents

地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ Download PDF

Info

Publication number
WO2020241766A1
WO2020241766A1 PCT/JP2020/021152 JP2020021152W WO2020241766A1 WO 2020241766 A1 WO2020241766 A1 WO 2020241766A1 JP 2020021152 W JP2020021152 W JP 2020021152W WO 2020241766 A1 WO2020241766 A1 WO 2020241766A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
map
reliability
image
Prior art date
Application number
PCT/JP2020/021152
Other languages
English (en)
French (fr)
Inventor
健太朗 塩田
直己 二反田
和真 石垣
田口　晋也
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020089651A external-priority patent/JP7215460B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202080039040.0A priority Critical patent/CN113939826A/zh
Priority to DE112020002630.2T priority patent/DE112020002630T5/de
Publication of WO2020241766A1 publication Critical patent/WO2020241766A1/ja
Priority to US17/456,444 priority patent/US20220082407A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map

Definitions

  • the present disclosure relates to a map system for generating a map, a map generation program, a storage medium, a vehicle device, and a server.
  • position information such as landmarks is recorded using an image captured by a camera mounted on the vehicle, and the information is uploaded to a server or the like to generate a sparse map when the vehicle is running.
  • a technology relating to a system for downloading the generated sparse map and locating the own vehicle is disclosed.
  • the server generates a map by integrating all such probe data. Therefore, as the number of probe data increases, the accuracy of map generation on the server improves.
  • the accuracy of map generation on the server may not be improved. That is, in the prior art, when the number of probe data is small, the accuracy of map generation on the server may decrease.
  • An object of the present disclosure is to provide a map system, a map generation program, a storage medium, a vehicle device, and a server that can improve the accuracy of map generation on a server.
  • the map system corresponds to a vehicle device equipped with an image pickup device mounted on the vehicle and capturing an image of the surroundings of the vehicle, and an image captured by the image pickup device transmitted from the vehicle device. It is a system equipped with a server that generates a map using data.
  • the map system includes an integration unit that weights data based on the bias of data transmitted from a plurality of vehicle devices and integrates at least a part of the plurality of data based on the weighting to generate a map.
  • the server can generate a map with higher accuracy at least by the number of data transmitted from the vehicle device to the server as compared with the conventional case. Therefore, according to the above configuration, it is possible to obtain an excellent effect that the accuracy of map generation on the server can be improved.
  • FIG. 1 is a diagram schematically showing a configuration of a map system according to the first embodiment.
  • FIG. 2 is a diagram schematically showing the configuration of the integrated unit according to the first embodiment.
  • FIG. 3 is a diagram schematically showing a flow of processing executed by the integrated unit in the first application example according to the first embodiment.
  • FIG. 4 is a diagram schematically showing a flow of processing executed by the integrated unit in the second application example according to the first embodiment.
  • FIG. 5 is a diagram schematically showing a flow of processing executed by the integrated unit in the third application example according to the first embodiment.
  • FIG. 6 is a diagram schematically showing the configuration of the map system according to the second embodiment.
  • FIG. 7 is a diagram for explaining a specific example of reliability information generation by the first method according to the second embodiment.
  • FIG. 8 is a diagram for explaining a specific example of reliability information generation by the second method according to the second embodiment.
  • FIG. 9 is a diagram for explaining a specific example of reliability information generation by the third method according to the second embodiment.
  • the map system 1 shown in FIG. 1 is a map system for autonomous navigation.
  • the map system 1 functions additionally in addition to the conventional function of specifying the position of the own vehicle such as GPS, and is effective in specifying the position with higher accuracy.
  • the map system 1 is roughly divided into two functions, map utilization and map update.
  • the map information stored in the server 2 is downloaded to the vehicle, and the vehicle captures the downloaded map information and the position of a landmark such as a sign included in an image captured by an image sensor 3 such as a camera.
  • the position of the own vehicle is specified based on.
  • the map information stored in the server 2 may be referred to as an integrated map.
  • the driving support is realized by the vehicle control unit 4 outputting the corresponding command to the actuator for operating the hardware mounted on the vehicle based on the specified current position of the own vehicle.
  • An actuator is a device for controlling a vehicle by hardware, such as a brake, a throttle, a steering wheel, and a lamp.
  • the information obtained by various sensors such as the image sensor 3, the vehicle speed sensor 5, and the millimeter wave sensor (not shown) mounted on the vehicle is uploaded to the server 2 as probe data, and the integrated map in the server 2 is used. Is updated sequentially. As a result, the vehicle is always positioned with high accuracy based on the latest map information, and for example, driving assistance and automatic steering are realized.
  • the human-machine interface 6 is a user interface for notifying the user of various information and for the user to transmit a predetermined operation to the vehicle.
  • the human-machine interface may be abbreviated as HMI.
  • the HMI 6 includes, for example, a display attached to a car navigation device, a display built in an instrument panel, a head-up display projected on a windshield, a microphone, a speaker, and the like.
  • a mobile terminal such as a smartphone that is communicably connected to the vehicle can also be the HMI 6 in the map system 1.
  • the user can visually obtain the information displayed on the HMI6, and can also obtain the information by voice, warning sound, and vibration.
  • the user can request the vehicle to perform a desired operation by touch operation of the display or voice. For example, when a user intends to receive a service of advanced driving support such as automatic steering by utilizing map information, the user activates the function via HMI6. For example, tapping the "Map Link" button shown on the display activates the map utilization function and starts downloading map information.
  • the map utilization function is enabled by giving a voice command.
  • the map information related to the map update may be uploaded at all times while the communication between the vehicle and the server 2 is established, or the map utilization function is effective by tapping the "Map linkage" button. It may be executed while it is being activated, or it may be enabled by another UI that reflects the user's intentions.
  • the map system 1 of the present embodiment includes the server 2 and the vehicle side configurations.
  • Each configuration on the vehicle side includes an image sensor 3, a vehicle control unit 4, a vehicle speed sensor 5, an HMI 6, a GPS receiving unit 7, a control device 8, and the like.
  • the image sensor 3 and the control device 8 function as a vehicle device 9 that transmits data corresponding to the image captured by the image sensor 3 to the server 2.
  • the server 2 is provided at a location isolated from the vehicle on which the vehicle device 9 or the like is mounted.
  • the server 2 generates a map using data corresponding to an image captured by the image sensor 3 transmitted from the vehicle device 9, and includes a control device 10.
  • the control device 10 is mainly composed of a microcomputer having a CPU, a ROM, a RAM, an I / O, and the like, and includes an integration unit 11 and an update unit 12.
  • Each of these functional blocks is realized by the CPU of the control device 10 executing a process corresponding to the computer program by executing the computer program stored in the non-transitional substantive storage medium, that is, by software. It has been realized. Therefore, the computer program executed by the microcomputer of the control device 10 includes a program for executing at least a part of each process related to map generation and map update, that is, at least a part of the map generation program. ..
  • the integration unit 11 and the update unit 12 are for executing various processes related to the map update described above, and the details thereof will be described later.
  • the GPS receiving unit 7 outputs data Da representing GPS information represented by a signal received through a GPS antenna (not shown) to a control device 8 or the like.
  • the vehicle speed sensor 5 detects the vehicle speed, which is the speed of the vehicle, and is configured as a wheel speed sensor that detects the speed of the wheels of the vehicle.
  • the vehicle speed sensor 5 outputs a signal Sa indicating the detection speed, which is the detected value, to the control device 8 or the like.
  • the image sensor 3 is an imaging device mounted on the vehicle and image the environment around the vehicle, specifically, the environment in a predetermined range in front of the vehicle in the traveling direction.
  • the image sensor 3 is not limited to the one that images the front in the traveling direction of the vehicle, and may be, for example, the one that images the rear and the side.
  • Information on the environment around the vehicle captured by the image sensor 3 is stored in a memory (not shown) in the form of a still image or a moving image (hereinafter, these are collectively referred to as an image).
  • the control device 8 is configured to be able to read the data Db stored in the memory, and executes various processes based on the data Db.
  • the control device 8 is mainly composed of a microcomputer having a CPU, ROM, RAM, I / O, and the like.
  • the control device 8 includes functional blocks such as a scale factor correction unit 13, an egomotion calculation unit 14, a landmark detection unit 15, a map generation unit 16, and a localization unit 17.
  • Each of these functional blocks is realized by the CPU of the control device 8 executing a process corresponding to the computer program by executing the computer program stored in the non-transitional substantive storage medium, that is, by software. It has been realized.
  • the control device 8 constitutes a part of an electronic control device mounted on the vehicle, that is, an in-vehicle device such as an ECU.
  • the computer program executed by the microcomputer of the control device 8 includes a program for executing at least a part of each process related to map generation and map update, that is, at least a part of the map generation program.
  • the scale factor correction unit 13 learns the scale factor of the vehicle speed sensor 5 based on the signal Sa given from the vehicle speed sensor 5 and the data Db representing the image captured by the image sensor 3.
  • the scale factor correction unit may be abbreviated as the SF correction unit.
  • the scale factor of the vehicle speed sensor 5 is the ratio of the detection value of the vehicle speed sensor 5 to the vehicle speed to be measured by the vehicle speed sensor 5, that is, the ratio of the output change to the input change of the vehicle speed sensor 5, and the detection of the vehicle speed sensor 5. It is a coefficient for obtaining the true value of the vehicle speed from the value.
  • the SF correction unit 13 detects the vehicle speed of the own vehicle based on the signal Sa given from the vehicle speed sensor 5 and the scale factor corrected by learning, and outputs the data Dc representing the detected value to the egomotion calculation unit 14. To do.
  • the egomotion calculation unit 14 estimates the behavior of the own vehicle, which is the behavior of the vehicle, based on the image captured by the image sensor 3.
  • the egomotion calculation unit 14 is configured to estimate the behavior of the own vehicle by using the method of Structure From Motion.
  • Structure From Motion may be abbreviated as SFM.
  • the egomotion calculation unit 14 includes an SFM recognition unit 18 composed of an SFM module and a traveling locus generation unit 19.
  • the SFM recognition unit 18 estimates the behavior of the own vehicle, that is, the egomotion, which is a parameter representing the posture of the vehicle itself, based on the data Db.
  • the egomotion includes information indicating yaw, roll, pitch and translational movement.
  • the image sensor 3 captures a peripheral image of the vehicle while moving as the vehicle travels.
  • the SFM recognition unit 18 has corners, edges, and the like in images of two viewpoints captured while the image sensor 3 is moving, that is, images of two frames with different imaging positions captured by one image sensor 3 at different timings. Extract feature points that are easy to deal with.
  • the SFM recognition unit 18 associates the feature points extracted in the images for two frames and calculates the optical flow of the feature points based on their positional relationship.
  • the SFM recognition unit 18 estimates the three-dimensional position of each feature point and the posture of the image sensor 3, that is, the ego motion, using the calculated plurality of optical flows as clues.
  • the SFM recognition unit 18 can know the amount of movement of the own vehicle by such a method, but there is a problem in the accuracy of the scale. Therefore, the SFM recognition unit 18 acquires the moving speed of the own vehicle based on the data Da representing the GPS information and the data Dc representing the detected value of the vehicle speed, and improves the accuracy of the scale based on the moving speed. It has become.
  • the SFM recognition unit 18 outputs the data Dd representing the estimated egomotion to the travel locus generation unit 19 and the landmark detection unit 15.
  • the traveling locus generation unit 19 integrates the ego motions estimated by the SFM recognition unit 18 every hour, and generates a traveling locus indicating how the own vehicle has moved.
  • the travel locus generation unit 19 outputs data De representing the generated travel locus to the map generation unit 16.
  • the landmark detection unit 15 includes a recognition unit 20 and a target generation unit 21.
  • the recognition unit 20 detects the position of the landmark on the image captured by the image sensor 3 based on the data Db.
  • various methods can be adopted.
  • the landmarks include, for example, signs, signboards, poles such as utility poles and street lights, white lines, traffic lights and the like.
  • the recognition unit 20 recognizes the runway of the own vehicle based on the data Db and acquires the lane marking information which is the information representing the road parameter and the lane marking.
  • the road parameters include information representing the shape of the lane, such as the lane width, which is the width of the lane, and the lane, that is, the curvature of the road.
  • the road parameters include the offset representing the distance from the center position in the width direction of the lane to the position of the own vehicle, and the shape of the lane such as the yaw angle representing the angle between the lane, that is, the tangential direction of the road and the traveling direction of the own vehicle. It also includes information indicating the running state of the own vehicle.
  • track information such as the above-mentioned lane marking information is also included in the above landmarks.
  • the recognition unit 20 outputs the data Df representing the detection result of such a landmark to the target generation unit 21.
  • the target generation unit 21 collates the detected landmarks with the SFM points in the detected landmarks based on the data Df given by the recognition unit 20 and the data Dd given by the SFM recognition unit 18, thereby. , Obtain physical position information including landmark distance and horizontal position.
  • the landmark detection unit 15 outputs the data Dg representing the road parameter acquired by the recognition unit 20 to the vehicle control unit 4. Further, the landmark detection unit 15 outputs the data Dh representing the information regarding the landmark position including the track information such as the lane marking information generated by the target generation unit 21 to the map generation unit 16.
  • the map generation unit 16 generates map information based on the data Da representing GPS information, the data De given by the egomotion calculation unit 14, and the data Dh given by the landmark detection unit 15. Specifically, the map generation unit 16 associates GPS information, generated landmarks, and travel loci, thereby generating map information which is fragmentary map data.
  • the map information generated by the map generation unit 16 may be referred to as a probe map.
  • the data Di representing the probe map generated by the map generation unit 16 is uploaded to the server 2 as probe data and output to the localization unit 17.
  • the data Di generated by the map generation unit 16 includes specifications such as the mounting position of the image sensor 3 on the vehicle, the mounting posture of the image sensor 3 on the vehicle, the resolution of the image sensor 3, and the angle of view. It also contains information to represent.
  • the integration unit 11 of the server 2 superimposes and integrates a plurality of probe maps based on the data Di transmitted from the vehicle-mounted device of each vehicle to improve the accuracy of the maps.
  • the update unit 12 of the server 2 updates the integration map.
  • the server 2 distributes the data Dj representing the integrated map to the on-board unit of each vehicle.
  • the server 2 identifies the approximate position of the delivery destination vehicle based on GPS information or the like, and distributes an integrated map around the approximate position (for example, a range of a radius of several km centered on the approximate position). If a map exists on the on-board unit side, it is possible to distribute the difference from the map.
  • the localization unit 17 executes localization for estimating the current position of the own vehicle.
  • the localization unit 17 downloads the data Dj representing the integrated map from the server 2, and based on the downloaded data Dj, the data Di representing the probe map, and the data Db representing the image captured by the image sensor 3, the integrated map Is localized. Note that the localization unit 17 can also perform localization without using the data Di representing the probe map.
  • the localization unit 17 calculates the road parameters based on the map information when the localization is successful.
  • the localization unit 17 outputs data Dk representing road parameters based on map information to the vehicle control unit 4.
  • the vehicle control unit 4 executes various processes for controlling the traveling of the own vehicle based on the data Dg given by the landmark detection unit 15 and the data Dk given by the localization unit 17. That is, the vehicle control unit 4 executes various processes for controlling the traveling of the own vehicle based on the road parameters.
  • the integration unit 11 of the server 2 determines the bias of the data Di transmitted from the vehicle devices 9 mounted on the plurality of vehicles.
  • the integration unit 11 weights the data Di based on the bias of the data Di, and integrates at least a part of the plurality of data Dis based on the weighting to generate a map.
  • Each process executed by the integration unit 11 corresponds to the integration procedure.
  • the integration unit 11 includes functional blocks such as a bias determination unit 22, a thinning processing unit 23, and a weighting integration unit 24.
  • the bias determination unit 22 executes a process of determining the bias of the data Di transmitted from a plurality of vehicles, and outputs the data Dl representing the result to the thinning processing unit 23.
  • the bias determination unit 22 is at least one of specifications such as the mounting position of the image sensor 3 on the vehicle, the mounting posture of the image sensor 3 on the vehicle that affects the elevation angle, the depression angle, and the like, and the resolution and angle of view of the image sensor 3. It is possible to determine the bias of the data Di based on. Further, the bias determination unit 22 can determine the bias of the data Di based on the traveling speed of the vehicle. Further, the bias determination unit 22 can determine the bias of the data Di based on the surrounding environment of the vehicle.
  • the thinning processing unit 23 executes a thinning process for thinning out unnecessary data among a plurality of data Dis based on the data Dl, and outputs the data Dm representing the result to the weighting integration unit 24.
  • the weighting integration unit 24 executes an integration process of superimposing and integrating data excluding unnecessary data among a plurality of data Dis based on the data Dm.
  • the weighting integration unit 24 determines the estimation accuracy of the own vehicle behavior by the egomotion calculation unit 14, that is, the estimation accuracy when estimating the own vehicle behavior by using the image corresponding to the data Db and using the SFM method.
  • Data Di can be weighted based on this.
  • the integration unit 11 compares the priority of the data Di, which is determined to have a relatively high estimation accuracy, with the priority of the data Di, which is determined to have a relatively low estimation accuracy.
  • the data Di can be weighted so as to increase the value. As a result of such weighting, the integration unit 11 can generate a map by preferentially using the data Di having a higher priority.
  • the first application example is related to the mounting position, posture, specifications, and the like of the image sensor 3.
  • the mounting position of the image sensor 3 when the mounting position of the image sensor 3 is high, the distance to a target existing at a relatively high position such as a signboard provided on the highway becomes short and the visibility is improved, but conversely, The distance to a target located at a relatively low position such as a road marking becomes long, and its visibility deteriorates.
  • the mounting position of the image sensor 3 is a relatively low position, the distance to the target existing at a relatively low position becomes short and the visibility is improved, but conversely, the target existing at a relatively high position The distance to the distance becomes long and the visibility becomes poor.
  • the integration unit 11 performs thinning processing, integration processing, and the like so that data Dis having various mounting positions, specifically, mounting heights of the image sensor 3 can be uniformly integrated. By doing so, it is possible to prevent the accuracy of each of the above-mentioned information from being lowered.
  • the integration unit 11 can also perform the following processing in order to improve the accuracy of information regarding a specific target. That is, in order to improve the accuracy of information about the target existing at a relatively high position, the integration unit 11 weights the data Di having a relatively high mounting position of the image sensor 3 so as to give high priority. It can be performed. Further, the integration unit 11 weights the data Di having a relatively low mounting position of the image sensor 3 so as to give high priority in order to improve the accuracy of information about the target existing at a relatively low position. It can be performed.
  • the integration unit 11 can perform weighting so as to increase the priority of the data Di including the target having a large deviation from the height of the mounting position of the image sensor 3. In this way, the accuracy of information about a specific target can be improved.
  • the angle of view of the image sensor 3 When the angle of view of the image sensor 3 is relatively wide, it is advantageous to acquire information on an object located relatively close to the vehicle, but conversely, it acquires information on an object located relatively far from the vehicle. It will be disadvantageous on the top.
  • the angle of view of the image sensor 3 When the angle of view of the image sensor 3 is relatively narrow, it is advantageous to acquire information on an object located relatively far from the vehicle, but conversely, it acquires information on an object located relatively close to the vehicle. It will be disadvantageous on the top.
  • the integration unit 11 performs thinning processing, integration processing, and the like so that the data Di having various angles of view of the image sensor 3 can be integrated evenly. By doing so, it is possible to prevent the accuracy of each of the above-mentioned information from being lowered.
  • the integration unit 11 can also perform the following processing in order to improve the accuracy of information regarding a specific target. That is, in order to improve the accuracy of the information about the target existing at a position relatively close to the vehicle, the integration unit 11 weights the data Di having a relatively wide angle of view of the image sensor 3 so as to give priority to it. It can be carried out. Further, the integration unit 11 weights the data Di having a relatively narrow angle of view of the image sensor 3 so as to give high priority in order to improve the accuracy of the information regarding the target located at a position relatively far from the vehicle. It can be carried out.
  • the integration unit 11 can perform weighting so as to give higher priority to the data Di having a relatively high resolution of the image sensor 3.
  • high resolution data Di it is necessary to give priority not only to raise the priority of the image, but also to consider the angle of view.
  • the integration unit 11 can perform weighting so as to increase the priority of the data Di including the image data obtained by capturing the same target from the adjacent lane. In this way, the integration unit 11 can generate the map by preferentially using the data Di including the image data captured so as to capture each target from an angle, so that the accuracy is improved.
  • step S101 the bias of the data Di based on at least one of the mounting position, mounting posture, and specifications of the image sensor 3 is determined.
  • step S102 the process proceeds to step S102 to determine whether or not a specific target is targeted, specifically, whether or not it is necessary to improve the accuracy of information regarding the specific target.
  • the result is "YES" in step S102, and the process proceeds to step S103.
  • step S103 thinning processing and integration processing are performed so that the priority of predetermined data for improving the accuracy of information related to a specific target is high.
  • step S102 when it is not necessary to improve the accuracy of the information regarding the specific target, the result is "NO" in step S102, and the process proceeds to step S104.
  • step S104 the thinning process and the integration process are performed so as to reduce the bias of the data determined in step S101. After executing step S103 or S104, this process ends.
  • the second application example is related to the traveling speed of the vehicle. It is considered that the faster the traveling speed of the vehicle, the longer the baseline, and therefore the higher the accuracy of SFM. However, if the traveling speed of the vehicle is too fast, the number of frames that can be used for the determination is reduced, so that the accuracy of the SFM may decrease. Therefore, the integration unit 11 performs thinning processing, integration processing, and the like so that data Di having various traveling speeds of the vehicle can be integrated evenly. By doing so, the decrease in the accuracy of SFM is suppressed.
  • the data Di can be weighted as follows. That is, the integration unit 11 can weight the data Di so that the priority of the data Di having a relatively slow vehicle running speed is higher than the priority of the data Di having a relatively fast running speed of the vehicle. .. By doing so, the number of determinations can be increased for a specific target, and as a result, the accuracy of SFM can be improved.
  • the integration unit 11 integrates data Di with various vehicle traveling speeds, and lowers or excludes those with large outliers. be able to.
  • step S201 the bias of the data Di based on the traveling speed of the vehicle is determined.
  • step S202 it is determined whether or not the target is a specific target, specifically, whether or not it is necessary to improve the accuracy of the information regarding the specific target.
  • the result is "YES" in step S202, and the process proceeds to step S203.
  • step S203 the thinning process and the integration process are performed so that the priority of the predetermined data for improving the accuracy of the information regarding the specific target is high or low.
  • step S204 the thinning process and the integration process are performed so as to reduce the bias of the data determined in step S201. After executing step S203 or S204, this process ends.
  • the third application example is content related to the environment such as the brightness around the vehicle.
  • noise that affects the accuracy of the SFM is reduced, which is considered to be advantageous from the viewpoint of improving the accuracy of map generation.
  • some electric displays may be overexposed and invisible, or flicker may occur in the electric signs, and as a result, the accuracy of those targets will decrease. there's a possibility that.
  • the integration unit 11 is imaged in the daytime when the brightness around the vehicle is bright so that the data Di including image data having various brightness around the vehicle can be integrated evenly.
  • the thinning process, the integration process, and the like are performed so that the data Di including the image data and the data Di including the image data captured at night when the brightness around the vehicle is dark can be integrated evenly. By doing so, the decrease in the accuracy of SFM is suppressed.
  • the integration unit 11 can also perform the following processing in order to improve the accuracy of information regarding a specific target. That is, in order to improve the accuracy of information about a target other than the above-mentioned partial electric display, electric sign, etc., the integration unit 11 is an image captured in a time zone when the brightness around the vehicle is bright, for example, in the daytime. Weighting can be performed so as to increase the priority of the data Di including the data. In addition, the integration unit 11 has image data captured in a time zone when the brightness around the vehicle is dark, for example, at night, in order to improve the accuracy of information on a target such as a part of the electric display and the electric sign described above. Weighting can be performed so as to increase the priority of the data Di including.
  • step S301 the bias of the data Di based on the brightness around the vehicle is determined.
  • step S302 the process proceeds to step S302 to determine whether or not a specific target is targeted, specifically, whether or not it is necessary to improve the accuracy of information regarding the specific target.
  • the result is "YES" in step S302
  • the process proceeds to step S303.
  • step S303 thinning processing and integration processing are performed so that the priority of predetermined data for improving the accuracy of information related to a specific target is high.
  • step S304 the thinning process and the integration process are performed so as to reduce the bias of the data determined in step S301. After executing step S303 or S304, this process ends.
  • the fourth application example is a content related to the state of the vehicle. Immediately after the ignition switch of the vehicle is turned on, the accuracy of the scale factor correction by the SF correction unit 13 decreases, and as a result, the accuracy of the SFM may decrease. Therefore, the integration unit 11 weights the data Di having a relatively short elapsed time from the time when the ignition switch of the vehicle is turned on so as to lower the priority. By doing so, the decrease in the accuracy of SFM is suppressed.
  • the fifth application example is the content related to the time zone of imaging. Some roads have different road divisions depending on the time of day, and specific information about such roads may be obtained accurately only at a specific time. Therefore, the integration unit 11 performs thinning processing, integration processing, and the like so that various data Dis can be uniformly integrated in the time zone for capturing image data. In this way, it is possible to accurately acquire information on roads whose road classification changes according to the time of day.
  • the map system 1 of the present embodiment includes a vehicle device 9 equipped with an image sensor 3 mounted on the vehicle and capturing an image of the surroundings of the vehicle, and an image sensor 3 transmitted from the vehicle device 9. It is a system including a server 2 that generates a map using data corresponding to an image captured by.
  • the control device 10 of the server 2 weights the data based on the bias of the data transmitted from the plurality of vehicle devices 9, and integrates at least a part of the plurality of data based on the weighting to generate a map.
  • the integration unit 11 is provided.
  • the server 2 can generate a map with higher accuracy at least in the number of data transmitted from the vehicle device 9 to the server 2 as compared with the conventional case. Therefore, according to the present embodiment, it is possible to obtain an excellent effect that the accuracy of map generation on the server 2 can be improved.
  • the integration unit 11 uses the SFM method for its own vehicle behavior.
  • the data Di is weighted so that the priority of the data Di judged to have a relatively high estimation accuracy is higher than the priority of the data Di judged to have a relatively low estimation accuracy. be able to.
  • the integration unit 11 can generate a map by preferentially using the data Di having a higher priority.
  • One index for improving the accuracy of the integrated map on the server 2 is to improve the accuracy of the SFM described above. Therefore, according to the specific processing as described above, the accuracy of map generation on the server 2 can be further improved.
  • the map system 31 of the present embodiment is different from the map system 1 of the first embodiment in that the vehicle device 32 is provided in place of the vehicle device 9.
  • the control device 33 of the vehicle device 32 replaces the map generation unit 16 in that two functional blocks, a road gradient estimation unit 34 and a visibility estimation unit 35, are added to the control device 8 of the vehicle device 9.
  • the difference is that the map generation unit 36 is provided.
  • the road slope estimation unit 34 performs predetermined machine learning based on the data Db representing the image captured by the image sensor 3, thereby estimating the road slope on the image captured by the image sensor 3.
  • the road slope estimation unit 34 outputs data Dn representing the estimated road slope to the map generation unit 36.
  • the visibility estimation unit 35 performs predetermined machine learning based on the data Db representing the image captured by the image sensor 3, thereby estimating the visibility of the image sensor 3.
  • the visibility estimation unit 35 outputs data Do representing the estimated visibility to the map generation unit 36.
  • the map generation unit 36 includes a map information generation unit 37 and a reliability imparting unit 38.
  • the map generation unit 36 is given data Dd in addition to data De from the egomotion calculation unit 14.
  • the map information generation unit 37 generates map information in the same manner as the map generation unit 16 of the first embodiment.
  • the reliability imparting unit 38 imparts reliability information to the data Di, which is information on the reliability of the data corresponding to the image captured by the image sensor 3.
  • the reliability imparting unit 38 evaluates the reliability of the data corresponding to the image based on the reliability group data input from each functional block, and generates the reliability information based on the evaluation result.
  • the reliability information is the information used in the integrated unit 11 of the server 2. That is, as described above, the integration unit 11 weights the data Di based on the bias of the data corresponding to the images transmitted from the plurality of vehicle devices, and at least one of the plurality of data Dis is weighted based on the weighting. The parts are integrated to generate a map. In this case, the integration unit 11 integrates the data Di to generate a map in consideration of the reliability information given to the data Di. For example, the integration unit 11 can preferentially integrate the data Di to which the reliability information indicating the relatively high reliability is given.
  • the "data corresponding to the image” referred to here is not mere landmark or lane information but data related to the image imaging status of the image sensor 3, that is, the mounting position, angle of view, resolution, vehicle speed, and the like. It is data such as vehicle environment and reliability.
  • An SFM low-precision flag can be mentioned as the reliability group data using the data Dd input from the egomotion calculation unit 14 as an information source.
  • the SFM low accuracy flag is turned on when the estimation accuracy of the ego motion may be reduced.
  • the reliability group data using the data Dh input from the landmark detection unit 15 as the information source includes the installation position, size, type, color, number of successful SFM position estimation, number of continuous extrapolation, and position when SFM position estimation is successful. , SFM score, degree of variation of SFM point cloud, attributes of SFM point cloud, and the like.
  • the installation position is the installation position of the landmark as seen from the position of the own vehicle.
  • the installation position is a fitting error in the case of a lane marking.
  • the size is the size of the landmark.
  • the size is the line width in the case of a lane marking line.
  • reliability evaluation based on size for example, even though it is a sign, if the four sides are less than 0.2 m, or if the aspect ratio is an abnormal value, there is a possibility of false detection. Can be estimated to be high.
  • reliability evaluation based on the type for example, in the case of a sign, what kind of sign is used, or whether or not the sign is likely to be used, and in the case of a lane marking, the line type is identified. As a result of these determinations, the possibility of erroneous detection can be suspected depending on the result of identification.
  • reliability evaluation based on color for example, in the case of a lane marking, the line color is identified, so if it is determined that the line color is neither white nor yellow, false detection is performed. There is a possibility.
  • the number of successful SFM position estimation is the number of successful 3D position estimation using SFM points, specifically, an integrated value.
  • the number of continuous extrapolations is the number of times the position was predicted from egomotion because the position could not be estimated by SFM.
  • the position when the SFM position estimation is successful is the installation position of the landmark when the position estimation by SFM is successful.
  • the reliability evaluation based on the position when the SFM position estimation is successful there is an example that the distance accuracy is lower as the distance is farther in principle.
  • position estimation is performed by averaging the feature points that hit the recognized landmarks, so the more feature points there are, the higher the distance accuracy is likely to be. There is an example of becoming.
  • Specific examples of reliability evaluation based on the degree of variation in the SFM point cloud include the following examples. That is, the greater the degree of variation in the SFM point cloud, the lower the reliability. Especially when the distance in the depth direction varies, it is less likely to be a landmark. Because the landmark is basically flat, the distance in the depth direction for each feature point on the landmark should be constant. Therefore, if the distance in the depth direction varies, it is highly possible that the object is not a landmark.
  • Specific examples of reliability evaluation based on the attributes of the SFM point cloud include the following examples. That is, since the SFM points have information on attributes such as segmentation, that is, road signs and lane markings, the higher the ratio of feature points having the same attributes, the higher the accuracy. That is, the higher the ratio of the feature points having the segmentation of the corresponding landmark, the higher the distance accuracy.
  • Examples of the reliability group data using the data Dn input from the road gradient estimation unit 34 as an information source include the road gradient estimation state and the fitting error.
  • the road slope estimation state indicates whether or not the road slope can be estimated.
  • the reliability evaluation based on the road slope estimation state there is an example in which the accuracy of the up / down slope data is lowered when the road slope cannot be estimated.
  • the fitting error is the accuracy of the gradient estimation, specifically, the average of the deviations between the fitting curve and the SFM points.
  • Specific examples of the reliability evaluation based on the fitting error include an example in which the accuracy is low when the variation in the fitting error is large.
  • the reliability group data using the data Do input from the visibility estimation unit 35 as an information source includes tunnel flag, glass fogging level, lens shielding level, bad weather level, backlight level, raindrop adhesion level, road surface snow level, and desert level. , Mud level, road surface wet level, etc.
  • the tunnel flag is a flag that is turned on while passing through a tunnel. If the same background continues in the tunnel, it causes a decrease in SFM egomotion accuracy. Therefore, it is possible to evaluate the reliability such that the accuracy is low when the tunnel flag is on.
  • the glass fogging level indicates the degree of fogging of the windshield of the vehicle, and the reliability can be evaluated according to the level.
  • the lens shielding level represents the degree to which the background is hidden, and the reliability can be evaluated according to the level.
  • the bad weather level represents the condition of bad weather such as heavy rain, heavy fog, heavy snowfall, and dust, and the reliability can be evaluated according to the level.
  • the backlight level indicates the degree of backlight caused by the sunlight in the daytime and the degree of backlight caused by light such as light in the case of night, and the reliability is evaluated according to the level. be able to.
  • the raindrop adhesion level represents the degree of adhesion of raindrops to the windshield of the vehicle, and the reliability can be evaluated according to the level.
  • the road surface snow level indicates whether or not there is snow on the road surface, and the reliability can be evaluated according to the level.
  • the desert level indicates whether the road surface is a desert, and the reliability can be evaluated according to the level.
  • the muddy level indicates whether or not the road surface is muddy, and the reliability can be evaluated according to the level.
  • the road surface wetness level indicates whether or not the road surface is wet due to rain or the like, and the reliability can be evaluated according to the level.
  • the reliability evaluation based on each of these levels can be performed in multiple stages, for example, three stages.
  • Examples of reliability group data using data Da representing GPS information as an information source include GNSS azimuth, GNSS speed, and DOP.
  • GNSS is an abbreviation for Global Navigation Satellite System
  • DOP is an abbreviation for Dilution Of Precision.
  • the GNSS azimuth angle represents the azimuth angle of the vehicle obtained by GNSS positioning, that is, the yaw angle.
  • the reliability evaluation based on the GNSS azimuth there is an example in which it can be determined that the GNSS accuracy is low when the difference from the yaw angle calculated by the vehicle from the yaw rate sensor or the like is large.
  • the GNSS speed is the running speed of the vehicle obtained by GNSS positioning.
  • Specific examples of the reliability evaluation based on the GNSS speed include an example in which it can be determined that the GNSS accuracy is low when the difference between the vehicle speed and the vehicle speed calculated from the wheel speed sensor or the like is large.
  • DOP is the accuracy reduction rate, and generally, the smaller the value, the higher the accuracy of the GNSS positioning result. Therefore, as a specific example of reliability evaluation based on DOP, there is an example in which it can be determined that the smaller the value, the higher the accuracy.
  • the reliability imparting unit 38 evaluates the reliability based on the estimation accuracy when estimating the own vehicle behavior, which is the behavior of the vehicle, by using the image corresponding to the data Di and using the SFM method. , Generate reliability information based on the evaluation result. Further, the reliability imparting unit 38 evaluates the reliability based on the estimation accuracy of the road gradient, and generates the reliability information based on the evaluation result. Further, the reliability imparting unit 38 evaluates the reliability based on the estimation accuracy of the visibility in the image sensor 3, and generates the reliability information based on the evaluation result. In addition, the reliability imparting unit 38 evaluates the reliability based on the information on the landmarks on the image detected based on the image corresponding to the data Di, and generates the reliability information based on the evaluation result.
  • the reliability giving unit 38 determines a "basic point" and a "coefficient” based on the reliability group data, and obtains the reliability by multiplying the basic point by a coefficient.
  • the reliability can be set to 100 steps indicated by numerical values of "1" to "100", and the smaller the numerical value, the lower the reliability.
  • the basic points are also set to 100 levels indicated by numerical values of "1" to "100” as in the case of reliability.
  • the reliability giving unit 38 calculates at least one basic point based on the reliability group data. For example, in the case of a sign, when the size is within the specified value and the type of the sign such as the speed limit sign can be specified, the basic point is set to 100. Then, the reliability imparting unit 38 calculates at least one coefficient based on the reliability group data.
  • the coefficient is a value of 1.0 or less. For example, it is conceivable that the coefficient is set lower as the number of continuous extrapolations is larger, or the coefficient is set lower as the position at the time of position estimation is farther than a certain value from the position of the own vehicle.
  • the landmark is abbreviated as LMK.
  • the basic points are contents that represent the landmark-likeness.
  • three coefficients, a first coefficient, a second coefficient, and a third coefficient, are set.
  • the first coefficient is related to distance accuracy.
  • the second coefficient is related to a factor for lowering recognition accuracy, that is, a factor for lowering visibility.
  • the third coefficient is related to other accuracy.
  • Other accuracy includes road slope estimation accuracy, SFM accuracy, GNSS accuracy, and the like.
  • the reliability is calculated by multiplying the basic points by the first coefficient, the second coefficient, and the third coefficient.
  • the reliability imparting unit 38 calculates two or more basic points from the reliability group data, and adds the two or more basic points to obtain the reliability.
  • each base point may be distributed so that the total of all the base points is "100", each base point is equal, or each base point is weighted.
  • the first basic point is a content that expresses the uniqueness of a landmark.
  • the second basic point is about distance accuracy.
  • the third basic point is related to factors that reduce recognition accuracy.
  • the fourth basic point is related to other accuracy.
  • each basic point is distributed so that it is weighted individually.
  • the first basic point is set to 60 steps indicated by the numerical values of "1” to "60”
  • the second basic point is set to 20 steps indicated by the numerical values of "1" to "20”.
  • the 3rd base point and the 4th base point are defined as 10 levels indicated by numerical values of "1" to "10”.
  • the reliability is calculated by adding the first basic point, the second basic point, the third basic point, and the fourth basic point.
  • the reliability imparting unit 38 calculates two or more basic points from the reliability group data, and evaluates each of the two or more basic points to obtain the reliability. ..
  • each basic point is set to 100 steps indicated by numerical values of "1" to "100".
  • the reliability information generation by the third method for example, the one shown in FIG. 9 can be mentioned.
  • four basic points, the first basic point, the second basic point, the third basic point, and the fourth basic point, are set as in the second method.
  • the reliability is calculated by individually evaluating each of the first basic point, the second basic point, the third basic point, and the fourth basic point. ..
  • the map generation unit 36 uses the map information generation unit 37 to generate map information and the image sensor 3 in the same manner as the map generation unit 16 of the first embodiment. It includes a reliability imparting unit 38 that assigns reliability information, which is information on the reliability of data corresponding to the captured image, to data Di, which is probe data for uploading to the server 2. Then, in the present embodiment, in the server 2, the integration unit 11 integrates the data Di in consideration of the reliability information given to the data Di to generate a map. By doing so, it is possible to obtain an excellent effect that the accuracy of map generation on the server 2 can be further improved.
  • each functional block may be distributed.
  • a part of each functional block included in the control device 10 on the server 2 side is provided on the vehicle side, that is, the control devices 8 and 33 on the vehicle devices 9 and 32 side, and each control device provides various data via communication.
  • the server 2 has insufficient probe data such as a small amount of data including image data captured at night and a small amount of data at a position where the image sensor 3 is mounted, together with the data Dj representing the integrated map.
  • the vehicle devices 9 and 32 determine whether or not the own vehicle matches the above attributes, and upload the data Di only when it is determined that the own vehicle matches the above attributes. By doing so, it is possible to efficiently collect only the probe data required by the server 2 while suppressing the amount of communication.
  • the reliability imparting unit 38 provided in the control device 33 of the vehicle device 32 can be provided in the control device 10 of the server 2.
  • the vehicle device 32 may be configured to transmit reliability group data to the server 2.
  • the reliability imparting unit 38 provided in the server 2 generates reliability information based on the reliability group data transmitted from the vehicle device 32, and the reliability information is generated from the vehicle device 32. It will be added to the uploaded data Di.
  • the vehicle device 32 of the second embodiment in principle, past information is not left for the data corresponding to the image captured by the image sensor 3. Then, in the vehicle device 32, for the predetermined landmark, the data immediately before the landmark is cut off from the image captured by the image sensor 3 is uploaded to the server 2. Therefore, at the time of uploading the data Di to the server 2, only the evaluation based on the reliability group data in the frame at that time can be performed, and the accuracy of the reliability evaluation may be lowered.
  • information on landmark attributes may differ from frame to frame, such as being recognized as a road sign in one frame but being recognized as a lamp in another frame. Therefore, in the vehicle device 32, it is preferable to store each reliability group data in a time series, and adopt the most frequent one to be coefficiented or the degree of variation to be coefficiented. By doing so, it is possible to maintain good accuracy in the evaluation of reliability, and thus to maintain good accuracy in generating the map on the server 2.
  • the data Di is selected and uploaded based on the reliability information, but it cannot be said that the reliability of the data represented by the reliability information is always accurate. Therefore, in the vehicle device 32, it is desirable to take measures such as uploading as much data Di as possible without excluding the data Di as much as possible. Then, in this case, the integration unit 11 of the server 2 may select and integrate the data Di that is considered to be really necessary.
  • the controls and methods thereof described in the present disclosure are realized by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. May be done.
  • the controls and methods thereof described in the present disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
  • the control unit and method thereof described in the present disclosure may be a combination of a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers configured.
  • the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

地図システム（１、３１）は、車両に搭載され前記車両の周辺の画像を撮像する撮像装置（３）を備えた車両用装置（９、３２）と、前記車両用装置から送信される前記撮像装置により撮像された画像に対応するデータを用いて地図を生成するサーバ（２）と、を備える。前記地図システムは、複数の前記車両用装置から送信される前記データの偏りに基づいて前記データに重み付けを行い、その重み付けに基づいて複数の前記データの少なくとも一部を統合して前記地図を生成する統合部（１１）を備える。

Description

地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ 関連出願の相互参照
　本出願は、２０１９年５月２９日に出願された日本出願番号２０１９－１００２６８号と、２０２０年５月２２日に出願された日本出願番号２０２０－０８９６５１号と、に基づくもので、ここにその記載内容を援用する。
　本開示は、地図を生成する地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバに関する。
　特許文献１には、車両に搭載されたカメラにより撮像された画像を用いてランドマークなどの位置情報を記録し、それら情報をサーバなどにアップロードして疎な地図を生成し、車両の走行時には生成された疎な地図をダウンロードして自車両の位置を決定するシステムに関する技術が開示されている。
特表２０１８－５１０３７３号公報
　上述したようなシステムにおいて、サーバにアップロードするためのデータであるプローブデータは、同じ箇所を対象としたデータであっても、それを生成した車両に搭載されたカメラなどの撮像装置の仕様、取付位置、姿勢などにより互いに異なるものとなることがある。従来、サーバは、このようなプローブデータを全て統合することで地図を生成する。そのため、プローブデータのデータ数が増えるほど、サーバでの地図の生成精度が向上する。
　しかし、プローブデータのデータ数が少ない場合、それらプローブデータに偏りが生じていると、サーバにおいて地図を生成する際の精度を向上することができないおそれがある。つまり、従来技術では、プローブデータのデータ数が少ない場合には、サーバでの地図の生成精度が低下する可能性があった。
　本開示の目的は、サーバでの地図の生成精度を高めることができる地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバを提供することにある。
　本開示の一態様において、地図システムは、車両に搭載され車両の周辺の画像を撮像する撮像装置を備えた車両用装置と、車両用装置から送信される撮像装置により撮像された画像に対応するデータを用いて地図を生成するサーバと、を備えたシステムである。地図システムは、複数の車両用装置から送信されるデータの偏りに基づいてデータに重み付けを行い、その重み付けに基づいて複数のデータの少なくとも一部を統合して地図を生成する統合部を備える。
　上記構成によれば、複数の車両用装置からサーバに送信されるデータ、つまりプローブデータに偏りがある場合でも、その偏りに基づいてデータに重み付けが行われ、その重み付けを考慮して地図が生成される。このような構成によれば、従来に比べ、車両用装置からサーバに送信されるデータの数が少なくとも、サーバは、より精度の高い地図を生成することができる。したがって、上記構成によれば、サーバでの地図の生成精度を高めることができるという優れた効果が得られる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態に係る地図システムの構成を模式的に示す図であり、 図２は、第１実施形態に係る統合部の構成を模式的に示す図であり、 図３は、第１実施形態に係る第１適用例において統合部が実行する処理の流れを模式的に示す図であり、 図４は、第１実施形態に係る第２適用例において統合部が実行する処理の流れを模式的に示す図であり、 図５は、第１実施形態に係る第３適用例において統合部が実行する処理の流れを模式的に示す図であり、 図６は、第２実施形態に係る地図システムの構成を模式的に示す図であり、 図７は、第２実施形態に係る第１手法による信頼度情報生成の具体的な事例を説明するための図であり、 図８は、第２実施形態に係る第２手法による信頼度情報生成の具体的な事例を説明するための図であり、 図９は、第２実施形態に係る第３手法による信頼度情報生成の具体的な事例を説明するための図である。
　以下、複数の実施形態について図面を参照して説明する。なお、各実施形態において実質的に同一の構成には同一の符号を付して説明を省略する。
　　　（第１実施形態）
　以下、第１実施形態について図１～図５を参照して説明する。
　図１に示す地図システム１は、自律的ナビゲーションのための地図システムである。地図システム１は、ＧＰＳなどの自車両の位置を特定する従来の機能に対して、追加的に機能してより高精度に位置の特定をすることに効果を発揮する。地図システム１は、大きく分けて、地図活用および地図更新の２つの機能を備えている。
　地図活用においては、サーバ２に格納された地図情報が車両にダウンロードされ、車両はダウンロードされた地図情報と、例えばカメラなどの画像センサ３により撮像された画像に含まれる標識などのランドマークの位置とに基づいて自車両の位置を特定する。本明細書では、サーバ２に格納された地図情報のことを統合地図と称することがある。この場合、特定した自車両の現在位置に基づいて、車両制御部４が車両に搭載されたハードウェアを動作させるためのアクチュエータに対して対応する命令を出力することで運転支援が実現される。アクチュエータとは、例えばブレーキ、スロットル、ステアリング、ランプなど、車両をハードウェア的に制御するための装置である。
　一方、地図更新においては、車両に搭載された画像センサ３、車速センサ５、図示しないミリ波センサなどの各種センサにより得られた情報がプローブデータとしてサーバ２にアップロードされ、サーバ２内の統合地図が逐次更新される。これにより、車両は、常に最新の地図情報に基づいて高精度に位置特定がされつつ、例えば運転支援や自動ステアリングが実現される。
　地図システム１において、ヒューマンマシンインターフェース６は、各種の情報をユーザに通知したり、ユーザが所定の操作を車両に伝達したりするためのユーザインタフェースである。なお、本明細書では、ヒューマンマシンインターフェースのことをＨＭＩと省略することがある。ＨＭＩ６には、例えばカーナビゲーション装置に付属するディスプレイ、インストルメントパネルに内蔵されたディスプレイ、ウィンドシールドに投影されるヘッドアップディスプレイ、マイク、スピーカなどが含まれる。さらには、車両と通信可能に接続されたスマートフォンなどのモバイル端末も地図システム１内のＨＭＩ６になり得る。
　ユーザはＨＭＩ６に表示される情報を視覚的に得るほか、音声や警告音、振動によっても情報を得ることができる。また、ユーザは、ディスプレイのタッチ操作や音声により車両に対して所望の動作を要求することができる。例えば、ユーザが地図情報を活用して自動ステアリングなどの高度運転支援のサービスを受けようとするとき、ユーザはＨＭＩ６を介して該機能を有効化する。例えば、ディスプレイ上に示された「地図連携」ボタンをタップすると地図活用の機能が有効化され、地図情報のダウンロードが開始される。
　別の例では、音声にて命令を与えることにより地図活用の機能が有効化される。なお、地図更新に係る地図情報のアップロードについては、車両とサーバ２との通信が確立されている間常時実行されていてもよいし、「地図連携」ボタンをタップして地図活用の機能が有効化されている間に実行されるようにされてもよいし、ユーザの意思を反映する別のＵＩによって有効化されてもよい。
　本実施形態の地図システム１は、サーバ２および車両側の各構成を備える。車両側の各構成とは、画像センサ３、車両制御部４、車速センサ５、ＨＭＩ６、ＧＰＳ受信部７および制御装置８などである。これら車両側の各構成のうち、画像センサ３および制御装置８は、画像センサ３により撮像された画像に対応するデータをサーバ２に送信する車両用装置９として機能する。
　サーバ２は、車両用装置９などが搭載される車両から隔離した箇所に設けられている。サーバ２は、車両用装置９から送信される画像センサ３により撮像された画像に対応するデータを用いて地図を生成するもので、制御装置１０を備えている。制御装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｏなどを有するマイクロコンピュータを主体として構成されており、統合部１１および更新部１２を備える。
　これら各機能ブロックは、制御装置１０のＣＰＵが非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することでコンピュータプログラムに対応する処理を実行することにより実現されている、つまりソフトウェアにより実現されている。したがって、制御装置１０のマイクロコンピュータが実行するコンピュータプログラムには、地図生成および地図更新に関連する各処理の少なくとも一部を実行するためのプログラム、つまり地図生成プログラムの少なくとも一部が含まれている。統合部１１および更新部１２は、前述した地図更新に関する各種の処理を実行するためのものであり、それらの詳細については後述する。
　ＧＰＳ受信部７は、図示しないＧＰＳアンテナを介して受信した信号により表されるＧＰＳ情報を表すデータＤａを制御装置８などへと出力する。車速センサ５は、車両の速度である車速を検出するものであり、車両が有する車輪の速度を検出する車輪速センサとして構成されている。車速センサ５は、その検出値である検出速度を表す信号Ｓａを制御装置８などへと出力する。
　画像センサ３は、車両に搭載され、車両周辺の環境、具体的には車両の進行方向前方における所定範囲の環境を撮像する撮像装置である。なお、画像センサ３は、車両の進行方向前方を撮像するものに限らずともよく、例えば後方、側方を撮像するものでもよい。画像センサ３により撮像された車両周辺の環境の情報は、静止画または動画（以下、これらを総称して画像と称する）の形式で図示しないメモリに格納される。制御装置８は、そのメモリに格納されたデータＤｂを読み出し可能に構成されており、そのデータＤｂに基づいて各種処理を実行する。
　制御装置８は、ＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｏなどを有するマイクロコンピュータを主体として構成されている。制御装置８は、スケールファクタ補正部１３、エゴモーション算出部１４、ランドマーク検出部１５、地図生成部１６、ローカライズ部１７などの機能ブロックを備える。これら各機能ブロックは、制御装置８のＣＰＵが非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することでコンピュータプログラムに対応する処理を実行することにより実現されている、つまりソフトウェアにより実現されている。
　制御装置８は、車両に搭載された電子制御装置、つまりＥＣＵなどの車載器の一部を構成している。制御装置８のマイクロコンピュータが実行するコンピュータプログラムには、地図生成および地図更新に関連する各処理の少なくとも一部を実行するためのプログラム、つまり地図生成プログラムの少なくとも一部が含まれている。スケールファクタ補正部１３は、車速センサ５から与えられる信号Ｓａおよび画像センサ３により撮像された画像を表すデータＤｂに基づいて、車速センサ５のスケールファクタを学習する。
　なお、本明細書では、スケールファクタ補正部のことをＳＦ補正部と省略することがある。車速センサ５のスケールファクタとは、車速センサ５の測定対象である車速に対する車速センサ５の検出値の比、つまり車速センサ５の入力変化に対する出力変化の比のことであり、車速センサ５の検出値から車速の真値を求めるための係数である。ＳＦ補正部１３は、車速センサ５から与えられる信号Ｓａと学習により補正されたスケールファクタとに基づいて自車両の車速を検出し、その検出値を表すデータＤｃをエゴモーション算出部１４へと出力する。
　エゴモーション算出部１４は、画像センサ３により撮像された画像に基づいて車両の挙動である自車挙動を推定する。この場合、エゴモーション算出部１４は、Structure From Motionの手法を利用して自車挙動を推定する構成となっている。なお、本明細書では、Structure From MotionのことをＳＦＭと省略することがある。エゴモーション算出部１４は、ＳＦＭモジュールにより構成されるＳＦＭ認識部１８および走行軌跡生成部１９を備えている。
　ＳＦＭ認識部１８は、データＤｂに基づいて、自車挙動、つまり車両自身の姿勢を表すパラメータであるエゴモーションの推定などを行う。なお、エゴモーションには、ヨー、ロール、ピッチおよび並進移動を示す情報が含まれる。上記構成では、画像センサ３は、車両の走行に伴い、移動しながら車両の周辺画像を撮像することになる。ＳＦＭ認識部１８は、画像センサ３が移動しながら撮像した２視点の画像、つまり１つの画像センサ３により異なるタイミングで撮像された撮像位置の異なる２つのフレーム分の画像において、コーナーやエッジなどの対応がとり易い特徴点を抽出する。
　ＳＦＭ認識部１８は、２つのフレーム分の画像において抽出した特徴点を対応付け、それらの位置関係に基づいて特徴点のオプティカルフローを算出する。ＳＦＭ認識部１８は、算出した複数のオプティカルフローを手掛かりに、各特徴点の三次元位置と、画像センサ３の姿勢、つまりエゴモーションを推定する。なお、ＳＦＭ認識部１８は、このような手法により自車両の移動量を知ることができるが、そのスケールの精度に課題がある。そこで、ＳＦＭ認識部１８は、ＧＰＳ情報を表すデータＤａおよび車速の検出値を表すデータＤｃに基づいて自車両の移動速度を取得し、その移動速度に基づいて上記スケールの精度を向上させるようになっている。
　ＳＦＭ認識部１８は、推定したエゴモーションを表すデータＤｄを、走行軌跡生成部１９およびランドマーク検出部１５へと出力する。走行軌跡生成部１９は、ＳＦＭ認識部１８により推定されるエゴモーションを毎時積算し、自車両がどのように移動したのかを表す走行軌跡を生成する。走行軌跡生成部１９は、生成した走行軌跡を表すデータＤｅを地図生成部１６へと出力する。
　ランドマーク検出部１５は、認識部２０および物標生成部２１を備えている。認識部２０は、データＤｂに基づいて、画像センサ３により撮像された画像上におけるランドマークの位置を検出する。なお、ランドマークの位置の検出手法としては、様々な手法を採用することができる。上記ランドマークには、例えば標識、看板、電柱や街灯などのポール、白線、信号機などが含まれる。
　また、認識部２０は、データＤｂに基づいて、自車両の走路を認識して道路パラメータおよび区画線を表す情報である区画線情報を取得する。道路パラメータには、車線の幅であるレーン幅、車線すなわち道路の曲率などの車線の形状を表す情報が含まれる。また、道路パラメータには、車線の幅方向中央位置から自車両の位置までの距離を表すオフセット、車線すなわち道路の接線方向と自車両の進行方向とのなす角度を表すヨー角などの車線の形状に対する自車両の走行状態を表す情報も含まれる。
　この場合、上述した区画線情報などの走路情報も上記ランドマークに含まれる。認識部２０は、このようなランドマークの検出結果を表すデータＤｆを物標生成部２１へと出力する。物標生成部２１は、認識部２０から与えられるデータＤｆと、ＳＦＭ認識部１８から与えられるデータＤｄと、に基づいて、検出されたランドマークとその中のＳＦＭの点を照合し、これにより、ランドマークの距離、横位置を含めた物理位置情報を求める。ランドマーク検出部１５は、認識部２０により取得された道路パラメータを表すデータＤｇを車両制御部４へと出力する。また、ランドマーク検出部１５は、物標生成部２１により生成された区画線情報などの走路情報も含まれたランドマークの位置に関する情報を表すデータＤｈを地図生成部１６へと出力する。
　地図生成部１６は、ＧＰＳ情報を表すデータＤａ、エゴモーション算出部１４から与えられるデータＤｅおよびランドマーク検出部１５から与えられるデータＤｈに基づいて地図情報を生成する。具体的には、地図生成部１６は、ＧＰＳ情報、生成されたランドマークおよび走行軌跡を紐付け、それにより断片的な地図データである地図情報を生成する。本明細書では、地図生成部１６により生成される地図情報のことをプローブ地図と称することがある。
　地図生成部１６により生成されたプローブ地図を表すデータＤｉは、プローブデータとしてサーバ２にアップロードされるとともに、ローカライズ部１７へと出力される。なお、この場合、地図生成部１６により生成されるデータＤｉには、画像センサ３の車両への搭載位置、画像センサ３の車両への搭載姿勢および画像センサ３の解像度、画角などの仕様を表す情報も含まれている。
　プローブ地図は、ＳＦＭの精度に限界があることなどから、その精度は十分に高いとは言い難い。そこで、サーバ２の統合部１１は、詳細は後述するが、各車両の車載器から送信されるデータＤｉに基づいて、複数のプローブ地図を重ね合わせて統合し、地図の精度を向上させる。サーバ２の更新部１２は、統合部１１による統合が成功すると、統合地図を更新する。サーバ２は、統合地図を表すデータＤｊを各車両の車載器へと配信する。この場合、サーバ２は、配信先の車両の概略位置をＧＰＳ情報などに基づいて特定し、その概略位置の周辺（例えば概略位置を中心とした半径数ｋｍの範囲）の統合地図を配信する。なお、車載器側に地図が存在する場合、その地図との差分配信も可能である。
　ローカライズ部１７は、自車両の現在位置を推定するローカライズを実行する。ローカライズ部１７は、サーバ２から統合地図を表すデータＤｊをダウンロードし、そのダウンロードしたデータＤｊと、プローブ地図を表すデータＤｉおよび画像センサ３により撮像された画像を表すデータＤｂに基づいて、統合地図に対してローカライズを行う。なお、ローカライズ部１７は、プローブ地図を表すデータＤｉを用いることなく、ローカライズを実行することもできる。
　ローカライズ部１７は、ローカライズが成功した場合、地図情報に基づく道路パラメータを算出する。ローカライズ部１７は、地図情報に基づく道路パラメータを表すデータＤｋを車両制御部４へと出力する。車両制御部４は、ランドマーク検出部１５から与えられるデータＤｇとローカライズ部１７から与えられるデータＤｋとに基づいて、自車両の走行を制御するための各種の処理を実行する。すなわち、車両制御部４は、道路パラメータに基づいて自車両の走行を制御するための各種の処理を実行する。
　従来技術において既述したように、複数の車両に搭載された車両用装置９から送信されるデータＤｉに偏りが生じる可能性がある。そこで、サーバ２の統合部１１は、複数の車両に搭載された車両用装置９から送信されるデータＤｉの偏りを判定する。統合部１１は、データＤｉの偏りに基づいてデータＤｉに重み付けを行い、その重み付けに基づいて複数のデータＤｉの少なくとも一部を統合して地図を生成する。なお、統合部１１により実行される各処理は、統合手順に相当する。
　図２に示すように、統合部１１は、偏り判定部２２、間引き処理部２３および重み付け統合部２４などの機能ブロックを備える。偏り判定部２２は、複数の車両から送信されたデータＤｉの偏りを判定する処理を実行し、その結果を表すデータＤｌを間引き処理部２３へと出力する。偏り判定部２２は、画像センサ３の車両への搭載位置、画像センサ３の仰角、俯角などに影響を及ぼす車両への搭載姿勢および画像センサ３の解像度、画角などの仕様のうち少なくとも１つに基づいたデータＤｉの偏りを判定することができる。また、偏り判定部２２は、車両の走行速度に基づいたデータＤｉの偏りを判定することができる。さらに、偏り判定部２２は、車両の周辺環境に基づいたデータＤｉの偏りを判定することができる。
　間引き処理部２３は、データＤｌに基づいて、複数のデータＤｉのうち不要なデータを間引く間引き処理を実行し、その結果を表すデータＤｍを重み付け統合部２４へと出力する。重み付け統合部２４は、データＤｍに基づいて複数のデータＤｉのうち不要なデータを除くデータを重ね合わせて統合する統合処理を実行する。この場合、重み付け統合部２４は、エゴモーション算出部１４による自車挙動の推定精度、つまりデータＤｂに対応する画像を用いるとともにＳＦＭの手法を利用して自車挙動を推定する際における推定精度に基づいてデータＤｉの重み付けを行うことができる。
　具体的には、統合部１１は、上記した推定精度が相対的に高いと判断されるデータＤｉの優先度を、上記した推定精度が相対的に低いと判断されるデータＤｉの優先度に比べて高くするようにデータＤｉの重み付けを行うことができる。統合部１１は、このような重み付けを行った結果、より優先度の高いデータＤｉを優先的に用いて地図の生成を行うことができる。
　次に、統合部１１により実行される各処理の具体的な適用例について説明する。なお、以下では、統合部１１が備える各機能ブロックのそれぞれにより実行される処理について、統合部１１が実行するものとして説明する。
　　［１］第１適用例
　第１適用例は、画像センサ３の搭載位置、姿勢、仕様などに関連する内容である。画像センサ３の搭載位置、姿勢、仕様などについては、ある状況下では地図の生成精度を向上する観点から有利になると考えられるものの、別の状況下では不利になると考えられるものがある。
　例えば、画像センサ３の搭載位置が高い位置である場合、高速道路上に設けられる看板などの比較的高い位置に存在する物標までの距離が近くなりその視認性が良くなるが、逆に、路面標示など比較的低い位置に存在する物標までの距離が遠くなりその視認性が悪くなる。画像センサ３の搭載位置が比較的低い位置である場合、比較的低い位置に存在する物標までの距離が近くなりその視認性が良くなるが、逆に、比較的高い位置に存在する物標までの距離が遠くなりその視認性が悪くなる。
　このようなことから、データＤｉが画像センサ３の搭載位置が高いデータに偏ると比較的低い位置に存在する物標に関する情報の精度が低くなるし、データＤｉが画像センサ３の搭載位置が低いデータに偏ると比較的高い位置に存在する物標に関する情報の精度が低くなる。そこで、統合部１１は、画像センサ３の搭載位置、具体的には搭載の高さが様々なデータＤｉを万遍なく統合できるように、間引き処理、統合処理などを行う。このようにすれば、上記した各情報に関する精度が低くなることが抑制される。
　統合部１１は、特定の物標に関する情報の精度を向上させるために、次のような処理を行うこともできる。すなわち、統合部１１は、比較的高い位置に存在する物標に関する情報の精度を向上させるために、画像センサ３の搭載位置の高さが比較的高いデータＤｉの優先度を高くするように重み付けを行うことができる。また、統合部１１は、比較的低い位置に存在する物標に関する情報の精度を向上させるために、画像センサ３の搭載位置の高さが比較的低いデータＤｉの優先度を高くするように重み付けを行うことができる。
　また、画像センサ３の搭載位置の高さと同じ高さの物標はフロー量が出にくい。そこで、統合部１１は、画像センサ３の搭載位置の高さとのずれが大きい物標が含まれるデータＤｉの優先度を高くするように重み付けを行うことができる。このようにすれば、特定の物標に関する情報の精度を向上することができる。
　画像センサ３の画角が比較的広い場合、車両から比較的近い位置の対象物の情報を取得するうえでは有利になるが、逆に、車両から比較的遠い位置の対象物の情報を取得するうえでは不利になる。画像センサ３の画角が比較的狭い場合、車両から比較的遠い位置の対象物の情報を取得するうえでは有利になるが、逆に、車両から比較的近い位置の対象物の情報を取得するうえでは不利になる。
　このようなことから、データＤｉが画像センサ３の画角が広いデータに偏ると車両から比較的遠い位置に存在する物標に関する情報の精度が低くなるし、データＤｉが画像センサ３の画角が狭いデータに偏ると車両から比較的近い位置に存在する物標に関する情報の精度が低くなる。そこで、統合部１１は、画像センサ３の画角が様々なデータＤｉを万遍なく統合できるように、間引き処理、統合処理などを行う。このようにすれば、上記した各情報に関する精度が低くなることが抑制される。
　統合部１１は、特定の物標に関する情報の精度を向上させるために、次のような処理を行うこともできる。すなわち、統合部１１は、車両から比較的近い位置に存在する物標に関する情報の精度を向上させるために、画像センサ３の画角が比較的広いデータＤｉの優先度を高くするように重み付けを行うことができる。また、統合部１１は、車両から比較的遠い位置に存在する物標に関する情報の精度を向上させるために、画像センサ３の画角が比較的狭いデータＤｉの優先度を高くするように重み付けを行うことができる。
　画像センサ３の解像度については、基本的には高いほど、地図の生成精度を向上する観点から有利になると考えられる。そこで、統合部１１は、画像センサ３の解像度が比較的高いデータＤｉの優先度を高くするように重み付けを行うことができる。ただし、車両から比較的近い位置に存在する物標に関する情報の精度を向上させる場合または車両から比較的遠い位置に存在する物標に関する情報の精度を向上させる場合には、単に解像度が高いデータＤｉの優先度を高くするだけではなく、画角についても考慮したうえで、優先度を付与する必要がある。
　画像センサ３が物標を正面に捉えるように撮像した画像データを含むデータＤｉの場合、物標の横方向への移動が少なくなるため、ＳＦＭでの距離推定の精度が低くなるおそれがある。そこで、統合部１１は、隣接車線から同じ物標を撮像した画像データを含むデータＤｉの優先度を高くするように重み付けを行うことができる。このようにすれば、統合部１１は、各物標を斜めから捉えるように撮像した画像データを含むデータＤｉを優先的に用いて地図の生成を行うことができるため、その精度が向上する。
　このような第１適用例において統合部１１が実行する処理の流れをまとめると、図３に示すようなものとなる。図３に示すように、ステップＳ１０１では、画像センサ３の搭載位置、搭載姿勢および仕様のうち少なくとも１つに基づいたデータＤｉの偏りが判定される。ステップＳ１０１の実行後はステップＳ１０２に進み、特定の物標を対象としているのか否か、具体的には特定の物標に関する情報の精度を向上させる必要があるか否かが判断される。ここで、特定の物標に関する情報の精度を向上させる必要がある場合、ステップＳ１０２で「ＹＥＳ」となり、ステップＳ１０３に進む。
　ステップＳ１０３では、特定の物標に関する情報の精度を向上させるための所定のデータの優先度が高くなるように間引き処理および統合処理が行われる。一方、特定の物標に関する情報の精度を向上させる必要がない場合、ステップＳ１０２で「ＮＯ」となり、ステップＳ１０４に進む。ステップＳ１０４では、ステップＳ１０１で判定されたデータの偏りが軽減されるように間引き処理および統合処理が行われる。ステップＳ１０３またはＳ１０４の実行後、本処理が終了となる。
　　［２］第２適用例
　第２適用例は、車両の走行速度に関連する内容である。車両の走行速度は、速ければ早いほど、ベースラインが長くなることからＳＦＭの精度が高くなると考えられる。しかし、車両の走行速度が速過ぎる場合には、判定に利用可能なフレーム数が少なくなることからＳＦＭの精度が低下する可能性もある。そこで、統合部１１は、車両の走行速度が様々なデータＤｉを万遍なく統合できるように、間引き処理、統合処理などを行う。このようにすれば、ＳＦＭの精度の低下が抑制される。
　ただし、このように車両の走行速度が様々なデータＤｉを万遍なく統合できるようにした場合、車両の周辺に位置する特定の物標についての判定回数が十分ではない可能性があり、その物標に関するＳＦＭの精度が所定の判定精度未満になるおそれがある。なお、判定精度の値は、地図システム１の仕様に応じて適宜設定すればよい。統合部１１は、車両の走行速度に応じて特定の物標に関する精度が判定精度を満たさないと判断すると、次のようにデータＤｉの重み付けを行うことができる。すなわち、統合部１１は、車両の走行速度が比較的遅いデータＤｉの優先度を車両の走行速度が比較的速いデータＤｉの優先度に比べて高くするようにデータＤｉの重み付けを行うことができる。このようにすれば、特定の物標について、判定回数を増やすことができ、その結果、ＳＦＭの精度を向上させることができる。
　例えば、高速道路などにおいて、同じ形状の防音壁が連続して設けられたような区間を車両が走行している場合、車両の走行速度と防音壁により形成される模様の繰り返し間隔とによっては、ＳＦＭ認識部１８による特徴点の対応付けの誤り、つまり誤マッチングが生じ、ＳＦＭの精度が低下するおそれがある。上記防音壁のような物標に関する精度を向上させるため、統合部１１は、車両の走行速度が様々なデータＤｉを統合し、外れ値が大きいものについて優先度を低くしたり、除外したりすることができる。
　このような第２適用例において統合部１１が実行する処理の流れをまとめると、図４に示すようなものとなる。図４に示すように、ステップＳ２０１では、車両の走行速度に基づいたデータＤｉの偏りが判定される。ステップＳ２０１の実行後はステップＳ２０２に進み、特定の物標を対象としているのか否か、具体的には特定の物標に関する情報の精度を向上させる必要があるか否かが判断される。ここで、特定の物標に関する情報の精度を向上させる必要がある場合、ステップＳ２０２で「ＹＥＳ」となり、ステップＳ２０３に進む。
　ステップＳ２０３では、特定の物標に関する情報の精度を向上させるための所定のデータの優先度が高くなるように、または低くなるように、間引き処理および統合処理が行われる。一方、特定の物標に関する情報の精度を向上させる必要がない場合、ステップＳ２０２で「ＮＯ」となり、ステップＳ２０４に進む。ステップＳ２０４では、ステップＳ２０１で判定されたデータの偏りが軽減されるように間引き処理および統合処理が行われる。ステップＳ２０３またはＳ２０４の実行後、本処理が終了となる。
　　［３］第３適用例
　第３適用例は、車両の周辺の明るさなどの環境に関連する内容である。車両の周辺の明るさが明るい場合、ＳＦＭの精度に影響を及ぼすノイズが少なくなることから、地図の生成精度を向上する観点から有利になると考えられる。しかし、車両の周辺の明るさが明るい場合、一部の電光表示などが白飛びして見えなくなったり、電光標識においてフリッカーが生じたりすることが考えられ、その結果、それら物標に関する精度が低下する可能性がある。
　そこで、統合部１１は、車両の周辺の明るさが様々な画像データを含むデータＤｉを万遍なく統合できるように、言い換えると、車両の周辺の明るさが明るい時間帯である昼間に撮像された画像データを含むデータＤｉと車両の周辺の明るさが暗い時間帯である夜間に撮像された画像データを含むデータＤｉとを万遍なく統合できるように、間引き処理、統合処理などを行う。このようにすれば、ＳＦＭの精度の低下が抑制される。
　統合部１１は、特定の物標に関する情報の精度を向上させるために、次のような処理を行うこともできる。すなわち、統合部１１は、上記した一部の電光表示、電光標識など以外の物標に関する情報の精度を向上させるために、車両の周辺の明るさが明るい時間帯、例えば昼間に撮像された画像データを含むデータＤｉの優先度を高くするように重み付けを行うことができる。また、統合部１１は、上記した一部の電光表示、電光標識などの物標に関する情報の精度を向上させるために、車両の周辺の明るさが暗い時間帯、例えば夜間に撮像された画像データを含むデータＤｉの優先度を高くするように重み付けを行うことができる。
　このような第３適用例において統合部１１が実行する処理の流れをまとめると、図５に示すようなものとなる。図５に示すように、ステップＳ３０１では、車両の周辺の明るさに基づいたデータＤｉの偏りが判定される。ステップＳ３０１の実行後はステップＳ３０２に進み、特定の物標を対象としているのか否か、具体的には特定の物標に関する情報の精度を向上させる必要があるか否かが判断される。ここで、特定の物標に関する情報の精度を向上させる必要がある場合、ステップＳ３０２で「ＹＥＳ」となり、ステップＳ３０３に進む。
　ステップＳ３０３では、特定の物標に関する情報の精度を向上させるための所定のデータの優先度が高くなるように間引き処理および統合処理が行われる。一方、特定の物標に関する情報の精度を向上させる必要がない場合、ステップＳ３０２で「ＮＯ」となり、ステップＳ３０４に進む。ステップＳ３０４では、ステップＳ３０１で判定されたデータの偏りが軽減されるように間引き処理および統合処理が行われる。ステップＳ３０３またはＳ３０４の実行後、本処理が終了となる。
　　［４］第４適用例
　第４適用例は、車両の状態に関連する内容である。車両のイグニッションスイッチがオンされた直後には、ＳＦ補正部１３によるスケールファクタの補正に関する精度が低下し、その結果、ＳＦＭの精度が低下するおそれがある。そこで、統合部１１は、車両のイグニッションスイッチがオンされた時点からの経過時間が比較的短いデータＤｉの優先度を低くするように重み付けを行う。このようにすれば、ＳＦＭの精度の低下が抑制される。
　　［５］第５適用例
　第５適用例は、撮像の時間帯に関連する内容である。道路には、時間帯に応じて道路区分が変わるものがあり、そのような道路に関する特定の情報は、特定の時間でしか精度良く取得できない可能性がある。そこで、統合部１１は、画像データの撮像の時間帯が様々なデータＤｉを万遍なく統合できるように、間引き処理、統合処理などを行う。このようにすれば、時間帯に応じて道路区分が変わるような道路に関する情報を精度良く取得することができる。
　以上説明したように、本実施形態の地図システム１は、車両に搭載され車両の周辺の画像を撮像する画像センサ３を備えた車両用装置９と、車両用装置９から送信される画像センサ３により撮像された画像に対応するデータを用いて地図を生成するサーバ２と、を備えたシステムである。サーバ２の制御装置１０は、複数の車両用装置９から送信されるデータの偏りに基づいてデータに重み付けを行い、その重み付けに基づいて複数のデータの少なくとも一部を統合して地図を生成する統合部１１を備える。
　上記構成によれば、複数の車両用装置９からサーバ２に送信されるデータ、つまりプローブデータに偏りがある場合でも、その偏りに基づいてデータに重み付けが行われ、その重み付けを考慮して地図が生成される。このような構成によれば、従来に比べ、車両用装置９からサーバ２に送信されるデータの数が少なくとも、サーバ２は、より精度の高い地図を生成することができる。したがって、本実施形態によれば、サーバ２での地図の生成精度を高めることができるという優れた効果が得られる。
　本実施形態の処理の具体的な適用例である第１適用例、第２適用例、第３適用例および第４適用例によれば、統合部１１は、ＳＦＭの手法を利用した自車挙動の推定精度が相対的に高いと判断されるデータＤｉの優先度を、上記した推定精度が相対的に低いと判断されるデータＤｉの優先度に比べて高くするようにデータＤｉの重み付けを行うことができる。統合部１１は、このような重み付けを行った結果、より優先度の高いデータＤｉを優先的に用いて地図の生成を行うことができる。サーバ２での統合地図の精度を向上するための１つの指標として、上記したＳＦＭの精度を向上することが挙げられる。したがって、上記したような具体的な処理によれば、サーバ２での地図の生成精度を一層高めることができる。
　　　（第２実施形態）
　以下、第２実施形態について図６～図９を参照して説明する。
　図６に示すように、本実施形態の地図システム３１は、第１実施形態の地図システム１に対し、車両用装置９に代えて車両用装置３２を備えている点などが異なる。車両用装置３２の制御装置３３は、車両用装置９の制御装置８に対し、道路勾配推定部３４および視認性推定部３５という２つの機能ブロックが追加されている点、地図生成部１６に代えて地図生成部３６が設けられている点などが異なっている。
　道路勾配推定部３４は、画像センサ３により撮像された画像を表すデータＤｂに基づいて所定の機械学習を行い、それにより画像センサ３により撮像された画像上における道路の勾配を推定する。道路勾配推定部３４は、推定した道路勾配を表すデータＤｎを地図生成部３６へと出力する。視認性推定部３５は、画像センサ３により撮像された画像を表すデータＤｂに基づいて所定の機械学習を行い、それにより画像センサ３における視認性を推定する。視認性推定部３５は、推定した視認性を表すデータＤｏを地図生成部３６へと出力する。
　地図生成部３６は、地図情報生成部３７および信頼度付与部３８を備えている。地図生成部３６には、エゴモーション算出部１４からデータＤｅに加えデータＤｄも与えられている。地図情報生成部３７は、第１実施形態の地図生成部１６と同様に地図情報を生成する。信頼度付与部３８は、画像センサ３により撮像された画像に対応するデータの信頼度に関する情報である信頼度情報をデータＤｉに付与する。信頼度付与部３８は、各機能ブロックから入力される信頼度基データに基づいて画像に対応するデータの信頼度を評価し、その評価結果に基づいて信頼度情報を生成する。
　信頼度情報は、サーバ２の統合部１１において利用される情報となる。すなわち、統合部１１は、前述したように、複数の車両用装置から送信される画像に対応するデータの偏りに基づいてデータＤｉに重み付けを行い、その重み付けに基づいて複数のデータＤｉの少なくとも一部を統合して地図を生成する。この場合、統合部１１は、データＤｉに付与された信頼度情報も考慮してデータＤｉを統合して地図を生成するようになっている。例えば、統合部１１は、比較的高い信頼度を表す信頼度情報が付与されたデータＤｉを優先的に用いて統合することができる。なお、ここで言う「画像に対応するデータ」は、画像センサ３による画像の撮像状況に関するデータ、つまり単なるランドマークや車線情報ではなく、画像センサ３の搭載位置、画角、解像度、車両速度、車両環境や信頼度といったデータである。
　エゴモーション算出部１４から入力されるデータＤｄを情報源とする信頼度基データとしては、ＳＦＭ低精度フラグが挙げられる。ＳＦＭ低精度フラグは、エゴモーションの推定精度が低下している可能性がある場合にオンされるものである。ランドマーク検出部１５から入力されるデータＤｈを情報源とする信頼度基データとしては、設置位置、サイズ、種別、色、ＳＦＭ位置推定成功回数、連続外挿回数、ＳＦＭ位置推定成功時の位置、ＳＦＭの点数、ＳＦＭ点群のばらつき度合い、ＳＦＭ点群の属性などが挙げられる。
　設置位置は、自車位置から見たランドマークの設置位置である。なお、設置位置は、区画線の場合はフィッティング誤差である。設置位置に基づいた信頼度評価の具体例としては、例えば、標識であるにもかかわらず、路面上に設置位置がある場合には誤検出の可能性が高いと推定することができる、といった例が挙げられる。サイズは、ランドマークの大きさである。なお、サイズは、区画線の場合は線幅である。サイズに基づいた信頼度評価の具体例としては、例えば標識であるにもかかわらず、その四方が０．２ｍ未満である場合、アスペクト比が異常な値である場合などには誤検出の可能性が高いと推定することができる、といった例が挙げられる。
　種別に基づいた信頼度評価の具体例としては、例えば、標識の場合には何の標識であるのか、あるいは標識では無さそうかの判定、区画線の場合には線種の識別が行われるため、それら判定の結果、識別の結果によっては誤検出の可能性を疑うことができる、といった例が挙げられる。色に基づいた信頼度評価の具体例としては、例えば、区画線の場合には線色の識別が行われるため、線色が白色または黄色のいずれでもないと判定される場合には誤検出の可能性がある、といった例が挙げられる。
　ＳＦＭ位置推定成功回数は、ＳＦＭの点を使った３次元位置推定に成功した回数、具体的には積算値である。ＳＦＭ位置推定成功回数は多いほうがよく、その場合にはランドマークである可能性が高まる。そこで、ＳＦＭ位置推定成功回数に基づいた信頼度評価の具体例としては、ＳＦＭ位置推定成功回数が極端に少ない場合には画像に特徴点がない、つまりランドマークではない可能性を疑うことができる、といった例が挙げられる。
　連続外挿回数は、ＳＦＭによる位置推定ができずエゴモーションから位置予測した回数である。連続外挿回数は少ないほうがよく、その場合にはランドマークである可能性が高まる。そこで、連続外挿回数に基づいた信頼度評価の具体例としては、連続外挿回数が極端に多い場合には画像に特徴点がない、つまりランドマークではない可能性、距離精度が低い可能性などを疑うことができる、といった例が挙げられる。
　ＳＦＭ位置推定成功時の位置は、ＳＦＭによる位置推定に成功したときのランドマークの設置位置である。ＳＦＭ位置推定成功時の位置に基づいた信頼度評価の具体例としては、原則遠方にあるものほど距離精度が低い、といった例が挙げられる。ＳＦＭの点数に基づいた信頼度評価の具体例としては、位置推定は認識したランドマークに当たっている特徴点の平均を取るなどして行われるため、特徴点が多いほど距離精度が高い可能性が高くなる、といった例が挙げられる。
　ＳＦＭ点群のばらつき度合いに基づいた信頼度評価の具体例としては、次のような例が挙げられる。すなわち、ＳＦＭ点群のばらつき度合いが大きいほど、信頼度が低くなる。特に奥行方向の距離がばらつく場合、ランドマークである可能性が低くなる。なぜなら、ランドマークは、基本的にはフラットなものであるため、ランドマーク上の各特徴点についての奥行方向の距離は一定になるはずである。そのため、奥行方向の距離にばらつきがあるということは、その対象物がランドマークではない可能性が高くなる。
　ＳＦＭ点群の属性に基づいた信頼度評価の具体例としては、次のような例が挙げられる。すなわち、ＳＦＭの点は、セグメンテーション、つまり道路標識、区画線などの属性の情報を持っているため、同じ属性を持つ特徴点の割合が多いほど精度が高いことになる。つまり、該当するランドマークのセグメンテーションを持つ特徴点の割合が高いほど距離精度が高くなる。
　道路勾配推定部３４から入力されるデータＤｎを情報源とする信頼度基データとしては、道路勾配推定状態、フィッティング誤差などが挙げられる。道路勾配推定状態は、道路勾配を推定できているかどうかを表すものである。道路勾配推定状態に基づいた信頼度評価の具体例としては、道路勾配を推定できていない場合には上り下り勾配のデータの精度が低下する、といった例が挙げられる。フィッティング誤差は、勾配推定の精度であり、具体的にはフィッティング曲線とＳＦＭの点のずれ量の平均である。フィッティング誤差に基づいた信頼度評価の具体例としては、フィッティング誤差のばらつきが大きい場合には精度が低い、といった例が挙げられる。
　視認性推定部３５から入力されるデータＤｏを情報源とする信頼度基データとしては、トンネルフラグ、ガラス曇りレベル、レンズ遮蔽レベル、悪天候レベル、逆光レベル、雨滴付着レベル、路面雪レベル、砂漠レベル、泥濘レベル、路面濡れレベルなどが挙げられる。トンネルフラグは、トンネルを通過中にオンされるフラグである。トンネルで同じ背景が連続する場合はＳＦＭエゴモーション精度が低下する要因となる。そこで、トンネルフラグがオンのときには精度が低いといった信頼度評価を行うことができる。
　ガラス曇りレベルは、車両のフロントガラスの曇り具合を表すものであり、そのレベルに応じて信頼度評価を行うことができる。レンズ遮蔽レベルは、背景が隠されている具合を表すものであり、そのレベルに応じて信頼度評価を行うことができる。悪天候レベルは、豪雨、濃霧、豪雪、砂塵などの悪天候の具合を表すものであり、そのレベルに応じて信頼度評価を行うことができる。
　逆光レベルは、昼の場合には太陽の光に起因する逆光の具合、夜の場合にはライトなどの光に起因する逆光の具合を表すものであり、そのレベルに応じて信頼度評価を行うことができる。雨滴付着レベルは、車両のフロントガラスへの雨滴の付着具合を表すものであり、そのレベルに応じて信頼度評価を行うことができる。路面雪レベルは、路面に雪があるか否かを表すものであり、そのレベルに応じて信頼度評価を行うことができる。
　砂漠レベルは、路面が砂漠であるかどうかを表すものであり、そのレベルに応じて信頼度評価を行うことができる。泥濘レベルは、路面が泥濘であるかどうかを表すものであり、そのレベルに応じて信頼度評価を行うことができる。路面濡れレベルは、路面が雨などにより濡れているかどうかを表すものであり、そのレベルに応じて信頼度評価を行うことができる。これら各レベルに基づいた信頼度評価は、多段階、例えば３段階で行うことができる。
　ＧＰＳ情報を表すデータＤａを情報源とする信頼度基データとしては、ＧＮＳＳ方位角、ＧＮＳＳ速度、ＤＯＰなどが挙げられる。なお、ＧＮＳＳは、Global Navigation Satellite Systemの略称であり、ＤＯＰは、Dilution Of Precisionの略称である。ＧＮＳＳ方位角は、ＧＮＳＳ測位により得られる車両の方位角、つまりヨー角を表すものである。ＧＮＳＳ方位角に基づいた信頼度評価の具体例としては、車両がヨーレートセンサなどから演算するヨー角との差が大きい場合にＧＮＳＳ精度が低いと判断することができる、といった例が挙げられる。
　ＧＮＳＳ速度は、ＧＮＳＳ測位により得られる車両の走行速度である。ＧＮＳＳ速度に基づいた信頼度評価の具体例としては、車両が車輪速センサなどから演算する車速との差が大きい場合にＧＮＳＳ精度が低いと判断することができる、といった例が挙げられる。ＤＯＰは、精度低下率のことであり、一般的に数値が小さいほどＧＮＳＳの測位結果の精度が高いことを示す。そこで、ＤＯＰに基づいた信頼度評価の具体例としては、その数値が小さいほど精度が高いと判断することができる、といった例が挙げられる。
　このように、信頼度付与部３８は、データＤｉに対応する画像を用いるとともにＳＦＭの手法を利用して車両の挙動である自車挙動を推定する際における推定精度に基づいて信頼度を評価し、その評価結果に基づいて信頼度情報を生成する。また、信頼度付与部３８は、道路勾配の推定精度に基づいて信頼度を評価し、その評価結果に基づいて信頼度情報を生成する。また、信頼度付与部３８は、画像センサ３における視認性の推定精度に基づいて信頼度を評価し、その評価結果に基づいて信頼度情報を生成する。また、信頼度付与部３８は、データＤｉに対応する画像に基づいて検出される画像上におけるランドマークに関する情報に基づいて信頼度を評価し、その評価結果に基づいて信頼度情報を生成する。
　続いて、信頼度付与部３８による信頼度情報の生成に関する具体的な手法について説明する。
　　［１］第１手法
　第１手法では、信頼度付与部３８は、信頼度基データに基づいて「基礎点」および「係数」を決定し、基礎点に係数を乗じることで信頼度を求める。例えば、信頼度は、「１」～「１００」の数値で示される１００段階とし、数値が小さいほど信頼度が低いものとすることができる。なお、この場合、基礎点についても、信頼度と同様、「１」～「１００」の数値で示される１００段階とされる。
　具体的には、信頼度付与部３８は、信頼度基データに基づいて少なくとも１つの基礎点を算出する。例えば、標識の場合、サイズが規定値内であり、且つ、制限速度標識であるなどの標識の種別が特定できているときには、基礎点を１００とする。そして、信頼度付与部３８は、信頼度基データに基づいて少なくとも１つの係数を算出する。なお、係数は、１．０以下の値とされる。例えば、連続外挿回数が多いほど係数を低めに設定したり、位置推定時の位置が自車位置から一定値以上遠いほど係数を低めに設定したりすることが考えられる。
　第１手法による信頼度情報生成の具体的な事例としては、例えば図７に示すようなものを挙げることができる。なお、図７などでは、ランドマークのことをＬＭＫと省略している。この場合、基礎点は、ランドマークらしさを表す内容となっている。また、この場合、係数は、第１係数、第２係数および第３係数の３つが設定されている。第１係数は、距離精度に関する内容となっている。第２係数は、認識精度低下要因、つまり視認性低下要因に関する内容となっている。第３係数は、その他精度に関する内容となっている。なお、その他精度としては、道路勾配の推定精度、ＳＦＭの精度、ＧＮＳＳの精度などが挙げられる。図７に示す第１手法による具体的な事例では、基礎点に対し、第１係数、第２係数および第３係数が乗算されることにより、信頼度が算出される。
　　［２］第２手法
　第２手法では、信頼度付与部３８は、信頼度基データから２つ以上の基礎点を算出し、それら２つ以上の基礎点を加算することで信頼度を求める。この場合、全ての基礎点の合計が「１００」となるように、各基礎点は、それぞれが均等となるように、または、それぞれに重み付けが行われるように、振り分ければよい。
　第２手法による信頼度情報生成の具体的な事例としては、例えば図８に示すようなものを挙げることができる。この場合、基礎点は、第１基礎点、第２基礎点、第３基礎点および第４基礎点の４つが設定されている。第１基礎点は、ランドマークらしさを表す内容となっている。第２基礎点は、距離精度に関する内容となっている。第３基礎点は、認識精度低下要因に関する内容となっている。第４基礎点は、その他精度に関する内容となっている。
　この場合、各基礎点は、それぞれに重み付けが行われるように振り分けが行われている。具体的には、第１基礎点は「１」～「６０」の数値で示される６０段階とされ、第２基礎点は「１」～「２０」の数値で示される２０段階とされ、第３基礎点および第４基礎点は「１」～「１０」の数値で示される１０段階とされている。図８に示す第２手法による具体的な事例では、第１基礎点、第２基礎点、第３基礎点および第４基礎点が加算されることにより、信頼度が算出される。
　　［３］第３手法
　第３手法では、信頼度付与部３８は、信頼度基データから２つ以上の基礎点を算出し、それら２つ以上の基礎点をそれぞれ評価することで信頼度を求める。この場合、各基礎点は、いずれも「１」～「１００」の数値で示される１００段階とされる。第３手法による信頼度情報生成の具体的な事例としては、例えば図９に示すようなものを挙げることができる。この場合、基礎点は、第２手法と同様、第１基礎点、第２基礎点、第３基礎点および第４基礎点の４つが設定されている。図９に示す第３手法による具体的な事例では、第１基礎点、第２基礎点、第３基礎点および第４基礎点のそれぞれが個別に評価されることにより、信頼度が算出される。
　以上説明した本実施形態によれば、車両用装置３２において、地図生成部３６は、第１実施形態の地図生成部１６と同様に地図情報を生成する地図情報生成部３７と、画像センサ３により撮像された画像に対応するデータの信頼度に関する情報である信頼度情報をサーバ２にアップロードするプローブデータであるデータＤｉに付与する信頼度付与部３８と、を備えている。そして、本実施形態では、サーバ２において、統合部１１は、データＤｉに付与された信頼度情報も考慮してデータＤｉを統合して地図を生成する。このようにすれば、サーバ２での地図の生成精度を一層高めることができるという優れた効果が得られる。
　　　（その他の実施形態）
　なお、本開示は上記し且つ図面に記載した各実施形態に限定されるものではなく、その要旨を逸脱しない範囲で任意に変形、組み合わせ、あるいは拡張することができる。
　上記各実施形態で示した数値などは例示であり、それに限定されるものではない。
　地図システム１、３１において、それぞれの機能ブロックは分散されていてもよい。例えば、サーバ２側の制御装置１０が備える各機能ブロックの一部が、車両側、つまり車両用装置９、３２側の制御装置８、３３に設けられ、各制御装置が通信を介して各種データの送受信を行うことにより、上記各実施形態で説明した各処理を実行する構成としてもよい。このような構成の具体例として、次のような構成を挙げることができる。
　すなわち、サーバ２は、統合地図を表すデータＤｊとともに、例えば夜間に撮像された画像データを含むデータが少ない、画像センサ３の搭載位置が低い位置のデータが少ないなど、不足しているプローブデータの属性を付与する。車両用装置９、３２は、自車両が上記属性に合致するか否かを判断し、合致すると判断した場合にだけデータＤｉをアップロードする。このようにすれば、通信量を抑制しつつ、サーバ２が必要とするプローブデータだけを効率よく収集することができる。
　また、第２実施形態について、車両用装置３２の制御装置３３に設けられる信頼度付与部３８は、サーバ２の制御装置１０に設けることができる。この場合、車両用装置３２は、サーバ２に対し、信頼度基データを送信するような構成とすればよい。そして、この場合、サーバ２に設けられた信頼度付与部３８は、車両用装置３２から送信される信頼度基データに基づいて信頼度情報を生成し、その信頼度情報を車両用装置３２からアップロードされるデータＤｉに付与することになる。
　第２実施形態の車両用装置３２では、原則、画像センサ３により撮像された画像に対応するデータについては、過去の情報は残さないようになっている。そして、車両用装置３２では、所定のランドマークについては、そのランドマークが画像センサ３による撮像画像から見切れる直前のデータをサーバ２にアップロードするようになっている。そのため、サーバ２にデータＤｉをアップロードする時点では、その時点のフレームにおける信頼度基データによる評価しかできないことになり、信頼度の評価の精度が低くなるおそれがある。
　例えば、あるフレームでは道路標識であると認識されたが、別のフレームでは電灯であると認識されるなど、ランドマークの属性に関する情報は毎フレーム異なる可能性がある。そこで、車両用装置３２では、各信頼度基データを時系列で記憶させておき、それらのうち頻度が多いのを採用して係数化したり、ばらつき度合いを係数化したりする、とよい。このようにすれば、信頼度の評価の精度を良好に維持すること、ひいてはサーバ２での地図の生成精度を良好に維持することができる。
　第２実施形態の車両用装置３２では、信頼度情報に基づいてデータＤｉを選別してアップロードすることになるが、信頼度情報が表すデータの信頼度が必ずしも正確であるとは言い切れない。そのため、車両用装置３２では、極力データＤｉを排除することなく、出来る限り多くのデータＤｉをアップロードする、といった対応を行うことが望ましい。そして、この場合、サーバ２の統合部１１は、本当に必要であると考えられるデータＤｉを取捨選択して統合を行うようにすればよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
　本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (16)

  1. 　車両に搭載され前記車両の周辺の画像を撮像する撮像装置（３）を備えた車両用装置（９、３２）と、前記車両用装置から送信される前記撮像装置により撮像された画像に対応するデータを用いて地図を生成するサーバ（２）と、を備えた地図システム（１、３１）であって、
    　複数の前記車両用装置から送信される前記データの偏りに基づいて前記データに重み付けを行い、その重み付けに基づいて複数の前記データの少なくとも一部を統合して前記地図を生成する統合部（１１）を備える地図システム。
  2. 　前記統合部は、前記データに対応する画像を用いるとともにStructure From Motionの手法を利用して前記車両の挙動である自車挙動を推定する際における推定精度が相対的に高いと判断される前記データの優先度を前記推定精度が相対的に低いと判断される前記データの優先度に比べて高くするように前記データの重み付けを行う請求項１に記載の地図システム。
  3. 　前記統合部は、前記撮像装置の搭載位置、搭載姿勢および仕様のうち少なくとも１つに基づいた前記データの偏りを判定する請求項１または２に記載の地図システム。
  4. 　前記統合部は、前記車両の走行速度に基づいた前記データの偏りを判定する請求項１から３のいずれか一項に記載の地図システム。
  5. 　前記統合部は、前記車両の走行速度に応じて前記車両の周辺に位置する物標に関する精度が所定の判定精度未満になると判断すると、前記車両の走行速度が相対的に遅い前記データの優先度を前記車両の走行速度が相対的に速い前記データの優先度に比べて高くするように前記データの重み付けを行う請求項４に記載の地図システム。
  6. 　前記統合部は、前記車両の周辺環境に基づいた前記データの偏りを判定する請求項１から５のいずれか一項に記載の地図システム。
  7. 　車両に搭載され前記車両の周辺の画像を撮像する撮像装置（３）を備えた車両用装置（９、３２）と、前記車両用装置から送信される前記撮像装置により撮像された画像に対応するデータを用いて地図を生成するサーバ（２）と、のうち少なくともいずれか一方に、
    　複数の前記車両用装置から送信される前記データの偏りに基づいて前記データに重み付けを行い、その重み付けに基づいて複数の前記データの少なくとも一部を統合して前記地図を生成する統合手順を、
    　実行させる地図生成プログラム。
  8. 　請求項７に記載の地図生成プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体。
  9. 　車両に搭載され前記車両の周辺の画像を撮像する撮像装置（３）を備えた車両用装置（９、３２）であって、
    　前記撮像装置により撮像された画像に対応するデータを、複数の前記車両用装置から送信される前記データの偏りに基づいて前記データに重み付けを行い、その重み付けに基づいて複数の前記データの少なくとも一部を統合して地図を生成する統合部（１１）を備えたサーバ（２）に送信する車両用装置。
  10. 　前記画像に対応するデータは、前記撮像装置による前記画像の撮像状況に関するデータである請求項９に記載の車両用装置。
  11. 　さらに、前記画像に対応するデータの信頼度に関する情報である信頼度情報を前記データに付与する信頼度付与部（３８）を備える請求項９または１０に記載の車両用装置。
  12. 　前記信頼度付与部は、前記データに対応する画像を用いるとともにStructure From Motionの手法を利用して前記車両の挙動である自車挙動を推定する際における推定精度に基づいて前記信頼度を評価し、その評価結果に基づいて前記信頼度情報を生成する請求項１１に記載の車両用装置。
  13. 　前記信頼度付与部は、道路勾配の推定精度に基づいて前記信頼度を評価し、その評価結果に基づいて前記信頼度情報を生成する請求項１１または１２に記載の車両用装置。
  14. 　前記信頼度付与部は、前記撮像装置における視認性の推定精度に基づいて前記信頼度を評価し、その評価結果に基づいて前記信頼度情報を生成する請求項１１から１３のいずれか一項に記載の車両用装置。
  15. 　前記信頼度付与部は、前記データに対応する画像に基づいて検出される前記画像上におけるランドマークに関する情報に基づいて前記信頼度を評価し、その評価結果に基づいて前記信頼度情報を生成する請求項１１から１４のいずれか一項に記載の車両用装置。
  16. 　車両に搭載され前記車両の周辺の画像を撮像する撮像装置（３）を備えた車両用装置（９、３２）から送信される前記撮像装置により撮像された画像に対応するデータを用いて地図を生成するサーバ（２）であって、
    　複数の前記車両用装置から送信される前記データの偏りに基づいて前記データに重み付けを行い、その重み付けに基づいて複数の前記データの少なくとも一部を統合して前記地図を生成する統合部（１１）を備えるサーバ。
PCT/JP2020/021152 2019-05-29 2020-05-28 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ WO2020241766A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080039040.0A CN113939826A (zh) 2019-05-29 2020-05-28 地图系统、地图生成程序、存储介质、车辆用装置以及服务器
DE112020002630.2T DE112020002630T5 (de) 2019-05-29 2020-05-28 Kartensystem, kartenerzeugendes programm, speichermedium, fahrzeuginterne vorrichtung und server
US17/456,444 US20220082407A1 (en) 2019-05-29 2021-11-24 Map system, map generating program, storage medium, on-vehicle apparatus, and server

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019100268 2019-05-29
JP2019-100268 2019-05-29
JP2020-089651 2020-05-22
JP2020089651A JP7215460B2 (ja) 2019-05-29 2020-05-22 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/456,444 Continuation US20220082407A1 (en) 2019-05-29 2021-11-24 Map system, map generating program, storage medium, on-vehicle apparatus, and server

Publications (1)

Publication Number Publication Date
WO2020241766A1 true WO2020241766A1 (ja) 2020-12-03

Family

ID=73552247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021152 WO2020241766A1 (ja) 2019-05-29 2020-05-28 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ

Country Status (4)

Country Link
US (1) US20220082407A1 (ja)
CN (1) CN113939826A (ja)
DE (1) DE112020002630T5 (ja)
WO (1) WO2020241766A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013342A1 (ja) * 2021-08-02 2023-02-09 株式会社デンソー 地図データ生成装置、地図データ生成システム及び地図データ生成プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191239A (ja) * 2010-03-16 2011-09-29 Mazda Motor Corp 移動体位置検出装置
JP2016156973A (ja) * 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
JP2018025490A (ja) * 2016-08-10 2018-02-15 株式会社デンソー 位置推定装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4862930B2 (ja) * 2009-09-04 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2012154669A (ja) * 2011-01-24 2012-08-16 Clarion Co Ltd 車載装置とそのバイアス学習方法
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
EP3496033A4 (en) * 2016-10-07 2019-10-23 Aisin Aw Co., Ltd. DISPLACEMENT ASSISTING DEVICE AND COMPUTER PROGRAM
JP6617735B2 (ja) * 2017-02-22 2019-12-11 株式会社デンソー 車両用表示装置
KR102274125B1 (ko) * 2017-06-28 2021-07-06 현대자동차주식회사 친환경 자동차의 관성 주행 제어 방법
EP3645972A4 (en) * 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. CARD GENERATION SYSTEMS AND METHODS
JP2019100268A (ja) 2017-12-05 2019-06-24 日立オートモティブシステムズ株式会社 燃料供給ポンプ
JP7279721B2 (ja) * 2018-10-30 2023-05-23 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JP7269618B2 (ja) 2018-12-07 2023-05-09 株式会社タカゾノ 薬剤供給装置及び薬剤包装装置
JP7063303B2 (ja) * 2019-04-23 2022-05-09 株式会社デンソー 車両用装置、車両用プログラムおよび記憶媒体
US11670001B2 (en) * 2019-05-17 2023-06-06 Nvidia Corporation Object pose estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191239A (ja) * 2010-03-16 2011-09-29 Mazda Motor Corp 移動体位置検出装置
JP2016156973A (ja) * 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
JP2018025490A (ja) * 2016-08-10 2018-02-15 株式会社デンソー 位置推定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013342A1 (ja) * 2021-08-02 2023-02-09 株式会社デンソー 地図データ生成装置、地図データ生成システム及び地図データ生成プログラム
JP7540602B2 (ja) 2021-08-02 2024-08-27 株式会社デンソー 地図データ生成装置、地図データ生成システム及び地図データ生成プログラム

Also Published As

Publication number Publication date
CN113939826A (zh) 2022-01-14
DE112020002630T5 (de) 2022-03-10
US20220082407A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US10696227B2 (en) Determining a road surface characteristic
JP7052786B2 (ja) 表示制御装置および表示制御プログラム
EP3590753A1 (en) Display control device and display control method
US9074906B2 (en) Road shape recognition device
KR20170052488A (ko) 지도 갱신 판정 시스템
CN102208035B (zh) 图像处理系统及位置测量系统
JP2020034472A (ja) 自律的ナビゲーションのための地図システム、方法および記憶媒体
US20090005929A1 (en) Vehicle behavior learning apparatuses, methods, and programs
US11092442B2 (en) Host vehicle position estimation device
CN103287358A (zh) 用于确定物体传感器未对准的方法
US20210362733A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
CN103874931A (zh) 用于求取车辆的环境中的对象的位置的方法和设备
WO2021002219A1 (ja) 車両制御装置
US20230148097A1 (en) Adverse environment determination device and adverse environment determination method
CN113135183B (zh) 车辆的控制系统、车辆的控制系统的控制方法、车辆以及计算机可读记录介质
CN112477860A (zh) 车辆控制装置
WO2020084912A1 (ja) センサ校正方法、及びセンサ校正装置
JP2015102449A (ja) 車両自己位置推定装置、及び車両自己位置推定方法
CN115769050A (zh) 本车位置估计装置、行驶控制装置
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
CN116171464A (zh) 信号灯识别装置、信号灯识别方法、车辆控制装置
JP2021113816A (ja) 出力装置、制御方法、プログラム及び記憶媒体
JP7215460B2 (ja) 地図システム、地図生成プログラム、記憶媒体、車両用装置およびサーバ
JPWO2019065564A1 (ja) 自動運転制御装置及び方法
JP2020175893A (ja) 自動運転システム、自動運転装置、自動運転方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20815296

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20815296

Country of ref document: EP

Kind code of ref document: A1