WO2019150736A1 - 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体 - Google Patents

車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2019150736A1
WO2019150736A1 PCT/JP2018/044001 JP2018044001W WO2019150736A1 WO 2019150736 A1 WO2019150736 A1 WO 2019150736A1 JP 2018044001 W JP2018044001 W JP 2018044001W WO 2019150736 A1 WO2019150736 A1 WO 2019150736A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
section
vehicle
unit
section image
Prior art date
Application number
PCT/JP2018/044001
Other languages
English (en)
French (fr)
Inventor
茂裕 武藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112018006997.4T priority Critical patent/DE112018006997T5/de
Priority to CN201880087912.3A priority patent/CN111656421B/zh
Publication of WO2019150736A1 publication Critical patent/WO2019150736A1/ja
Priority to US16/942,720 priority patent/US11143512B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present disclosure relates to a vehicle image data generation device, a traveling track data generation system, a section image data generation program, and a storage medium.
  • the server is configured to recognize the base map data, aerial photograph data, navigation map data, etc., and generate traveling track data for automatic driving.
  • it becomes difficult to recognize the lane markings for example, in an underpass section, a tunnel section, and a section where a vehicle is parked and stopped, and traveling track data is generated. May be difficult.
  • the image data generated by the in-vehicle camera is transmitted to the server, and in addition to recognizing the above-described base map data etc. on the server, the image data received from the vehicle side is also an image.
  • Patent Document 1 discloses a configuration in which an in-vehicle camera captures a vehicle front and generates image data in front of the vehicle.
  • the present disclosure is intended for an automatic operation while appropriately avoiding various problems assumed due to an increase in the amount of data by suppressing the amount of data transmitted from the vehicle side to a server that generates traveling track data for automatic operation. It is an object to provide a vehicle image data generation device, a travel trajectory data generation system, a section image data generation program, and a storage medium capable of appropriately transmitting data effective for generating the travel trajectory data to a server. To do.
  • At least one of the base map data, the aerial photograph data, and the navigation map data is recognized, and the image data generated by the in-vehicle camera is recognized, and driving for automatic driving is performed.
  • Data communication is performed with a server that generates orbit data.
  • the section image data generation unit generates image data for each section as section image data from the image data generated by the in-vehicle camera.
  • the data transmission unit transmits the section image data generated by the section image data generation unit to the server.
  • the section image data for each section is generated from the image data, and the generated section image data is transmitted to the server.
  • the amount of data transmitted from the vehicle side to the server that generates traveling track data for automatic driving is suppressed, and various problems assumed due to an increase in the data amount are appropriately avoided, while Data effective for generating the traveling track data can be appropriately transmitted to the server.
  • FIG. 1 is a functional block diagram showing the overall configuration of an embodiment.
  • FIG. 2 is a functional block diagram showing the configuration of the server.
  • FIG. 3 is a flowchart showing the section image data generation process.
  • FIG. 4 is a diagram showing image data.
  • FIG. 5 is a diagram showing connected image data.
  • FIG. 6 is a diagram showing section image data.
  • FIG. 7 is a diagram showing a mode of removing unnecessary objects in the section image data.
  • FIG. 8 is a diagram illustrating a mode of recognizing a white line in the section image data.
  • FIG. 9 is a diagram showing a mode of specifying the lane center line in the section image data.
  • FIG. 1 is a functional block diagram showing the overall configuration of an embodiment.
  • FIG. 2 is a functional block diagram showing the configuration of the server.
  • FIG. 3 is a flowchart showing the section image data generation process.
  • FIG. 4 is a diagram showing image data.
  • FIG. 5 is a diagram showing connected image
  • FIG. 10 is a diagram showing a mode for specifying the temporary position of the lane center line
  • FIG. 11 shows a three-lane road
  • FIG. 12 is a diagram showing lane attributes
  • FIG. 13 is a diagram showing a mode of specifying the absolute position of the lane center line
  • FIG. 14 is a diagram showing road information data.
  • FIG. 15 is a diagram showing image data that is a source of section image data.
  • FIG. 16 is a diagram showing section image data.
  • the traveling track data generation system 1 includes a vehicle image data generation device 2 and a server 3 mounted on a vehicle, and the vehicle image data generation device 2 and the server 3 communicate with each other. Data communication is possible via the network.
  • the communication network is, for example, a wide area communication network.
  • the server 3 recognizes images of, for example, basic map data provided by the Geographical Survey Institute, aerial photograph data taken from above by an aircraft, and map data for navigation used for navigation purposes. And has a function of generating traveling track data for automatic driving.
  • the server 3 includes an image recognition unit 4, an intersection lane network data generation unit 5, an intersection lane network data processing unit 6, an intersection lane network data generation unit 7, an intersection lane network data correction unit 8, an image A change point specifying unit 9 and a change point information reflecting unit 10 are provided.
  • the image recognition unit 4 recognizes the various types of input data and The inter-intersection white line data indicating the white line and the intra-intersection paint data indicating the paint in the intersection are generated, and the unrecognizable section information data indicating the unrecognizable section is generated.
  • the unrecognizable section information data is a section under an overpass, a section of a tunnel, a section where a vehicle is parked, etc., and is a section where it is difficult to recognize a lane marking.
  • the inter-intersection lane network data generation unit 5 When the navigation map data is input, the inter-intersection lane network data generation unit 5 generates wide-area intersection lane network data for a wide-area intersection from the input navigation map data.
  • a wide area is, for example, an area for roads nationwide.
  • Inter-intersection lane network data processing unit 6 receives the wide-area intersection lane network data and the cross-intersection white line data, adjusts the position of the wide-area intersection lane network data and sets the attributes from the input various data. Generate a final version of the interlane network data final version.
  • the attribute is the line type or color of the division line.
  • Intersection lane network data generation unit 7 inputs a final version of the wide-area intersection lane network data, and uses a method such as a machine learning model from the final version of the input wide-area intersection lane network data, Wide area lane network data is generated.
  • the intra-intersection lane network data correction unit 8 inputs the wide area lane network data and the intra-intersection paint data with the inside of the intersection tentatively, the lane network data in the intersection is corrected from the inputted various data, Generate a definitive version of wide area lane network data for the inside of an intersection.
  • the change point specifying unit 9 When the image change point specifying unit 9 inputs the section image data, the final version of the wide area lane network data, and the road information data, the change point from the past section image data of the same section as the change point information from the input various data. Identify and generate change point information data.
  • the change point information reflection unit 10 inputs the change point information data, the change point information reflection unit 10 reflects the input change point information data in the final version of the wide area lane network data.
  • the vehicle image data generation device 2 includes a section image data generation unit 11, an unnecessary object removal unit 12, a white line recognition unit 13, a lane centerline specification unit 14, a temporary position specification unit 15, and an absolute position specification unit 16. And an evaluation result assigning unit 17, a section image data storage unit 18, a change point information specifying unit 19, a road information data generating unit 20, and a data transmitting unit 21.
  • These functional blocks are constituted by a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and an I / O (Input / Output).
  • the microcomputer executes the computer program stored in the non-transitional tangible storage medium, thereby executing processing corresponding to the computer program and controlling the overall operation of the vehicular image data generating device 2.
  • the computer program executed by the microcomputer includes a section image data generation program.
  • the in-vehicle camera 22 is mounted on the vehicle so as to capture a range including the road surface in front of the vehicle.
  • the in-vehicle camera 22 captures the range including the road surface in front of the vehicle and generates image data.
  • the generated image data is used as the vehicle image.
  • a GPS (Global Positioning System) receiver 23 receives GPS signals transmitted from a plurality of GPS satellites orbiting the earth, calculates parameters stored in the received GPS signals, and calculates the GPS trajectory of the vehicle. And the specified GPS trajectory is output to the vehicular image data generation device 2.
  • the GPS trajectory is an absolute trajectory indicating an absolute trajectory.
  • the gyro sensor 24 calculates the attitude of the vehicle body from the angular velocity acting on the vehicle body, identifies the estimated locus of the vehicle, and outputs the identified estimated locus of the vehicle to the vehicle image data generation device 2.
  • the vehicle speed sensor 22 specifies the vehicle speed from the vehicle speed pulse, and outputs the specified vehicle speed to the vehicle image data generation device 2.
  • the vehicular image data generation device 2 includes image data input from the in-vehicle camera 22, GPS trajectory of the vehicle input from the GPS receiver 23, estimated trajectory of the vehicle input from the gyro sensor 24, vehicle speed input from the vehicle speed sensor 25, navigation Using the map data, image data for each section is generated as section image data, and the generated section image data is transmitted to the server 3.
  • the section image data generation unit 11 includes an image data arrangement unit 11a, an image data connection unit 11b, and an image data division unit 11c.
  • the image data arrangement unit 11a arranges a plurality of image data generated in time series by the in-vehicle camera 22 according to the coordinate points of the estimated trajectory of the vehicle.
  • the image data connecting unit 11b connects the plurality of image data arranged by the image data arranging unit 11a according to the paint on the road surface, and generates connected image data.
  • the image data dividing unit 11c divides the connected image data generated by the image data connecting unit 11b into sections according to road surface paint or navigation map data, and generates section image data.
  • the unnecessary object removing unit 12 adjusts the luminance of the shadow in the section image data generated by the section image data generating unit 11, and removes unnecessary objects in the section image data.
  • the white line recognition unit 13 recognizes a white line in the section image data generated by the section image data generation unit 11.
  • the lane center line specifying unit 14 specifies the lane center line in the section image data from the white line recognition result by the white line recognition unit 13.
  • the temporary position specifying unit 15 specifies the traveling direction of the vehicle using the GPS trajectory of the vehicle, collates at least one of the road center line and the traveling trajectory of the vehicle with the traveling direction of the vehicle, and compares the traveling direction of the vehicle.
  • the temporary position of the lane center line in the section image data specified by the center line specifying unit 14 is specified.
  • the absolute position specifying unit 16 compares the navigation map data with the recognition result of the white line by the white line recognition unit 13, and specifies the absolute position of the lane center line in the section image data in which the temporary position is specified.
  • the evaluation result giving unit 17 gives an evaluation result to the section image data generated by the section image data generating unit 11.
  • the evaluation result is an index in which, for example, the brightness of the image, the dust removal rate in the section image data, the white line recognition rate, and the like are quantified. The higher the numerical value, the higher the evaluation result, and the lower the numerical value, the lower the evaluation result. It is considered.
  • the section image data storage unit 18 stores the section image data generated by the section image data generation unit 11 in association with the evaluation result added by the evaluation result adding unit 17 to the section image data.
  • the change point information specifying unit 19 specifies a change point from the past section image data in the same section as the change point information in the section image data generated by the section image data generating unit 11.
  • Change point information includes changes in the number of lanes, changes in paint on the road surface, and the like.
  • the road information data generation unit 20 generates road information data from the image data generated by the in-vehicle camera 22, and associates the generated road information data with the section image data.
  • Road information data is information related to objects on the road in the section image data, such as pedestrian crossings, stop lines, coordinate positions such as diamond figures at the center of intersections, and relative positions from lane center lines such as road signs and traffic lights. And information on the height from the road surface.
  • the data transmission unit 21 transmits the section image data stored in the section image data storage unit 18 to the server 3.
  • the data transmission unit 21 recognizes the white line in the section image data recognized by the white line recognition unit 13 and the section image specified by the absolute position specifying unit 16.
  • the absolute position of the lane center line in the data, the evaluation result given by the evaluation result giving unit 16, and the change point information specified by the change point information specifying unit 19 are transmitted to the server 3.
  • the data transmission unit 21 transmits the road information data generated by the road information data generation unit 20 to the server 3.
  • the vehicle image data generation device 2 executes the section image data generation process by executing the section image data generation program.
  • the vehicle image data generation device 2 starts the section image data generation process, and uses the plurality of pieces of image data generated in time series by the in-vehicle camera 22 as the estimated locus of the vehicle. They are arranged according to the coordinate points (S1).
  • the vehicle image data generation device 2 arranges a plurality of image data obtained by ortho-transforming the image data generated by the in-vehicle camera 22 at regular time intervals according to the coordinate points of the estimated trajectory of the vehicle. .
  • the vehicular image data generation device 2 arranges a plurality of image data with the traveling direction of the vehicle facing upward, for example.
  • the vehicle image data generating device 2 connects the plurality of arranged image data according to the paint on the road surface, and generates connected image data (S2). As shown in FIG. 5, the vehicle image data generation device 2 connects a plurality of image data so that, for example, a solid white line and a broken white line are aligned, and generates connected image data. Note that the vehicular image data generation device 2 may generate a connected image data by connecting a plurality of pieces of image data in accordance with a road surface paint index other than a white line.
  • the vehicle image data generation device 2 divides the generated connected image data into sections according to road paint or navigation map data, and generates section image data (S3). As shown in FIG. 6, the vehicle image data generation device 2 divides the connected image data into sections based on, for example, white line breaks, navigation map data node positions, lane change information, and the like, and generates section image data. . Note that the vehicular image data generation device 2 may divide the connected image data for each section according to an index of paint on a road surface other than a white line break, and generate section image data. Steps S1 to S3 correspond to the section image data generation procedure.
  • the vehicle image data generation device 2 adjusts the brightness of the shadow in the generated section image data, and removes unnecessary objects in the section image data (S4).
  • the vehicular image data generation device 2 has a plurality of section image data B in the same section as the section image data A. , C, and image processing is performed by superimposing the section image data A to C, thereby removing the vehicle of the section image data A and generating section image data X from which the vehicle is removed.
  • the vehicle image data generation device 2 recognizes a white line in the generated section image data (S5). As illustrated in FIG. 8, the vehicular image data generation device 2 recognizes, for example, that the right lane marking is a broken white line and the left lane marking is a solid white line with respect to the traveling direction of the vehicle. To do.
  • the vehicle image data generation device 2 specifies the lane center line in the section image data from the recognition result of the white line in the section image data (S6). As shown in FIG. 9, the vehicular image data generation device 2 specifies a lane center line at an intermediate position between a dashed white line and a solid white line in the section image data.
  • the vehicular image data generation device 2 specifies the travel direction of the vehicle using the GPS trajectory of the vehicle, and at least one of the road center line and the travel trajectory of the navigation map data and the travel direction of the vehicle. And the temporary position of the lane center line in the specified section image data is specified (S7). As shown in FIG. 10, the vehicular image data generating device 2 is a lane center so that the road center line is on the right side with respect to the traveling direction of the vehicle in a region where a left-handed road traffic system is implemented. Specify the temporary position of the line.
  • the vehicle image data generation device 2 also sets the lane centerline so as to connect the northeast direction and the southwest direction.
  • the temporary position is specified. Note that the vehicle image data generation device 2 determines the temporary position of the lane center line so that the road center line is on the left side with respect to the traveling direction of the vehicle in a region where a right-hand traffic road traffic system is implemented. Identify.
  • the vehicle image data generation device 2 collates the navigation map data with the white line recognition result by the white line recognition unit 13, and specifies the absolute position of the lane center line in the section image data in which the temporary position is specified. (S8).
  • the vehicular image data generation device 2 has, for example, a three-lane road, if the attributes of each lane are defined, the lane centerline is defined according to the defined attributes. Specify the absolute position. That is, the vehicle image data generation device 2 determines that the total number of lanes is “3” from the navigation map data, the left lane marking is “solid white line”, and the right lane marking is “dashed white line”.
  • the absolute position of the lane center line is specified in “lane 1” which is the left lane of the three lanes.
  • the vehicular image data generation device 2 determines that the total number of lanes is “3” from the navigation map data, the left lane marking is “dashed white line”, and the right lane marking is “dashed white line”.
  • the absolute position of the lane center line is specified in “lane 2” which is the center lane of the three lanes.
  • the vehicle image data generation device 2 determines that the total number of lanes is “3” from the navigation map data, the left lane marking is “dashed white line”, and the right lane marking is “solid white line”.
  • the absolute position of the lane center line is specified in “lane 3” which is the right lane of the three lanes.
  • the vehicle image data generation device 2 assigns an evaluation result to the generated section image data (S9), and associates the generated section image data with the evaluation result assigned to the section image data. And save (S10).
  • the vehicle image data generating device 2 has already stored the section image data of the same section as the section image data to be stored, the evaluation result given to the section image data to be stored; The evaluation result assigned to the section image data that has already been stored is collated, and only the higher evaluation result is stored.
  • the vehicular image data generation device 2 specifies a change point from the past section image data of the same section in the section image data as the change point information (S11).
  • the vehicle image data generation device 2 generates road information data from the image data generated by the in-vehicle camera 22, and associates the generated road information data with the section image data (S12).
  • the vehicular image data generation device 2 includes coordinate positions such as pedestrian crossings and stop lines, relative positions from lane centerlines such as road signs and traffic lights, and heights from the road surface. And the like are generated as road information data, and the generated road information data and the section image data are associated with each other. In the example of FIG.
  • the vehicular image data generation device 2 uses, for example, the upper left corner point of the section image data as the reference coordinates (0, 0), and sets the coordinate position indicating the range where the pedestrian crossing and the stop line are painted on the road information. Identify as data. Further, the vehicle image data generating device 2 determines, for example, the relative position from the lane center line indicating the point (P1) where the road sign with a speed limit of 40 km is erected and the height from the road surface of the road sign. It is specified as road information data. In the example of FIG. 14, a case where a road sign point (P1) with a speed limit of 40 km is present in the section image data has been described. However, a traffic light point (P2) is present in the section image data. If so, the vehicular image data generation device 2 specifies the relative position from the lane center line indicating the point (P2) where the traffic signal is erected and the height from the road surface of the traffic signal as road information data. .
  • the vehicle image data generation device 2 transmits the stored section image data to the server 3 (S13, corresponding to the section image data transmission procedure).
  • the vehicular image data generating device 2 recognizes the white line in the section image data recognized by the white line recognition unit 13 together with the section image data, and the lane in the section image data specified by the absolute position specifying unit 16.
  • the absolute position of the center line, the evaluation result given by the evaluation result giving unit 16, and the change point information specified by the change point information specifying unit 19 are also transmitted to the server 3.
  • the left lane of the three lanes has been described as the unit of the section image data, but the unit of the section image data may be any unit. That is, as shown in FIG.15 and FIG.16, the center lane of the three lanes, the right lane may be sufficient, and the lane in each intersection may be sufficient.
  • the following effects can be obtained.
  • the image data generated by the in-vehicle camera 22 is not transmitted as it is to the server 3, but section image data for each section is generated from the image data, and the generated section image data is stored in the server. 3 was sent.
  • the server 3 was sent.
  • the server 3 recognizes the base map data, the aerial photograph data, and the map data for navigation, and also recognizes the section image data received from the vehicle image data generation device 2 so that the base map data, etc. It is possible to generate traveling track data by supplementing the range where it is difficult to recognize the lane markings with the section image data received from the vehicle side, and to properly generate traveling track data for automatic driving. it can.
  • the brightness of the shadow in the section image data is adjusted to remove unnecessary objects in the section image data.
  • the section image data from which the unnecessary object is removed can be transmitted to the server 3, and the server 3 is not burdened with the process of removing the unnecessary object, thereby reducing the load on the server 3.
  • the recognition result of the white line in the section image data is transmitted to the server 3.
  • the recognition result of the white line in the section image data can be transmitted to the server 3, and the processing of recognizing the white line in the section image data is not burdened on the server 3, and the load on the server 3 is reduced. Can do.
  • the temporary position of the lane center line is specified, the absolute position of the lane center line is specified, and the section image data is transmitted to the server 3, the section image data The absolute position of the lane center line is transmitted to the server 3.
  • the absolute position of the lane center line in the section image data can be transmitted to the server 3, the process for specifying the lane center line in the section image data, the process for specifying the temporary position of the lane center line, and the lane center
  • the server 3 is not burdened with processing for specifying the absolute position of the line, and the load on the server 3 can be reduced.
  • an evaluation result is given to the section image data, and the evaluation result is transmitted to the server 3 when the section image data is transmitted to the server 3.
  • the evaluation result can be transmitted to the server 3, the server 3 is not burdened with the process of assigning the evaluation result to the section image data, and the load on the server 3 can be reduced.
  • the change point information is specified, and when the section image data is transmitted to the server 3, the change point information is transmitted to the server 3. Thereby, change point information can be transmitted to the server 3, the process of specifying change point information is not burdened on the server 3, and the load on the server 3 can be reduced.
  • road information data is generated, and the generated road information data is transmitted to the server 3.
  • the section image data and the road information data can be associated with each other and transmitted to the server 3. That is, the server 3 can manage the section image data and road information data received from the vehicle image data generation device 2 in association with each other.
  • the traveling track data for automatic driving can be used. Can add value.
  • Processing for removing unnecessary objects in section image data, processing for recognizing white lines in section image data, processing for specifying lane center lines in section image data, processing for specifying temporary positions of lane center lines, lane center lines The configuration in which the vehicular image data generation device 2 performs the process of specifying the absolute position, the process of assigning the evaluation result to the section image data, and the process of specifying the change point information has been illustrated. 3 may be used. That is, a configuration in which these processes are appropriately shared by the vehicle image data generation device 2 and the server 3 may be employed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

車両用画像データ生成装置（２）は、基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラ（２２）により生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）との間でデータ通信する。車両用画像データ生成装置は、車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する区間画像データ生成部（１１）と、区間画像データ生成部により生成された区間画像データをサーバに送信するデータ送信部（２１）と、を備える。

Description

車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体 関連出願の相互参照
　本出願は、２０１８年２月１日に出願された日本出願番号２０１８－０１６３９６号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体に関する。
　サーバにおいて、基盤地図データ、航空写真データ及びナビゲーション用地図データ等を画像認識し、自動運転用の走行軌道データを生成する構成が供されている。しかしながら、これらの各種データを画像認識する構成では、例えば高架下の区間、トンネルの区間及び車両が駐停車している区間等では、区画線を認識することが困難となり、走行軌道データを生成することが困難となる虞がある。このような事情から、車両側において、車載カメラにより生成された画像データをサーバに送信し、サーバにおいて、上記した基盤地図データ等を画像認識することに加え、車両側から受信した画像データも画像認識し、基盤地図データ等からでは区画線を認識することが困難な範囲を、車両側から受信した画像データにより補完して走行軌道データを生成することが考えられる。例えば特許文献１には、車載カメラが車両前方を撮影し、車両前方の画像データを生成する構成が開示されている。
特開２０１７－７８６０７号公報
　車両側において、車載カメラにより生成された画像データをそのままサーバに送信しようとすると、サーバに送信するデータ量が膨大となる問題がある。又、通信コストがデータ量に依存する課金制度を採用していれば、その膨大なデータ量に追従して通信コストが増大する問題もある。
　本開示は、自動運転用の走行軌道データを生成するサーバに対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバに適切に送信することができる車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体を提供することを目的とする。
　本開示の一態様によれば、基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバとの間でデータ通信する。区間画像データ生成部は、車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する。データ送信部は、区間画像データ生成部により生成された区間画像データをサーバに送信する。
　車載カメラが生成した画像データをそのままサーバに送信するのではなく、画像データから区間毎の区間画像データを生成し、その生成した区間画像データをサーバに送信するようにした。これにより、自動運転用の走行軌道データを生成するサーバに対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバに適切に送信することができる。
　本開示についての上記目的及びその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、一実施形態の全体構成を示す機能ブロック図であり、 図２は、サーバの構成を示す機能ブロック図であり、 図３は、区間画像データ生成処理を示すフローチャートであり、 図４は、画像データを示す図であり、 図５は、連結画像データを示す図であり、 図６は、区間画像データを示す図であり、 図７は、区間画像データ内の不要物体を除去する態様を示す図であり、 図８は、区間画像データ内の白線を認識する態様を示す図であり、 図９は、区間画像データ内の車線中心線を特定する態様を示す図であり、 図１０は、車線中心線の仮位置を特定する態様を示す図であり、 図１１は、３車線の道路を示す図であり、 図１２は、車線の属性を示す図であり、 図１３は、車線中心線の絶対位置を特定する態様を示す図であり、 図１４は、路上情報データを示す図であり、 図１５は、区間画像データの元となる画像データを示す図であり、 図１６は、区間画像データを示す図である。
　以下、一実施形態について図面を参照して説明する。図１に示すように、走行軌道データ生成システム１は、車両に搭載されている車両用画像データ生成装置２と、サーバ３とを有し、車両用画像データ生成装置２とサーバ３とが通信網を介してデータ通信可能に構成されている。通信網は例えば広域通信網である。
　サーバ３は、図２に示すように、例えば国土地理院から提供される基盤地図データ、航空機により上空から撮影された航空写真データ及びナビゲーションの用途で利用されるナビゲーション用地図データ等を画像認識し、自動運転用の走行軌道データを生成する機能を有する。サーバ３は、画像認識部４と、交差点間車線ネットワークデータ生成部５と、交差点間車線ネットワークデータ処理部６と、交差点内車線ネットワークデータ生成部７と、交差点内車線ネットワークデータ修正部８、画像変化点特定部９と、変化点情報反映部１０とを有する。
　画像認識部４は、基盤地図データ、航空写真データ及びナビゲーション用地図データを入力したり、車両側から送信された区間画像データを入力したりすると、その入力した各種データを画像認識し、交差点間の白線を示す交差点間白線データ、交差点内のペイントを示す交差点内ペイントデータを生成すると共に、認識不可区間を示す認識不可区間情報データを生成する。認識不可区間情報データは、高架下の区間、トンネルの区間及び車両が駐停車している区間等であり、区画線を認識することが困難な区間である。
　交差点間車線ネットワークデータ生成部５は、ナビゲーション用地図データを入力すると、その入力したナビゲーション用地図データから広域の交差点間を対象とした広域交差点間車線ネットワークデータを生成する。広域とは例えば全国の道路を対象とした区域である。交差点間車線ネットワークデータ処理部６は、広域交差点間車線ネットワークデータ及び交差点間白線データを入力すると、その入力した各種データから広域交差点間車線ネットワークデータの位置の調整や属性の設定を行い、広域交差点間車線ネットワークデータ確定版の確定版を生成する。属性とは区画線の線種や色である。
　交差点内車線ネットワークデータ生成部７は、広域交差点間車線ネットワークデータの確定版を入力すると、その入力した広域交差点間車線ネットワークデータの確定版から機械学習モデル等の手法を用い、交差点内を暫定とした広域車線ネットワークデータを生成する。交差点内車線ネットワークデータ修正部８は、交差点内を暫定とした広域車線ネットワークデータ及び交差点内ペイントデータを入力すると、その入力した各種データから交差点内の車線ネットワークデータを修正し、広域の交差点間と交差点内を対象とした広域車線ネットワークデータの確定版を生成する。
　画像変化点特定部９は、区間画像データ、広域車線ネットワークデータの確定版及び路上情報データを入力すると、その入力した各種データから同一区間の過去の区間画像データからの変化点を変化点情報として特定し、変化点情報データを生成する。変化点情報反映部１０は、変化点情報データを入力すると、その入力した変化点情報データを広域車線ネットワークデータの確定版に反映させる。
　車両用画像データ生成装置２は、区間画像データ生成部１１と、不要物体除去部１２と、白線認識部１３と、車線中心線特定部１４と、仮位置特定部１５と、絶対位置特定部１６と、評価結果付与部１７と、区間画像データ保存部１８と、変化点情報特定部１９と、路上情報データ生成部２０と、データ送信部２１とを有する。これらの機能ブロックは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成される。マイクロコンピュータは、非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、車両用画像データ生成装置２の動作全般を制御する。マイクロコンピュータが実行するコンピュータプログラムには区間画像データ生成プログラムが含まれる。
　車載カメラ２２は、車両前方の路面を含む範囲を撮影するように車両に搭載されており、車両前方の路面を含む範囲を撮影して画像データを生成し、その生成した画像データを車両用画像データ生成装置２に出力する。ＧＰＳ（Global Positioning System）受信機２３は、地球上を周回する複数個のＧＰＳ衛星から送信されたＧＰＳ信号を受信し、その受信したＧＰＳ信号に格納されているパラメータを演算して車両のＧＰＳ軌跡を特定し、その特定したＧＰＳ軌跡を車両用画像データ生成装置２に出力する。ＧＰＳ軌跡は絶対的な軌跡を示す絶対軌跡である。ジャイロセンサ２４は、車体に作用する角速度から当該車体の姿勢を演算して車両の推測軌跡を特定し、その特定した車両の推測軌跡を車両用画像データ生成装置２に出力する。車速センサ２２は、車速パルスから車速を特定し、その特定した車速を車両用画像データ生成装置２に出力する。
　車両用画像データ生成装置２は、車載カメラ２２から入力する画像データ、ＧＰＳ受信機２３から入力する車両のＧＰＳ軌跡、ジャイロセンサ２４から入力する車両の推測軌跡、車速センサ２５から入力する車速、ナビゲーション用地図データを用い、区間毎の画像データを区間画像データとして生成し、その生成した区間画像データをサーバ３に送信する。
　区間画像データ生成部１１は、画像データ配列部１１ａと、画像データ連結部１１ｂと、画像データ分割部１１ｃとを有する。画像データ配列部１１ａは、車載カメラ２２により時系列で生成された複数の画像データを車両の推測軌跡の座標点にしたがって配列する。画像データ連結部１１ｂは、画像データ配列部１１ａにより配列された複数の画像データを路面のペイントにしたがって連結し、連結画像データを生成する。画像データ分割部１１ｃは、画像データ連結部１１ｂにより生成された連結画像データを路面のペイント又はナビゲーション用地図データにしたがって区間毎に分割し、区間画像データを生成する。
　不要物体除去部１２は、区間画像データ生成部１１により生成された区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去する。白線認識部１３は、区間画像データ生成部１１により生成された区間画像データ内の白線を認識する。
　車線中心線特定部１４は、白線認識部１３による白線の認識結果から区間画像データ内の車線中心線を特定する。仮位置特定部１５は、車両のＧＰＳ軌跡を用いて車両の進行方向を特定し、ナビゲーション用地図データの道路中心線及び車両の走行軌跡のうち少なくとも何れかと車両の進行方向とを照合し、車線中心線特定部１４により特定された区間画像データ内の車線中心線の仮位置を特定する。絶対位置特定部１６は、ナビゲーション用地図データと白線認識部１３による白線の認識結果とを照合し、仮位置が特定された区間画像データ内の車線中心線の絶対位置を特定する。
　評価結果付与部１７は、区間画像データ生成部１１により生成された区間画像データに対して評価結果を付与する。評価結果とは、例えば画像の明るさ、区間画像データ内のゴミの除去率及び白線認識率等を数値化した指標であり、数値が高いほど評価結果が高く、数値が低いほど評価結果が低いと見做される。区間画像データ保存部１８は、区間画像データ生成部１１により生成された区間画像データと、その区間画像データに対して評価結果付与部１７により付与された評価結果とを対応付けて保存する。
　変化点情報特定部１９は、区間画像データ生成部１１により生成された区間画像データにおいて同一区間の過去の区間画像データからの変化点を変化点情報として特定する。変化点情報とは、車線数の増減、路面のペイントの変化等である。
　路上情報データ生成部２０は、車載カメラ２２により生成された画像データから路上情報データを生成し、その生成した路上情報データと区間画像データとを対応付ける。路上情報データとは、区間画像データ内の路上にある物体に関する情報であり、横断歩道、停止線、交差点中心部のダイヤモンド図形等の座標位置、道路標識や信号機等の車線中心線からの相対位置及び路面からの高さ等に関する情報である。
　データ送信部２１は、区間画像データ保存部１８に保存されている区間画像データをサーバ３に送信する。尚、データ送信部２１は、区間画像データをサーバ３に送信する際には、白線認識部１３により認識された区間画像データ内の白線の認識結果、絶対位置特定部１６により特定された区間画像データ内の車線中心線の絶対位置、評価結果付与部１６により付与された評価結果、変化点情報特定部１９により特定された変化点情報をサーバ３に送信する。又、データ送信部２１は、路上情報データ生成部２０により生成された路上情報データをサーバ３に送信する。
　次に、上記した構成の作用について図３から図１６を参照して説明する。
　車両用画像データ生成装置２は、区間画像データ生成プログラムを実行することで区間画像データ生成処理を実行する。車両用画像データ生成装置２は、区間画像データ生成処理の開始イベントが成立すると、区間画像データ生成処理を開始し、車載カメラ２２により時系列で生成された複数の画像データを車両の推測軌跡の座標点にしたがって配列する（Ｓ１）。車両用画像データ生成装置２は、図４に示すように、車載カメラ２２により生成された画像データを一定時間の間隔でオルソ変換した複数の画像データを車両の推測軌跡の座標点にしたがって配列する。この場合、車両用画像データ生成装置２は、車両の進行方向を例えば上向きとして複数の画像データを配列する。
　次に、車両用画像データ生成装置２は、配列した複数の画像データを路面のペイントにしたがって連結し、連結画像データを生成する（Ｓ２）。車両用画像データ生成装置２は、図５に示すように、複数の画像データを例えば実線の白線や破線の白線が揃うように連結し、連結画像データを生成する。尚、車両用画像データ生成装置２は、複数の画像データを白線以外の路面のペイントの指標にしたがって連結し、連結画像データを生成しても良い。
　次に、車両用画像データ生成装置２は、生成した連結画像データを路面のペイント又はナビゲーション用地図データにしたがって区間毎に分割し、区間画像データを生成する（Ｓ３）。車両用画像データ生成装置２は、図６に示すように、連結画像データを例えば白線の切れ目やナビゲーション地図データのノード位置や車線変更に関する情報等により区間毎に分割し、区間画像データを生成する。尚、車両用画像データ生成装置２は、連結画像データを白線の切れ目以外の路面のペイントの指標にしたがって区間毎に分割し、区間画像データを生成しても良い。ステップＳ１～Ｓ３は区間画像データ生成手順に相当する。
　次に、車両用画像データ生成装置２は、生成した区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去する（Ｓ４）。車両用画像データ生成装置２は、図７に示すように、例えば区間画像データＡに駐停車している車両が存在する場合には、その区間画像データＡと同一区間の複数の区間画像データＢ，Ｃを適用し、区間画像データＡ～Ｃを重ね合わせて画像処理することで、区間画像データＡの車両を除去し、車両を除去した区間画像データＸを生成する。
　次に、車両用画像データ生成装置２は、生成した区間画像データ内の白線を認識する（Ｓ５）。車両用画像データ生成装置２は、図８に示すように、例えば車両の進行方向に対して右側の区画線が破線の白線であると認識し、左側の区画線が実線の白線であると認識する。
　次に、車両用画像データ生成装置２は、区間画像データ内の白線の認識結果から当該区間画像データ内の車線中心線を特定する（Ｓ６）。車両用画像データ生成装置２は、図９に示すように、区間画像データ内の破線の白線と実線の白線との中間位置に車線中心線を特定する。
　次に、車両用画像データ生成装置２は、車両のＧＰＳ軌跡を用いて車両の進行方向を特定し、ナビゲーション用地図データの道路中心線及び車両の走行軌跡のうち少なくとも何れかと車両の進行方向とを照合し、特定した区間画像データ内の車線中心線の仮位置を特定する（Ｓ７）。車両用画像データ生成装置２は、図１０に示すように、左側通行の道路交通システムを実施している地域であれば、車両の進行方向に対して道路中心線が右側となるように車線中心線の仮位置を特定する。車両用画像データ生成装置２は、例えばナビゲーション用地図データの道路中心線が北東方向と南西方向とを結ぶように設定されていれば、同じく北東方向と南西方向とを結ぶように車線中心線の仮位置を特定する。尚、車両用画像データ生成装置２は、右側通行の道路交通システムを実施している地域であれば、車両の進行方向に対して道路中心線が左側となるように車線中心線の仮位置を特定する。
　次に、車両用画像データ生成装置２は、ナビゲーション用地図データと白線認識部１３による白線の認識結果とを照合し、仮位置が特定された区間画像データ内の車線中心線の絶対位置を特定する（Ｓ８）。車両用画像データ生成装置２は、図１１から図１３に示すように、例えば３車線の道路において、それぞれの車線の属性が規定されていれば、その規定されている属性にしたがって車線中心線の絶対位置を特定する。即ち、車両用画像データ生成装置２は、ナビゲーション用地図データから全車線数が「３」であると判定し、左側区画線が「実線の白線」であり且つ右側区画線が「破線の白線」であると判定すると、その車線中心線の絶対位置を３車線のうちの左側車線である「車線１」内に特定する。同様に、車両用画像データ生成装置２は、ナビゲーション用地図データから全車線数が「３」であると判定し、左側区画線が「破線の白線」であり且つ右側区画線が「破線の白線」であると判定すると、その車線中心線の絶対位置を３車線のうちの中央車線である「車線２」内に特定する。又、車両用画像データ生成装置２は、ナビゲーション用地図データから全車線数が「３」であると判定し、左側区画線が「破線の白線」であり且つ右側区画線が「実線の白線」であると判定すると、その車線中心線の絶対位置を３車線のうちの右側車線である「車線３」内に特定する。
　次に、車両用画像データ生成装置２は、生成した区間画像データ対して評価結果を付与し（Ｓ９）、生成した区間画像データと、その区間画像データに対して付与した評価結果とを対応付けて保存する（Ｓ１０）。車両用画像データ生成装置２は、保存しようとする区間画像データと同一区間の区間画像データを既に保存している場合には、その保存しようとする区間画像データに対して付与した評価結果と、既に保存している区間画像データに対して付与した評価結果とを照合し、評価結果が高い方のみを保存する。
　次に、車両用画像データ生成装置２は、区間画像データにおいて同一区間の過去の区間画像データからの変化点を変化点情報として特定する（Ｓ１１）。次に、車両用画像データ生成装置２は、車載カメラ２２により生成された画像データから路上情報データを生成し、その生成した路上情報データと区間画像データとを対応付ける（Ｓ１２）。車両用画像データ生成装置２は、図１４に示すように、区間画像データ内において、横断歩道や停止線等の座標位置、道路標識や信号機等の車線中心線からの相対位置及び路面からの高さ等を路上情報データとして生成し、その生成した路上情報データと区間画像データとを対応付ける。図１４の例示では、車両用画像データ生成装置２は、例えば区間画像データの左上端点を基準座標（０，０）とし、横断歩道や停止線がペイントされている範囲を示す座標位置を路上情報データとして特定する。又、車両用画像データ生成装置２は、例えば速度制限が４０キロの道路標識が立設されている地点（Ｐ１）を示す車線中心線からの相対位置や当該道路標識の路面からの高さを路上情報データとして特定する。尚、図１４の例示では、速度制限が４０キロの道路標識の地点（Ｐ１）が区間画像データ内に存在している場合を説明したが、信号機の地点（Ｐ２）が区間画像データ内に存在していれば、車両用画像データ生成装置２は、信号機が立設されている地点（Ｐ２）を示す車線中心線からの相対位置や当該信号機の路面からの高さを路上情報データとして特定する。
　そして、車両用画像データ生成装置２は、保存している区間画像データをサーバ３に送信する（Ｓ１３、区間画像データ送信手順に相当する）。このとき、車両用画像データ生成装置２は、区間画像データと共に、白線認識部１３により認識された区間画像データ内の白線の認識結果、絶対位置特定部１６により特定された区間画像データ内の車線中心線の絶対位置、評価結果付与部１６により付与された評価結果、変化点情報特定部１９により特定された変化点情報もサーバ３に送信する。
　尚、以上は、区間画像データの単位として３車線のうちの左側車線について説明したが、区間画像データの単位はどのような単位でも良い。即ち、図１５及び図１６に示すように、３車線のうちの中央車線や右側車線でも良いし、それぞれの交差点内の車線でも良い。
　以上に説明したように本実施形態によれば、次に示す効果を得ることができる。
　車両用画像データ生成装置２において、車載カメラ２２により生成された画像データをそのままサーバ３に送信するのではなく、画像データから区間毎の区間画像データを生成し、その生成した区間画像データをサーバ３に送信するようにした。これにより、自動運転用の走行軌道データを生成するサーバ３に対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバ３に適切に送信することができる。
　即ち、サーバ３では、基盤地図データ、航空写真データ及びナビゲーション用地図データを画像認識することに加え、車両用画像データ生成装置２から受信した区間画像データも画像認識することで、基盤地図データ等からでは区画線を認識することが困難な範囲を、車両側から受信した区間画像データにより補完して走行軌道データを生成することができ、自動運転用の走行軌道データを適切に生成することができる。
　又、区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去するようにした。これにより、不要物体を除去した区間画像データをサーバ３に送信することができ、不要物体を除去する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。
　又、区間画像データ内の白線を認識し、区間画像データをサーバ３に送信する際に、区間画像データ内の白線の認識結果をサーバ３に送信するようにした。これにより、区間画像データ内の白線の認識結果をサーバ３に送信することができ、区間画像データ内の白線を認識する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。
　又、区間画像データ内の車線中心線を特定し、車線中心線の仮位置を特定し、車線中心線の絶対位置を特定し、区間画像データをサーバ３に送信する際に、区間画像データ内の車線中心線の絶対位置をサーバ３に送信するようにした。これにより、区間画像データ内の車線中心線の絶対位置をサーバ３に送信することができ、区間画像データ内の車線中心線を特定する処理、車線中心線の仮位置を特定する処理及び車線中心線の絶対位置を特定する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。
　又、区間画像データに対して評価結果を付与し、区間画像データをサーバ３に送信する際に、評価結果をサーバ３に送信するようにした。これにより、評価結果をサーバ３に送信することができ、区間画像データに対して評価結果を付与する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。
　又、変化点情報を特定し、区間画像データをサーバ３に送信する際に、変化点情報をサーバ３に送信するようにした。これにより、変化点情報をサーバ３に送信することができ、変化点情報を特定する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。
　又、路上情報データを生成し、その生成した路上情報データをサーバ３に送信するようにした。これにより、区間画像データと路上情報データとを対応付けてサーバ３に送信することができる。即ち、サーバ３では、車両用画像データ生成装置２から受信した区間画像データと路上情報データとを対応付けて管理することができ、路上情報データを活用することで、自動運転用の走行軌道データに付加価値を付与することができる。
　本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形を包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態を、本開示の範疇や思想範囲に入るものである。
　区間画像データ内の不要物体を除去する処理、区間画像データ内の白線を認識する処理、区間画像データ内の車線中心線を特定する処理、車線中心線の仮位置を特定する処理、車線中心線の絶対位置を特定する処理、区間画像データに対して評価結果を付与する処理、変化点情報を特定する処理を、車両用画像データ生成装置２が行う構成を例示したが、これらの処理をサーバ３が行う構成でも良い。即ち、これらの処理を車両用画像データ生成装置２とサーバ３とが適宜分担して行う構成でも良い。

Claims (15)

  1. 　基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）との間でデータ通信する車両用画像データ生成装置（２）であって、
    　前記車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する区間画像データ生成部（１１）と、
    　前記区間画像データ生成部により生成された区間画像データを前記サーバに送信するデータ送信部（２１）と、を備える車両用画像データ生成装置。
  2. 　前記区間画像データ生成部は、
    　車載カメラにより時系列で撮影された複数の画像データを車両の推測軌跡の座標点にしたがって配列する画像データ配列部（１１ａ）と、
    　前記画像データ配列部により配列された複数の画像データを路面のペイントにしたがって連結し、連結画像データを生成する画像データ連結部（１１ｂ）と、
    　前記画像データ連結部により生成された連結画像データを路面のペイント又はナビゲーション用地図データにしたがって区間毎に分割し、区間画像データを生成する画像データ分割部（１１ｃ）と、を備える請求項１に記載した車両用画像データ生成装置。
  3. 　前記区間画像データ生成部により生成された区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去する不要物体除去部（１２）を備える請求項１又は２に記載した車両用画像データ生成装置。
  4. 　前記区間画像データ生成部により生成された区間画像データ内の白線を認識する白線認識部（１３）を備え、
    　前記データ送信部は、区間画像データを前記サーバに送信する際に、前記白線認識部により認識された区間画像データ内の白線の認識結果を前記サーバに送信する請求項１から３の何れか一項に記載した車両用画像データ生成装置。
  5. 　前記白線認識部による白線の認識結果から区間画像データ内の車線中心線を特定する車線中心線特定部（１４）を備える請求項１から４の何れか一項に記載した車両用画像データ生成装置。
  6. 　ナビゲーション用地図データの道路中心線及び車両の走行軌跡のうち少なくとも何れかと車両の進行方向とを照合し、区間画像データ内の車線中心線の仮位置を特定する仮位置特定部（１５）を備える請求項５に記載した車両用画像データ生成装置。
  7. 　ナビゲーション用地図データと区間画像データ内の白線の認識結果とを照合し、仮位置が特定された区間画像データ内の車線中心線の絶対位置を特定する絶対位置特定部（１６）を備え、
    　前記データ送信部は、区間画像データを前記サーバに送信する際に、前記絶対位置特定部により特定された区間画像データ内の車線中心線の絶対位置を前記サーバに送信する請求項６に記載した車両用画像データ生成装置。
  8. 　前記区間画像データ生成部により生成された区間画像データに対して評価結果を付与する評価結果付与部（１７）を備える請求項１から７の何れか一項に記載した車両用画像データ生成装置。
  9. 　前記区間画像データ生成部により生成された区間画像データを保存する区間画像データ保存部（１８）を備え、
    　前記区間画像データ保存部は、区間画像データと、その区間画像データに対して前記評価結果付与部により付与された評価結果とを対応付けて保存し、
    　前記データ送信部は、区間画像データを前記サーバに送信する際に、その区間画像データに対応付けられて前記区間画像データ保存部に保存されている評価結果を前記サーバに送信する請求項８に記載した車両用画像データ生成装置。
  10. 　前記区間画像データ保存部は、同一区間の複数の区間画像データのうち最良の評価結果が付与されている区間画像データと、その区間画像データに対して前記評価結果付与部により付与された評価結果とを対応付けて保存する請求項９に記載した車両用画像データ生成装置。
  11. 　前記区間画像データ生成部により生成された区間画像データにおいて同一区間の過去の区間画像データからの変化点を変化点情報として特定する変化点情報特定部（１９）を備え、
    　前記データ送信部は、区間画像データを前記サーバに送信する際に、前記変化点情報特定部により特定された変化点情報を前記サーバに送信する請求項１から１０の何れか一項に記載した車両用画像データ生成装置。
  12. 　前記車載カメラにより生成された画像データから路上情報データを生成する路上情報データ生成部（２０）を備え、
    　前記データ送信部は、区間画像データを前記サーバに送信する際に、前記路上情報データ作成部により作成された路上情報データを前記サーバに送信する請求項１から１１の何れか一項に記載した車両用画像データ生成装置。
  13. 　請求項１から１２の何れか一項に記載した車両用画像データ生成装置と、
    　基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）と、を備える走行軌道データ生成システム。
  14. 　基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）との間でデータ通信する車両用画像データ生成装置（２）に、
    　前記車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する区間画像データ生成手順と、
    　前記区間画像データ生成手順により生成した区間画像データを前記サーバに送信させる区間画像データ送信手順と、を実行させる区間画像データ生成プログラム。
  15. 　請求項１４に記載した区間画像データ生成プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体。
PCT/JP2018/044001 2018-02-01 2018-11-29 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体 WO2019150736A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018006997.4T DE112018006997T5 (de) 2018-02-01 2018-11-29 Vorrichtung zum erzeugen von bilddaten für ein fahrzeug, system zum erzeugen von fahrtrajektoriendaten, programm zum erzeugen von segmentbilddaten und speichermedium
CN201880087912.3A CN111656421B (zh) 2018-02-01 2018-11-29 车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质
US16/942,720 US11143512B2 (en) 2018-02-01 2020-07-29 Image data generation device for vehicle, travel trajectory data generation system, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018016396A JP6729611B2 (ja) 2018-02-01 2018-02-01 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体
JP2018-016396 2018-02-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/942,720 Continuation US11143512B2 (en) 2018-02-01 2020-07-29 Image data generation device for vehicle, travel trajectory data generation system, and storage medium

Publications (1)

Publication Number Publication Date
WO2019150736A1 true WO2019150736A1 (ja) 2019-08-08

Family

ID=67478702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044001 WO2019150736A1 (ja) 2018-02-01 2018-11-29 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体

Country Status (5)

Country Link
US (1) US11143512B2 (ja)
JP (1) JP6729611B2 (ja)
CN (1) CN111656421B (ja)
DE (1) DE112018006997T5 (ja)
WO (1) WO2019150736A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11654918B2 (en) * 2019-08-06 2023-05-23 GM Global Technology Operations LLC Estimation of road centerline based on vehicle telemetry
JP7173062B2 (ja) 2020-01-23 2022-11-16 トヨタ自動車株式会社 変化点検出装置及び地図情報配信システム
CN111559388B (zh) * 2020-03-26 2022-07-12 吉利汽车研究院（宁波）有限公司 一种目标车辆筛选方法、装置、设备及存储介质
JP7272334B2 (ja) 2020-08-26 2023-05-12 トヨタ自動車株式会社 地図生成装置および地図生成方法
JP7287373B2 (ja) * 2020-10-06 2023-06-06 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
JP2023084213A (ja) 2021-12-07 2023-06-19 株式会社Subaru 車両走行の遠隔制御システム
CN114359870A (zh) * 2021-12-27 2022-04-15 广州小鹏自动驾驶科技有限公司 一种数据处理的方法和装置
WO2023148865A1 (ja) * 2022-02-03 2023-08-10 ダイナミックマップ基盤株式会社 情報処理方法、プログラム及び情報処理装置
US11796325B2 (en) * 2022-02-16 2023-10-24 Aptiv Technologies Limited Vehicle localization using map and vision data
JP2023131612A (ja) 2022-03-09 2023-09-22 株式会社Subaru 車両サーバシステム
CN114677570B (zh) * 2022-03-14 2023-02-07 北京百度网讯科技有限公司 道路信息更新方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011492A (ja) * 2005-06-28 2007-01-18 Toyota Motor Corp 走行路検出装置
JP2007226111A (ja) * 2006-02-27 2007-09-06 Pioneer Electronic Corp 地図情報編集装置、地図情報調査装置、地図情報調査システム、地図情報調査方法、及び地図情報編集プログラム、並びに地図情報調査プログラム
JP2012120088A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 画像認識装置
JP2014228526A (ja) * 2013-05-27 2014-12-08 パイオニア株式会社 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
JP2017102827A (ja) * 2015-12-04 2017-06-08 株式会社デンソー 走行軌跡生成装置、走行軌跡生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387287B (zh) * 2010-08-31 2014-07-23 卡西欧计算机株式会社 图像处理装置、图像处理方法以及图像处理系统
EP3845427A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6593088B2 (ja) 2015-10-19 2019-10-23 株式会社豊田中央研究所 車両位置推定装置及びプログラム
CN106441319B (zh) * 2016-09-23 2019-07-16 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011492A (ja) * 2005-06-28 2007-01-18 Toyota Motor Corp 走行路検出装置
JP2007226111A (ja) * 2006-02-27 2007-09-06 Pioneer Electronic Corp 地図情報編集装置、地図情報調査装置、地図情報調査システム、地図情報調査方法、及び地図情報編集プログラム、並びに地図情報調査プログラム
JP2012120088A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 画像認識装置
JP2014228526A (ja) * 2013-05-27 2014-12-08 パイオニア株式会社 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
JP2017102827A (ja) * 2015-12-04 2017-06-08 株式会社デンソー 走行軌跡生成装置、走行軌跡生成方法

Also Published As

Publication number Publication date
JP6729611B2 (ja) 2020-07-22
DE112018006997T5 (de) 2020-10-22
CN111656421B (zh) 2022-07-05
US20200355506A1 (en) 2020-11-12
JP2019133498A (ja) 2019-08-08
CN111656421A (zh) 2020-09-11
US11143512B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
WO2019150736A1 (ja) 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体
KR102611927B1 (ko) 주행 환경 정보의 생성 방법, 운전 제어 방법, 주행 환경 정보 생성 장치
JP6566132B2 (ja) 物体検出方法及び物体検出装置
US11248925B2 (en) Augmented road line detection and display system
JP6424761B2 (ja) 運転支援システム及びセンタ
JP2018154200A (ja) 経路決定装置、車両制御装置、経路決定方法、およびプログラム
US20230115708A1 (en) Automatic driving device and vehicle control method
CN111959499B (zh) 一种车辆控制方法及装置
WO2018131298A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN112729316A (zh) 自动驾驶车辆的定位方法、装置、车载设备、系统及车辆
US20200094875A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2017110924A (ja) 経路探索装置及び車両用自動運転装置
KR20180087968A (ko) 자율 주행 장치 및 그 방법
WO2023097874A1 (zh) 用于行驶轨迹规划的方法和装置
CN116171464A (zh) 信号灯识别装置、信号灯识别方法、车辆控制装置
JP7358990B2 (ja) 自動運転車管理システム、管理装置、管理方法、自動運転車、及びプログラム
US11891093B2 (en) Control device, control method, and storage medium for controlling a mobile device along a conditions-varying travel path
CN116821266B (zh) 语义地图构建方法及具有熟路模式的自动驾驶系统
WO2020045428A1 (ja) 交差点内の走行軌道データ生成装置、走行軌道データ生成プログラム及び車載機
JP2021009655A (ja) 周囲物体認識方法及び周囲物体認識装置
JP7024871B2 (ja) 経路算出方法、運転制御方法及び経路算出装置
JP2022137534A (ja) 地図生成装置および車両位置認識装置
JP7468783B2 (ja) 車載機、サーバ、運転支援実施プログラム、補助標示活用データ送信プログラム、地図データ更新プログラム及び走行制御方法
JP2021047703A (ja) 車両制御装置、車両制御方法、およびプログラム
EP4413534A1 (en) Removing non-relevant points of a point cloud

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903838

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903838

Country of ref document: EP

Kind code of ref document: A1