WO2019230098A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2019230098A1
WO2019230098A1 PCT/JP2019/008631 JP2019008631W WO2019230098A1 WO 2019230098 A1 WO2019230098 A1 WO 2019230098A1 JP 2019008631 W JP2019008631 W JP 2019008631W WO 2019230098 A1 WO2019230098 A1 WO 2019230098A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
point cloud
parking
map
information processing
Prior art date
Application number
PCT/JP2019/008631
Other languages
English (en)
French (fr)
Inventor
盛彦 坂野
晋也 田川
將裕 清原
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP19812343.2A priority Critical patent/EP3805702B1/en
Priority to CN201980036783.XA priority patent/CN112204348A/zh
Priority to US17/059,129 priority patent/US11560160B2/en
Publication of WO2019230098A1 publication Critical patent/WO2019230098A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4043Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards

Definitions

  • the present invention relates to an information processing apparatus.
  • automatic driving technology has been developed in which the surroundings of an automobile are sensed by an external sensor such as a camera or various radars, and the vehicle is driven autonomously without the driver's operation based on the sensing result.
  • an external sensor such as a camera or various radars
  • One form of such automatic driving is automatic parking.
  • the vehicle In automatic parking, the vehicle is automatically parked in a desired parking section by performing automatic driving limited to a parking lot.
  • Patent Document 1 map data of a space in which a robot moves is acquired, and a self-position estimation ease parameter indicating the ease of self-position estimation of the robot is calculated for each area of the map data by simulation. At least one of a first process for presenting information related to the ease parameter to the user before the robot autonomously travels and a second process for causing the robot to estimate its own position based on the self-position estimation ease parameter A self-position estimation method for a robot is disclosed.
  • Patent Document 1 has a problem that it is difficult to accurately estimate the self-location when the acquired map data is not sufficient.
  • An information processing apparatus is mounted on a vehicle, and acquires point cloud data relating to a plurality of points each representing the object based on information from a sensor that detects an object existing around the vehicle.
  • a point group data acquisition unit that performs a movement amount estimation unit that estimates a movement amount of the vehicle, and a point on the travel route of the vehicle as a first reference position, the relative positions of the plurality of points with respect to the first reference position Is stored as a point cloud map recorded in association with positional information including latitude and longitude, and the position of the vehicle is estimated based on the point cloud map, the point cloud data, and the movement amount.
  • An estimation unit wherein the position estimation unit is based on the point cloud data and the amount of movement, and a local periphery having a point on the travel route of the vehicle different from the point of the first reference position as a second reference position information Generated, based on the point cloud map and the local neighborhood information, it calculates a relational expression representing the relationship between the second reference position and the first reference position, to estimate the position of the vehicle by using the relational expression.
  • the position of the vehicle can be estimated accurately.
  • the block diagram of the automatic parking system containing the information processing apparatus which concerns on one Embodiment of this invention The figure which shows an example of the point cloud map stored in a memory
  • the flowchart showing the process which a vehicle-mounted processing apparatus performs in map storage mode Flowchart representing processing executed by in-vehicle processing device in position estimation mode Flow chart showing self-position estimation process Flow chart showing local peripheral information selection processing Flow chart showing matching process
  • Flow chart showing processing in automatic parking mode (A) is a plan view showing an example of a parking lot, (b) is a diagram visualizing each point of a landmark represented by point cloud data (A) is a figure showing parking lot data, (b) is a figure showing point cloud data.
  • (A) is a figure which shows the present position when a vehicle approaches a parking area in a parking lot
  • (b) is an example of data obtained by converting local peripheral information acquired in the position estimation mode from a local coordinate system to a parking lot coordinate system.
  • Figure showing (A) is a figure which shows the present position when the vehicle is drive
  • (b) is local periphery information obtained by landmark-locating the parking frame line of the front area of a vehicle.
  • FIG. 1 is a configuration diagram of an automatic parking system 100 including an information processing apparatus according to an embodiment of the present invention.
  • the automatic parking system 100 is mounted on the vehicle 1.
  • the automatic parking system 100 includes an external sensor group 102, a car navigation system 107, a vehicle speed sensor 108, a rudder angle sensor 109, an input device 110, a display device 111, a communication device 114, an in-vehicle processing device 120, a vehicle control device 130, and a steering device 131.
  • the external sensor group 102, the car navigation system 107, the vehicle speed sensor 108, the rudder angle sensor 109, the input device 110, the display device 111, the communication device 114, the vehicle control device 130, the sensor error database 150, and the environment database 151 are as follows: It is connected to the in-vehicle processing device 120 through a signal line, and exchanges various signals and various data with the in-vehicle processing device 120.
  • the external sensor group 102 detects an object existing around the vehicle 1 and outputs the detection information to the in-vehicle processing device 120.
  • the external sensor group 102 observes an object around the vehicle 1 using radio waves and infrared rays, a camera 102A that captures the surroundings of the vehicle 1, a sonar 102B that observes objects around the vehicle 1 using ultrasonic waves. Radar 102C. Note that it is not necessary to include all these sensors in the external sensor group 102, and other sensors may be included in the external sensor group 102. Any sensor can be used as the external sensor group 102 as long as it can detect an object existing around the vehicle 1.
  • the car navigation system 107 includes a GPS receiver 107A and a storage unit 107B.
  • the GPS receiver 107A receives signals from a plurality of satellites constituting the satellite navigation system.
  • the storage unit 107B is a nonvolatile storage device and stores a road map 107C.
  • the road map 107C includes information related to the road connection structure and latitude / longitude information corresponding to the road position.
  • the car navigation system 107 calculates the latitude and longitude representing the position of the car navigation system 107 on the earth, that is, the position of the vehicle 1, based on information included in the signal received by the GPS receiver 107A. At this time, a road corresponding to the position of the vehicle 1 is specified by referring to the road map 107C as necessary, and the position of the vehicle 1 is corrected according to the road. Note that the accuracy of latitude and longitude calculated by the car navigation system 107 does not have to be high accuracy, and may include an error of, for example, several m to 10 m.
  • the car navigation system 107 outputs the calculated latitude and longitude information to the in-vehicle processing device 120.
  • the vehicle speed sensor 108 and the rudder angle sensor 109 measure the vehicle speed and the rudder angle of the vehicle 1 and output them to the in-vehicle processing device 120.
  • the in-vehicle processing device 120 can calculate the moving amount and moving direction of the vehicle 1 by a known dead reckoning technique using the outputs of the vehicle speed sensor 108 and the steering angle sensor 109.
  • the input device 110 receives an operation command input from the user to the in-vehicle processing device 120 and outputs an operation command signal corresponding to the input content to the in-vehicle processing device 120.
  • Input device 110 includes, for example, response button 110A and automatic parking button 110B. Details of these buttons will be described later.
  • the display device 111 is a liquid crystal display, for example, and displays an image output from the in-vehicle processing device 120.
  • the input device 110 and the display device 111 may be integrated, and these may be configured as, for example, a touch panel display corresponding to a touch operation. In this case, it is possible to determine that the response button 110A or the automatic parking button 110B has been pressed by the user touching a predetermined area on the display in accordance with the image displayed on the display.
  • the communication device 114 is used so that an external device of the vehicle 1 and the in-vehicle processing device 120 can exchange information wirelessly. For example, when the user is outside the vehicle 1, the in-vehicle processing device 120 communicates with the mobile terminal worn by the user using the communication device 114 to exchange information.
  • the target with which the communication device 114 communicates is not limited to the user's portable terminal, and can communicate with any device capable of wireless communication.
  • the vehicle control device 130 controls the steering device 131, the drive device 132, and the braking device 133 based on the vehicle control command from the in-vehicle processing device 120.
  • the steering device 131 operates the steering of the vehicle 1.
  • the driving device 132 gives driving force to the vehicle 1.
  • the driving device 132 increases the driving force of the vehicle 1 by increasing the target rotational speed of the engine included in the vehicle 1.
  • the braking device 133 gives a braking force to the vehicle 1.
  • the vehicle control device 130 performs these controls in accordance with a vehicle control command from the in-vehicle processing device 120, so that the vehicle 1 is automatically moved without a user's driving operation, and an arbitrary parking position is set. Can be parked.
  • the in-vehicle processing device 120 includes a calculation unit 121, a RAM 122, a ROM 123, a storage unit 124, and an interface 125.
  • the arithmetic unit 121 is, for example, a CPU, and executes various arithmetic processes by executing a program. In addition, you may comprise so that all or one part function of the calculating part 121 may be implement
  • the RAM 122 is a readable / writable storage area and operates as a main storage device of the in-vehicle processing device 120.
  • the ROM 123 is a read-only storage area and stores a program executed by the calculation unit 121.
  • This program is expanded in the RAM 122 and executed by the calculation unit 121.
  • the calculation unit 121 reads and executes the program developed in the RAM 122, thereby executing a point cloud data acquisition unit 121A, a point cloud data verification unit 121B, a point cloud map generation unit 121C, an absolute position acquisition unit 121D, and a movement amount estimation unit.
  • 121E, the position estimation unit 121F, the display control unit 121G, the vehicle control unit 121H, and the mode switching unit 121I operate as functional blocks.
  • the point cloud data 122A, the local peripheral information 122B, and the outlier list 122C are generated and temporarily stored in the RAM 122 by a program executed by the calculation unit 121. Details of these functional blocks and information will be described later.
  • the storage unit 124 is a non-volatile storage device and operates as an auxiliary storage device of the in-vehicle processing device 120.
  • the storage unit 124 stores a point cloud map 124A.
  • the point cloud map 124A is information in which coordinate values of a plurality of points each representing an object existing around the vehicle 1 at a place where the vehicle 1 has traveled in the past are recorded in association with the position information of the place. It is.
  • parking lot data relating to parking lots in various locations is stored in the storage unit 124 as a point cloud map 124A.
  • Parking data includes latitude and longitude representing position information for each parking lot, coordinate values indicating a parking area in the parking lot, and coordinate values of a plurality of points constituting landmarks existing in the parking lot. It is a set. The specific configuration and landmarks of the parking lot data in the point cloud map 124A will be described later.
  • the interface 125 performs interface processing of information input / output between the in-vehicle processing device 120 and other devices constituting the automatic parking system 100.
  • the error information of the vehicle speed sensor 108 and the steering angle sensor 109 is stored in the sensor error database 150.
  • the environment database 151 stores information on allowable accuracy for the control of the vehicle 1 performed by the vehicle control device 130. For these pieces of information, values measured or calculated in advance are used.
  • the in-vehicle processing device 120 can verify the feasibility of the point cloud map 124A using the information in these databases. This point will be described later.
  • a landmark is an object that exists around the vehicle 1 and has characteristics that can be identified by the external sensor group 102, for example, a parking frame line that is a kind of road surface paint, or an obstacle that hinders the traveling of the vehicle 1. It is a wall of a building. In the present embodiment, vehicles and human beings that are moving objects are not included in the landmark.
  • the in-vehicle processing device 120 detects landmarks present around the vehicle 1, that is, points having features that can be identified by the external sensor group 102 based on detection information input from the external sensor group 102.
  • landmark detection performed based on detection information input from the external sensor group 102 is referred to as “landmark positioning”.
  • the camera 102 ⁇ / b> A outputs an image obtained by photographing the periphery of the vehicle 1 (hereinafter, a photographed image) to the in-vehicle processing device 120.
  • the in-vehicle processing device 120 performs landmark positioning using an image captured by the camera 102A. Note that internal parameters such as the focal length of the camera 102 ⁇ / b> A and the image sensor size, and external parameters such as the mounting position and mounting posture of the camera 102 ⁇ / b> A to the vehicle 1 are known and stored in the ROM 123 in advance.
  • the in-vehicle processing device 120 can calculate the positional relationship between the subject and the camera 102 ⁇ / b> A using the internal parameters and the external parameters stored in the ROM 123, and perform landmark positioning.
  • the sonar 102B and the radar 102C each radiate a sound wave or radio wave of a specific wavelength, and observe the position of the object by measuring the time taken to receive the reflected wave reflected back to the object around the vehicle 1 To do. Then, the obtained position of the object is output to the in-vehicle processing device 120.
  • the in-vehicle processing device 120 can perform landmark positioning by acquiring the position of an object input from the sonar 102B or the radar 102C.
  • the in-vehicle processing device 120 When performing landmark positioning using the camera 102A, the in-vehicle processing device 120 operates the image recognition program as follows on the captured image of the camera 102A to perform road surface paint such as a parking frame. It may be detected. To detect a parking frame, first, an edge is extracted from an input image by a Sobel filter or the like. Next, for example, a pair of an edge rising which is a change from white to black and an edge falling which is a change from black to white is extracted. When the distance between the pairs is substantially equal to a predetermined first predetermined distance, that is, the thickness of the white line constituting the parking frame, the pair is determined as a parking frame candidate.
  • a predetermined first predetermined distance that is, the thickness of the white line constituting the parking frame
  • a plurality of parking frame candidates are detected by the same process, and when the interval between the parking frame candidates is substantially the same as the predetermined second predetermined distance, that is, the white line interval of the parking frame, these are detected as parking frames. .
  • Road surface paint other than the parking frame is detected by an image recognition program that executes the following processing. First, an edge is extracted from the input photographed image using a Sobel filter or the like. It can be detected by searching for a pixel whose edge strength is larger than a predetermined value and the distance between the edges is a predetermined distance corresponding to the width of the white line.
  • the in-vehicle processing device 120 detects other vehicles and humans by, for example, known template matching and excludes them from the measurement results. Furthermore, you may exclude the moving body detected as follows from a measurement result. That is, the in-vehicle processing device 120 calculates the positional relationship between the subject and the camera 102A in the captured image using the internal parameters and the external parameters. Next, the in-vehicle processing device 120 calculates the relative speed between the vehicle 1 and the subject by tracking the subject in the captured images continuously acquired by the camera 102A.
  • the in-vehicle processing device 120 calculates the speed of the vehicle 1 using the outputs of the vehicle speed sensor 108 and the steering angle sensor 109, and determines that the subject is a moving object if it does not match the relative speed with the subject. The information regarding this moving body is excluded from the measurement results. Similarly, in landmark positioning using the sonar 102B and the radar 102C, the moving object may be determined and excluded from the measurement result.
  • FIG. 2 is a diagram illustrating an example of the point cloud map 124 ⁇ / b> A stored in the storage unit 124.
  • FIG. 2 shows an example in which two parking lot data are stored as the point cloud map 124A.
  • Each of the parking lot data in the point cloud map 124A includes a coordinate value of each vertex of the parking area, a coordinate value of each point representing a landmark on a two-dimensional plane, and a coordinate value of each point representing a route traveled at the time of storage. It is comprised including.
  • the corresponding latitude / longitude and type are recorded in combination.
  • the type of landmark represented by each point is recorded as the type.
  • the parking lot data in the point cloud map 124A is not limited to the coordinate value on the two-dimensional plane, but may be the coordinate value of the three-dimensional space coordinates including the z coordinate which is the altitude.
  • each coordinate value of the parking lot data represents a coordinate value in a coordinate system unique to the parking lot data.
  • a coordinate system representing each coordinate value of the parking lot data is referred to as a “parking lot coordinate system”.
  • the latitude and longitude recorded in association with each coordinate value represents the absolute position on the earth. Therefore, hereinafter, a coordinate system representing latitude and longitude is referred to as an “absolute coordinate system”.
  • the parking lot coordinate system is set based on a predetermined point in the parking lot.
  • the position of the vehicle 1 when recording of the parking lot data is started is the origin of the parking lot coordinate system
  • the traveling direction of the vehicle 1 is the Y axis of the parking lot coordinate system
  • the right side of the vehicle 1 The direction is set to the X axis of the parking lot coordinate system. That is, in the point cloud map 124A, a point on the travel route on which the vehicle 1 has traveled in the past is used as a reference position (first reference position), and the relative position of each point with respect to the first reference position is represented by an absolute coordinate system. It is recorded in association with position information including the latitude and longitude.
  • the coordinate values of the parking area are recorded as the coordinate values of the four vertices of the rectangular area when the parking area is rectangular, for example.
  • the parking area is not limited to a rectangle, and may be a polygon or an ellipse other than a rectangle.
  • one set of parking area coordinate values is recorded in each of the two parking lot data, but a plurality of sets of parking area coordinate values may be recorded for each parking lot data. If it does in this way, about the parking lot where a plurality of parking areas exist, the position of each parking area can be expressed in parking data.
  • the outlier list 122C stored in the RAM 122 will be described.
  • the in-vehicle processing device 120 estimates the position of the vehicle 1 in the parking lot coordinate system using the point cloud map 124A and the local peripheral information 122B.
  • the outlier list 122C stores information on the local peripheral information 122B that is not subject to processing in the position estimation of the vehicle 1.
  • the outlier list 122C is appropriately updated by the in-vehicle processing device 120 as will be described later when the position of the vehicle 1 is estimated.
  • the local peripheral information 122B stored in the RAM 122 is used when estimating the position of the vehicle 1 in the parking lot coordinate system.
  • the local peripheral information 122B stores the coordinate values of each point constituting the landmark detected by the in-vehicle processing device 120 in the position estimation mode described later. This coordinate value is set in accordance with a unique coordinate system set based on the position and orientation of the vehicle 1 when recording of the local peripheral information 122B is started.
  • a coordinate system representing each coordinate value of the local peripheral information 122B is referred to as a “local coordinate system”.
  • the position of the vehicle 1 at the start of recording of the local peripheral information 122B is the origin of the local coordinate system
  • the traveling direction of the vehicle 1 is the Y axis of the local coordinate system
  • the right direction of the vehicle 1 is the X axis of the local coordinate system.
  • Each is set. That is, in the local peripheral information 122B, a point on the travel route on which the vehicle 1 has traveled and a point different from the above point cloud map 124A is used as a reference position (second reference position). The relative position of is shown.
  • FIG. 3 is a diagram for explaining the operation modes and transition conditions of the in-vehicle processing device 120.
  • the in-vehicle processing device 120 has five operation modes shown in FIG. 3, that is, a normal travel mode, a map storage mode, a position estimation mode, an automatic parking mode, and a give-up mode. Then, these operation modes are switched according to the situation by the mode switching unit 121I.
  • the in-vehicle processing device 120 starts from the normal travel mode.
  • the vehicle 1 In the normal travel mode, the vehicle 1 is driven by the user.
  • the in-vehicle processing device 120 does not generate the point cloud map 124A or estimate the vehicle position on the point cloud map 124A, but only monitors the mode transition condition.
  • the mode transition condition is monitored based on the position of the vehicle 1 (hereinafter referred to as “navigation self-position”) acquired from the car navigation system 107 and the point cloud map 124A. Specifically, the latitude and longitude of the parking lot (registered parking lot) where the vehicle 1 registered in advance by the user is parked and the latitude and longitude of the navigation own position are compared.
  • the mode transition condition is satisfied, and the mode is changed from the normal travel mode.
  • the mode shifts to the map storage mode, and if it exists, the mode transitions to the position estimation mode.
  • Whether or not parking lot data near the travel point exists in the point cloud map 124A is determined from latitude / longitude information corresponding to the coordinate values of the landmarks included in each parking lot data of the point cloud map 124A. Can do. That is, the latitude / longitude of the navigation own position is compared with the latitude / longitude information of the landmark of each parking lot data in the point cloud map 124A, and the distance between the travel point and the landmark is calculated from the difference. As a result, if the calculated distance is within a predetermined range, for example, a landmark within 10 m, it is determined that there is parking data near the traveling point, and if there is no landmark, parking data near the traveling point is present. Is determined not to exist.
  • the vehicle 1 is driven by the user.
  • the in-vehicle processing device 120 performs landmark positioning based on the detection information around the vehicle 1 acquired from the external sensor group 102 included in the vehicle 1 and performs point cloud data that is the basis of parking lot data, that is, registered parking data. It collects information on multiple points that represent white lines, obstacles, parking positions, travel routes, etc. that exist in the parking lot.
  • the in-vehicle processing device 120 creates parking lot data using the collected point cloud data, and stores it in the storage unit 124 as a part of the point cloud map 124A.
  • the in-vehicle processing device 120 compares the latitude and longitude of the registered parking lot with the latitude and longitude of the navigation own position even during the execution of the map storage mode, as in the normal travel mode. As a result, when the vehicle 1 moves away from the registered parking lot, for example, 100 m or more, the mode changes to the normal travel mode. Further, when the vehicle 1 enters an area where parking lot data exists during execution of the map storage mode, the mode is shifted to the position estimation mode. At this time, whether or not the vehicle 1 has entered the area where the parking lot data exists can be determined by the same method as the presence or absence of the parking lot data in the vicinity of the running point in the normal running mode.
  • the latitude / longitude of the navigation own position is compared with the latitude / longitude information of the landmark of each parking lot data in the point cloud map 124A, and the distance between the travel point and the landmark is calculated from the difference.
  • the calculated distance is within a predetermined range, for example, a landmark within 10 m, it is determined that the vehicle 1 has entered the area where the parking lot data exists, and if not, the vehicle 1 has entered. Judge that there is no.
  • the vehicle 1 is driven by the user.
  • the in-vehicle processing device 120 collates detection information around the vehicle 1 acquired from the external sensor group 102 included in the vehicle 1 with information on the point cloud map 124A, and determines the position of the vehicle 1 in the parking lot coordinate system.
  • the in-vehicle processing device 120 detects white lines and obstacles in the registered parking lot existing around the vehicle 1 based on the detection information from the external sensor group 102, and a parking lot whose position is indicated by the point cloud map 124A.
  • the current position of the vehicle 1 in the parking lot coordinate system is estimated by collating with the coordinate value of each landmark in the data.
  • the in-vehicle processing device 120 compares the latitude and longitude of the registered parking lot with the latitude and longitude of the navigation own position even during execution of the position estimation mode, as in the normal travel mode and the map storage mode. As a result, when the vehicle 1 moves away from the registered parking lot, for example, 100 m or more, the mode changes to the normal travel mode. Further, when the vehicle 1 enters an area where no parking lot data exists during execution of the position estimation mode, the mode shifts to the map storage mode. At this time, whether or not the vehicle 1 has entered an area where no parking lot data exists can be determined by a method opposite to the transition condition from the map storage mode to the position estimation mode.
  • the latitude / longitude of the navigation own position is compared with the latitude / longitude information of the landmark of each parking lot data in the point cloud map 124A, and the distance between the travel point and the landmark is calculated from the difference.
  • the calculated distance is within a predetermined range, for example, when there is no landmark of 10 m or more, it is determined that the vehicle 1 has entered an area where there is no parking lot data. Judge that there is no.
  • the vehicle 1 shifts to the automatic parking mode. Further, when the position estimation is not successful and the position of the vehicle 1 in the parking lot coordinate system is lost, the mode is shifted to the give-up mode.
  • traveling of the vehicle 1 is controlled by the in-vehicle processing device 120, and the vehicle 1 automatically moves within the registered parking lot without a user's driving operation.
  • the in-vehicle processing device 120 moves and parks the vehicle 1 to the parking position designated by the user based on the position of the vehicle 1 in the parking lot coordinate system obtained in the position estimation mode.
  • the in-vehicle processing device 120 estimates the position of the vehicle 1 in the parking lot coordinate system even in the automatic parking mode, following the position estimation mode. That is, on the basis of detection information from the external sensor group 102, white lines and obstacles in the registered parking lot existing around the vehicle 1 are detected, and these positions are collated with the point cloud map 124A to determine the parking lot coordinates. The current position of the vehicle 1 in the system is estimated.
  • the traveling control of the vehicle 1 is stopped and the mode is shifted to the position estimation mode. Further, when the user presses the automatic parking button 110B and the position estimation is not successful and the position of the vehicle 1 in the parking lot coordinate system is lost, the state shifts to the give-up mode.
  • the in-vehicle processing device 120 presents to the user that automatic parking is not possible via the display device 111. During this mode, the in-vehicle processing device 120 does not perform storage of the point cloud map 124A, position estimation of the vehicle 1 in the parking lot coordinate system, or automatic parking control.
  • the mode is changed to the normal traveling mode.
  • the in-vehicle processing device 120 executes each operation mode as described above.
  • the map storage mode, the position estimation mode, and the automatic parking mode will be described in detail in order.
  • Map memory mode As described above, when the vehicle 1 falls within a predetermined range centered on the registered parking lot, and the parking lot data near the travel point is not recorded in the point cloud map 124A, the in-vehicle processing device 120 uses the map storage mode. Works with. While operating in the map storage mode, the in-vehicle processing device 120 displays on the screen of the display device 111 that it is operating in the map storage mode, and performs landmark positioning to collect the point cloud data 122A.
  • the point cloud data verification unit 121B operates with a trigger that the user stops after moving the vehicle 1 to the parking position and operates the parking brake.
  • the point cloud data verification unit 121B determines whether the point cloud data 122A collected in the map storage mode is established as the point cloud map 124A, that is, whether it can be used for position estimation of the vehicle 1 in the position estimation mode or the automatic parking mode. Validate.
  • the purpose is that if the collected point cloud data 122A cannot be used for position estimation, the point cloud map 124A created using the point cloud data 124A cannot be estimated and automatic parking fails. It is to prevent in advance.
  • the point cloud data verification unit 121B locally sets whether or not the point cloud data 122A acquired in each verification section can be used for position estimation by setting a verification section at predetermined intervals on the travel locus of the vehicle 1.
  • the verification can be performed based on two verification factors, i.e., sex and autonomous navigation.
  • the local feasibility which is the former verification element, can be determined from, for example, the distribution state of a plurality of points in the point cloud data 122A. Specifically, for example, when the density of the point cloud data 122A acquired within the verification section is equal to or higher than a predetermined value and there is no identical distribution pattern, it is determined that the local feasibility is satisfied. .
  • the autonomous navigation which is the latter verification element, can be determined from, for example, the estimation error of the movement amount of the vehicle 1 and the allowable accuracy for the control of the vehicle 1.
  • the position estimation error of the vehicle 1 in the known dead reckoning technology using the vehicle speed sensor 108 or the steering angle sensor 109 is acquired from the sensor error database 150, and the passage width in the parking lot or the size of the parking area is acquired.
  • the permissible accuracy of the position for the control of the vehicle 1 determined every time is acquired from the environment database 151. And based on these acquired information, it is judged whether the autonomous navigation property is satisfy
  • the collected point cloud data 122A can be used for position estimation. For example, even in a verification section where local feasibility does not hold, if the position estimation error by autonomous navigation is sufficiently small and within allowable accuracy, the point cloud data 122A acquired in the verification section can be used for position estimation, It is determined that the point cloud map 124A is established. In this case, when the local feasibility does not hold and the position estimation error by autonomous navigation exceeds the allowable accuracy, it is determined that the point cloud data 122A cannot be used for position estimation.
  • the in-vehicle processing device 120 displays a predetermined message or image on the display device 111 and acquires the point cloud data 122A acquired this time. Is inquired to the user as to whether or not to be recorded in the point cloud map 124A. When the user presses the response button 110A in response to this inquiry, the in-vehicle processing device 120 uses the point cloud map generation unit 121C to create parking lot data constituting the point cloud map 124A using the acquired point cloud data 122A. Then, the map is stored in the storage unit 124 and the map storage mode is terminated.
  • the in-vehicle processing device 120 lacks information necessary for the point cloud map 124A in the point cloud data 122A acquired this time. Is displayed on the display device 111. Then, when the user presses the response button 110A, the parking lot data constituting the point cloud map 124A is created using the acquired point cloud data 122A, similarly to the case where it is determined that it can be used for position estimation, and the storage unit Then, the map storage mode is ended. At this time, a message that prompts the user to travel again on the same route and acquire the necessary point cloud data 122A may be displayed. Or you may complete
  • the operation of the map storage mode by the in-vehicle processing device 120 is divided into two types: extraction of the point cloud data 122A constituting the landmark and recording of the point cloud map 124A based on the extracted point cloud data 122A.
  • extraction processing of the point cloud data 122A by the in-vehicle processing device 120 will be described below.
  • the in-vehicle processing device 120 secures a temporary recording area in the RAM 122 when transitioning to the map storage mode. Then, the in-vehicle processing device 120 repeats the following processing until the map storage mode ends or transitions to another mode. That is, the in-vehicle processing device 120 has a plurality of points representing landmarks based on detection information acquired from the external sensor group 102 by landmark positioning, specifically, images captured by the camera 102A and observation information by the sonar 102B and radar 102C. Point cloud data 122A is extracted.
  • the in-vehicle processing device 120 calculates the amount of movement and the direction of movement of the vehicle 1 from the previous shooting by the camera 102A to the current shooting based on the outputs of the vehicle speed sensor 108 and the steering angle sensor 109.
  • the in-vehicle processing device 120 obtains the coordinate value of each point included in the extracted point cloud data 122A based on the positional relationship with the vehicle 1 and the movement amount and movement direction of the vehicle 1, and records them in the RAM 122. Further, the in-vehicle processing device 120 calculates and records the latitude and longitude of each point from the latitude and longitude output by the car navigation system 107. The in-vehicle processing device 120 repeats this process in the map storage mode.
  • the coordinate value of each point in the point cloud data 122A is recorded as a coordinate value in a coordinate system set based on the position of the vehicle 1 at the time when the recording of the point cloud data 122A is started.
  • this coordinate system is referred to as a “recording coordinate system”.
  • the position of the vehicle 1 is the origin of the recording coordinate system
  • the traveling direction (posture) of the vehicle 1 is the Y axis of the recording coordinate system
  • the right direction of the vehicle 1 is the recording coordinates.
  • the coordinate values of are not necessarily constant.
  • the in-vehicle processing device 120 obtains the coordinate value of the parking area from the current position of the vehicle 1 and records it in the RAM 122. To do.
  • the coordinate values of the parking area are recorded as the coordinate values of the four corners when the vehicle 1 is approximated to a rectangle, for example.
  • the coordinate value of the parking area may be determined in consideration of the difference in size between the vehicle 1 and the parking area.
  • the in-vehicle processing device 120 performs a recording process of the point cloud map 124A based on the point cloud data 122A as follows.
  • the in-vehicle processing device 120 determines a difference between the current position of the vehicle 1 at the time of parking completion, that is, the latitude and longitude of the parking position, from the latitude and longitude of any parking area in the parking lot data already recorded in the point cloud map 124A. Determine whether it is within range. As a result, when there is no parking lot data including a parking area where the difference between the latitude and longitude of the parking position is within a predetermined range, the in-vehicle processing device 120 uses the point cloud data 122A stored in the RAM 122 as a new parking lot. Data is recorded on the point cloud map 124A.
  • the in-vehicle processing device 120 uses the information of the point cloud data 122A stored in the RAM 122 as the parking lot. It is determined whether or not the data is merged as data of the same parking lot. For this determination, the in-vehicle processing device 120 first converts the coordinates of the point cloud data 122A so that the position of the parking area included in the parking lot data matches the parking position of the point cloud data 122A recorded in the RAM 122. I do. Next, a point group coincidence rate representing the degree of coincidence between the point group data 122A after coordinate conversion and the point group map 124A is calculated. Then, if the calculated point group coincidence rate is larger than a predetermined threshold value, it is determined that they are integrated, and if they are equal to or less than the threshold value, it is determined that they are not integrated. The specific contents of these processes will be described later.
  • the in-vehicle processing device 120 determines that they are not integrated as a result of the determination, the in-vehicle processing device 120 records the point cloud data 122A stored in the RAM 122 as new parking lot data on the point cloud map 124A. On the other hand, when it is determined that they are integrated, the information of the point cloud data 122A stored in the RAM 122 is added to the existing parking lot data of the point cloud map 124A.
  • FIG. 4 is a flowchart showing processing executed by the in-vehicle processing device 120 in the map storage mode.
  • the execution subject of each step demonstrated below is the calculating part 121 of the vehicle-mounted processing apparatus 120.
  • the calculation unit 121 performs a point cloud data acquisition unit 121A, a point cloud data verification unit 121B, a point cloud map generation unit 121C, an absolute position acquisition unit 121D, a movement amount estimation unit 121E, and a display It functions as the control unit 121G.
  • step S501 the calculation unit 121 determines whether or not the map storage mode has been entered. If it is determined that the map storage mode has been entered, the process proceeds to S502. If the map storage mode has not been entered, the process remains in step S501.
  • step S502 the calculation unit 121 performs an initialization process.
  • a new storage area is secured in the RAM 122.
  • the point cloud data 122A extracted by landmark positioning and the position of the vehicle 1 are recorded as coordinate values in the recording coordinate system described above in the subsequent processing.
  • step S503 the calculation unit 121 performs the above-described landmark positioning using the information acquired from the external sensor group 102 by the point cloud data acquisition unit 121A. That is, using the captured image of the camera 102A and the observation information of the sonar 102B or the radar 102C, observation values of a plurality of points representing landmarks in the parking lot existing around the vehicle 1 are acquired, and the point cloud data 122A is obtained. Recorded in the RAM 122. Note that the point cloud data 122A acquired at this time is a coordinate value that represents a relative position with respect to the current position of the vehicle 1, and is not a coordinate value in the recording coordinate system. Further, at this time, the calculation unit 121 performs GPS positioning for obtaining the current position of the vehicle 1.
  • the latitude / longitude information based on the received signal of the GPS receiver 107A output from the car navigation system 107 is acquired by the absolute position acquisition unit 121D.
  • the position in the absolute coordinate system of each point of the point cloud data 122A is acquired by linking the current position of the vehicle 1 represented by the acquired latitude / longitude information and the observed value.
  • step S504 the calculation unit 121 estimates the amount of movement of the vehicle 1 from the previous landmark positioning to the current landmark positioning by the movement amount estimation unit 121E and records the vehicle 1 in the recorded coordinate system recorded in the RAM 122. Update the current position of.
  • the movement amount of the vehicle 1 can be estimated by a plurality of means. For example, as described above, the movement amount of the vehicle 1 can be estimated from the change in the position of the subject existing on the road surface in the photographed image of the camera 102A. Further, when the car navigation system 107 is equipped with a high-accuracy GPS receiver 107A with a small error, the output thereof may be used.
  • the movement amount of the vehicle 1 may be estimated based on the vehicle speed output from the vehicle speed sensor 108 and the steering angle output from the steering angle sensor 109.
  • the estimated movement amount is, for example, movement amounts ⁇ x, ⁇ y on the two-dimensional plane, ⁇ representing a change in the direction of the vehicle on the plane.
  • the estimated movement amount is, for example, the movement amount ⁇ x, ⁇ y, ⁇ z in the three-dimensional space, and the change in the vehicle orientation in the space.
  • Three parameters of ⁇ , ⁇ , and ⁇ are expressed.
  • corresponds to the amount of rotation about the x axis
  • corresponds to the amount of rotation about the y axis
  • corresponds to the amount of rotation about the z axis.
  • step S505 the calculation unit 121 temporarily records the point cloud data 122A of the recording coordinate system in the RAM 122.
  • the coordinate value of each point of the point cloud data 122A acquired by the landmark positioning in step S503 is converted into the coordinate value of the recording coordinate system.
  • the point value data 122A in the RAM 122 is updated with the converted coordinate values as the point value data 122A of the recording coordinate system. That is, the coordinate value of each point of the point cloud data 122A recorded in the RAM 122 is rewritten based on the position and orientation of the vehicle 1 at the time when the recording of the point cloud data 122A is started.
  • step S506 the calculation unit 121 determines whether or not the vehicle 1 has been parked. Until the parking brake of the vehicle 1 is actuated, it is determined that the parking is not completed, the process returns to step S503, and the landmark positioning and the recording of the point cloud data 122A are continued. When the parking brake of the vehicle 1 is operated, it is determined that parking is completed, and the process proceeds to step S507.
  • step S507 the calculation unit 121 determines map feasibility of the point cloud data 122A recorded in the RAM 122 in step S505 by the point cloud data verification unit 121B.
  • verification regarding the feasibility of the point cloud map 124A is performed for each point of the point cloud data 122A.
  • the calculation unit 121 causes the display control unit 121G to display the determination result on the display device 111 and determine whether to record the point cloud data 122A on the point cloud map 124A.
  • step S507 the information indicating the determination result of the map feasibility performed in step S507 is recorded in combination with the coordinate value of each point when the point cloud data 122A is recorded in the point cloud map data 124A later in step S514 or S515. Is done.
  • step S508 the calculation unit 121 determines whether the user has approved the storage of the point cloud map 124A.
  • the user performs a predetermined memory approval operation using the response button 110A, it is determined that the storage of the point cloud map 124A has been approved, and the process proceeds to step S509.
  • the user does not perform the storage approval operation, it is determined that the storage of the point cloud map 124A has not been approved, and the flowchart of FIG. 4 ends. In this case, the point cloud data 122A recorded in the RAM 122 is discarded, and the point cloud map 124A is not recorded.
  • step S509 the calculation unit 121 performs GPS positioning to obtain the parking position of the vehicle 1. That is, the latitude / longitude information of the parking position is acquired by acquiring the latitude / longitude information based on the reception signal of the GPS receiver 107A output from the car navigation system 107 by the absolute position acquisition unit 121D. And based on the acquired latitude longitude, the coordinate value in the recording coordinate system of the parking area corresponding to a parking position is recorded. That is, the coordinate value in the recording coordinate system of the parking position is calculated from the difference between the latitude and longitude of the current position of the vehicle 1 last acquired in step S503 and the latitude and longitude of the parking position acquired in step S509. Then, the coordinate values of the four vertices of the parking area corresponding to the parking position are calculated and recorded in the RAM 122.
  • step S510 the calculation unit 121 determines whether or not the parking lot data including the parking area where the difference between the latitude and longitude is within the predetermined range is recorded in the point cloud map 124A with respect to the parking position acquired in step S509. judge.
  • the difference between the latitude and longitude of the parking position is within a predetermined range. Determine if it exists.
  • the process proceeds to step S511, and if not, the process proceeds to step S515.
  • the parking lot data corresponding to the parking position is already recorded in the point cloud map 124A only when the latitude / longitude difference from the parking position is within a predetermined range for all four vertices of the parking area. May be.
  • the parking lot data of the point cloud map 124A including the parking area where the latitude / longitude difference from the parking position is determined to be within the predetermined range in step S510 is referred to as “target parking lot data”.
  • step S511 the calculation unit 121 performs coordinate conversion of the point cloud data 122A recorded in the RAM 122 in step S505 from the recording coordinate system to the parking lot coordinate system of the target parking lot data by the point cloud map generation unit 121C.
  • a coordinate conversion formula from the recording coordinate system to the parking lot coordinate system is derived so that the latitude and longitude of the parking area in the target parking lot data coincide with the latitude and longitude of the parking position acquired in step S509.
  • the coordinate values of the respective points constituting the landmark and the current position of the vehicle 1 are obtained as the parking lot coordinates of the target parking lot data. Convert to coordinate values in the system.
  • step S512 the calculation unit 121 calculates a point group coincidence rate IB between the point group data 122A subjected to coordinate conversion in step S511 and the target parking lot data.
  • “Din” is the number of points within a predetermined value of the distance from any point of the target parking lot data among the points of the point cloud data 122A subjected to coordinate conversion in step S511. .
  • “D1” is the number of points in the point cloud data 122A stored in the RAM 122
  • “D2” is the number of points in the point cloud data 122A of the target parking lot data. If the point group coincidence rate IB is calculated in step S512, the process proceeds to step S513.
  • step S513 the calculation unit 121 determines whether the point cloud coincidence rate IB calculated in step 512 is greater than a predetermined threshold value. As a result, when it is determined that the point group coincidence rate IB is greater than the threshold value, the process proceeds to step S514, and when it is determined that the point group match rate IB is equal to or less than the threshold value, the process proceeds to step S515.
  • step S514 the calculation unit 121 performs a merging process of the point cloud data 122A coordinate-converted in step S511 and the target parking lot data by the point cloud map generation unit 121C.
  • a merge process is performed to generate a new point cloud map 124A. To do.
  • the flowchart of FIG. 4 is terminated.
  • step S515 which is executed when a negative determination is made in step S510 or S513, the calculation unit 121 acquires the point cloud data 122A coordinate-converted in step S511 and the point cloud data 122A acquired in step S509 by the point cloud map generation unit 121C.
  • the latitude / longitude of the parking position and the coordinate value of the parking area corresponding to the parking position are recorded on the point cloud map 124A as new parking lot data.
  • FIG. 5 is a flowchart showing processing executed by the in-vehicle processing device 120 in the position estimation mode.
  • the execution subject of each step demonstrated below is the calculating part 121 of the vehicle-mounted processing apparatus 120.
  • the calculation unit 121 functions as a point cloud data acquisition unit 121A, an absolute position acquisition unit 121D, a movement amount estimation unit 121E, a position estimation unit 121F, and a display control unit 121G when performing the processing shown in FIG.
  • step S601 the calculation unit 121 determines whether or not the position estimation mode has been entered. If it is determined that the position estimation mode has been entered, the process proceeds to S602. If the position estimation mode has not been entered, the process remains in step S601.
  • step S602 the calculation unit 121 performs GPS positioning to obtain the current position of the vehicle 1. That is, the latitude and longitude information based on the received signal of the GPS receiver 107A output from the car navigation system 107 is acquired by the absolute position acquisition unit 121D, thereby acquiring the latitude and longitude corresponding to the current position of the vehicle 1.
  • step S603 the calculation unit 121 determines whether or not the point cloud map 124A has map feasibility around the current position of the vehicle 1.
  • the presence / absence of the parking lot data having a latitude / longitude within a certain range from the current position of the vehicle 1 and having a map feasibility is included in the route data. judge. Whether or not the map is feasible can be determined from the information recorded in step S507 in FIG. 4 when the point cloud data 122A acquired in the map storage mode is recorded in the point cloud map 124A.
  • step S602 the process returns to step S602 to continue GPS positioning.
  • step S604 the calculation unit 121 performs an initialization process.
  • initialization of the local peripheral information 122B stored in the RAM 122 and initialization of the current position of the vehicle 1 stored in the RAM 122 are performed. Specifically, if the previous information is recorded, it is deleted, and a new coordinate system is set as the above-mentioned local coordinate system.
  • This local coordinate system is set based on the position and posture of the vehicle 1 when step S604 is executed. For example, the position of the vehicle 1 when step S604 is executed is set as the origin of the local coordinate system, and the X axis and Y axis of the local coordinate system are set according to the orientation when step S604 is executed. In the initialization of the current position of the vehicle 1, the current position of the vehicle 1 is set to the origin (0, 0).
  • step S605 the calculation unit 121 performs self-position estimation by the position estimation unit 121F.
  • the current position in the parking lot coordinate system of the vehicle 1 is estimated according to the procedure of the flowchart shown in FIG.
  • step S606 the calculation unit 121 determines whether or not the own position, that is, the current position of the vehicle 1 in the parking lot coordinate system can be estimated in step S605.
  • the self-position diagnosis performed in step S627 of the flowchart shown in FIG. 6 described later, it is determined whether or not the self-position has been correctly estimated.
  • step S607 if it is determined that the reliability of the self position is low, it is determined that the self position has not been correctly estimated, and the process returns to step S605 to continue the self position estimation.
  • step S607 the calculation unit 121 causes the display control unit 121G to display the self-position estimation result performed in step S605 on the display device 111.
  • the self-position estimation result is displayed so that the user can recognize it.
  • an overhead view image showing a state of the vehicle 1 viewed from above is generated and displayed on the display device 111, and the vehicle 1 represented by the point cloud map 124A on the overhead image is displayed. The positional relationship between surrounding objects and the vehicle 1 may be indicated.
  • step S608 the calculation unit 121 determines whether or not the self-position displayed in step S607 has approached within a predetermined distance, for example, within 10 m, from any parking position in the parking lot data of the point cloud map 124A. Until the self-position approaches within 10 m of the parking position, the process returns to step S605 and the self-position estimation is continued. When the self-position approaches within 10 m, the process proceeds to step S609. That is, when the difference between the coordinate value of the parking position in the parking lot coordinate system represented by the point cloud map 124A and the position of the vehicle 1 estimated in step S605 is less than the predetermined distance, the determination in step S608 is affirmative and the next The process proceeds to step S609.
  • a predetermined distance for example, within 10 m
  • step S609 the calculation unit 121 displays on the display device 111 that automatic parking is possible by the display control unit 121G. Thereby, the user is inquired whether or not the automatic parking of the vehicle 1 is performed.
  • step S610 the calculation unit 121 determines whether or not the automatic parking button 110B has been pressed by the user. If the user has not pressed the automatic parking button 110B, the process returns to step S609 to continue displaying that automatic parking is possible. If the user has pressed the automatic parking button 110B, the process proceeds to step S611.
  • step S611 the calculation unit 121 switches the operation mode of the in-vehicle processing device 120 from the position estimation mode to the automatic parking mode by the mode switching unit 121I. Then, the automatic parking mode operation is executed according to the procedure of the flowchart shown in FIG. If automatic parking mode is performed by step S611, the flowchart of FIG. 5 will be complete
  • FIG. 6 is a flowchart showing the self-position estimation process executed by the in-vehicle processing device 120 in step S605 of FIG.
  • step S621 the calculation unit 121 performs the same processing as that in steps S503 to 505 in FIG. 4 to acquire the local peripheral information 122B. That is, in step S621, landmark positioning is performed in the same procedure as in step S503, and observation values of a plurality of points representing landmarks in a parking lot existing around the vehicle 1 are acquired and stored in the RAM 122 as point cloud data 122A. Record. In step S622, the movement amount of the vehicle 1 is estimated in the same procedure as in step S504, and the current position of the vehicle 1 in the local coordinate system is updated.
  • step S623 in the same procedure as in step S505, based on the current position of the vehicle 1 updated in step S622, the observed value of each point of the point cloud data 122A acquired by the landmark positioning in step S621 is converted into the coordinate value of the local coordinate system. And temporarily recorded in the RAM 122 as the local peripheral information 122B. Thereby, the local peripheral information 122B according to the current position of the vehicle 1 is newly generated, and the content of the local peripheral information 122B in the RAM 122 is updated.
  • step S623 When the execution of step S623 is completed, the calculation unit 121 selects the local peripheral information 122B updated in step S623 in step S624.
  • a point to be used in the subsequent matching processing is selected from the points where the coordinate values are recorded as the local peripheral information 122B. That is, each point in the local peripheral information 122B may include a point that has a distribution shape different from that of the point cloud map 124A and cannot be matched due to a cumulative error in estimating the movement amount of the vehicle 1. For this reason, the local peripheral information 122B selection process performed in step S623 adaptively selects a point in the local peripheral information 122B that has a small error and can be matched.
  • step S624 the calculation unit 121 performs a matching process shown in detail in FIG. 8 in step S625.
  • a relational expression representing the correspondence between the local coordinate system and the parking lot coordinate system that is, a coordinate conversion formula from the local coordinate system to the parking lot coordinate system is obtained.
  • the parking lot coordinate system is a coordinate system used in the point cloud map 124A, and a point on the past travel route of the vehicle 1 is set as a reference position (first reference position).
  • the local coordinate system is a coordinate system used in the local peripheral information 122B, and a point on the past travel route of the vehicle 1 different from the parking lot coordinate system is set as a reference position (second reference position).
  • the calculation unit 121 relates the first reference position in the point cloud map 124A (parking lot coordinate system) and the second reference position in the local peripheral information 122B (local coordinate system). Is calculated.
  • step S626 the calculation unit 121 uses the coordinates of the vehicle 1 in the local coordinate system updated in step S622 and the coordinate conversion formula obtained in step S625, that is, the coordinates of the vehicle 1 in the parking lot coordinate system, that is, Calculate the estimated self-position.
  • the process proceeds to step S627.
  • step S627 the calculation unit 121 executes self-position diagnosis for the estimated self-position calculated in step S626.
  • the reliability of the self-position estimated in step S626 is determined using the following three indices.
  • the first index is an error in the current position of the local coordinate system. Specifically, using the outputs of the vehicle speed sensor 108 and the steering angle sensor 109, the movement amount of the vehicle 1 estimated by a known dead reckoning technique and the movement amount of the self-position estimated in step S626 in a predetermined period are obtained. Compare. As a result, when these differences are larger than a predetermined threshold, it is determined that the reliability of the self-position is low.
  • the second index is an error amount between corresponding points calculated at the time of matching. Specifically, when the amount of error between corresponding points is larger than a predetermined threshold, it is determined that the reliability of the self position is low.
  • the third index is the presence or absence of a similar solution at the time of matching. Specifically, when a similar solution is searched by a method such as translating by the width of the parking frame with respect to the self-position solution obtained at the time of matching, the error amount between corresponding points is about the same in both cases. If so, it is determined that the reliability of the self-position is low.
  • step S627 for example, when it is determined that the reliability is high in all the three indexes, it is determined that the self-position has been correctly estimated. On the other hand, if it is determined that the reliability is low with at least one of the indices, it is determined that the self-position has not been correctly estimated. If the self-position estimation result is evaluated in this way, self-position estimation is completed, and the process proceeds from step S605 in FIG. 5 to the next step S606. Note that all three indicators need not be used. Moreover, you may perform a self-position diagnosis using another parameter
  • FIG. 7 is a flowchart showing the local peripheral information 122B selection process executed by the in-vehicle processing device 120 in step S624 of FIG.
  • step S680 the calculation unit 121 calculates a trajectory traveled by the vehicle 1 in the position estimation mode.
  • the trajectory of the vehicle 1 from the start of the position estimation mode to the present is calculated using the estimation result of the movement amount of the vehicle 1 performed in step S622 of FIG.
  • the trajectory of the vehicle 1 can be calculated by interpolating a plurality of coordinate points representing the position of the vehicle 1 in the local coordinate system calculated from the movement amount of the vehicle 1 estimated in step S622.
  • step S681 the calculation unit 121 calculates an effective range in matching for each point of the local peripheral information 122B updated in step S623 of FIG.
  • a range in which the shape error is smaller than that of the point cloud map 124A is calculated as an effective range that can be matched.
  • This effective range can be determined from the length and shape of the trajectory calculated in step S680. That is, as the moving distance of the vehicle 1 increases and the turning amount of the vehicle 1 increases, an estimation error is likely to occur in the coordinate values of each point obtained from the local peripheral information 122B. On the other hand, if there are too few points from which coordinate values are obtained as the local peripheral information 122B, matching becomes difficult.
  • the points in the effective range are points that range from the current position of the vehicle 1 to the predetermined minimum distance D [m]. Get as. After that, the amount of change in the angle of the tangent line of the trajectory is accumulated, and the points around the trajectory within the range up to the position where the accumulated value changes beyond the predetermined angle threshold ⁇ [deg] Get as a point inside.
  • a range of a predetermined range X [m] ⁇ Y [m] centered on the locus is set as the effective range of the local peripheral information 122B. That is, the effective range of the local peripheral information 122B has a shape along the obtained locus.
  • step S682 the calculation unit 121 acquires each point in the effective range obtained in step S681 as a point representing the local peripheral information 122B. As a result, the local peripheral information 122B is selected. When the local peripheral information 122B is selected in this way, the process proceeds from step S624 in FIG. 6 to the next step S625.
  • FIG. 8 is a flowchart showing the matching process executed by the in-vehicle processing device 120 in step S625 of FIG.
  • step S641 the calculation unit 121 applies the outlier list 122C stored in the RAM 122 to the local peripheral information 122B.
  • the points described in the outlier list 122C are temporarily excluded from the processing target.
  • the application range of the outlier list 122C in step S641 is the following steps S642 to S653. That is, after the outlier list 122C is updated in step S654 described later, the points that were previously included in the outlier list 122C are also included in the processing target.
  • steps S641 to S643 cannot be executed, the execution is started from step S650. If the outlier list 122C is applied in step S641, the process proceeds to step S642.
  • step S642 the calculation unit 121 obtains the coordinate values of each point of the latest local peripheral information 122B, that is, each point representing the landmark detected by the landmark positioning performed in step S621 in FIG. 6, in step S603 in FIG.
  • the map is converted into the coordinate value of the parking lot coordinate system in the parking lot data determined to have map formation. This conversion is realized by using the current position in the local coordinate system of the vehicle 1 updated in step S622 in FIG. 6 and the coordinate conversion formula from the local coordinate system calculated in the previous time to the parking lot coordinate system.
  • calculation unit 121 calculates instantaneous coincidence IC between local peripheral information 122B coordinate-converted in step S642 and the parking lot data used for the coordinate conversion.
  • step S642 “DIin” is determined in advance as a distance from any point of the parking lot data in the point cloud map 124A among the points of the latest local peripheral information 122B whose coordinates are converted in step S642. The number of points below the threshold value.
  • “DIall” is the number of points detected in the landmark positioning in step S621.
  • step S644 the calculation unit 121 determines whether or not the instantaneous coincidence IC calculated in step S643 is larger than a predetermined threshold value. As a result, when it is determined that the instantaneous matching degree IC is larger than the threshold value, the process proceeds to step S650, and when it is determined that the instantaneous matching degree IC is equal to or less than the threshold value, the process proceeds to step S645.
  • step S645 the calculation unit 121 detects a periodic feature, for example, a plurality of arranged parking frames, from the local peripheral information 122B.
  • a periodic feature for example, a plurality of arranged parking frames
  • the parking frame line can be detected from the points arranged at intervals corresponding to the thickness of the white line.
  • step S646 operation unit 121 determines whether or not a periodic feature has been detected in step S645. If it is determined that it has been detected, the operation proceeds to step S647. If it is determined that it has not been detected, operation unit 121 proceeds to step S650. .
  • step S647 the calculation unit 121 calculates the period of the periodic feature detected in step S645, for example, the width of the parking frame.
  • the width of the parking frame here is an interval between white lines constituting the parking frame.
  • step S648 the calculation unit 121 uses the coordinate conversion formula calculated in the previous step S653 as a reference, and the degree of instantaneous coincidence between the local peripheral information 122B and the parking lot data when the coordinate conversion formula is changed in a plurality of ways. IC is calculated.
  • the coordinate conversion formula is changed in a plurality of ways so that each point of the local peripheral information 122B after the coordinate conversion is shifted by an integral multiple of the periodic feature detected in step S645.
  • the overall matching degree IW is calculated for each of the plurality of coordinate conversion formulas after the change.
  • the overall matching degree IW is calculated by, for example, the following formula (3).
  • IW DWin / DWall ... Formula (3)
  • DWin is the distance from any point of the parking lot data of the point cloud map 124A among the points of the local peripheral information 122B coordinate-converted using the coordinate conversion expression described above. The number of points within a predetermined value.
  • DWall is the number of points detected in Step S621. If the overall matching degree IW is calculated in step S648, the process proceeds to step S649.
  • step S649 the calculation unit 121 stores, in the RAM 122, a coordinate conversion formula that gives the maximum overall matching degree IW among the plurality of overall matching degrees IW calculated in step S648, and then proceeds to step S650.
  • step S650 In the association process in step S650, the error minimization process in step S651, and the convergence determination process in step S652, which will be described below, an ICP (Iterative Closest Point) algorithm that is a known point cloud matching technique may be used. it can.
  • ICP Intelligent Closest Point
  • step S650 that is executed when the determination in step S644 is affirmative, the determination in step S646 is negative, the execution of step S649 is completed, or the determination in step S652 is negative, the calculation unit 121
  • the points included in the parking lot data of the group map 124A are associated with the points included in the local peripheral information 122B.
  • these points are associated using different coordinate transformation formulas depending on the processing executed previously. That is, when executed after step S644 or step S649, the coordinate transformation from the local peripheral information 122B to the parking lot data is performed using the coordinate transformation formula recorded in the RAM 122.
  • step S650 when affirmative determination is made in step S644 and step S650 is executed, the coordinate conversion formula calculated in step S653 executed last time is used.
  • step S650 is executed after step S649, the coordinate conversion formula stored in step S649 is used.
  • the process proceeds to step S651.
  • step S651 the calculation unit 121 minimizes the error between the points associated in step S650.
  • the coordinate conversion formula is changed so that the sum of the indices of the distances between the points associated in step S650 is minimized.
  • the sum of the distance indices between the associated points for example, the sum of the absolute values of the distances between them can be adopted.
  • step S652 the calculation unit 121 determines whether or not the error has converged. As a result, when it is determined that it has converged, the process proceeds to step S653, and when it is determined that it has not converged, the process returns to step S650 and the association process and the error minimization process are continued.
  • step S653 the calculation unit 121 stores the coordinate conversion formula last changed in step S651 in the RAM 122, and proceeds to step S654.
  • step S654 the calculation unit 121 updates the outlier list 122C as follows. First, the existing outlier list 122C stored in the RAM 122 is cleared. Next, the coordinate value of each point of the local peripheral information 122B is converted into the coordinate value of the parking lot coordinate system using the coordinate conversion formula recorded in step 653, and each point constituting the local peripheral information 122B and its point Calculates the distance to the points constituting the corresponding point cloud map 124A, that is, the Euclidean distance. If the calculated distance is longer than a predetermined distance, the point of the local peripheral information 122B is added to the outlier list 122C.
  • the outlier list 122C may be added to the outlier list 122C using a further condition such as adding to the outlier list 122C that it is spatially located at the end.
  • a spatial end is a point that is far from another point, such as a point acquired when recording is started.
  • FIG. 9 is a flowchart showing the automatic parking mode process executed by the in-vehicle processing device 120 in step S611 of FIG.
  • the execution subject of each step demonstrated below is the calculating part 121 of the vehicle-mounted processing apparatus 120.
  • the calculation unit 121 functions as the position estimation unit 121F and the vehicle control unit 121H when performing the processing shown in FIG.
  • the in-vehicle processing device 120 automatically parks when the position of the vehicle 1 is successfully estimated in the position estimation mode and the latitude and longitude of the vehicle 1, that is, the absolute position is within a predetermined range from the parking position.
  • the transition from the position estimation mode to the automatic parking mode is performed only while the button 110B is pressed. That is, automatic control of the vehicle 1 is performed with the user's approval.
  • step S661 the calculation unit 121 performs self-position estimation using the position estimation unit 121F, and estimates the position of the vehicle 1 in the parking lot coordinate system. Note that the processing content in this step is the same as that in step S605 in FIG. 5 and has already been described with reference to FIG.
  • step S662 the calculation unit 121 generates a travel route from the position estimated in step S661 to the parking position stored in the point cloud map 124A by a known route generation method. Next, the process proceeds to step S663.
  • step S663 the calculation unit 121 controls the running state of the vehicle 1 via the vehicle control device 130 by the vehicle control unit 121H.
  • the vehicle-mounted processing device 120 outputs a predetermined vehicle control command to the vehicle control device 130, whereby the steering device 131, the drive device 132, and the braking device 133 are output. Are respectively controlled, and the vehicle 1 is moved to the parking position along the route generated in step S662.
  • step S664 as in step S661, calculation unit 121 performs self-position estimation using position estimation unit 121F, and estimates the position of vehicle 1 in the parking lot coordinate system.
  • step S665 the calculation unit 121 determines whether or not the parking of the vehicle 1 is completed, that is, whether or not the vehicle 1 has reached the parking position. As a result, when it is determined that parking is not completed, the process returns to step S663 to continue control of the vehicle 1, and when it is determined that parking is completed, the flowchart of FIG. 9 is terminated.
  • FIG. 10A is a plan view showing an example of a parking lot 901.
  • the parking lot 901 includes a plurality of parking areas provided around the building 902. Each parking area is surrounded by a parking frame line such as a white line painted on the road surface. There is only one entrance of the parking lot 901 in the lower left of the figure.
  • a parking lot 901 when the vehicle 1 is parked in the parking area 903 indicated by hatching in FIG. 10A, an operation example when the in-vehicle processing device 120 operates in the map storage mode will be described below. .
  • the in-vehicle processing device 120 detects a parking frame line in the parking lot 901 as a landmark.
  • the position of the vehicle 1 is represented by a triangle, and the acute angle of the triangle indicates the traveling direction of the vehicle 1.
  • step S501 YES in FIG. 4
  • the in-vehicle processing device 120 starts landmark positioning (steps S502, S503), and the points that constitute the parking frame line. Coordinate values are recorded in the RAM 122 as point cloud data 122A (steps S504 and S505). Then, the processes of steps S503 to S506 in FIG. 4 are repeated until the parking of the vehicle 1 in the parking area 903 is completed.
  • FIG. 10B is a diagram in which each landmark point represented by the point cloud data 122A stored in the RAM 122 is visualized.
  • a solid line represents a point group of landmarks stored in the RAM 122
  • a broken line represents a landmark that is not stored in the RAM 122. Since the range that can be sensed by the external sensor group 102 of the vehicle 1 is limited, as shown in FIG. 10B, when the vehicle 1 is near the entrance of the parking lot 901, the vicinity of the entrance of the parking lot 901 Only the parking frame line is recorded in the point cloud data 122A.
  • the in-vehicle processing device 120 may record the point cloud of the entire landmark of the parking lot 901 in the point cloud data 122A. it can.
  • step S508 When the user stops the vehicle 1 in the parking area 903 and presses the response button 110A to approve the storage of the point cloud map 124A (step S508: YES), the in-vehicle processing device 120 transmits the latitude of the vehicle 1 from the car navigation system 107. The longitude is acquired, and the coordinate values of the four corners of the parking area 903 are recorded (step S509).
  • step S510 When the parking lot data whose difference from the current latitude / longitude of the vehicle 1 is within the predetermined range is not recorded in the point cloud map 124A (step S510: NO), the point cloud data 122A stored in the RAM 122 is used as the point cloud map. New data constituting 124A, that is, new parking lot data is recorded in the storage unit 124 (step S515).
  • the parking lot data shown in FIG. 11 (a) is an example of data obtained when the vehicle 1 travels to the right from the entrance of the parking lot 901 shown in FIG. 10 (a) and reaches the parking area 903. is there. In this case, since the vehicle traveled to the right as compared with FIG. 10 (a), data is not acquired for the parking frame line indicated by the dotted line in FIG. 11 (a) and is recorded as the parking lot data on the point cloud map 124A. Absent.
  • the point cloud data 122A shown in FIG. 11B is an example of data obtained when the vehicle 1 travels to the left from the entrance of the parking lot 901 and reaches the parking area 903, for example.
  • the point cloud data of the parking frame line indicated by the dotted line in FIG. 11B is not acquired.
  • the point cloud data 122A shown in FIG. 11B the vehicle 1 is not directly facing the parking lot 901 when the map storage mode is changed, so that the parking lot 901 is compared with FIG. It is recorded as being inclined overall.
  • step S508 when the user stops the vehicle 1 in the parking area 903 and presses the response button 110A to approve the storage of the point cloud map 124A (step S508: YES), the in-vehicle processing device 120 displays the point cloud map. It is determined that the parking lot data whose difference from the current latitude / longitude of the vehicle 1 is within a predetermined range is recorded in 124A (step S510: YES). Then, coordinate conversion of the point cloud data 122A is performed with reference to the parking positions in FIGS. 11A and 11B, that is, the parking area 903 (step S511). Thereafter, the point cloud coincidence rate IB is calculated (step S512).
  • step S513 YES
  • the point cloud data 122A shown in FIG. 11B is integrated (step S514).
  • the parking frame line data on the left side in the figure that was not recorded in FIG. 11A is newly recorded in the point cloud map 124A.
  • the density of points representing these in the point cloud map 124A is high.
  • FIG. 12A is a diagram illustrating a current position when the vehicle 1 approaches the parking area 903 in the parking lot 901. In FIG. 12 (a), the vehicle 1 faces rightward in the figure.
  • FIG. 12B shows the local peripheral information 122B acquired in the position estimation mode while the vehicle 1 reaches the position shown in FIG. 12A from the entrance of the parking lot 901, from the local coordinate system to the parking lot coordinate system.
  • the parking frame line represented by the local peripheral information 122B and the trajectory of the vehicle 1 are indicated by a broken line and a dotted line, respectively.
  • Parking frame lines and trajectories indicated by broken lines represent points of the parking frame lines and trajectories in the local peripheral information 122B outside the effective range, that is, points that are described in the outlier list 122C and are not subject to matching processing.
  • the parking frame line and the trajectory indicated by dotted lines represent the points of the parking frame line and the trajectory in the local peripheral information 122B within the effective range.
  • FIG. 13A is a diagram illustrating a current position when the vehicle 1 is traveling toward the parking area 903 in the parking lot 901. In FIG. 13A, the vehicle 1 faces upward in the figure.
  • FIG. 13B shows the front frame of the vehicle 1 when the vehicle 1 is at the position shown in FIG. 13A, that is, the parking frame line of the portion surrounded by the broken circle in FIG.
  • FIG. 13B shows the example of the data which converted the coordinate value of each point of the local periphery information 122B obtained by mark positioning from the local coordinate system to the parking lot coordinate system. That is, the data shown in FIG. 13B is point group data detected from the latest photographed image and processed in step S642 of FIG. 8 in the local peripheral information 122B. However, in FIG. 13B, this data is represented not by dots but by broken lines.
  • the position of the vehicle 1 is also shown for comparison with FIG.
  • the parking frame line data is present on the left side of the vehicle 1 without any breaks, whereas the parking frame line data is present only on the front side of the vehicle 1 on the right side of the vehicle 1. doing.
  • FIG. 13C shows the correlation between the point cloud map 124A and the local peripheral information 122B shown in FIG. 13B when the estimation result of the position of the vehicle 1 in the parking lot coordinate system includes an error.
  • FIG. 13C since the previous position estimation result is approximately shifted by one of the width of the parking frame, the local peripheral information 122B existing on the right side of the vehicle 1 is shifted from the point cloud map 124A. Yes.
  • the instantaneous coincidence IC is calculated in step S643 in FIG. 8 in such a state, the instantaneous coincidence IC with respect to the right side of the vehicle 1 becomes a low value due to the aforementioned deviation.
  • step S644 NO
  • the parking frame is detected as a periodic feature (steps S645, S646: YES), and the width of the parking frame is calculated from the point cloud map 124A. (Step S647). Then, the local peripheral information 122B after coordinate conversion is moved for every integer multiple of the width of the parking frame, and the overall matching degree IW is calculated (step S648).
  • FIG. 14A, 14B, and 14C are examples of the relationship with the point cloud map 124A when the local peripheral information 122B shown in FIG. 13C is moved by an integer multiple of the width of the parking frame.
  • FIG. 14A to 14C the local peripheral information 122B after coordinate conversion is moved upward in the drawing by +1, 0, and ⁇ 1 times the width of the parking frame.
  • the local peripheral information 122B moves to the upper side of the figure by one of the width of the parking frame, so that the deviation between the local peripheral information 122B and the point cloud map 124A is enlarged. For this reason, the overall matching degree IW in FIG. 14A is smaller than that in the case of not moving.
  • the local peripheral information 122B has not moved, and as shown in FIG. 13C, the local peripheral information 122B and the point cloud map 124A are shifted by one of the width of the parking frame. .
  • the local peripheral information 122B moves by one of the width of the parking frame on the lower side in the figure, so that the local peripheral information 122B and the point cloud map 124A substantially match. For this reason, the overall matching degree IW in FIG. 14C is larger than the case where the local peripheral information 122B is not moved.
  • the in-vehicle processing device 120 that is an information processing device mounted on the vehicle 1 relates to a plurality of points that respectively represent objects based on information from the external sensor group 102 that detects objects existing around the vehicle 1.
  • a point cloud data acquisition unit 121A that acquires the group data 122A, a movement amount estimation unit 121E that estimates the movement amount of the vehicle 1, and a point on the travel route of the vehicle 1 as a first reference position, with respect to the first reference position
  • a storage unit 124 that stores the relative positions of a plurality of points as a point cloud map 124A that is recorded in association with position information including latitude and longitude, the point cloud map 124A, the point cloud data 122A, and the movement amount of the vehicle 1
  • a position estimation unit 121F for estimating the position of the vehicle 1.
  • the position estimation unit 121F Based on the point cloud data 122A and the amount of movement of the vehicle 1, the position estimation unit 121F generates local peripheral information 122B having a point on the travel route of the vehicle 1 different from the point of the first reference position as the second reference position ( Based on the point cloud map 124A and the local peripheral information 122B, a relational expression (coordinate conversion expression) representing the relationship between the first reference position and the second reference position is calculated (steps S649 and S651 in FIG. 8). ). Then, the position of the vehicle 1 is estimated using the calculated coordinate conversion formula (step S626 in FIG. 6). Since it did in this way, the position of the vehicle 1 can be correctly estimated from map data.
  • the in-vehicle processing device 120 generates the point cloud map 124A based on the point cloud data 122A and the movement amount of the vehicle 1 (steps S514 and S515 in FIG. 4), the point cloud map generation unit 121C, and the point cloud map generation unit
  • the point cloud data 122A is verified regarding the feasibility of the point cloud map 124A generated by 121C (step S507 in FIG. 4), and further provided with a point cloud data verification unit 121B.
  • the storage unit 124 stores the point cloud map 124A generated by the point cloud map generation unit 121C. Since it did in this way, since in-vehicle processor 120 itself can create point cloud map 124A which can be used in position estimation, it is not necessary to create point cloud map 124A beforehand.
  • the in-vehicle processing device 120 further presents the verification result of the point cloud data 122A by the point cloud data verification unit 121B to the user (step S507), and further includes a verification result presentation unit, that is, a display control unit 121G. Since it did in this way, it can notify a user in advance whether the point cloud map 124A produced
  • the point cloud data verification unit 121B is at least one of a distribution state of a plurality of points in the point cloud data 122A, a movement amount estimation error by the movement amount estimation unit 121E, and an allowable accuracy for control of the vehicle 1. Based on the above, it is possible to verify the point cloud data 122A regarding the feasibility of the point cloud map 124A. In this way, the feasibility of the point cloud map 124A can be accurately determined in advance.
  • the in-vehicle processing device 120 is connected to the vehicle speed sensor 108 that detects the vehicle speed of the vehicle 1 and the steering angle sensor 109 that detects the steering angle of the vehicle 1.
  • the point cloud data verification unit 121B determines whether or not to use the point cloud data 122A acquired in the verification section on the traveling locus of the vehicle 1 for position estimation of the vehicle 1, at least one of local feasibility and autonomous navigation. Can be verified. In this case, the local feasibility is determined to be satisfied when the point cloud data 122A has a density higher than a predetermined value and a new distribution pattern.
  • the autonomous navigation property is determined according to the distance that the vehicle 1 can travel by autonomous navigation.
  • the distance that the vehicle 1 can travel by autonomous navigation is based on the position estimation error of the vehicle 1 based on the error of at least one of the vehicle speed sensor 108 and the steering angle sensor 109 and the allowable accuracy of the position for the control of the vehicle 1. Calculated. In this way, it is possible to accurately verify whether or not the point cloud data 122A is used for position estimation of the vehicle 1.
  • the point cloud data verification unit 121B can also use the point cloud data 122A in the verification section where local feasibility is not established for position estimation. In this way, it is possible to increase the point cloud data 122A that can be used for position estimation and improve the accuracy of position estimation.
  • the in-vehicle processing device 120 causes the display device 111 to display an image indicating the positional relationship between the object and the vehicle 1 based on the position estimation result of the vehicle 1 by the position estimation unit 121F (step S607 in FIG. 5) display control.
  • the unit 121G is further provided. Since it did in this way, the positional relationship of the vehicle 1 and the object around the vehicle 1 detected by landmark positioning can be shown to a user in an easy-to-understand manner.
  • the in-vehicle processing device 120 further includes a vehicle control unit 121H that moves the vehicle 1 to a predetermined parking position in the parking lot based on the position of the vehicle 1 estimated by the position estimation unit 121F (step S663 in FIG. 9).
  • the plurality of points in the point cloud map 124A represent the components of the parking lot, and the vehicle control unit 121H determines that the difference between the parking position and the position of the vehicle 1 is within a predetermined value (10 m) (in FIG. 5).
  • step S608: YES the mode is changed to the automatic parking mode (step S611), and step S663 is executed to move the vehicle 1 to the parking position. Since it did in this way, when the vehicle control part 121H can move the vehicle 1 to a parking position reliably, the vehicle control part 121H can be operated and the vehicle 1 can be moved.
  • the vehicle control unit 121H determines that the difference between the latitude and longitude of the parking lot and the position of the vehicle 1 is less than the predetermined first distance (100 m) (step S601: YES in FIG. 5), and the point cloud map
  • the difference between the coordinate value of the parking position at 124A and the position of the vehicle 1 estimated by the position estimation unit 121F is less than the predetermined second distance (10 m) (step S608 in FIG. 5: YES)
  • the vehicle is at the parking position. Move 1 Since it did in this way, it can prevent that the vehicle control part 121H performs unnecessary vehicle control, and can move the vehicle 1 to a parking position reliably.
  • the in-vehicle processing device 120 estimates a coordinate conversion formula between the parking lot coordinate system and the local coordinate system based on the point cloud map 124A and the local peripheral information 122B, and estimates the position of the vehicle 1 in the parking lot coordinate system.
  • the point cloud map 124A is information stored in the storage unit 124 in advance
  • the local peripheral information 122B is obtained from the outputs of the external sensor group 102, that is, the camera 102A, the sonar 102B and the radar 102C, the vehicle speed sensor 108, and the steering angle sensor 109. Generated.
  • the in-vehicle processing device 120 acquires information on a point group in a coordinate system different from the coordinate system of the recorded point group, and the position of the vehicle 1 in the recorded coordinate system based on the correspondence relationship between the different coordinate systems. Can be estimated. Moreover, since the vehicle-mounted processing apparatus 120 estimates the coordinate conversion formula of a parking lot coordinate system and a local coordinate system based on the point cloud map 124A and the local periphery information 122B, noise is included in a part of the data of the local periphery information 122B. Even if it is, it is hard to be influenced. That is, the position estimation of the vehicle 1 by the in-vehicle processing device 120 is resistant to disturbance.
  • the position estimation unit 121F searches the point cloud map 124A for points corresponding to the respective points constituting the local peripheral information 122B (step S650 in FIG. 8), and the distance between the corresponding points is minimized. Thus, a coordinate conversion formula between the parking lot coordinate system and the local coordinate system is estimated (step S651 in FIG. 8).
  • the position estimation unit 121F obtains the point data of the local peripheral information 122B whose distance to the point constituting the point cloud map 124A or the local peripheral information 122B and the point corresponding to this point is farther than a predetermined threshold. Excluding, that is, applying the outlier list 122C (steps S641 and S653 in FIG. 8), search and estimation are performed. For this reason, the data of points at a distance that can be regarded as noise components are excluded from the calculation target, so that the accuracy of the coordinate conversion equation can be improved.
  • the points included in the point cloud map 124A and the local peripheral information 122B are represented as coordinates in a two-dimensional space.
  • the position estimation unit 121F performs a search and estimation by excluding points where the distance between corresponding points is longer than a predetermined threshold and spatially located at the end in the local peripheral information 122B.
  • the point cloud stored in the parking lot data of the point cloud map 124A relates to a landmark closer to the parking position than the point where the map storage mode is started. Therefore, when the operation of the position estimation mode is started according to the flowchart shown in FIG. 5 at a point far from the parking position than the point where the map storage mode is started, any point stored in the parking lot data of the point cloud map 124A.
  • Points that do not correspond to each other are included in the local peripheral information 122B. If the ICP including such points, that is, the processing of steps S650 to S652 in FIG. 8, is performed, an appropriate solution cannot be obtained. Therefore, by eliminating these points, an appropriate solution can be obtained.
  • the point cloud map 124A includes periodic features.
  • the position estimation unit 121F estimates the coordinate conversion formula between the parking lot coordinate system and the local coordinate system, and then determines the parking lot based on the distance of one period of the periodic feature so that the distance between the corresponding points is shortened.
  • the coordinate conversion formula between the coordinate system and the local coordinate system is corrected (steps S646 to S648 in FIG. 8).
  • a periodic feature is included in the point cloud map 124A, matching tends to occur by shifting by an integral multiple of a distance corresponding to the cycle. Once such a misalignment is made, it is difficult to match to the correct position due to the nature of the iterative process.
  • this problem is solved by shifting the coordinate conversion formula by an integral multiple of the period.
  • the global solution by shifting the coordinate transformation formula by the amount corresponding to the periodic features, Alternatively, a local solution closer to the global solution can be obtained.
  • the position of the vehicle 1 in the previously estimated parking lot coordinate system, the latest point cloud data 122A information acquired by the point cloud data acquisition unit 121A, and the latest vehicle 1 position acquired by the movement amount estimation unit 121E The instantaneous coincidence degree IC, which is an index indicating the degree of coincidence between the local peripheral information 122B in the parking lot coordinate system and the point cloud map 124A in the parking lot coordinate system, created based on the information is smaller than a predetermined threshold value.
  • the position estimation unit 121F corrects the coordinate conversion equation (steps S642 to S644 in FIG. 8). Therefore, the processing of steps S645 to S649 of FIG. 8 is not always executed, but can be executed only when the necessity of the processing is considered and determined to be necessary.
  • the in-vehicle processing device 120 represents points representing a part of the object excluding the moving body based on the information acquired by the point cloud data acquisition unit 121A and the position information of the vehicle 1 acquired by the movement amount estimation unit 121E.
  • a point cloud map generation unit 121 ⁇ / b> C that creates point cloud data 122 ⁇ / b> A including a plurality of coordinate values in the third coordinate system (recording coordinate system) and stores it in the storage unit 124 as a point cloud map 124 ⁇ / b> A is provided. Therefore, the in-vehicle processing device 120 can create the point cloud map 124A when the vehicle 1 on which the in-vehicle processing device 120 is mounted travels.
  • the process of creating the point cloud map 124A and the position estimation process of the vehicle 1 are common in terms of landmark positioning, and the program module can be used in common.
  • the third coordinate system (recording coordinate system) is set based on the position and orientation of the vehicle 1 when the creation of the point cloud data 122A is started.
  • the point cloud map generation unit 121C uses the parking position of the vehicle 1 as a reference.
  • a plurality of point group data 122A are integrated by estimating the relationship between different coordinate systems (steps S511 and S514 in FIG. 4).
  • the plurality of point cloud data 122A can be integrated. This focuses on the point that the vehicle 1 is parked at the same parking position, although the position and posture of the vehicle 1 at the start of acquisition of the point cloud data 122A are various.
  • the in-vehicle processing device 120 drives the vehicle 1 based on the output of the position estimation unit 121F and moves the vehicle 1 to a parking position designated in advance in the parking lot coordinate system, and the position of the vehicle 1 And an absolute position acquisition unit 121D that acquires the latitude and longitude of the vehicle 1 from the car navigation system 107 that receives information (latitude and longitude).
  • the points constituting the point cloud map 124A are points that represent a part of the components of the parking lot.
  • the storage unit 124 also stores the latitude and longitude of the parking lot as a point cloud map 124A.
  • the in-vehicle processing device 120 includes a vehicle control unit 121H that moves the vehicle 1 to the parking position using the vehicle control device 130. Therefore, the in-vehicle processing device 120 can automatically park the vehicle 1 at the parking position included in the point cloud map 124A.
  • the in-vehicle processing device 120 includes a car navigation system 107 and an external sensor group 102 that senses a point cloud around the vehicle 1, that is, a sensor camera 102A, a sonar 102B, and a radar 102C, and a point cloud map generation unit 121C. 2 generates a point cloud map 124A in a data format in which the point cloud and latitude / longitude information as shown in FIG. 2 are linked.
  • the latitude / longitude information the presence / absence of surrounding point clouds and the relationship with the road map can be determined, and the mode can be automatically shifted to the map storage mode or the position estimation mode. Therefore, it is not necessary for the user to perform an operation for mode transition, and it is possible to smoothly shift to map storage or automatic parking while the vehicle 1 is traveling.
  • the display control unit 121G displays an image indicating the self-position estimation result on the display device 111 in step S607 of FIG. 5, the display control unit 121G changes the display form of the image according to the establishment of the point cloud map 124A. May be. That is, when the point cloud data 122A acquired in the map storage mode is recorded on the point cloud map 124A, the information indicating the presence / absence of the map establishment as described above is provided for each portion of the point cloud map 124A, that is, the point cloud map. It is recorded for each point of the parking lot data included in 124A.
  • map feasibility in the map image or the overhead image displayed on the display device 111 in step S607 is determined for each part, and the color, brightness, and line thickness are determined between the part with high and low map feasibility. Different display forms are displayed. In this way, it is possible to inform the user in an easy-to-understand manner how reliable the self-position estimation result displayed on the display device 111 is.
  • the vehicle control unit 121H may limit the movement range of the vehicle 1 according to the establishment of the point cloud map 124A. That is, when the point cloud data 122A acquired in the map storage mode is recorded on the point cloud map 124A, the information indicating the presence / absence of the map establishment as described above is provided for each portion of the point cloud map 124A, that is, the point cloud map. It is recorded for each point of the parking lot data included in 124A. Based on this information, map feasibility is determined in the map range where the vehicle 1 is to be moved in step S663, and the vehicle 1 is prevented from entering a region where the map feasibility is low. In this way, it is possible to prevent the vehicle 1 from accidentally colliding with an obstacle such as a wall due to an error in the point cloud map 124A while the vehicle 1 is moving.
  • the in-vehicle processing device 120 deletes the determination condition in step S608 in FIG. 5, and when the self-position estimation is completed in the position estimation mode and the user presses the automatic parking button 110B, the vehicle control device 130 may be used to move the vehicle 1 to the parking position. That is, when the difference in the distance between the position of the vehicle 1 measured by the car navigation system 107 and the position of the parking lot is shorter than a predetermined distance (100 m), the vehicle control device 130 is used to set the vehicle 1 to the parking position. You may make it move. In this way, the vehicle 1 can be automatically parked at the parking position included in the point cloud map 124A, starting from a distant place where any of the sensors mounted on the vehicle 1 cannot directly observe the parking position.
  • the in-vehicle processing device 120 may be connected to a plurality of cameras.
  • the in-vehicle processing device 120 can extract the point cloud data 122 ⁇ / b> A from a wide range of landmarks existing around the vehicle 1 by using captured images of a plurality of cameras.
  • the in-vehicle processing device 120 may not receive a sensing result from the vehicle speed sensor 108 or the steering angle sensor 109. In this case, the in-vehicle processing device 120 estimates the amount of movement of the vehicle 1 using, for example, a captured image of the camera 102A. Specifically, the in-vehicle processing device 120 calculates the positional relationship between the subject in the captured image and the camera 102 ⁇ / b> A using internal parameters and external parameters stored in the ROM 123. Then, the movement amount and the movement direction of the vehicle 1 can be estimated by tracking the subject in the plurality of captured images.
  • Point cloud information such as the point cloud map 124A, the point cloud data 122A, and the local peripheral information 122B may be stored in the storage unit 124 or the RAM 122 as three-dimensional information.
  • the three-dimensional point group information may be compared with other point groups in two dimensions as in the embodiment by projecting on a two-dimensional plane, or may be compared between three dimensions.
  • the in-vehicle processing device 120 can obtain a landmark three-dimensional point group as follows. That is, using the movement amount of the vehicle 1 calculated based on the outputs of the vehicle speed sensor 108 and the rudder angle sensor 109 and a plurality of captured images output from the camera 102A, a known motion stereo technique and its motion estimation part are incorporated. By using information corrected by a field sensor or a positioning sensor, a three-dimensional point group of a stationary solid object can be obtained.
  • the in-vehicle processing apparatus 120 may proceed to step S645 when the negative determination is made consecutively for a plurality of times instead of proceeding to step S645 by a single negative determination in step S644 of FIG.
  • the in-vehicle processing device 120 replaces the determination in step S644 in FIG. 8 with respect to whether or not the percentage of points determined to be out of scope (outlier) in the local peripheral information 122B is greater than a predetermined threshold. It may be judged. In this case, when the ratio is larger than the threshold, the process proceeds to step S645, and when the ratio is equal to or less than the threshold, the process proceeds to step S650. Furthermore, the in-vehicle processing device 120 may proceed to step S645 only when the above-described ratio is large in addition to the determination in step S644 of FIG.
  • the in-vehicle processing device 120 may perform the processes in steps S645 and S647 in FIG. 8 in advance. Further, the processing result may be recorded in the storage unit 124.
  • the in-vehicle processing device 120 may receive an operation command from the user not only from the input device 110 provided inside the vehicle 1 but also from the communication device 114. For example, when the mobile terminal possessed by the user communicates with the communication device 114 and the user operates the mobile terminal, the in-vehicle processing device 120 may perform the same operation as when the automatic parking button 110B is pressed. In this case, the in-vehicle processing device 120 can perform automatic parking not only when the user is inside the vehicle 1 but also after the user gets off.
  • the in-vehicle processing device 120 may park not only at the parking position recorded on the point cloud map 124A but also at a position specified by the user.
  • the designation of the parking position by the user is performed, for example, when the in-vehicle processing device 120 displays a parking position candidate on the display device 111 and the user selects one of them using the input device 110.
  • the in-vehicle processing device 120 may receive the point cloud map 124A from the outside via the communication device 114, or may transmit the created point cloud map 124A to the outside via the communication device 114. Good.
  • the other party with which the in-vehicle processing device 120 transmits and receives the point cloud map 124A may be another in-vehicle processing device 120 mounted on another vehicle, or may be an apparatus managed by an organization that manages the parking lot.
  • the automatic parking system 100 may include a mobile terminal instead of the car navigation system 107, and record identification information of a base station with which the mobile terminal communicates instead of latitude and longitude. This is because the communication range of the base station is limited to about several hundred meters, so that the same parking lot is likely if the base stations performing communication are the same.
  • the periodic feature included in the parking lot data of the point cloud map 124A is not limited to the parking frame.
  • a plurality of straight lines constituting a pedestrian crossing which is one of road surface paints, is also a periodic feature.
  • the parking lot data is made up of information on obstacles such as walls acquired by a laser radar or the like, regularly arranged columns are also periodic features.
  • the vehicle or human being which is a moving body is not included in the landmark, but the moving body may be included in the landmark.
  • a landmark that is a moving body and a landmark other than the moving body may be stored so as to be distinguishable.
  • the in-vehicle processing device 120 may identify the landmark detected by the landmark positioning in the map storage mode, and record the identification result of each landmark together with the point cloud map 124A.
  • landmark identification for example, landmark shape information and color information obtained from a photographed image, and landmark three-dimensional shape information by a known motion stereo technique are used.
  • the landmark is identified as a parking frame, road surface paint other than the parking frame, curbstone, guardrail, wall, and the like.
  • the in-vehicle processing device 120 may include a vehicle or a human being as a landmark in the landmark, and record the identification result together with the point cloud map 124A in the same manner as other landmarks.
  • the vehicle and the person may be combined and identified as a “moving body”, or the vehicle and the person may be individually identified and recorded.
  • Vehicle control unit 121I Mode switching unit 122 ... RAM 122A ... Point cloud data 122B ... Local peripheral information 122C ... Outlier list 123 ... ROM 124 ... Storage unit 124A ... Point cloud map 125 ... Interface 130 ... Vehicle control device IB ... Point cloud coincidence rate IC ... Instantaneous coincidence IW ... Overall coincidence

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

情報処理装置は、車両の周囲に存在する物体を検出するセンサからの情報に基づき、前記物体をそれぞれ表す複数の点に関する点群データを取得する点群データ取得部と、前記車両の移動量を推定する移動量推定部と、前記車両の走行経路上の地点を第1基準位置として、該第1基準位置に対する前記複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図として格納する記憶部と、前記点群地図、前記点群データおよび前記移動量に基づき、前記車両の位置を推定する位置推定部と、を備える。

Description

情報処理装置
 本発明は、情報処理装置に関する。
 近年、自動車の周囲をカメラや各種レーダなどの外界センサでセンシングし、センシング結果に基づいて運転手の操作なしで車両を自律的に走行させる自動運転技術が進展している。こうした自動運転の一形態として、自動駐車がある。自動駐車では、駐車場に限定した自動運転を行うことで、車両を所望の駐車区画に自動的に駐車させる。
 自動駐車を実現するためには、駐車場内での車両の位置を正確に推定する必要がある。これに関して、下記特許文献1の技術が知られている。特許文献1には、ロボットが移動する空間の地図データを取得し、シミュレーションにより、地図データの領域毎にロボットの自己位置推定の容易性を示す自己位置推定容易性パラメータを算出し、自己位置推定容易性パラメータに関する情報をロボットの自律走行の前にユーザに提示する第1の処理と、自己位置推定容易性パラメータに基づいてロボットに自己の位置を推定させる第2の処理のうち少なくとも一方の処理を実行する、ロボットの自己位置推定方法が開示されている。
日本国特開2012-141662号公報
 特許文献1の技術では、取得した地図データが十分でない場合には、自己位置を正確に推定することが困難であるという課題がある。
 本発明による情報処理装置は、車両に搭載されるものであって、前記車両の周囲に存在する物体を検出するセンサからの情報に基づき、前記物体をそれぞれ表す複数の点に関する点群データを取得する点群データ取得部と、前記車両の移動量を推定する移動量推定部と、前記車両の走行経路上の地点を第1基準位置として、該第1基準位置に対する前記複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図として格納する記憶部と、前記点群地図、前記点群データおよび前記移動量に基づき、前記車両の位置を推定する位置推定部と、を備え、前記位置推定部は、前記点群データおよび前記移動量に基づき、前記第1基準位置の地点と異なる前記車両の走行経路上の地点を第2基準位置とする局所周辺情報を生成し、前記点群地図および前記局所周辺情報に基づき、前記第1基準位置と前記第2基準位置の関係を表す関係式を算出し、前記関係式を用いて前記車両の位置を推定する。
 本発明によれば、車両の位置を正確に推定することができる。
本発明の一実施形態に係る情報処理装置を含む自動駐車システムの構成図 記憶部に格納される点群地図の一例を示す図 車載処理装置がもつ動作モードとその遷移条件を説明する図 地図記憶モードにおいて車載処理装置が実行する処理を表すフローチャート 位置推定モードにおいて車載処理装置が実行する処理を表すフローチャート 自己位置推定の処理を表すフローチャート 局所周辺情報の選定処理を表すフローチャート マッチング処理を表すフローチャート 自動駐車モードの処理を表すフローチャート (a)は駐車場の一例を示す平面図、(b)は点群データが表すランドマークの各点を可視化した図 (a)は駐車場データを表す図、(b)は点群データを表す図 (a)は駐車場において車両が駐車領域に接近したときの現在位置を示す図、(b)は位置推定モードで取得した局所周辺情報を局所座標系から駐車場座標系に変換したデータの例を示す図 (a)は駐車場において車両が駐車領域に向かって走行しているときの現在位置を示す図、(b)は車両の前方領域の駐車枠線をランドマーク測位して得られた局所周辺情報の各点の座標値を局所座標系から駐車場座標系に変換したデータの例を示す図、(c)は車両1の駐車場座標系における位置の推定結果が誤差を含んでいた場合における、点群地図と局所周辺情報との対比例を示す図 局所周辺情報を駐車枠の幅の整数倍ずつ移動させた場合の点群地図との関係の例を示す図
(第1の実施形態)
 以下、図面を参照して、本発明の第1の実施形態に係る情報処理装置を説明する。
 図1は、本発明の一実施形態に係る情報処理装置を含む自動駐車システム100の構成図である。自動駐車システム100は、車両1に搭載される。自動駐車システム100は、外界センサ群102、カーナビゲーションシステム107、車速センサ108、舵角センサ109、入力装置110、表示装置111、通信装置114、車載処理装置120、車両制御装置130、操舵装置131、駆動装置132、制動装置133、センサ誤差データベース150、および環境データベース151を備える。外界センサ群102、カーナビゲーションシステム107、車速センサ108、舵角センサ109、入力装置110、表示装置111、通信装置114、車両制御装置130、センサ誤差データベース150、および環境データベース151の各装置は、車載処理装置120と信号線で接続され、車載処理装置120との間で各種信号や各種データを授受する。
 外界センサ群102は、車両1の周囲に存在する物体を検出し、その検出情報を車載処理装置120に出力する。外界センサ群102は、車両1の周囲を撮影するカメラ102Aと、超音波を用いて車両1の周囲の物体を観測するソナー102Bと、電波や赤外線を用いて車両1の周囲の物体を観測するレーダ102Cとを含む。なお、これら全てのセンサを外界センサ群102に含める必要はなく、また他のセンサを外界センサ群102に含めてもよい。車両1の周囲に存在する物体を検出できるものであれば、任意のセンサを外界センサ群102として使用することができる。
 カーナビゲーションシステム107は、GPS受信機107Aと、記憶部107Bとを有する。GPS受信機107Aは、衛星航法システムを構成する複数の衛星から信号を受信する。記憶部107Bは、不揮発性の記憶装置であり、道路地図107Cを記憶する。道路地図107Cは、道路接続構造に関する情報と、道路位置に対応する緯度経度情報とを含む。
 カーナビゲーションシステム107は、GPS受信機107Aが受信した信号に含まれる情報に基づき、地球上でのカーナビゲーションシステム107の位置、すなわち車両1の位置を表す緯度および経度を算出する。このとき、必要に応じて道路地図107Cを参照することで、車両1の位置に対応する道路を特定すると共に、その道路に合わせて車両1の位置を補正する。なお、カーナビゲーションシステム107により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m~10m程度の誤差が含まれてもよい。カーナビゲーションシステム107は、算出した緯度および経度の情報を車載処理装置120に出力する。
 車速センサ108と舵角センサ109は、車両1の車速と舵角をそれぞれ測定し、車載処理装置120に出力する。車載処理装置120は、車速センサ108および舵角センサ109の出力を用いた公知のデッドレコニング技術により、車両1の移動量および移動方向を算出することができる。
 入力装置110は、ユーザが車載処理装置120に対して行う動作指令の入力を受け付け、その入力内容に応じた動作指令信号を車載処理装置120に出力する。入力装置110は、たとえば応答ボタン110Aと、自動駐車ボタン110Bとを含む。これらのボタンの詳細については後述する。表示装置111は、たとえば液晶ディスプレイであり、車載処理装置120から出力される画像が表示される。なお、入力装置110と表示装置111とを一体化し、たとえばタッチ操作に対応するタッチパネル式のディスプレイとしてこれらを構成してもよい。この場合は、ディスプレイに表示された画像に応じてユーザがディスプレイ上の所定の領域をタッチすることにより、応答ボタン110Aや自動駐車ボタン110Bが押されたと判断することができる。
 通信装置114は、車両1の外部の機器と車載処理装置120とが無線で情報を授受するために用いられる。たとえば、ユーザが車両1の外にいるときに、車載処理装置120は通信装置114を用いてユーザが身に着けている携帯端末と通信を行い、情報を授受する。なお、通信装置114が通信を行う対象はユーザの携帯端末に限定されず、無線通信可能な任意の機器との間で通信を行うことができる。
 車両制御装置130は、車載処理装置120からの車両制御指令に基づき、操舵装置131、駆動装置132、および制動装置133を制御する。操舵装置131は、車両1のステアリングを操作する。駆動装置132は、車両1に駆動力を与える。駆動装置132はたとえば、車両1が備えるエンジンの目標回転数を増加させることにより車両1の駆動力を増加させる。制動装置133は、車両1に制動力を与える。自動駐車システム100では、車載処理装置120からの車両制御指令に応じて車両制御装置130がこれらの制御を行うことにより、ユーザの運転操作なしで車両1を自動的に移動させ、任意の駐車位置に駐車させることができる。
 車載処理装置120は、演算部121と、RAM122と、ROM123と、記憶部124と、インタフェース125とを備える。演算部121は、たとえばCPUであり、プログラムを実行して各種演算処理を行う。なお、FPGAなど他の演算処理装置を用いて演算部121の全部または一部の機能を実現するように構成してもよい。RAM122は読み書き可能な記憶領域であり、車載処理装置120の主記憶装置として動作する。ROM123は読み取り専用の記憶領域であり、演算部121で実行されるプログラムが格納される。このプログラムは、RAM122に展開されて演算部121により実行される。演算部121は、RAM122に展開されたプログラムを読み込んで実行することにより、点群データ取得部121A、点群データ検証部121B、点群地図生成部121C、絶対位置取得部121D、移動量推定部121E、位置推定部121F、表示制御部121G、車両制御部121H、およびモード切り替え部121Iの各機能ブロックとして動作する。また、演算部121が実行するプログラムにより、点群データ122A、局所周辺情報122Bおよびアウトライアリスト122Cの各情報が生成されてRAM122に一時的に記憶される。なお、これらの機能ブロックおよび情報の詳細については後述する。
 記憶部124は不揮発性の記憶装置であり、車載処理装置120の補助記憶装置として動作する。記憶部124には、点群地図124Aが格納される。点群地図124Aとは、車両1が過去に走行した場所において車両1の周囲の存在していた物体をそれぞれ表す複数の点の座標値が、その場所の位置情報と対応付けて記録された情報である。自動駐車システム100で用いられる本実施形態の車載処理装置120では、各地の駐車場に関する駐車場データが点群地図124Aとして記憶部124に格納される。駐車場データとは、駐車場ごとの位置情報を表す緯度・経度と、その駐車場における駐車領域を示す座標値と、その駐車場に存在するランドマークを構成する複数の点の座標値との集合である。なお、点群地図124Aにおける駐車場データの具体的な構成やランドマークについては後述する。
 インタフェース125は、車載処理装置120と自動駐車システム100を構成する他の機器との間で入出力される情報のインタフェース処理を行う。
 センサ誤差データベース150には、車速センサ108や舵角センサ109の誤差情報が格納される。環境データベース151には、車両制御装置130が行う車両1の制御に対する許容精度の情報が格納される。これらの情報では、予め測定または計算された値が用いられる。車載処理装置120は、これらのデータベースの情報を用いて、点群地図124Aの成立性に関する検証を行うことができる。なお、この点については後述する。
(ランドマーク測位)
 次に、ランドマークについて説明する。ランドマークとは、車両1の周囲に存在して外界センサ群102により識別可能な特徴を有する物体であり、たとえば路面ペイントの一種である駐車枠線や、車両1の走行の妨げとなる障害物である建物の壁などである。なお、本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、外界センサ群102から入力される検出情報に基づき、車両1の周囲に存在するランドマーク、すなわち外界センサ群102により識別可能な特徴を有する点を検出する。以下では、外界センサ群102から入力される検出情報に基づいて行われるランドマークの検出を「ランドマーク測位」と呼ぶ。
 カメラ102Aは、車両1の周囲を撮影して得られた画像(以下、撮影画像)を車載処理装置120に出力する。車載処理装置120は、カメラ102Aの撮影画像を用いてランドマーク測位を行う。なお、カメラ102Aの焦点距離や撮像素子サイズなどの内部パラメータ、および車両1へのカメラ102Aの取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102Aとの位置関係を算出し、ランドマーク測位を行うことができる。
 ソナー102Bおよびレーダ102Cは、それぞれ特定波長の音波や電波を放射し、車両1の周囲の物体に反射して戻ってくる反射波を受信するまでの時間を計測することで、物体の位置を観測する。そして、得られた物体の位置を車載処理装置120に出力する。車載処理装置120は、ソナー102Bやレーダ102Cから入力される物体の位置を取得することで、ランドマーク測位を行うことができる。
 なお、カメラ102Aを用いてランドマーク測位を行う際に、車載処理装置120は、カメラ102Aの撮影画像を対象に、以下のように画像認識プログラムを動作させることで駐車枠などの路面ペイントなどを検出してもよい。駐車枠の検出は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理を実行する画像認識プログラムで検出される。まず入力された撮影画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
 また、カメラ102Aを用いてランドマーク測位を行う際に、車載処理装置120は、たとえば既知のテンプレートマッチングにより他の車両や人間を検出し、測定結果から除外することが好ましい。さらに、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102Aとの位置関係を算出する。次に車載処理装置120は、カメラ102Aが連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。なお、ソナー102Bやレーダ102Cを用いたランドマーク測位でも同様に、移動体を判断して測定結果から除外してもよい。
(点群地図124A)
 次に、記憶部124に格納される点群地図124Aの詳細について説明する。図2は、記憶部124に格納される点群地図124Aの一例を示す図である。図2では、点群地図124Aとして、2つの駐車場データが格納されている例を示している。
 点群地図124Aにおける駐車場データのそれぞれは、駐車領域の各頂点の座標値と、ランドマークを表す各点の二次元平面上の座標値と、記憶時に走行した経路を表す各点の座標値とを含んで構成される。これらの各点の座標値には、対応する緯度経度と種別がそれぞれ組み合わせて記録される。種別にはたとえば、各点が表すランドマークの種類などが記録される。なお、点群地図124Aにおける駐車場データは、二次元平面上の座標値に限らず、高度であるz座標を含めた3次元空間座標の座標値であっても良い。
 なお、点群地図124Aにおいて駐車場データの各座標値は、その駐車場データに固有の座標系における座標値を表すものである。以下では、駐車場データの各座標値を表す座標系を「駐車場座標系」と呼ぶ。一方、各座標値に対応付けて記録される緯度経度は、地球上での絶対位置を表すものである。そのため以下では、緯度経度を表す座標系を「絶対座標系」と呼ぶ。
 駐車場座標系は、駐車場内の所定地点を基準に設定される。たとえば、点群地図124Aにおいて当該駐車場データの記録を開始したときの車両1の位置が駐車場座標系の原点に、車両1の進行方向が駐車場座標系のY軸に、車両1の右方向が駐車場座標系のX軸にそれぞれ設定される。すなわち、点群地図124Aでは、車両1が過去に走行した走行経路上の地点を基準位置(第1基準位置)として、この第1基準位置に対する各点の相対位置が、絶対座標系により表された緯度経度を含む位置情報と対応付けで記録されている。
 駐車領域の座標値は、たとえば駐車領域を矩形とした場合に、その矩形領域の4つの頂点の座標値として記録される。ただし、駐車領域は矩形に限定されず、矩形以外の多角形や楕円形状でもよい。また、図2の例では2つの駐車場データに駐車領域の座標値がそれぞれ一組ずつ記録されているが、駐車場データごとに複数組の駐車領域の座標値を記録してもよい。このようにすれば、複数の駐車領域が存在する駐車場について、それぞれの駐車領域の位置を駐車データにおいて表すことができる。
(アウトライアリスト122C)
 次に、RAM122に記憶されるアウトライアリスト122Cについて説明する。車載処理装置120は、後で詳しく説明するように、点群地図124Aと局所周辺情報122Bを用いて、駐車場座標系における車両1の位置推定を行う。アウトライアリスト122Cには、この車両1の位置推定において処理対象外とする局所周辺情報122Bの情報が格納される。なお、アウトライアリスト122Cは、車両1の位置推定を行っているときには、後述するように車載処理装置120により適宜更新される。
(局所周辺情報122B)
 次に、RAM122に記憶される局所周辺情報122Bについて説明する。上記のように局所周辺情報122Bは、駐車場座標系における車両1の位置推定を行う際に利用される。局所周辺情報122Bには、車載処理装置120が後述する位置推定モードにおいて検出したランドマークを構成する各点の座標値が格納される。この座標値は、局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に設定される固有の座標系に従って設定される。以下では、局所周辺情報122Bの各座標値を表す座標系を「局所座標系」と呼ぶ。たとえば、局所周辺情報122Bの記録開始時の車両1の位置が局所座標系の原点に、車両1の進行方向が局所座標系のY軸に、車両1の右方向が局所座標系のX軸にそれぞれ設定される。すなわち、局所周辺情報122Bでは、車両1が走行した走行経路上の地点であって前述の点群地図124Aとは異なる地点を基準位置(第2基準位置)として、この第2基準位置に対する各点の相対位置が示されている。
(車載処理装置120の動作概要)
 次に、車載処理装置120の動作概要を説明する。図3は、車載処理装置120がもつ動作モードとその遷移条件を説明する図である。車載処理装置120は、図3に示す5つの動作モード、すなわち通常走行モードと、地図記憶モードと、位置推定モードと、自動駐車モードと、ギブアップモードとを有する。そして、モード切り替え部121Iにより、状況に応じてこれらの動作モードを切り替える。
 車載処理装置120は、通常走行モードから開始する。通常走行モードでは、ユーザにより車両1が運転される。この際、車載処理装置120は、点群地図124Aの生成や、点群地図124A上での自車位置推定は実施せず、モードの遷移条件の監視のみを行う。通常走行モードでは、カーナビゲーションシステム107から取得する車両1の位置(以下「ナビ自己位置」と呼ぶ)と、点群地図124Aとに基づき、モードの遷移条件の監視を行う。具体的には、ユーザが予め登録した車両1を駐車させる駐車場(登録駐車場)の緯度経度と、ナビ自己位置の緯度経度とを比較する。その結果、登録駐車場から一定範囲以内、たとえば100m以内に車両1が近づいている場合は、モードの遷移条件を満たしたと判断し、通常走行モードからモード遷移する。このとき、車両1が現在走行している走行地点付近の駐車場データが点群地図124Aにおいて存在しない場合は地図記憶モードに遷移し、存在する場合は位置推定モードに遷移する。
 なお、走行地点付近の駐車場データが点群地図124Aにおいて存在するか否かは、点群地図124Aの各駐車場データに含まれるランドマークの座標値に対応する緯度・経度情報から判定することができる。すなわち、ナビ自己位置の緯度経度と、点群地図124Aにおける各駐車場データのランドマークの緯度経度情報とを比較し、これらの差分から走行地点とランドマーク間の距離を算出する。その結果、算出された距離があらかじめ定められた一定範囲以内、たとえば10m以内のランドマークがある場合は、走行地点付近の駐車場データが存在すると判断し、ない場合は走行地点付近の駐車場データが存在しないと判断する。
 地図記憶モードでは、ユーザにより車両1が運転される。この際、車載処理装置120は、車両1が備える外界センサ群102から取得した車両1の周囲の検出情報に基づいてランドマーク測位を行い、駐車場データの元になる点群データ、すなわち登録駐車場に存在する白線や障害物、駐車位置、走行経路などを表す複数の点の情報を収集する。車載処理装置120は、収集した点群データを用いて駐車場データを作成し、点群地図124Aの一部として記憶部124に格納する。
 なお、車載処理装置120は、通常走行モードと同様に、地図記憶モードの実行中にも、登録駐車場の緯度経度と、ナビ自己位置の緯度経度とを比較する。その結果、登録駐車場から一定範囲外、たとえば100m以上に車両1が離れた場合は、通常走行モードに遷移する。また、地図記憶モードの実行中に車両1が駐車場データの存在する地域に進入した場合は、位置推定モードに遷移する。このとき、車両1が駐車場データの存在する地域に進入したか否かは、通常走行モードにおける走行地点付近の駐車場データの有無と同様の方法で判断できる。すなわち、ナビ自己位置の緯度経度と、点群地図124Aにおける各駐車場データのランドマークの緯度経度情報とを比較し、これらの差分から走行地点とランドマーク間の距離を算出する。その結果、算出された距離があらかじめ定められた一定範囲以内、たとえば10m以内のランドマークがある場合は、車両1が駐車場データの存在する地域に進入したと判断し、ない場合は進入していないと判断する。
 位置推定モードでは、ユーザにより車両1が運転される。この際、車載処理装置120は、車両1が備える外界センサ群102から取得した車両1の周囲の検出情報と、点群地図124Aの情報とを照合し、駐車場座標系における車両1の位置を推定する。すなわち車載処理装置120は、外界センサ群102からの検出情報に基づいて、車両1の周囲に存在する登録駐車場内の白線や障害物を検出し、これらの位置を点群地図124Aが表す駐車場データの各ランドマークの座標値と照合することにより、駐車場座標系における車両1の現在位置を推定する。
 なお、車載処理装置120は、通常走行モードや地図記憶モードと同様に、位置推定モードの実行中にも、登録駐車場の緯度経度と、ナビ自己位置の緯度経度とを比較する。その結果、登録駐車場から一定範囲外、たとえば100m以上に車両1が離れた場合は、通常走行モードに遷移する。また、位置推定モードの実行中に車両1が駐車場データの存在しない地域に進入した場合は、地図記憶モードに遷移する。このとき、車両1が駐車場データの存在しない地域に進入したか否かは、地図記憶モードから位置推定モードへの遷移条件と反対の方法で判断できる。すなわち、ナビ自己位置の緯度経度と、点群地図124Aにおける各駐車場データのランドマークの緯度経度情報とを比較し、これらの差分から走行地点とランドマーク間の距離を算出する。その結果、算出された距離があらかじめ定められた一定範囲内、たとえば10m以上のランドマークがない場合は、車両1が駐車場データの存在しない地域に進入したと判断し、ある場合は進入していないと判断する。さらに、位置推定モードの実行中に車両1が駐車位置に近づき、ユーザがデッドマンスイッチである自動駐車ボタン110Bを押下し続けて自動駐車の実行を指示した場合は、自動駐車モードに遷移する。また、位置推定が成功せずに駐車場座標系における車両1の位置をロストした状態が続いた場合は、ギブアップモードに遷移する。
 自動駐車モードでは、車載処理装置120により車両1の走行が制御され、ユーザの運転操作なしで車両1が登録駐車場内を自動的に移動する。この際、車載処理装置120は、位置推定モードで得られた駐車場座標系での車両1の位置に基づき、ユーザに指定された駐車位置まで車両1を移動して駐車させる。なお、車載処理装置120は、自動駐車モードにおいても、位置推定モードに引き続き、駐車場座標系における車両1の位置を推定する。すなわち、外界センサ群102からの検出情報に基づいて、車両1の周囲に存在する登録駐車場内の白線や障害物を検出し、これらの位置を点群地図124Aと照合することにより、駐車場座標系における車両1の現在位置を推定する。
 自動駐車モードの実行中にユーザが自動駐車ボタン110Bを離した場合は、車両1の走行制御を停止して位置推定モードに遷移する。また、ユーザが自動駐車ボタン110Bを押下している状態で、位置推定が成功せずに駐車場座標系における車両1の位置をロストした場合には、ギブアップモードに遷移する。
 ギブアップモードでは、車載処理装置120は、ユーザに表示装置111を介して自動駐車できない旨を提示する。本モード中に車載処理装置120は、点群地図124Aの記憶、駐車場座標系における車両1の位置推定、自動駐車制御の一切を実施しない。ギブアップモード中にユーザが車両1の駐車を完了するか、車両1が登録駐車場から所定距離以上離れた場合には、通常走行モードに遷移する。
 車載処理装置120は、以上のようにして各動作モードを実行する。以下では、地図記憶モード、位置推定モード、自動駐車モードについて、順に詳しく説明する。
(地図記憶モード)
 前述のように、車両1が登録駐車場を中心とする所定範囲内に入り、かつ点群地図124Aにおいて走行地点付近の駐車場データが記録されていない場合に、車載処理装置120は地図記憶モードで動作する。地図記憶モードで動作している間、車載処理装置120は、表示装置111の画面に地図記憶モードで動作している旨を表示すると共に、ランドマーク測位を行って点群データ122Aを収集する。
 地図記憶モードでは、ユーザが車両1を駐車位置まで移動させた後に停車し、パーキングブレーキを作動させたことをトリガーとして、点群データ検証部121Bが動作する。点群データ検証部121Bは、地図記憶モードにおいて収集した点群データ122Aが点群地図124Aとして成立するか否か、すなわち位置推定モードや自動駐車モードにおいて車両1の位置推定に使えるか否かを検証する。その目的は、収集した点群データ122Aが位置推定に使えないものであれば、これを用いて作成した点群地図124Aを使っても位置推定ができずに自動駐車に失敗しまうため、これを事前に防止することにある。
 点群データ検証部121Bは、たとえば車両1の走行軌跡上で所定間隔ごとに検証区間を設定し、各検証区間で取得した点群データ122Aが位置推定に利用できるか否かを、局所的成立性および自律航法性という2つの検証要素を基準に検証することができる。前者の検証要素である局所的成立性は、たとえば点群データ122Aにおける複数の点の分布状態から判断できる。具体的には、たとえば検証区間内で取得された点群データ122Aの密度があらかじめ定めた所定の値以上であり、かつ、同一の分布パターンがない場合は、局所的成立性を満たすと判断する。一方、後者の検証要素である自律航法性は、たとえば車両1の移動量の推定誤差や車両1の制御に対する許容精度から判断できる。具体的には、たとえば車速センサ108や舵角センサ109を用いた公知のデッドレコニング技術における車両1の位置推定誤差をセンサ誤差データベース150から取得すると共に、駐車場内の通路幅や駐車領域の大きさごとにあらかじめ定められた車両1の制御に対する位置の許容精度を環境データベース151から取得する。そして、取得したこれらの情報を元に、車両1が自律航法で走行可能な走行距離を求めることで、自律航法性を満たすか否かを判断する。
 なお、上記2つの検証要素の両方を満たさない場合でも、収集した点群データ122Aを位置推定に利用できると判断してもよい。たとえば、局所的成立性が成り立たない検証区間であっても、自律航法による位置推定誤差が十分に小さく許容精度内であれば、その検証区間において取得した点群データ122Aを位置推定に利用でき、点群地図124Aとして成立するという判断を下す。この場合、局所的成立性が成り立たず、かつ自律航法による位置推定誤差が許容精度を上回った場合に、点群データ122Aは位置推定に利用できないと判断する。
 点群データ検証部121Bにより点群データ122Aが位置推定に利用できると判断された場合、車載処理装置120は、表示装置111に所定のメッセージや画像を表示して、今回取得した点群データ122Aを点群地図124Aに記録するか否かをユーザに問い合わせる。この問い合わせに対してユーザが応答ボタン110Aを押下した場合、車載処理装置120は点群地図生成部121Cにより、取得した点群データ122Aを用いて点群地図124Aを構成する駐車場データを作成し、記憶部124に記録して地図記憶モードを終了する。一方、点群データ検証部121Bにより点群データ122Aが位置推定に利用できないと判断された場合、車載処理装置120は、今回取得した点群データ122Aでは点群地図124Aとして必要な情報が不足している旨を表示装置111に表示する。そして、ユーザが応答ボタン110Aを押下すると、位置推定に利用できると判断された場合と同様に、取得した点群データ122Aを用いて点群地図124Aを構成する駐車場データを作成し、記憶部124に記録して地図記憶モードを終了する。このとき、同じ経路を再度走行して必要な点群データ122Aを取得するようユーザに促すメッセージを表示してもよい。あるいは、駐車場データを作成せずに地図記憶モードを終了してもよい。この場合、点群地図124Aは更新されない。
 車載処理装置120による地図記憶モードの動作は、ランドマークを構成する点群データ122Aの抽出と、抽出した点群データ122Aに基づく点群地図124Aの記録との2つに分けられる。まず、車載処理装置120による点群データ122Aの抽出処理を以下に説明する。
 車載処理装置120は、地図記憶モードに遷移すると、RAM122に一時的な記録領域を確保する。そして車載処理装置120は、地図記憶モードが終了するか他のモードに遷移するまで以下の処理を繰り返す。すなわち車載処理装置120は、ランドマーク測位により外界センサ群102から取得した検出情報、具体的にはカメラ102Aの撮影画像や、ソナー102B、レーダ102Cによる観測情報に基づき、ランドマークを表す複数の点に関する点群データ122Aを抽出する。また車載処理装置120は、車速センサ108および舵角センサ109の出力に基づき、カメラ102Aが前回撮影してから今回撮影するまでに車両1が移動した移動量および移動方向を算出する。そして車載処理装置120は、車両1との位置関係と、車両1の移動量や移動方向とに基づき、抽出した点群データ122Aに含まれる各点の座標値を求めて、RAM122に記録する。さらに車載処理装置120は、カーナビゲーションシステム107が出力する緯度経度から各点の緯度経度を算出して記録する。車載処理装置120は、地図記憶モードにおいてこの処理を繰り返す。
 上記の処理において、点群データ122Aの各点の座標値は、点群データ122Aの記録を開始した時点の車両1の位置を基準に設定された座標系における座標値として記録される。以下では、この座標系を「記録座標系」と呼ぶ。たとえば、点群データ122Aの記録を開始した際の車両1の位置が記録座標系の原点に、車両1の進行方向(姿勢)が記録座標系のY軸に、車両1の右方向が記録座標系のX軸にそれぞれ設定される。そのため、同一の駐車場において記録された点群データ122Aであっても、記録を開始した際の車両1の位置や姿勢が異なれば設定される記録座標系も異なるため、同じランドマークを表す点の座標値は必ずしも一定ではない。
 次に、車載処理装置120による点群データ122Aに基づく点群地図124Aの記録処理を以下に説明する。
 車載処理装置120は、車両1の駐車が完了した後にユーザが応答ボタン110Aを押下して点群地図124Aの記録を承認すると、車両1の現在位置から駐車領域の座標値を求めてRAM122に記録する。駐車領域の座標値は、たとえば車両1を矩形に近似した際の四隅の座標値として記録される。なお、車両1と駐車領域の大きさの差を考慮して、駐車領域の座標値を決定してもよい。次に車載処理装置120は、以下のようにして点群データ122Aに基づく点群地図124Aの記録処理を行う。
 車載処理装置120は、駐車完了時の車両1の現在位置すなわち駐車位置の緯度経度について、すでに点群地図124Aに記録されている駐車場データにおけるいずれかの駐車領域の緯度経度との差が所定範囲内であるか否かを判断する。その結果、駐車位置との緯度経度の差が所定範囲内である駐車領域を含む駐車場データが存在しない場合には、車載処理装置120は、RAM122に保存した点群データ122Aを新たな駐車場データとして点群地図124Aに記録する。一方、駐車位置との緯度経度の差が所定範囲内である駐車領域を含む駐車場データが存在する場合には、車載処理装置120は、RAM122に保存した点群データ122Aの情報をその駐車場データに同じ駐車場のデータとしてマージするか否かを判断する。この判断のために、車載処理装置120はまず、駐車場データに含まれる駐車領域の位置と、RAM122に記録した点群データ122Aの駐車位置とが一致するように、点群データ122Aの座標変換を行う。次に、座標変換後の点群データ122Aと点群地図124Aとの一致度を表す点群一致率を算出する。そして、算出された点群一致率が予め定めた閾値よりも大きければ両者を統合すると判断し、閾値以下であれば統合しないと判断する。なお、これらの処理の具体的な内容については後述する。
 車載処理装置120は、上記判断の結果、統合しないと判断した場合は、RAM122に保存した点群データ122Aを新たな駐車場データとして点群地図124Aに記録する。一方、統合すると判断した場合は、点群地図124Aの既存の駐車場データに、RAM122に保存した点群データ122Aの情報を追加する。
(地図記憶モードのフローチャート)
 図4は、地図記憶モードにおいて車載処理装置120が実行する処理を表すフローチャートである。なお、以下に説明する各ステップの実行主体は、車載処理装置120の演算部121である。演算部121は、図4に示す処理を行う場合に、点群データ取得部121A、点群データ検証部121B、点群地図生成部121C、絶対位置取得部121D、移動量推定部121E、および表示制御部121Gとして機能する。
 ステップS501では、演算部121は、地図記憶モードに入ったか否かを判断する。地図記憶モードに入ったと判断する場合はS502に進み、地図記憶モードに入っていない場合はステップS501に留まる。
 ステップS502では、演算部121は、初期化処理を行う。ここでは、RAM122に新たな記憶領域を確保する。この記憶領域には、以降の処理において、ランドマーク測位で抽出した点群データ122Aと車両1の位置が前述の記録座標系の座標値で記録される。
 ステップS503では、演算部121は、点群データ取得部121Aにより、外界センサ群102から取得した情報を用いて前述のランドマーク測位を行う。すなわち、カメラ102Aの撮影画像や、ソナー102Bまたはレーダ102Cの観測情報を用いて、車両1の周囲に存在する駐車場内のランドマークを表す複数の点の観測値を取得し、点群データ122AとしてRAM122に記録する。なお、この時点で取得される点群データ122Aは、車両1の現在位置に対する相対位置を表す座標値であり、記録座標系の座標値ではない。さらにこのとき、演算部121は、車両1の現在位置を求めるGPS測位を行う。すなわち、カーナビゲーションシステム107から出力されたGPS受信機107Aの受信信号に基づく緯度経度情報を絶対位置取得部121Dにより取得する。そして、取得した緯度経度情報が表す車両1の現在位置と観測値との紐付けを行うことで、点群データ122Aの各点の絶対座標系における位置を取得する。
 ステップS504では、演算部121は、移動量推定部121Eにより、前回のランドマーク測位から今回のランドマーク測位までの間の車両1の移動量を推定し、RAM122に記録した記録座標系における車両1の現在位置を更新する。ここでは、車両1の移動量を複数の手段により推定可能である。たとえば前述のように、カメラ102Aの撮影画像における路面に存在する被写体の位置の変化から車両1の移動量を推定できる。また、カーナビゲーションシステム107において誤差が小さい高精度なGPS受信機107Aが搭載されている場合には、その出力を利用してもよい。さらに、車速センサ108から出力される車速と、舵角センサ109から出力される舵角とに基づき、車両1の移動量を推定してもよい。点群地図が二次元平面上の座標値で表現されている場合、推定される移動量は、例えば二次元平面上での移動量Δx,Δy、平面上での車両の方位の変化を表すΔθの3パラメータとなる。点群地図が3次元空間上の座標値で表現されている場合、推定される移動量は、例えば三次元空間上での移動量Δx、Δy、Δz、空間上での車両の方位の変化を表すΔθ、Δφ、Δψの3パラメータとなる。Δθはx軸まわりの回転量、Δφはy軸まわりの回転量、Δψはz軸まわりの回転量に該当する。任意の方法を用いて車両1の移動量を推定し、記録座標系における車両1の現在位置を更新したら、これをRAM122に一時的に記憶し、次にステップS505に進む。
 ステップS505では、演算部121は、記録座標系の点群データ122AをRAM122に一時的に記録する。ここでは、ステップS504において更新した車両1の現在位置に基づき、ステップS503のランドマーク測位により取得した点群データ122Aの各点の座標値を記録座標系の座標値に変換する。そして、変換後の座標値を記録座標系の点群データ122Aとして、RAM122における点群データ122Aを更新する。すなわち、点群データ122Aの記録を開始した時点での車両1の位置および姿勢を基準に、RAM122に記録されている点群データ122Aの各点の座標値を書き換える。
 続くステップS506では、演算部121は、車両1の駐車が完了したか否かを判定する。車両1のパーキングブレーキが作動されるまでは、駐車が完了していないと判断してステップS503に戻り、ランドマーク測位および点群データ122Aの記録を継続する。車両1のパーキングブレーキが作動されると、駐車完了と判断してステップS507に進む。
 ステップS507では、演算部121は、点群データ検証部121Bにより、ステップS505でRAM122に記録した点群データ122Aの地図成立性を判定する。ここでは前述のような方法により、点群データ122Aの各点について、点群地図124Aの成立性に関する検証を行う。点群データ122Aの地図成立性を判定したら、演算部121は、表示制御部121Gにより、表示装置111に判定結果を表示し、点群データ122Aを点群地図124Aに記録するか否かをユーザに問い合わせる。なお、ステップS507で行った地図成立性の判定結果を示す情報は、後でステップS514またはS515において点群データ122Aを点群地図データ124Aに記録する際に、各点の座標値と組み合わせて記録される。
 ステップS508では、演算部121は、ユーザに点群地図124Aの記憶を承認されたか否かを判定する。ユーザが応答ボタン110Aにより所定の記憶承認操作を行った場合、点群地図124Aの記憶を承認されたと判定してステップS509に進む。一方、ユーザが記憶承認操作を行わなかった場合は、点群地図124Aの記憶を承認されなかったと判定し、図4のフローチャートを終了する。この場合、RAM122に記録された点群データ122Aは破棄され、点群地図124Aの記録は行われない。
 ステップS509では、演算部121は、車両1の駐車位置を求めるGPS測位を行う。すなわち、カーナビゲーションシステム107から出力されたGPS受信機107Aの受信信号に基づく緯度経度情報を絶対位置取得部121Dにより取得することで、駐車位置の緯度経度を取得する。そして、取得した緯度経度に基づき、駐車位置に対応する駐車領域の記録座標系での座標値を記録する。すなわち、ステップS503で最後に取得した車両1の現在位置の緯度経度と、ステップS509で取得した駐車位置の緯度経度との差分から、駐車位置の記録座標系における座標値を算出し、これに基づいて、駐車位置に対応する駐車領域の4つの頂点の座標値を算出してRAM122に記録する。
 ステップS510では、演算部121は、ステップS509で取得した駐車位置に対して、緯度経度の差が所定範囲内の駐車領域を含む駐車場データが点群地図124Aにおいて記録済みであるか否かを判定する。ここでは、既に点群地図124Aに記録されている各駐車場データに含まれる駐車領域の各座標値に対応する緯度経度のうち、駐車位置の緯度経度との差が所定範囲内であるものが存在するか否かを判断する。その結果、駐車位置に対して緯度経度の差が所定範囲内の駐車領域が点群地図124Aに存在する場合はステップS511に進み、存在しない場合はステップS515に進む。なお、このとき駐車領域の4つの頂点全てについて駐車位置との緯度経度の差が所定範囲内である場合にのみ、点群地図124Aにおいて駐車位置に対応する駐車場データが記録済みであると判定してもよい。以下では、ステップS510で駐車位置との緯度経度の差が所定範囲内と判断された駐車領域を含む点群地図124Aの駐車場データを「ターゲット駐車場データ」と呼ぶ。
 ステップS511では、演算部121は、点群地図生成部121Cにより、ステップS505でRAM122に記録した点群データ122Aを記録座標系からターゲット駐車場データの駐車場座標系に座標変換する。ここでは、ターゲット駐車場データにおける駐車領域の緯度経度と、ステップS509で取得した駐車位置の緯度経度とが一致するように、記録座標系から駐車場座標系への座標変換式を導出する。そしてこの座標変換式を用いて、RAM122に記録座標系で保存された点群データ122Aにおいてランドマークと車両1の現在位置をそれぞれ構成する各点の座標値を、ターゲット駐車場データの駐車場座標系における座標値に変換する。
 ステップS512では、演算部121は、ステップS511で座標変換した点群データ122Aとターゲット駐車場データとの点群一致率IBを算出する。点群一致率IBは、たとえば以下の式(1)により算出される。
  IB=2*Din/(D1+D2)   ・・・式(1)
 ただし式(1)において、「Din」は、ステップS511において座標変換した点群データ122Aの各点のうち、ターゲット駐車場データのいずれかの点との距離が所定値以内の点の数である。また式(1)において、「D1」はRAM122に保存された点群データ122Aにおける点の数であり、「D2」はターゲット駐車場データの点群データ122Aにおける点の数である。ステップS512で点群一致率IBを算出したら、次にステップS513に進む。
 ステップS513では、演算部121は、ステップ512において算出した点群一致率IBが所定の閾値よりも大きいか否かを判断する。その結果、点群一致率IBが閾値よりも大きいと判断する場合はステップS514に進み、閾値以下であると判断する場合はステップS515に進む。
 ステップS514では、演算部121は、点群地図生成部121Cにより、ステップS511において座標変換した点群データ122Aとターゲット駐車場データとのマージ処理を行う。ここでは、記憶部124に格納された点群地図124Aにおけるターゲット駐車場データに、ステップS511で座標変換した点群データ122Aを追加することにより、マージ処理を行って新たな点群地図124Aを生成する。ステップ514のマージ処理を完了したら、図4のフローチャートを終了する。
 一方、ステップS510またはS513において否定判断された場合に実行されるステップS515では、演算部121は、点群地図生成部121Cにより、ステップS511において座標変換した点群データ122Aと、ステップS509において取得した駐車位置の緯度経度および駐車位置に対応する駐車領域の座標値とを、新たな駐車場データとして点群地図124Aに記録する。ステップ515の処理を完了したら、図4のフローチャートを終了する。
(位置推定モード)
 前述のように、ユーザが車両1を運転して登録駐車場の付近まで移動させ、かつ車両1の周辺の駐車場データが点群地図124Aにおいて記録済みであると判定されると、車載処理装置120は位置推定モードに移行する。
(位置推定モードのフローチャート)
 図5は、位置推定モードにおいて車載処理装置120が実行する処理を表すフローチャートである。なお、以下に説明する各ステップの実行主体は、車載処理装置120の演算部121である。演算部121は、図5に示す処理を行う場合に、点群データ取得部121A、絶対位置取得部121D、移動量推定部121E、位置推定部121F、および表示制御部121Gとして機能する。
 ステップS601では、演算部121は、位置推定モードに入ったか否かを判断する。位置推定モードに入ったと判断する場合はS602に進み、位置推定モードに入っていない場合はステップS601に留まる。
 ステップS602では、演算部121は、車両1の現在位置を求めるGPS測位を行う。すなわち、カーナビゲーションシステム107から出力されたGPS受信機107Aの受信信号に基づく緯度経度情報を絶対位置取得部121Dにより取得することで、車両1の現在位置に対応する緯度経度を取得する。
 ステップS603では、演算部121は、車両1の現在位置の周囲における点群地図124Aの地図成立性の有無を判定する。ここでは、点群地図124Aに含まれる駐車場データのうち、車両1の現在位置から一定範囲内の緯度経度を有し、かつ地図成立性がある点を経路データに含む駐車場データの有無を判定する。なお、地図成立性の有無は、地図記憶モードで取得した点群データ122Aを点群地図124Aに記録する際に、図4のステップS507において記録される前述の情報から判断できる。その結果、上記条件を満たす駐車場データが点群地図124Aにおいて存在する場合は、車両1の現在位置の周囲における点群地図124Aについて地図成立性ありと判定し、ステップS604に進む。一方、条件を満たす駐車場データが点群地図124Aにおいて存在しない場合は、車両1の現在位置の周囲における点群地図124Aについて地図成立性なしと判定し、ステップS602に戻ってGPS測位を継続する。
 ステップS604では、演算部121は、初期化処理を行う。ここでは、RAM122に格納される局所周辺情報122Bの初期化、およびRAM122に保存される車両1の現在位置の初期化を行う。具体的には、従前の情報が記録されていたら消去し、前述の局所座標系として新たな座標系を設定する。この局所座標系は、ステップS604が実行された際の車両1の位置および姿勢に基づき設定される。たとえばステップS604が実行された際の車両1の位置が局所座標系の原点に設定され、ステップS604が実行された際の向きにより局所座標系のX軸およびY軸が設定される。また、車両1の現在位置の初期化では、車両1の現在位置が原点(0、0)に設定される。
 ステップS605では、演算部121は、位置推定部121Fによる自己位置推定を行う。ここでは、後述の図6に示すフローチャートの手順に従って、車両1の駐車場座標系における現在位置を推定する。
 ステップS606では、演算部121は、ステップS605において自己位置すなわち車両1の駐車場座標系における現在位置が推定できたか否かを判定する。ここでは、後述の図6で示すフローチャートのステップS627で行われる自己位置診断の結果に基づき、自己位置が正しく推定できたか否かを判断する。その結果、自己位置診断で自己位置の信頼性が高いと判断された場合は、自己位置が正しく推定できたと判定してステップS607に進む。一方、自己位置の信頼性が低いと判断された場合は、自己位置が正しく推定できなかったと判定し、ステップS605に戻って自己位置推定を継続する。
 ステップS607では、演算部121は、表示制御部121Gにより、ステップS605で行った自己位置の推定結果を表示装置111に表示する。ここでは、自己位置の推定結果に基づき、たとえば点群地図124Aが表す車両1の周囲の物体と車両1との位置関係を示した地図画像を表示装置111に表示させることで、駐車場内での自己位置の推定結果をユーザが認識できるように表示する。あるいは、カメラ102Aから取得した撮影画像を用いて、車両1を上方から見た様子を示す俯瞰画像を生成して表示装置111に表示させ、この俯瞰画像上で点群地図124Aが表す車両1の周囲の物体と車両1との位置関係を示してもよい。
 ステップS608では、演算部121は、ステップS607で表示した自己位置が、点群地図124Aの駐車場データにおけるいずれかの駐車位置から所定距離以内、たとえば10m以内に近づいたか否かを判定する。自己位置が駐車位置の10m以内に近づくまではステップS605に戻って自己位置推定を継続し、10m以内に近づいたらステップS609に進む。すなわち、点群地図124Aが表す駐車場座標系における駐車位置の座標値と、ステップS605で推定された車両1の位置との差が所定距離未満である場合に、ステップS608を肯定判定して次のステップS609に進む。
 ステップS609では、演算部121は、表示制御部121Gにより、表示装置111に自動駐車が可能な旨を表示する。これにより、車両1の自動駐車を行うか否かをユーザに問い合わせる。
 ステップS610では、演算部121は、ユーザに自動駐車ボタン110Bが押されたか否かを判定する。ユーザが自動駐車ボタン110Bを押していない場合はステップS609に戻って自動駐車が可能な旨の表示を継続し、自動駐車ボタン110Bを押している場合はステップS611に進む。
 ステップS611では、演算部121は、モード切り替え部121Iにより、車載処理装置120の動作モードを位置推定モードから自動駐車モードに切り替える。そして、後述の図9に示すフローチャートの手順に従って、自動駐車モードの動作を実行する。ステップS611で自動駐車モードを実行したら、図5のフローチャートを終了する。
(自己位置推定のフローチャート)
 図6は、図5のステップS605において車載処理装置120が実行する自己位置推定の処理を表すフローチャートである。
 ステップS621~S623では、演算部121は、図4のステップS503~505とそれぞれ同様の処理を行い、局所周辺情報122Bを取得する。すなわち、ステップS621ではステップS503と同様の手順でランドマーク測位を行い、車両1の周囲に存在する駐車場内のランドマークを表す複数の点の観測値を取得して、点群データ122AとしてRAM122に記録する。ステップS622ではステップS504と同様の手順で車両1の移動量を推定し、局所座標系における車両1の現在位置を更新する。ステップS623ではステップS505と同様の手順で、ステップS622において更新した車両1の現在位置に基づき、ステップS621のランドマーク測位により取得した点群データ122Aの各点の観測値を局所座標系の座標値に変換し、局所周辺情報122BとしてRAM122に一時的に記録する。これにより、車両1の現在位置に応じた局所周辺情報122Bを新たに生成し、RAM122における局所周辺情報122Bの内容を更新する。
 ステップS623の実行が完了すると、演算部121は、ステップS624において、ステップS623で更新した局所周辺情報122Bの選定を行う。ここでは、後述の図7に示すフローチャートの手順に従って、局所周辺情報122Bとして座標値が記録された各点の中から、以降のマッチング処理で利用する点を選定する。すなわち、局所周辺情報122Bにおける各点の中には、車両1の移動量推定の累積誤差により、点群地図124Aとは分布形状が異なりマッチングができない点が含まれる場合がある。そのため、ステップS623で行われる局所周辺情報122Bの選定処理により、局所周辺情報122Bの中から誤差が小さくマッチング可能な範囲の点を適応的に選定する。
 ステップS624の実行が完了すると、演算部121は、ステップS625において、図8に詳細を示すマッチング処理を行う。このマッチング処理では、局所座標系と駐車場座標系との対応関係を表す関係式、すなわち局所座標系から駐車場座標系への座標変換式が得られる。なお、前述のように駐車場座標系とは点群地図124Aにおいて用いられる座標系であり、これは車両1の過去の走行経路上の地点を基準位置(第1基準位置)として設定される。また、局所座標系とは局所周辺情報122Bにおいて用いられる座標系であり、駐車場座標系とは異なる車両1の過去の走行経路上の地点を基準位置(第2基準位置)として設定される。換言すると、ステップS625のマッチング処理において演算部121は、点群地図124A(駐車場座標系)での第1基準位置と、局所周辺情報122B(局所座標系)での第2基準位置との関係を表す関係式を算出する。
 続くステップS626では、演算部121は、ステップS622において更新した局所座標系における車両1の座標と、ステップS625において得られた座標変換式とを用いて、駐車場座標系における車両1の座標、すなわち推定自己位置を算出する。こうして推定自己位置を算出したら、次にステップS627に進む。
 ステップS627では、演算部121は、ステップS626において算出した推定自己位置に対する自己位置診断を実行する。ここでは、たとえば以下の3つの指標を用いて、ステップS626で推定した自己位置の信頼性を判断する。
 第1の指標は、局所座標系の現在位置の誤差である。具体的には、車速センサ108および舵角センサ109の出力を用いて、公知のデッドレコニング技術によって推定した車両1の移動量と、ステップS626で推定された自己位置の所定期間における移動量とを比較する。その結果、これらの差があらかじめ定めた閾値よりも大きい場合は、自己位置の信頼度が低いと判断する。
 第2の指標は、マッチング時に計算される対応点間の誤差量である。具体的には、対応点間の誤差量があらかじめ定めた閾値よりも大きい場合は、自己位置の信頼度が低いと判断する。
 第3の指標は、マッチング時における類似解の有無である。具体的には、マッチング時に得られた自己位置の解に対して、駐車枠の幅分だけ並進させるなどの方法で類似解を探索した場合に、対応点間の誤差量が両者で同程度であった場合は、自己位置の信頼度が低いと判断する。
 ステップS627では、たとえば上記3つの指標のすべてで信頼度が高いと判断された場合に、自己位置が正しく推定できたと判断する。一方、いずれか少なくとも1つの指標で信頼度が低いと判断された場合は、自己位置が正しく推定できなかったと判断する。こうして自己位置の推定結果を評価したら、自己位置推定を完了して図5のステップS605から次のステップS606に進む。なお、3つの指標は必ずしもすべて用いる必要はない。また、他の指標を用いて自己位置診断を実行してもよい。
(局所周辺情報選定のフローチャート)
 図7は、図6のステップS624において車載処理装置120が実行する局所周辺情報122Bの選定処理を表すフローチャートである。
 ステップS680では、演算部121は、位置推定モードにおいて車両1が走行した軌跡を算出する。ここでは、図6のステップS622で行った車両1の移動量の推定結果を利用して、位置推定モードを開始してから現在までの車両1の軌跡を計算する。具体的には、ステップS622で推定した車両1の移動量から算出した局所座標系における車両1の位置を表す複数の座標点を補間することで、車両1の軌跡を算出できる。
 ステップS681では、演算部121は、図6のステップS623で更新した局所周辺情報122Bの各点に関して、マッチングでの有効範囲を算出する。ここでは、点群地図124Aと比較して形状誤差が小さい範囲を、マッチング可能な有効範囲として算出する。この有効範囲は、ステップS680で算出した軌跡の長さや形状から判定することができる。すなわち、車両1の移動距離が長くなるほど、また車両1の旋回量が大きくなるほど、局所周辺情報122Bで得られる各点の座標値には推定誤差が発生しやすい。一方、局所周辺情報122Bとして座標値が得られた点が少なすぎると、マッチングが困難になる。そこで、たとえば、ステップS680で算出した軌跡に沿った所定範囲内の点のうち、車両1の現在位置からあらかじめ定めた最低距離D[m]まで遡った範囲の点については、有効範囲内の点として取得する。それ以降では、軌跡の接線の角度の変化量を累積し、その累積値があらかじめ定めた角度しきい値θ[deg]以上に変化する位置までの範囲内にある軌跡周辺の点を、有効範囲内の点として取得する。このとき、軌跡を中心としてあらかじめ定めた範囲X[m]×Y[m]の範囲を、局所周辺情報122Bの有効範囲とする。すなわち、局所周辺情報122Bの有効範囲は得られた軌跡に沿った形状となる。
 ステップS682では、演算部121は、ステップS681で得られた有効範囲内の各点を、局所周辺情報122Bを表す点として取得する。これにより、局所周辺情報122Bの選別を行う。こうして局所周辺情報122Bを選別したら、図6のステップS624から次のステップS625に進む。
(マッチングのフローチャート)
 図8は、図6のステップS625において車載処理装置120が実行するマッチング処理を表すフローチャートである。
 ステップS641では、演算部121は、RAM122に格納されたアウトライアリスト122Cを局所周辺情報122Bに対して適用する。ここでは、局所周辺情報122Bに含まれる複数の点のうち、アウトライアリスト122Cに記載された点を一時的に処理対象外とする。なお、ステップS641でのアウトライアリスト122Cの適用範囲は、以下のステップS642~S653である。すなわち、後述のステップS654でアウトライアリスト122Cが更新された後は、従前にアウトライアリスト122Cに含まれていた点も処理対象に含まれる。ただし、図8に示すフローチャートの初回実行時には、ステップS641~S643が実行できないため、ステップS650から実行を開始する。ステップS641でアウトライアリスト122Cを適用したら、次にステップS642に進む。
 ステップS642では、演算部121は、最新の局所周辺情報122Bの各点、すなわち図6のステップS621で行ったランドマーク測位により検出したランドマークを表す各点の座標値を、図5のステップS603で地図成立性ありと判定した駐車場データにおける駐車場座標系の座標値に変換する。この変換は、図6のステップS622において更新された車両1の局所座標系における現在位置と、前回算出した局所座標系から駐車場座標系への座標変換式とを用いることにより実現される。
 続くステップS642では、演算部121は、ステップS642で座標変換した局所周辺情報122Bと、その座標変換に用いた駐車場データとの瞬間一致度ICを算出する。瞬間一致度ICは、たとえば以下の式(2)により算出される。
  IC=DIin/DIall   ・・・式(2)
 ただし式(2)において、「DIin」は、ステップS642において座標変換した最新の局所周辺情報122Bの各点のうち、点群地図124Aにおける当該駐車場データのいずれかの点との距離があらかじめ定めた閾値以下の点の数である。また式(2)において、「DIall」は、ステップS621のランドマーク測位において検出された点の数である。ステップS643で瞬間一致率ICを算出したら、次にステップS644に進む。
 ステップS644では、演算部121は、ステップS643において算出した瞬間一致度ICが所定の閾値よりも大きいか否かを判断する。その結果、瞬間一致度ICが閾値よりも大きいと判断する場合はステップS650に進み、閾値以下であると判断する場合はステップS645に進む。
 ステップS645では、演算部121は、局所周辺情報122Bから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、点群地図124Aに含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。
 続くステップS646では、演算部121は、ステップS645において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップS647に進み、検出できなかったと判断する場合はステップS650に進む。
 ステップS647では、演算部121は、ステップS645で検出した周期的な特徴の周期、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップS647に進む。
 ステップS648では、演算部121は、前回のステップS653において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させた場合の局所周辺情報122Bと駐車場データとの瞬間一致度ICを算出する。ここでは、ステップS647で算出した周期を用いて、座標変換後の局所周辺情報122Bの各点がステップS645で検出した周期的特徴の整数倍ずれるように、座標変換式を複数とおりに変化させる。そして、変化後の複数の座標変換式に対して全体一致度IWをそれぞれ算出する。全体一致度IWは、たとえば以下の式(3)により算出される。
  IW= DWin/DWall   ・・・式(3)
 ただし式(3)において、「DWin」は、前述の座標変換式を用いて座標変換した局所周辺情報122Bの各点のうち、点群地図124Aの駐車場データのいずれかの点との距離が所定値以内の点の数である。また式(2)において、「DWall」は、ステップS621において検出された点の数である。ステップS648で全体一致度IWを算出したら、次にステップS649に進む。
 ステップS649では、演算部121は、ステップS648において算出した複数の全体一致度IWのうち、最大の全体一致度IWを与える座標変換式をRAM122に記憶して、ステップS650に進む。
 なお、以下で説明するステップS650の対応付け処理、ステップS651の誤差最小化処理、およびステップS652の収束判定処理では、既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ただし、ステップS650における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。
 ステップS644において肯定判定された場合、ステップS646において否定判定された場合、ステップS649の実行が終わった場合、またはステップS652において否定判定された場合に実行されるステップS650では、演算部121は、点群地図124Aの駐車場データに含まれる各点と、局所周辺情報122Bに含まれる各点との対応付けを行う。ここでは、以前に実行された処理に応じて異なる座標変換式を用いて、これら各点の対応付けを行う。すなわち、ステップS644またはステップS649の次に実行される場合は、RAM122に記録された座標変換式を用いて、局所周辺情報122Bから駐車場データへの座標変換を行う。これにより、ステップS644が肯定判定されてステップS650が実行される場合には、前回実行されたステップS653において算出された座標変換式が使用される。一方、ステップS649の次にステップS650が実行される場合は、ステップS649において記憶された座標変換式が使用される。次にステップS651に進む。
 ステップS651では、演算部121は、ステップS650で対応付けされた点同士の誤差を最小化する。ここではたとえば、ステップS650において対応付けられた点同士の距離の指標の和が最小となるように、座標変換式が変更される。なお、対応付けられた点同士の距離の指標の和としては、たとえば両者間の距離の絶対値の和を採用することができる。
 続くステップS652では、演算部121は、誤差が収束したか否かを判断する。その結果、収束したと判断する場合はステップS653に進み、収束していないと判断する場合はステップS650に戻って対応付け処理および誤差最小化処理を継続する。
 続くステップS653では、演算部121は、最後にステップS651において変更された座標変換式をRAM122に保存して、ステップS654に進む。
 ステップS654では、演算部121は、次のようにアウトライアリスト122Cを更新する。まず、RAM122に格納されている既存のアウトライアリスト122Cをクリアする。次に、局所周辺情報122Bの各点の座標値を、ステップ653において記録した座標変換式を用いて駐車場座標系の座標値に変換し、局所周辺情報122Bを構成するそれぞれの点とその点が対応する点群地図124Aを構成する点との距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報122Bの点をアウトライアリスト122Cに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト122Cに加える等、さらなる条件を用いてアウトライアリスト122Cに追加してもよい。なお、空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理により、アウトライアリスト122Cが更新される。
 以上で説明したようにして、誤差収束時の座標変換式を記録すると共にアウトライアリスト122Cを更新したら、図8のフローチャートを終了し、図6のステップS625から次のステップS626に進む。
(自動駐車モードのフローチャート)
 図9は、図5のステップS611において車載処理装置120が実行する自動駐車モードの処理を表すフローチャートである。なお、以下に説明する各ステップの実行主体は、車載処理装置120の演算部121である。演算部121は、図9に示す処理を行う場合に、位置推定部121Fおよび車両制御部121Hとして機能する。
 なお、車載処理装置120は、位置推定モードにおいて車両1の位置推定に成功しており、かつ、車両1の緯度経度すなわち絶対位置が駐車位置から所定の範囲内にあるときに、ユーザが自動駐車ボタン110Bを押下している間にのみ、位置推定モードから自動駐車モードに遷移する。すなわち、ユーザの承認のもとに車両1の自動制御を実施する。
 ステップS661では、演算部121は、位置推定部121Fにより自己位置推定を行い、駐車場座標系における車両1の位置を推定する。なお、本ステップにおける処理内容は、図5のステップS605と同様であり、図6で説明済みのため、ここでは説明を省略する。
 続くステップS662では、演算部121は、ステップS661において推定した位置から、点群地図124Aに格納されている駐車位置までの走行経路を、既知の経路生成手法により生成する。次にステップS663に進む。
 ステップS663では、演算部121は、車両制御部121Hにより、車両制御装置130を介して車両1の走行状態を制御する。ここでは、ステップS661において推定した車両1の位置に基づき、車載処理装置120から車両制御装置130に対して所定の車両制御指令を出力することで、操舵装置131、駆動装置132、および制動装置133をそれぞれ制御し、ステップS662において生成した経路に沿って車両1を駐車位置まで移動させる。このとき、自動駐車ボタン110Bがユーザにより押され続けている場合だけ、駆動装置132に動作指令を出力することが好ましい。また、カメラ102Aの撮影画像から人物や移動車両などが抽出されたら、制動装置133を動作させて車両1を停止させることが好ましい。
 続くステップS664では、演算部121は、ステップS661と同様に、位置推定部121Fにより自己位置推定を行い、駐車場座標系における車両1の位置を推定する。
 続くステップS665では、演算部121は、車両1の駐車が完了したか否か、すなわち車両1が駐車位置に到達したか否かを判断する。その結果、駐車が完了していないと判断する場合はステップS663に戻って車両1の制御を継続し、駐車が完了したと判断する場合は図9のフローチャートを終了する。
(動作例)
 以下では、図10~図14を参照して、地図記憶モード、位置推定モードおよび自動駐車モードにおける具体的な車載処理装置120の動作例を説明する。
(動作例|地図記憶モード その1)
 図10(a)は、駐車場901の一例を示す平面図である。駐車場901は、建物902の周囲に設けられた複数の駐車領域により構成される。各駐車領域は、路面にペイントされた白線等の駐車枠線でそれぞれ囲われている。駐車場901の出入り口は、図示左下に1か所だけ存在する。このような駐車場901において、図10(a)にハッチングで示した駐車領域903に車両1を駐車させる際に、車載処理装置120が地図記憶モードで動作した場合の動作例を以下に説明する。なお、以下の動作例では、駐車場901内の駐車枠線を車載処理装置120がランドマークとして検出するものとする。また、以下の動作例の説明では、図10(a)に示すように車両1の位置を三角形で表しており、この三角形の鋭角が車両1の進行方向を示す。
 駐車場901の入り口付近で地図記憶モードに遷移すると(図4のステップS501:YES)、車載処理装置120は、ランドマーク測位を開始し(ステップS502、S503)、駐車枠線を構成する点の座標値を点群データ122AとしてRAM122に記録する(ステップS504、S505)。そして、駐車領域903への車両1の駐車が完了するまで、図4のステップS503~S506の処理を繰り返す。
 図10(b)は、RAM122に保存される点群データ122Aが表すランドマークの各点を可視化した図である。図10(b)において、実線はRAM122に保存されたランドマークの点群を表し、破線はRAM122に保存されていないランドマークを示す。車両1の外界センサ群102によりセンシング可能な範囲には限界があるため、図10(b)に示すように、車両1が駐車場901の入り口付近にいる際には、駐車場901の入り口付近の駐車枠線だけが点群データ122Aに記録される。点群データ122Aの記録開始後、ユーザが車両1を駐車場901の奥まで移動させると、車載処理装置120は駐車場901の全体のランドマークの点群を点群データ122Aに記録することができる。
 ユーザが車両1を駐車領域903の中に停車させ、応答ボタン110Aを押して点群地図124Aの記憶を承認すると(ステップS508:YES)、車載処理装置120は、カーナビゲーションシステム107から車両1の緯度経度を取得し、駐車領域903の四隅の座標値を記録する(ステップS509)。
 点群地図124Aに車両1の現在の緯度経度との差が所定範囲内の駐車場データが記録されていない場合は(ステップS510:NO)、RAM122に保存した点群データ122Aを、点群地図124Aを構成する新たなデータ、すなわち新たな駐車場データとして記憶部124に記録する(ステップS515)。
(動作例|地図記憶モード その2)
 次に、上記とは別の地図記憶モードの動作例として、図11(a)に示すデータが点群地図124Aの駐車場データとして記録されている状態で、車両1が駐車場901内を走行して新たに図11(b)に示す点群データ122Aが得られた場合を説明する。図11(a)に示す駐車場データは、たとえば図10(a)に示した駐車場901の入り口から右寄りを車両1が走行して駐車領域903まで到達した場合に得られたデータの例である。この場合、図10(a)に比べて右寄りを走行したので、図11(a)に点線で示した駐車枠線についてはデータが取得されず、点群地図124Aに駐車場データとして記録されていない。
 一方、図11(b)に示す点群データ122Aは、たとえば車両1が駐車場901の入り口から左寄りを走行して駐車領域903まで到達した場合に得られたデータの例である。この場合、図11(a)に比べて車両1が左寄りを走行したので、図11(b)に点線で示した駐車枠線の点群データが取得されていない。また、図11(b)に示す点群データ122Aでは、地図記憶モードに遷移した際に車両1が駐車場901と正対していなかったので、図11(a)に比べて、駐車場901が全体的に傾いているように記録されている。
 このような状態において、ユーザが車両1を駐車領域903の中に停車させ、応答ボタン110Aを押して点群地図124Aの記憶を承認すると(ステップS508:YES)、車載処理装置120は、点群地図124Aに車両1の現在の緯度経度との差が所定範囲内の駐車場データが記録されていると判断する(ステップS510:YES)。そして、図11(a)と図11(b)の駐車位置、すなわち駐車領域903を基準に、点群データ122Aの座標変換が行われる(ステップS511)。その後、点群一致率IBを算出し(ステップS512)、点群一致率IBが所定の閾値よりも大きいと判断されると(ステップS513:YES)、図11(a)に示す駐車場データに、図11(b)に示す点群データ122Aが統合される(ステップS514)。この統合により、図11(a)では記録されていなかった図示左側の駐車枠線のデータが点群地図124Aにおいて新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線について、点群地図124Aにおいてこれらを表す点の密度が濃くなる。
(動作例|実行フェーズ=位置推定モード+自動駐車モード その1)
 次に、点群地図124Aを利用した実行フェーズ、すなわち位置推定モードおよび自動駐車モードにおけるマッチング処理の動作例を説明する。この動作例では、図10(a)に示した駐車場901の全体に相当する駐車場データが点群地図124Aにおいてあらかじめ格納されているものとする。
 図12(a)は、駐車場901において車両1が駐車領域903に接近したときの現在位置を示す図である。図12(a)において、車両1は図示右方を向いている。
 図12(b)は、車両1が駐車場901の入り口から図12(a)に示した位置まで到達する間に位置推定モードで取得した局所周辺情報122Bを、局所座標系から駐車場座標系に変換したデータの例を示す図である。この図では、局所周辺情報122Bが表す駐車枠線および車両1の軌跡を、破線と点線でそれぞれ示している。破線で示す駐車枠線および軌跡は、有効範囲外の局所周辺情報122Bにおける駐車枠線および軌跡の各点、すなわちアウトライアリスト122Cに記載されてマッチング処理の対象外とされる点を表している。一方、点線で示す駐車枠線および軌跡は、有効範囲内の局所周辺情報122Bにおける駐車枠線および軌跡の各点を表している。
 図12(b)では、車両1が右方向に大きく旋回することで車両1の位置推定結果に誤差が生じているため、旋回前の局所周辺情報122Bでは駐車枠線にずれが生じており、駐車枠線の形状が本来の形状から変化している。したがって、局所周辺情報122Bの全体をそのままマッチングしても、点群地図124Aとは一致しないことが推察できる。そこで、図12(b)のように、旋回前の局所周辺情報122Bを除外し、有効軌跡を中心に所定の範囲内に入る点をマッチング処理に利用することで、正しいマッチングを実施できる。
(動作例|実行フェーズ その2)
 次に、上記とは別の実行フェーズにおけるマッチング処理の動作例を説明する。この動作例でも、図10(a)に示した駐車場901の全体に相当する駐車場データが点群地図124Aにおいてあらかじめ格納されているものとする。
 図13(a)は、駐車場901において車両1が駐車領域903に向かって走行しているときの現在位置を示す図である。図13(a)において、車両1は図示上方を向いている。
 図13(b)は、車両1が図13(a)に示した位置にいるときに、車両1の前方領域、すなわち図13(a)に破線の丸で囲んだ部分の駐車枠線をランドマーク測位して得られた局所周辺情報122Bの各点の座標値を、局所座標系から駐車場座標系に変換したデータの例を示す図である。すなわち、図13(b)に示すデータは、局所周辺情報122Bのうち、最新の撮影画像から検出されて図8のステップS642において処理された点群のデータである。ただし図13(b)では、このデータを点ではなく破線で表している。また図13(b)では、図13(a)との対比のために、車両1の位置もあわせて示している。図13(b)に示す例では、車両1の左側には駐車枠線のデータが切れ目なく存在している一方で、車両1の右側では駐車枠線のデータが車両1の手前側にのみ存在している。
 図13(c)は、車両1の駐車場座標系における位置の推定結果が誤差を含んでいた場合における、点群地図124Aと図13(b)に示した局所周辺情報122Bとの対比例を示す図である。図13(c)の例では、従前の位置推定結果がおおよそ駐車枠の幅の1つ分ずれていたため、車両1の右側に存在する局所周辺情報122Bは、点群地図124Aからずれが生じている。このような状態で、図8のステップS643において瞬間一致度ICが算出されると、車両1の右側に対する瞬間一致度ICは、前述のずれにより低い値となる。この値が閾値よりも低いと判断されると(ステップS644:NO)、駐車枠を周期的な特徴として検出し(ステップS645、S646:YES)、点群地図124Aから駐車枠の幅が算出される(ステップS647)。そして、駐車枠の幅の整数倍ごとに座標変換後の局所周辺情報122Bを移動させて、全体一致度IWが算出される(ステップS648)。
 図14(a)、(b)、(c)は、図13(c)に示した局所周辺情報122Bを駐車枠の幅の整数倍ずつ移動させた場合の点群地図124Aとの関係の例を示す図である。図14(a)~(c)では、座標変換後の局所周辺情報122Bを、駐車枠の幅の+1倍、0倍、-1倍だけ図示上方にそれぞれ移動させている。
 図14(a)では、局所周辺情報122Bが図示上側に駐車枠の幅の1つ分移動することで、局所周辺情報122Bと点群地図124Aとのずれが拡大している。そのため、図14(a)における全体一致度IWは、移動させない場合よりも小さくなる。図14(b)では、局所周辺情報122Bは移動しておらず、図13(c)で示したように、局所周辺情報122Bと点群地図124Aは駐車枠の幅の1つ分ずれている。図14(c)では、局所周辺情報122Bが図示下側に駐車枠の幅の1つ分移動することで、局所周辺情報122Bと点群地図124Aとが略一致している。そのため、図14(c)における全体一致度IWは、局所周辺情報122Bを移動させない場合よりも大きくなる。
 局所周辺情報122Bの移動量と全体一致度IWの増減とは上述する関係にあるので、図14に示す例では、図14(c)の場合に対応する全体一致度IWが最大と判断される。その結果、図14(c)で示した移動量に対応する座標変換式がRAM122に記憶される(ステップS649)。このようにして、車載処理装置120は推定する位置精度を向上させることができる。
 上述した実施の形態によれば、次の作用効果が得られる。
(1)車両1に搭載される情報処理装置である車載処理装置120は、車両1の周囲に存在する物体を検出する外界センサ群102からの情報に基づき、物体をそれぞれ表す複数の点に関する点群データ122Aを取得する点群データ取得部121Aと、車両1の移動量を推定する移動量推定部121Eと、車両1の走行経路上の地点を第1基準位置として、該第1基準位置に対する複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図124Aとして格納する記憶部124と、点群地図124A、点群データ122Aおよび車両1の移動量に基づき、車両1の位置を推定する位置推定部121Fとを備える。位置推定部121Fは、点群データ122Aおよび車両1の移動量に基づき、第1基準位置の地点と異なる車両1の走行経路上の地点を第2基準位置とする局所周辺情報122Bを生成し(図6のステップS623)、点群地図124Aおよび局所周辺情報122Bに基づき、第1基準位置と第2基準位置の関係を表す関係式(座標変換式)を算出する(図8のステップS649、S651)。そして、算出した座標変換式を用いて車両1の位置を推定する(図6のステップS626)。このようにしたので、地図データから車両1の位置を正確に推定することができる。
(2)車載処理装置120は、点群データ122Aおよび車両1の移動量に基づき点群地図124Aを生成する(図4のステップS514、S515)点群地図生成部121Cと、点群地図生成部121Cが生成する点群地図124Aの成立性に関して点群データ122Aを検証する(図4のステップS507)点群データ検証部121Bとをさらに備える。記憶部124には、点群地図生成部121Cにより生成された点群地図124Aが格納される。このようにしたので、車載処理装置120自身が位置推定において利用可能な点群地図124Aを作成することができるため、あらかじめ点群地図124Aを作成しておく必要がない。
(3)車載処理装置120は、点群データ検証部121Bによる点群データ122Aの検証結果をユーザに提示する(ステップS507)検証結果提示部、すなわち表示制御部121Gをさらに備える。このようにしたので、生成される点群地図124Aが位置推定に使えるものであるか否かをユーザに事前に知らせることができる。
(4)点群データ検証部121Bは、点群データ122Aにおける複数の点の分布状態と、移動量推定部121Eによる移動量の推定誤差と、車両1の制御に対する許容精度と、の少なくとも一つに基づき、点群地図124Aの成立性に関する点群データ122Aの検証を行うことができる。このようにすれば、点群地図124Aの成立性を事前に正確に判断することができる。
(5)車載処理装置120は、車両1の車速を検出する車速センサ108と、車両1の操舵角を検出する舵角センサ109とに接続されている。点群データ検証部121Bは、車両1の走行軌跡上の検証区間で取得した点群データ122Aを車両1の位置推定に利用するか否かを、局所的成立性および自律航法性の少なくともいずれかで検証することができる。この場合、局所的成立性は、点群データ122Aが所定以上の密度であり、かつ、新たな分布パターンである場合に満たされると判断される。また、自律航法性は、車両1が自律航法で走行可能な距離に応じて判断される。車両1が自律航法で走行可能な距離は、車速センサ108及び舵角センサ109の少なくともいずれかの誤差に基づく車両1の位置推定誤差と、車両1の制御に対する位置の許容精度と、に基づいて算出される。このようにすれば、点群データ122Aを車両1の位置推定に利用するか否かを正確に検証することができる。
(6)点群データ検証部121Bは、自律航法による位置推定誤差が所定以内の場合、局所的成立性が成立しない検証区間の点群データ122Aを位置推定に利用することもできる。このようにすれば、位置推定に利用可能な点群データ122Aを増加させ、位置推定の精度を向上させることができる。
(7)車載処理装置120は、位置推定部121Fによる車両1の位置推定結果に基づき、物体と車両1の位置関係を示した画像を表示装置111に表示させる(図5のステップS607)表示制御部121Gをさらに備える。このようにしたので、ランドマーク測位により検出した車両1の周囲の物体と車両1との位置関係をユーザに分かりやすく提示することができる。
(8)車載処理装置120は、位置推定部121Fが推定した車両1の位置に基づき、駐車場内の所定の駐車位置に車両1を移動させる(図9のステップS663)車両制御部121Hをさらに備える。点群地図124Aにおける複数の点は、駐車場の構成物をそれぞれ表しており、車両制御部121Hは、駐車位置と車両1の位置との差が所定値(10m)以内の場合(図5のステップS608:YES)に、自動駐車モードに遷移し(ステップS611)、ステップS663を実行して駐車位置に車両1を移動させる。このようにしたので、車両制御部121Hが車両1を駐車位置まで確実に移動可能な状況のときに、車両制御部121Hを動作させて車両1の移動を行うことができる。
(9)車両制御部121Hは、駐車場の緯度および経度と車両1の位置との差が所定の第1距離(100m)未満であり(図5のステップS601:YES)、かつ、点群地図124Aにおける駐車位置の座標値と位置推定部121Fが推定した車両1の位置との差が所定の第2距離(10m)未満である場合(図5のステップS608:YES)に、駐車位置に車両1を移動させる。このようにしたので、車両制御部121Hにより不要な車両制御が行われるのを防止し、駐車位置に車両1を確実に移動させることができる。
 上述した実施の形態によれば、さらに次の作用効果も得られる。
(10)車載処理装置120は、点群地図124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両1の位置を推定する。点群地図124Aはあらかじめ記憶部124に記憶された情報であり、局所周辺情報122Bは外界センサ群102、すなわちカメラ102A、ソナー102Bおよびレーダ102Cと、車速センサ108、および舵角センサ109の出力から生成される。すなわち車載処理装置120は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両1の位置を推定することができる。また車載処理装置120は、点群地図124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報122Bのデータの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置120による車両1の位置推定は外乱に強い。
(11)位置推定部121Fは、局所周辺情報122Bを構成するそれぞれの点に対応する点を点群地図124Aの中から探索し(図8のステップS650)、対応する点同士の距離が最小になるように駐車場座標系と局所座標系との座標変換式を推定する(図8のステップS651)。
(12)位置推定部121Fは、点群地図124Aまたは局所周辺情報122Bを構成する点と、この点と対応する点までの距離があらかじめ定められた閾値よりも遠い局所周辺情報122Bの点データを除外して、すなわちアウトライアリスト122Cを適用して(図8のステップS641、S653)探索および推定を行う。そのため、ノイズ成分とみなすことのできる距離が離れた点のデータを計算対象から除外するので、座標変換式の精度を向上することができる。
(13)点群地図124A、および局所周辺情報122Bに含まれる点は、二次元空間上の座標として表される。位置推定部121Fは、対応する点同士の距離があらかじめ定められた閾値よりも遠く、かつ局所周辺情報122Bにおける空間的に端部に位置する点を除外して探索および推定を行う。点群地図124Aの駐車場データに格納される点群は、地図記憶モードを開始した地点よりも駐車位置の近くのランドマークに関するものである。そのため、地図記憶モードを開始した地点よりも駐車位置から遠い地点で、図5に示すフローチャートに従って位置推定モードの動作が開始されると、点群地図124Aの駐車場データに格納されるいずれの点とも対応しない点が局所周辺情報122Bに含まれる。そのような点を含めてICP、すなわち図8のステップS650~S652の処理を行うと、適切な解が得られない。そこで、こうした点を排除することで、適切な解が得られるようにする。
(14)点群地図124Aには周期的な特徴が含まれる。位置推定部121Fは、駐車場座標系と局所座標系との座標変換式を推定した後に、対応する点同士の距離が短くなるように、周期的な特徴の1周期分の距離に基づき駐車場座標系と局所座標系との座標変換式を補正する(図8のステップS646~S648)。一般に、点群地図124Aに周期的な特徴が含まれると、その周期に相当する距離の整数倍ずれてマッチングしやすい傾向にある。一度そのようにずれてマッチングしてしまうと、繰り返し処理の性質から正しい位置へマッチングさせることが困難である。そこで、繰り返し処理の解が収束した後に、座標変換式をその周期の整数倍ずらすことで、この問題を解決する。換言すると、繰り返し計算により大域解から周期的な特徴の数周期分ずれた局所解に陥った可能性を考慮し、座標変換式を周期的な特徴に応じた分だけずらすことにより、大域解、または大域解により近い局所解を得ることができる。
(15)従前に推定した駐車場座標系における車両1の位置、点群データ取得部121Aが取得する最新の点群データ122Aの情報、および移動量推定部121Eが取得する最新の車両1の位置情報に基づき作成される、駐車場座標系における局所周辺情報122Bと、駐車場座標系における点群地図124Aとの一致度を示す指標である瞬間一致度ICが、あらかじめ定められた閾値よりも小さい場合に、位置推定部121Fは座標変換式の補正を行う(図8のステップS642~ステップS644)。そのため、図8のステップS645~S649の処理を常時実行するのではなく、その処理の必要性を検討して必要と判断される場合のみ実行することができる。
(16)車載処理装置120は、点群データ取得部121Aが取得する情報、および移動量推定部121Eが取得する車両1の位置情報に基づき、移動体を除いた物体の一部を表す点の第3座標系(記録座標系)における座標値が複数含まれる点群データ122Aを作成して、点群地図124Aとして記憶部124に格納する点群地図生成部121Cを備える。そのため車載処理装置120は、車載処理装置120を搭載する車両1が走行する際に点群地図124Aを作成することができる。点群地図124Aの作成処理と車両1の位置推定処理とはランドマーク測位の点で共通しており、プログラムモジュールを共通して使用することができる。
(17)第3座標系(記録座標系)は、点群データ122Aの作成を開始した際の車両1の位置および姿勢に基づいて設定される。点群地図生成部121Cは、点群データ122Aの作成を開始した際の車両の位置または姿勢が異なることにより座標系が異なる複数の点群データ122Aが得られると、車両1の駐車位置を基準として異なる座標系の関係を推定して複数の点群データ122Aを統合する(図4のステップS511、S514)。そのため、点群データ122Aを取得するたびに異なる記録座標系が設定されても、複数の点群データ122Aを統合することができる。これは、点群データ122Aの取得を開始する際の車両1の位置や姿勢は様々であるが、同じ駐車位置に車両1が駐車される点に注目している。
(18)車載処理装置120は、位置推定部121Fの出力に基づき車両1を駆動し、駐車場座標系におけるあらかじめ指定された駐車位置に車両1を移動させる車両制御装置130と、車両1の位置に関する情報(緯度経度)を受信するカーナビゲーションシステム107から車両1の緯度経度を取得する絶対位置取得部121Dとを備える。点群地図124Aを構成する点は、駐車場の構成物の一部を表す点である。記憶部124には、点群地図124Aとして駐車場の緯度経度もあわせて格納される。車載処理装置120は、車両制御装置130を用いて車両1を駐車位置に移動させる車両制御部121Hを備える。そのため車載処理装置120は、点群地図124Aに含まれる駐車位置へ車両1を自動駐車することができる。
(19)車載処理装置120は、カーナビゲーションシステム107と、車両1の周囲の点群をセンシングする外界センサ群102、すなわちセンサカメラ102A、ソナー102Bおよびレーダ102Cとを備え、点群地図生成部121Cにおいて、図2に示すような点群と緯度経度情報を紐付けしたデータフォーマットの点群地図124Aを生成する。この緯度経度情報を参照することで、周囲の点群の有無や道路地図との関係を判断でき、地図記憶モードや位置推定モードに自動で遷移することができる。そのため、ユーザがモード遷移のための操作をする必要がなくなり、車両1の走行中に地図の記憶や自動駐車にスムーズに移行することができる。
 なお、上述した実施の形態は、以下のように変形してもよい。
(1)表示制御部121Gは、図5のステップS607で自己位置の推定結果を示す画像を表示装置111に表示する際に、点群地図124Aの成立性に応じて画像の表示形態を変化させてもよい。すなわち、地図記憶モードで取得した点群データ122Aを点群地図124Aに記録する際には、前述のように地図成立性の有無を表す情報が点群地図124Aの部分ごとに、すなわち点群地図124Aに含まれる駐車場データの点ごとに記録される。この情報に基づき、ステップS607で表示装置111に表示する地図画像や俯瞰画像における地図成立性を部分ごとに判断し、地図成立性が高い部分と低い部分とで、色、明るさ、線の太さ等の表示形態を異ならせて表示する。このようにすれば、表示装置111に表示された自己位置の推定結果がどの程度信頼できるものであるかを、ユーザに分かりやすく知らせることができる。
(2)車両制御部121Hは、図9のステップS663で車両1を制御して移動させる際に、点群地図124Aの成立性に応じて車両1の移動範囲を制限してもよい。すなわち、地図記憶モードで取得した点群データ122Aを点群地図124Aに記録する際には、前述のように地図成立性の有無を表す情報が点群地図124Aの部分ごとに、すなわち点群地図124Aに含まれる駐車場データの点ごとに記録される。この情報に基づき、ステップS663で車両1を移動させる予定の地図範囲における地図成立性を判断し、地図成立性が低い領域には車両1が進入できないようにする。このようにすれば、車両1の移動中に、点群地図124Aの誤差により車両1が誤って壁等の障害物に衝突するのを防止することができる。
(3)車載処理装置120は、図5のステップS608の判定条件を削除して、位置推定モードにおいて自己位置推定が完了し、かつ、ユーザが自動駐車ボタン110Bを押している場合に、車両制御装置130を用いて車両1を駐車位置に移動させるようにしてもよい。すなわち、カーナビゲーションシステム107が測定する車両1の位置と駐車場の位置との距離の差があらかじめ定めた距離(100m)よりも短い場合に、車両制御装置130を用いて車両1を駐車位置に移動させるようにしてもよい。このようにすれば、車両1に搭載されるいずれのセンサも駐車位置を直接観測できない遠方をスタート地点として、点群地図124Aに含まれる駐車位置へと車両1を自動駐車することができる。
(4)車載処理装置120は、複数のカメラと接続されてもよい。車載処理装置120は、複数のカメラの撮影画像を用いることで、車両1の周辺に存在する広範囲のランドマークから点群データ122Aを抽出することができる。
(5)車載処理装置120は、車速センサ108や舵角センサ109からセンシング結果を受信しなくてもよい。この場合は、車載処理装置120は、たとえばカメラ102Aの撮影画像を用いて車両1の移動量を推定する。具体的には、車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、撮影画像中の被写体とカメラ102Aとの位置関係を算出する。そして、複数の撮影画像においてその被写体を追跡することにより、車両1の移動量および移動方向を推定することができる。
(6)点群地図124Aや点群データ122A、局所周辺情報122Bなどの点群情報は3次元情報として記憶部124やRAM122に格納されてもよい。この場合、3次元の点群情報は、2次元平面上に投影することにより実施形態と同様に2次元で他の点群と比較してもよいし、3次元同士で比較してもよい。たとえば、車載処理装置120は、以下のようにランドマークの3次元点群を得ることができる。すなわち、車速センサ108および舵角センサ109の出力に基づき算出した車両1の移動量と、カメラ102Aが出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の3次元点群を得ることができる。
(7)車載処理装置120は、図8のステップS644において、1回だけの否定判定によりステップS645に進むのではなく、複数回連続で否定判定された場合にステップS645に進んでもよい。
(8)車載処理装置120は、図8のステップS644の判断に代えて、局所周辺情報122Bにおいて適用範囲外(アウトライア)と判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。この場合、その割合が閾値よりも大きい場合はステップS645に進み、その割合が閾値以下の場合はステップS650に進む。さらに車載処理装置120は、図8のステップS644の判断に加えて前述の割合が大きい場合にのみ、ステップS645に進んでもよい。
(9)車載処理装置120は、図8のステップS645、S647の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部124に記録してもよい。
(10)車載処理装置120は、ユーザからの動作指令を車両1の内部に設けられた入力装置110からだけでなく、通信装置114から受信してもよい。たとえばユーザの所持する携帯端末と通信装置114が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置120は自動駐車ボタン110Bが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置120はユーザが車両1の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。
(11)車載処理装置120は、点群地図124Aに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置120が表示装置111に駐車位置の候補を表示し、ユーザが入力装置110によりそのいずれかを選択することにより行われる。
(12)車載処理装置120は、通信装置114を経由して外部から点群地図124Aを受信してもよいし、作成した点群地図124Aを通信装置114を経由して外部に送信してもよい。この場合、車載処理装置120が点群地図124Aを送受信する相手は、他の車両に搭載された別の車載処理装置120でもよいし、駐車場を管理する組織が管理する装置でもよい。
(13)自動駐車システム100は、カーナビゲーションシステム107に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度経度の代わりに記録してもよい。基地局の通信範囲は数百m程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。
(14)点群地図124Aの駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの1つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。
(15)上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。
(16)車載処理装置120は、地図記憶モードにおいて、ランドマーク測位により検出したランドマークを識別し、それぞれのランドマークの識別結果を点群地図124Aに併せて記録してもよい。ランドマークの識別には、たとえば撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置120は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を点群地図124Aに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。
 以上説明した実施形態や各種の変形例はあくまで一例である。本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2018-104102(2018年5月30日出願)
1 … 車両
100 … 自動駐車システム
102 … 外界センサ群
102A … カメラ
102B … ソナー
102C … レーダ
107 … カーナビゲーションシステム
108 … 車速センサ
109 … 舵角センサ
110 … 入力装置
110A … 応答ボタン
110B … 自動駐車ボタン
111 … 表示装置
114 … 通信装置
120 … 車載処理装置
121 … 演算部
121A … 点群データ取得部
121B … 点群データ検証部
121C … 点群地図生成部
121D … 絶対位置取得部
121E … 移動量推定部
121F … 位置推定部
121G … 表示制御部
121H … 車両制御部
121I … モード切り替え部
122 … RAM
122A … 点群データ
122B … 局所周辺情報
122C … アウトライアリスト
123 … ROM
124 … 記憶部
124A … 点群地図
125 … インタフェース
130 … 車両制御装置
IB … 点群一致率
IC … 瞬間一致度
IW … 全体一致度

Claims (11)

  1.  車両に搭載される情報処理装置であって、
     前記車両の周囲に存在する物体を検出するセンサからの情報に基づき、前記物体をそれぞれ表す複数の点に関する点群データを取得する点群データ取得部と、
     前記車両の移動量を推定する移動量推定部と、
     前記車両の走行経路上の地点を第1基準位置として、該第1基準位置に対する前記複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図として格納する記憶部と、
     前記点群地図、前記点群データおよび前記移動量に基づき、前記車両の位置を推定する位置推定部と、
    を備え、
     前記位置推定部は、
     前記点群データおよび前記移動量に基づき、前記第1基準位置の地点と異なる前記車両の走行経路上の地点を第2基準位置とする局所周辺情報を生成し、
     前記点群地図および前記局所周辺情報に基づき、前記第1基準位置と前記第2基準位置の関係を表す関係式を算出し、
     前記関係式を用いて前記車両の位置を推定する情報処理装置。
  2.  請求項1に記載の情報処理装置において、
     前記点群データおよび前記移動量に基づき前記点群地図を生成する点群地図生成部と、
     前記点群地図生成部が生成する前記点群地図の成立性に関して前記点群データを検証する点群データ検証部と、をさらに備え、
     前記記憶部には、前記点群地図生成部により生成された前記点群地図が格納される情報処理装置。
  3.  請求項2に記載の情報処理装置において、
     前記点群データ検証部による前記点群データの検証結果をユーザに提示する検証結果提示部をさらに備える情報処理装置。
  4.  請求項2に記載の情報処理装置において、
     前記点群データ検証部は、前記点群データにおける前記複数の点の分布状態と、前記移動量推定部による前記移動量の推定誤差と、前記車両の制御に対する許容精度と、の少なくとも一つに基づき、前記点群地図の成立性に関する前記点群データの検証を行う情報処理装置。
  5.  請求項2に記載の情報処理装置において、
     前記情報処理装置は、前記車両の車速を検出する車速センサと、前記車両の操舵角を検出する舵角センサと、に接続されており、
     前記点群データ検証部は、前記車両の走行軌跡上の検証区間で取得した前記点群データを前記車両の位置推定に利用するか否かを、局所的成立性および自律航法性の少なくともいずれかで検証するものであって、
     前記局所的成立性は、前記点群データが所定以上の密度であり、かつ、新たな分布パターンである場合に満たされると判断され、
     前記自律航法性は、前記車両が自律航法で走行可能な距離に応じて判断され、
     前記車両が自律航法で走行可能な距離は、前記車速センサ及び前記舵角センサの少なくともいずれかの誤差に基づく前記車両の位置推定誤差と、前記車両の制御に対する位置の許容精度と、に基づいて算出される情報処理装置。
  6.  請求項5に記載の情報処理装置において、
     前記点群データ検証部は、前記自律航法による前記位置推定誤差が所定以内の場合、前記局所的成立性が成立しない前記検証区間の前記点群データを前記位置推定に利用する情報処理装置。
  7.  請求項1から請求項6のいずれか一項に記載の情報処理装置において、
     前記位置推定部による前記車両の位置推定結果に基づき、前記物体と前記車両の位置関係を示した画像を表示装置に表示させる表示制御部をさらに備える情報処理装置。
  8.  請求項7に記載の情報処理装置において、
     前記記憶部には、前記点群地図の成立性に関する成立性情報が前記点群地図の部分ごとにさらに格納され、
     前記表示制御部は、前記成立性情報に基づき前記点群地図の成立性に応じて前記画像の表示形態を変化させる情報処理装置。
  9.  請求項1から請求項6のいずれか一項に記載の情報処理装置において、
     前記位置推定部が推定した前記車両の位置に基づき前記車両を移動させる車両制御部をさらに備え、
     前記記憶部には、前記点群地図の成立性に関する成立性情報が前記点群地図の部分ごとにさらに格納され、
     前記車両制御部は、前記成立性情報に基づき前記車両の移動範囲を制限する情報処理装置。
  10.  請求項1から請求項6のいずれか一項に記載の情報処理装置において、
     前記位置推定部が推定した前記車両の位置に基づき、駐車場内の所定の駐車位置に前記車両を移動させる車両制御部をさらに備え、
     前記点群地図における前記複数の点は、前記駐車場の構成物をそれぞれ表しており、
     前記車両制御部は、前記駐車位置と前記車両の位置との差が所定値以内の場合に、前記駐車位置に前記車両を移動させる情報処理装置。
  11.  請求項10に記載の情報処理装置において、
     前記車両制御部は、前記駐車場の緯度および経度と前記車両の位置との差が所定の第1距離未満であり、かつ、前記点群地図における前記駐車位置と前記位置推定部が推定した前記車両の位置との差が所定の第2距離未満である場合に、前記駐車位置に前記車両を移動させる情報処理装置。
PCT/JP2019/008631 2018-05-30 2019-03-05 情報処理装置 WO2019230098A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19812343.2A EP3805702B1 (en) 2018-05-30 2019-03-05 Information processing device
CN201980036783.XA CN112204348A (zh) 2018-05-30 2019-03-05 信息处理装置
US17/059,129 US11560160B2 (en) 2018-05-30 2019-03-05 Information processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-104102 2018-05-30
JP2018104102A JP7137359B2 (ja) 2018-05-30 2018-05-30 情報処理装置

Publications (1)

Publication Number Publication Date
WO2019230098A1 true WO2019230098A1 (ja) 2019-12-05

Family

ID=68697952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008631 WO2019230098A1 (ja) 2018-05-30 2019-03-05 情報処理装置

Country Status (5)

Country Link
US (1) US11560160B2 (ja)
EP (1) EP3805702B1 (ja)
JP (1) JP7137359B2 (ja)
CN (1) CN112204348A (ja)
WO (1) WO2019230098A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022049615A1 (ja) * 2020-09-01 2022-03-10 株式会社ネイン 情報処理システム、情報処理方法およびコンピュータプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6819797B2 (ja) * 2017-11-30 2021-01-27 日本電気株式会社 位置推定装置、位置推定方法とプログラム、並びに、位置推定システム
JP2020017199A (ja) * 2018-07-27 2020-01-30 パイオニア株式会社 情報処理装置
US11372097B2 (en) * 2018-10-09 2022-06-28 Metawave Corporation Method and apparatus for phase unwrapping radar detections using optical flow
JP7479108B2 (ja) 2020-01-31 2024-05-08 パナソニックオートモーティブシステムズ株式会社 情報処理装置、情報処理方法
JP2022055218A (ja) * 2020-09-28 2022-04-07 国立大学法人 東京大学 経路案内装置、経路案内システム、及びプログラム
CN112735130B (zh) * 2020-12-25 2022-05-10 阿波罗智联(北京)科技有限公司 交通数据的处理方法、装置、电子设备和介质
JP2022175366A (ja) * 2021-05-13 2022-11-25 日立Astemo株式会社 地図生成・自己位置推定装置
JP2023019930A (ja) * 2021-07-30 2023-02-09 キヤノン株式会社 情報処理装置、移動体、情報処理装置の制御方法およびプログラム
CN116486639B (zh) * 2023-06-14 2023-09-29 眉山环天智慧科技有限公司 一种基于遥感和北斗卫星数据分析的车辆监管方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010032398A (ja) * 2008-07-30 2010-02-12 Alpine Electronics Inc ナビゲーションシステムの位置検出装置および位置検出方法
JP2012141662A (ja) 2010-12-28 2012-07-26 Toyota Motor Corp ロボットの自己位置推定方法
JP2015077862A (ja) * 2013-10-16 2015-04-23 トヨタ自動車株式会社 駐車支援装置
WO2016189732A1 (ja) * 2015-05-28 2016-12-01 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP2018004343A (ja) * 2016-06-29 2018-01-11 クラリオン株式会社 車載処理装置
WO2018020589A1 (ja) * 2016-07-26 2018-02-01 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JP2018104102A (ja) 2014-09-26 2018-07-05 キヤノンマーケティングジャパン株式会社 錠剤供給システム、情報処理装置、その制御方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3595680B2 (ja) * 1998-05-19 2004-12-02 クラリオン株式会社 ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP4277717B2 (ja) * 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
JP2006072431A (ja) * 2004-08-31 2006-03-16 Matsushita Electric Ind Co Ltd 自動駐車システム
JP4483589B2 (ja) * 2005-01-12 2010-06-16 日産自動車株式会社 車両用情報提供装置
JP5634046B2 (ja) * 2009-09-25 2014-12-03 クラリオン株式会社 センサコントローラ、ナビゲーション装置、センサ制御方法
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
JP5926558B2 (ja) * 2011-12-29 2016-05-25 クラリオン株式会社 車両用情報システムおよびサーバ装置
GB2501466A (en) * 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
DE102013015348A1 (de) * 2013-09-17 2014-04-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs
DE102014224077A1 (de) * 2014-11-26 2016-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum assistierten Führen eines Fahrzeugs
DE102015201209A1 (de) * 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet Parking-Verfahren und Valet-Parking System
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
US10719719B2 (en) * 2018-03-02 2020-07-21 Here Global B.V. Method, apparatus, and computer program product for determining if probe data points have been map-matched

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010032398A (ja) * 2008-07-30 2010-02-12 Alpine Electronics Inc ナビゲーションシステムの位置検出装置および位置検出方法
JP2012141662A (ja) 2010-12-28 2012-07-26 Toyota Motor Corp ロボットの自己位置推定方法
JP2015077862A (ja) * 2013-10-16 2015-04-23 トヨタ自動車株式会社 駐車支援装置
JP2018104102A (ja) 2014-09-26 2018-07-05 キヤノンマーケティングジャパン株式会社 錠剤供給システム、情報処理装置、その制御方法及びプログラム
WO2016189732A1 (ja) * 2015-05-28 2016-12-01 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP2018004343A (ja) * 2016-06-29 2018-01-11 クラリオン株式会社 車載処理装置
WO2018020589A1 (ja) * 2016-07-26 2018-02-01 日産自動車株式会社 自己位置推定方法及び自己位置推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3805702A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022049615A1 (ja) * 2020-09-01 2022-03-10 株式会社ネイン 情報処理システム、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
EP3805702A4 (en) 2022-03-16
US20210206391A1 (en) 2021-07-08
EP3805702A1 (en) 2021-04-14
JP2019207214A (ja) 2019-12-05
CN112204348A (zh) 2021-01-08
EP3805702B1 (en) 2024-04-24
US11560160B2 (en) 2023-01-24
JP7137359B2 (ja) 2022-09-14

Similar Documents

Publication Publication Date Title
WO2019230098A1 (ja) 情報処理装置
JP6649191B2 (ja) 車載処理装置
JP6843712B2 (ja) 車載処理装置
JP7393128B2 (ja) 車載処理装置、移動支援システム
EP2438401B1 (en) Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
JP7132037B2 (ja) 車載処理装置
JP6757261B2 (ja) 車載処理装置
EP3939863A1 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
JP7227763B2 (ja) 車載処理装置、位置推定方法、出庫システム
CN113997931B (zh) 俯瞰图像生成装置、俯瞰图像生成系统及自动泊车装置
WO2023037570A1 (ja) 車載処理装置、車両制御装置、及び自己位置推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19812343

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019812343

Country of ref document: EP

Effective date: 20210111