WO2019098002A1 - 情報処理装置、情報処理方法、プログラム、及び移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び移動体 Download PDF

Info

Publication number
WO2019098002A1
WO2019098002A1 PCT/JP2018/040213 JP2018040213W WO2019098002A1 WO 2019098002 A1 WO2019098002 A1 WO 2019098002A1 JP 2018040213 W JP2018040213 W JP 2018040213W WO 2019098002 A1 WO2019098002 A1 WO 2019098002A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
vehicle
processing apparatus
information processing
Prior art date
Application number
PCT/JP2018/040213
Other languages
English (en)
French (fr)
Inventor
諒 渡辺
雅貴 豊浦
隆盛 山口
遼 高橋
啓輔 前田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018005907.3T priority Critical patent/DE112018005907T5/de
Priority to US16/763,223 priority patent/US11661084B2/en
Publication of WO2019098002A1 publication Critical patent/WO2019098002A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B60W2050/065Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot by reducing the computational load on the digital processor of the control computer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • the present technology relates to an information processing apparatus that controls movement of a mobile, an information processing method, a program, and a mobile.
  • Patent Document 1 describes a guidance control device of a mobile robot.
  • a route to a destination of a robot is planned using map information including information on a signpost that is characteristic of a mobile environment.
  • the robot is moved along the path, and the position and orientation data of the robot is monitored based on the amount of movement.
  • the position / posture data is appropriately updated by a position / posture estimation value estimated from a camera image or the like obtained by photographing a signpost.
  • the path of the robot is replanned based on the updated position and posture of the robot. By repeating these cycles, it is possible to move the robot to the destination.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, a program, and a moving object capable of realizing stable movement control by controlling processing load required for movement control. It is.
  • an information processing apparatus includes an estimation unit, a generation unit, and a frequency control unit.
  • the estimation unit estimates at least one of the position and the posture of the moving body.
  • the generation unit generates a movement plan for moving the moving body.
  • the frequency control unit controls the update frequency of the movement plan by the generation unit based on load index information that is an index of the load of the estimation unit.
  • the update frequency of the movement plan of the moving body is controlled based on load index information that is an index of the load of the estimation unit that estimates at least one of the position and the attitude of the moving body.
  • the load indicator information may include a certainty factor of the estimation result by the estimation unit.
  • the frequency control unit may control the update frequency of the movement plan based on the certainty factor.
  • the frequency control unit may set the update frequency higher as the certainty factor is higher, and set the update frequency lower as the certainty factor is lower. This makes it possible to balance processing loads of, for example, position and orientation estimation processing and movement plan generation processing, and sufficiently stable movement control can be realized.
  • the frequency control unit may change the update frequency linearly with respect to a change in the certainty factor.
  • the generation unit may generate each of a global movement plan and a local movement plan of the mobile unit.
  • the frequency control unit may control the update frequency of the global movement plan based on the certainty factor. This makes it possible to control the processing load required for updating the global movement plan, and to properly control the overall processing load involved in movement control.
  • the global movement plan may include a path plan to a destination of the mobile. As a result, it becomes possible to control the update frequency of the route plan, and it becomes possible to control the processing load required for movement control sufficiently.
  • the local movement plan may include a trajectory plan that indicates the movement direction of the mobile body from the current location. For example, by using a trajectory plan, the entire processing load can be controlled without stopping the moving object, and stable and high-speed movement control can be realized.
  • the mobile unit may have an operation sensor that detects operation information related to the operation of the mobile unit.
  • the estimation unit may perform an estimation process by autonomous navigation based on the motion information detected by the motion sensor, and calculate the certainty factor of the estimation result.
  • the mobile unit may have a peripheral sensor that detects peripheral information on a peripheral environment of the mobile unit.
  • the estimation unit searches for one or more reference information related to the surrounding environment of the mobile body based on the estimation result, and the one or more searched reference information and the surrounding information detected by the surrounding sensor Correction reference information for correcting the estimation result may be determined by executing the matching process of As a result, it is possible to correct the position and attitude of the moving object using the correction reference information, and it is possible to improve the accuracy of movement control.
  • the estimation unit may set a search range of the reference information based on the certainty factor. This makes it possible to set an appropriate search range according to the degree of certainty of the position and orientation of the moving object. As a result, it is possible to properly correct the position and attitude of the moving body.
  • the estimation unit may set the search range narrower as the certainty factor is higher, and set the search range wider as the certainty factor is lower. As a result, it becomes possible to properly correct the position and attitude of the moving body, and it becomes possible to realize highly accurate movement control.
  • the load index information may include execution information on whether or not the correction processing of the estimation result based on the correction reference information is performed.
  • the correction process may be a process of correcting the current and past estimation results of the moving body.
  • the route or the like through which the moving object passes can be calculated with high accuracy, and the peripheral map or the like of the moving object can be generated with high accuracy.
  • highly accurate movement control can be realized.
  • the frequency control unit may stop the update of the movement plan by the generation unit based on the execution information. Thereby, it is possible to sufficiently avoid the influence due to the increase of the processing load accompanying the execution of the correction processing. As a result, it is possible to significantly stabilize movement control of the mobile body.
  • the generation unit may generate each of a global movement plan and a local movement plan of the mobile unit.
  • the frequency control unit may stop the update of the global movement plan by the generation unit based on the execution information.
  • the estimation unit may determine whether or not to execute the correction process, and may execute the correction process according to the determination result. This makes it possible to execute the correction process at an appropriate timing. As a result, for example, unnecessary processing can be reduced, and processing load can be suppressed.
  • the estimation unit may output information indicating that the correction process is to be performed as the execution information to the frequency control unit when it is determined that the correction process is to be performed.
  • control of the processing load can be started according to the timing determined to execute the correction processing, and stable movement control can be realized while avoiding an increase in the processing load due to the correction processing. It becomes possible.
  • An information processing method is an information processing method executed by a computer system, and includes estimating at least one of a position and a posture of a moving object.
  • a movement plan for moving the mobile body is generated.
  • the update frequency of the movement plan is controlled based on load index information that is an index of the load of estimation processing for estimating at least one of the position and orientation of the moving object.
  • An information processing method causes a computer system to execute the following steps. Estimating at least one of the position and the attitude of the moving body. Generating a movement plan for moving the mobile object. Controlling the update frequency of the movement plan based on load index information serving as an index of load of estimation processing for estimating at least one of the position and attitude of the moving object.
  • a mobile includes an estimation unit, a generation unit, a frequency control unit, and a movement control unit.
  • the estimation unit estimates at least one of the position and the posture of the moving body.
  • the generation unit generates a movement plan for moving the moving body.
  • the frequency control unit controls the update frequency of the movement plan by the generation unit based on load index information that is an index of the load of the estimation unit.
  • the movement control unit controls movement of the moving body based on the generated movement plan.
  • the present technology it is possible to realize stable movement control by controlling the processing load required for movement control.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • FIG. 1 is an external view showing a configuration example of a vehicle equipped with an automatic driving control unit according to a first embodiment of the present technology. It is a block diagram showing an example of composition of a vehicle control system which controls vehicles. It is a block diagram which shows the structural example of the self-position estimation part shown in FIG. 2, and a plan part. It is a table
  • FIG. 1 is an external view showing a configuration example of a vehicle equipped with an automatic driving control unit according to a first embodiment of the present technology.
  • FIG. 1A is a perspective view showing a configuration example of a vehicle 10
  • FIG. 1B is a schematic view when the vehicle 10 is viewed from above.
  • the vehicle 10 has an automatic driving function capable of automatically traveling to a destination.
  • the vehicle 10 is an example of a moving body according to the present embodiment.
  • the vehicle 10 includes various sensors 20 used for automatic driving.
  • an imaging device 21 and a distance sensor 22 directed to the front of the vehicle 10 are schematically illustrated.
  • the imaging device 21 and the distance sensor 22 function as an external sensor 25 described later.
  • the wheel encoder 23 which detects rotation of each wheel, etc. is typically shown in figure by FIG. 1B.
  • the wheel encoder 23 functions as an internal sensor 24 described later.
  • various sensors 20 are mounted on the vehicle 10, and movement control of the vehicle 10 is performed based on the output from the sensors 20.
  • FIG. 2 is a block diagram showing a configuration example of a vehicle control system 100 that controls the vehicle 10.
  • the vehicle control system 100 is a system that is provided in the vehicle 10 and performs various controls of the vehicle 10.
  • the vehicle 10 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. Connected to each other.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle 10 and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle 10.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather, etc., and an ambient information detection sensor for detecting an object around the vehicle 10.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle 10.
  • the data acquisition unit 102 includes a GNSS receiver or the like that receives a satellite signal (hereinafter, referred to as a GNSS signal) from a Global Navigation Satellite System (GNSS) satellite that is a navigation satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging a driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in a vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI (registered trademark)), or an MHL (Universal Serial Bus) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Universal Serial Bus
  • the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, the communication unit 103 may use a P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or a shop terminal, or a MTC (Machine Type Communication) terminal) existing in the vicinity of the vehicle 10. Communicate. Further, for example, the communication unit 103 may perform vehicle to vehicle communication, vehicle to infrastructure communication, communication between the vehicle 10 and a house, and communication between the vehicle 10 and the pedestrian. ) V2X communication such as communication is performed. Also, for example, the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • an apparatus for example, an application server or control server
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device of a passenger, an information device carried in or attached to the vehicle 10, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the occupant of the vehicle 10 or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an
  • the output unit 106 includes a device capable of outputting visual information or auditory information to an occupant of the vehicle 10 or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the driveline system 108 includes various devices related to the driveline of the vehicle 10.
  • the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than a high-accuracy map and covers a wide area, and information around the vehicle 10 Remember.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce the impact of the vehicle 10, follow-up traveling based on the inter-vehicle distance, vehicle speed maintenance traveling, collision warning of the vehicle 10, lane departure warning of the vehicle 10, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • ADAS Advanced Driver Assistance System
  • the automatic driving control unit 112 corresponds to the information processing apparatus according to the present embodiment, and includes hardware necessary for a computer such as a CPU, a RAM, and a ROM.
  • the information processing method according to the present technology is executed by the CPU loading a program according to the present technology stored in advance in the ROM into the RAM and executing the program.
  • the specific configuration of the automatic driving control unit 112 is not limited, and for example, a device such as a programmable logic device (PLD) such as a field programmable gate array (FPGA) or another application specific integrated circuit (ASIC) may be used.
  • PLD programmable logic device
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • the automatic driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • each functional block is configured by the CPU of the automatic driving control unit 112 executing a predetermined program.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle 10 based on data or signals from each unit of the vehicle control system 100. For example, the outside information detection unit 141 performs detection processing of an object around the vehicle 10, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like. Further, for example, the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle 10.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 detects the state of the vehicle 10 based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle 10 to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other on-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • Self position estimation unit 132 estimates the position and orientation of vehicle 10 based on data or signals from each part of vehicle control system 100 such as external information detection unit 141 and situation recognition unit 153 of situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133.
  • the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the self position estimation unit 132 accesses the reference information database 26 (see FIG. 3) in which the reference information on the surrounding environment of the vehicle 10 is recorded, and corrects the estimation result of the position and attitude of the vehicle 10 using the reference information. Perform correction processing.
  • the self position estimation unit 132 will be described in detail later with reference to FIG. In the present embodiment, the self-position estimation unit 132 corresponds to an estimation unit.
  • the situation analysis unit 133 analyzes the situation of the vehicle 10 and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 supplies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, and the planning unit 134.
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle 10 based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of signals around the vehicle 10, the contents of traffic restrictions around the vehicle 10, and the travelable lanes and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle 10 is performed. For example, the situation recognition unit 153 performs recognition processing of the situation of the vehicle 10, the situation around the vehicle 10, the situation of the driver of the vehicle 10, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the vehicle 10 as needed.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the vehicle 10 to be recognized includes, for example, the position, attitude, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle 10, and the presence or absence and contents of abnormality.
  • the circumstances around the vehicle 10 to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (eg, speed, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs a prediction process of the situation regarding the vehicle 10 based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the vehicle 10, the situation around the vehicle 10, the situation of the driver, and the like.
  • the situation of the vehicle 10 to be predicted includes, for example, the behavior of the vehicle 10, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle 10 to be predicted includes, for example, the behavior of the moving object around the vehicle 10, the change of the signal state, and the change of the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 supplies the data indicating the result of the prediction process to the planning unit 134 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153.
  • the planning unit 134 generates a movement plan for moving the vehicle 10.
  • the movement plan includes various plans relating to a route, an operation, and the like for performing the automatic driving of the vehicle 10.
  • the planning unit 134 plans a route, an operation, and the like (movement plan) of the vehicle 10 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154.
  • the planning unit 134 also supplies data such as the route and operation of the vehicle 10 to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the planning unit 134 will be described in detail later with reference to FIG.
  • the planning unit 134 corresponds to a generation unit.
  • the operation control unit 135 controls the operation of the vehicle 10.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entry into a danger zone, driver abnormality, vehicle 10 Perform detection processing of an emergency such as When the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the vehicle 10 for avoiding an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the vehicle 10 to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle 10 planned by the planning unit 134 or the emergency situation avoidance unit 171. For example, the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle 10 planned by the planning unit 134 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates a control target value of a steering mechanism for realizing a traveling track or a sudden turn planned by the planning unit 134 or the emergency situation avoidance unit 171, and a control command indicating the calculated control target value Are supplied to the drive system control unit 107.
  • the movement control unit is realized by the cooperation of the acceleration / deceleration control unit 172 and the direction control unit 173.
  • FIG. 3 is a block diagram showing a configuration example of the self-position estimation unit 132 and the planning unit 134 shown in FIG. As shown in FIG. 3, information necessary for estimating the self position of the vehicle 10 is supplied to the self position estimation unit 132 from each of the internal sensor 24, the external sensor 25, and the reference information database 26.
  • the internal sensor 24 and the external sensor 25 are configured by the sensor 20 provided in the data acquisition unit 102.
  • FIG. 4 is a table showing an example of the internal sensor 24 and the external sensor 25. As shown in FIG. In the table of FIG. 4, the type of recognizer, the physical quantity obtained using the recognizer, whether the absolute value of the position / posture can be measured, and the detection rate for each of the internal sensor 24 and the external sensor 25, and the detection rate It is described about.
  • the internal sensor 24 is a sensor that detects operation information related to the operation of the vehicle 10.
  • operation information of the vehicle 10 physical quantities such as the velocity, acceleration, relative position (movement amount), and angular velocity of the vehicle 10 are detected. These physical quantities are quantities that can be continuously detected by the inside sensor 24 at a high acquisition rate as the vehicle 10 moves (operates).
  • the internal sensor 24 does not measure the position (absolute position) of the vehicle 10 on the map (absolute position) or the orientation (absolute attitude) of the vehicle 10, but is a sensor that detects the state of the vehicle 10 itself, that is, the internal field. It can be said that there is.
  • the internal sensor 24 corresponds to a motion sensor.
  • the internal sensor 24 includes an acceleration sensor, a gyro sensor, an inertial measurement unit (IMU), a wheel encoder 23 and the like.
  • IMU inertial measurement unit
  • the internal sensor 24 includes an acceleration sensor, a gyro sensor, an inertial measurement unit (IMU), a wheel encoder 23 and the like.
  • a camera or the like is also included in the internal sensor 24.
  • the type of the internal sensor 24 is not limited, and a sensor that detects an operation amount of an accelerator, a brake, a steering, or the like, or a sensor that detects an engine rotational speed or a motor rotational speed may be used as appropriate.
  • the motion information detected by the inside sensor 24 is supplied to the DR processing unit 30 of the self position estimation unit 132 via the vehicle state detection unit 143 and the situation recognition unit 153 shown in FIG. 1.
  • illustration of the vehicle state detection part 143 and the condition recognition part 153 is abbreviate
  • the external sensor 25 is a sensor that detects peripheral information related to the peripheral environment of the vehicle 10.
  • image information, depth information (point cloud data) and the like of roads and buildings around the vehicle 10 are detected as the peripheral information of the vehicle 10.
  • point cloud data point cloud data
  • an absolute value or the like of the position and orientation of the vehicle 10 in the map coordinate system is detected. This point will be described in detail later.
  • the external sensor 25 detects various objects such as a stereo camera and a monocular camera for detecting information outside the vehicle 10 and a distance for detecting an object around the vehicle 10.
  • a sensor 22 ToF sensor, LiDAR sensor, etc.
  • the type or the like of the external sensor 25 is not limited, and any sensor capable of detecting the peripheral information of the vehicle 10 may be used as the external sensor 25, for example.
  • the surrounding information detected by the external world sensor 25 is supplied to the matching processing unit 31 of the self position estimation unit 132 via the outside information detection unit 141 shown in FIG.
  • illustration of the exterior information detection part 141 is abbreviate
  • the external sensor 25 corresponds to a peripheral sensor.
  • the reference information database 26 is a database storing a plurality of reference information, and is provided in the storage unit 111.
  • the reference information is information referred to by the self position estimation unit 132, and is acquired in advance and stored in the reference information database 26 before the reference processing is performed.
  • the reference information is, for example, information in which image information obtained by imaging a traveling environment in which the vehicle 10 or the like travels is associated with a position at which the image information is imaged and an imaging direction. Further, for example, information in which depth information of a traveling environment is associated with a position at which the depth information is measured and a measurement direction may be used as reference information.
  • the specific configuration of the reference information is not limited.
  • an image feature point (a position and a feature amount of the feature point) detected from the image information or a point group registration detected from the depth information may be stored.
  • image information and depth information stored as reference information are described as key frames, and the position at which the image information and depth information are acquired and the acquired direction are described as the acquisition position and acquisition direction of the key frame. There is a case.
  • the reference information is acquired by another vehicle different from the vehicle 10 (hereinafter referred to as a map generation vehicle).
  • the map generation vehicle acquires a key frame (image information and depth information) in front of the map generation vehicle using a camera or the like mounted on the vehicle.
  • the acquired key frame is associated with the position and orientation of the map generation vehicle at the time of acquisition in the map coordinate system, and is uploaded to a server or the like.
  • the method for acquiring the position and orientation of the map generation vehicle is not limited.
  • the position of the map generation vehicle based on at least one or more of a GNSS (Global Navigation Satellite System) signal (output of a GPS sensor) which is a satellite signal from a navigation satellite, a geomagnetic sensor, wheel odometry, and SLAM.
  • a GNSS Global Navigation Satellite System
  • the posture may be acquired.
  • the number of vehicles for map generation etc. is not limited, One or more vehicles for map generation may be used suitably.
  • the vehicle 10 configures the reference information database 26 by downloading the reference information uploaded to the server or the like to the storage unit 111 as appropriate.
  • the reference information database 26 may be provided in a server etc.
  • the vehicle 10 appropriately accesses the server or the like to reference or download the necessary reference information.
  • the self-position estimation unit 132 includes a dead reckoning (DR) processing unit 30, a matching processing unit 31, a place recognition processing unit 32, and a correction processing unit 33.
  • the dead reckoning processing unit 30 will be referred to as a DR processing unit 30.
  • the self-position estimation unit 132 performs processing of stochastically estimating the state quantity including the position and attitude of the vehicle 10.
  • the state quantity of the vehicle 10 is treated as a random variable represented by a probability distribution (probability density). For example, the probability that the vehicle 10 exists at a certain position, the probability that the vehicle 10 is pointing in a certain direction, etc. are calculated Be done.
  • the position z in the height direction of the vehicle an angle indicating a posture such as pan, roll, or yaw may be set as the state amount.
  • a state quantity including other parameters such as the speed of the vehicle 10 may be set.
  • a process using a Kalman filter or a particle filter is used as an algorithm for performing the probabilistic estimation process.
  • filters are appropriately designed according to, for example, the amount of state to be estimated.
  • the present invention is not limited to this, and any process or the like capable of performing self-position estimation may be used.
  • the following description will be given taking a Kalman filter as an example.
  • m are calculated.
  • m respectively represent an estimated value of the state quantity at time n at time m and an error covariance matrix.
  • prediction processing and update processing are executed at each time step.
  • the prediction processing is performed, for example, at one time ago based on the result (R t-1
  • the updating process for example, updates the result (R t
  • the estimation result by each of the prediction process and the update process is appropriately calculated according to the situation.
  • m may be omitted and simply described as the estimated value and the error covariance matrix.
  • the DR processing unit 30 estimates the position and attitude of the vehicle 10 by dead reckoning processing.
  • the dead reckoning process is a process of estimating the position and attitude of the vehicle 10 based on the operation (operation information) of the vehicle 10 itself detected by the internal sensor 24.
  • the dead reckoning process corresponds to autonomous navigation.
  • the wheel encoder 23 For example, based on the amount of rotation of the wheel detected at time t by the wheel encoder 23, the amount of movement from the position of the vehicle 10 at time t-1 is calculated, and the relative position of the vehicle 10 at time t is calculated. Processing such as estimation is performed. In the actual dead reckoning process, not only the wheel encoder 23 but also various kinds of operation information included in the internal sensor 24 and detected by each sensor are appropriately used.
  • the dead reckoning process realizes the above-described prediction process in the Kalman filter. Therefore, by performing the dead reckoning process, the prediction process of the estimated value of the state quantity of the vehicle 10 and the error covariance matrix is performed.
  • the DR processing unit 30 calculates the certainty factor of the estimated value of the state quantity of the vehicle 10 based on the error covariance matrix.
  • the certainty factor is a quantity that represents the certainty of the estimated value of the state quantity of the vehicle 10. For example, the smaller the error of the position r of the vehicle 10 (the variance of the probability distribution), the higher the probability that the vehicle 10 is present at the estimated position r, and the greater the degree of certainty of the position r.
  • the certainty factor that represents the certainty of the entire state quantity is calculated. For example, it is possible to calculate the certainty factor of each state variable (position r, direction ⁇ , etc.) included in the state quantity from the diagonal component of the error covariance matrix. The overall certainty factor is calculated based on the certainty factor of each of these state variables. Besides this, any method capable of calculating the certainty factor of the estimated value may be used.
  • the DR processing unit 30 executes the estimation process by the dead reckoning based on the operation information detected by the internal sensor 24 to calculate the certainty factor of the estimated value.
  • the calculated estimated value and the degree of certainty are supplied to the matching processing unit 31. Further, the degree of certainty is supplied to the frequency control unit 40 of the planning unit 134 described later.
  • the matching processing unit 31 searches for one or more reference information related to the surrounding environment of the vehicle 10 based on the estimation result (estimated value) of the DR processing unit 30. For example, reference information is retrieved from the reference information database 26 based on the position of the vehicle 10 designated by the estimated value. As a result, reference information acquired around the current location of the vehicle 10 is retrieved.
  • the matching processing unit 31 executes a matching process between the retrieved one or more pieces of reference information and the peripheral information detected by the external sensor 25 to determine correction reference information for correcting the estimated value. For example, reference information satisfying a predetermined matching ratio is determined as correction reference information. When the matching rate of each reference information does not satisfy a predetermined condition, the correction reference information may not be determined.
  • a matching process arbitrary matching processes, such as feature point matching, template matching, and image scanning, are used, for example.
  • the specific method of the matching process is not limited, and for example, matching using machine learning or the like may be appropriately performed.
  • the place recognition processing unit 32 calculates the current position of the vehicle 10 based on the correction reference information and the surrounding information. For example, the place recognition process is executed based on the matching result of the correction reference information and the peripheral information, and the acquisition position / acquisition posture of the correction reference information, and the absolute values of the position and posture of the vehicle 10 in the map coordinate system are It is calculated. That is, it can be said that the measurement of the position and orientation of the vehicle 10 is performed based on the correction reference information.
  • the above-described Kalman filter updating process is realized by the place recognition process. Therefore, by performing the place recognition process, the update process of the estimated value of the state quantity of the vehicle 10 and the error covariance matrix is performed. The updated estimated value and error covariance matrix are output to the DR processing unit 30 and used for the subsequent prediction processing.
  • the place recognition processing unit 32 can also execute, for example, update processing of the estimated value and the error covariance matrix based on the self position of the vehicle 10 detected using, for example, a GPS sensor or the like. For example, it is possible to significantly improve the accuracy of the estimation process by using both the location recognition process based on the correction reference information and the self position detected by the GPS sensor.
  • the correction processing unit 33 executes correction processing of the estimated value of the position and orientation of the vehicle 10.
  • the correction process is, for example, a process of correcting the estimation process on the basis of the position and attitude (absolute value in the map coordinate system) of the vehicle 10 calculated based on the correction reference information. That is, it can be said that the correction processing unit 33 corrects the estimation result based on the correction reference information.
  • a process of correcting the current and past estimated values of the vehicle 10 is performed as the correction process. Therefore, the correction processing unit 33 corrects the locus by which the vehicle 10 has passed so far.
  • the correction process including the past estimated value is generally called a loop close function (Loop Close function or Loop Closure function).
  • the loop close function will be described in detail later.
  • the corrected estimated value (correction result) is supplied to the DR processing unit 30, and appropriately fed back to processing using the Kalman filter.
  • the correction processing unit 33 determines whether to execute the correction processing based on a predetermined determination condition.
  • the predetermined determination condition is appropriately set so that the correction process is performed, for example, at an appropriate timing and situation. Further, information (judgment information) as the judgment result as to whether or not to execute the correction process is supplied to the frequency control unit 40 of the planning unit 134 described later.
  • the determination information corresponds to execution information regarding the presence or absence of the execution of the correction process of the estimation result based on the correction reference information.
  • the planning unit 134 has a frequency control unit 40, a global movement planning unit 41, and a local movement planning unit 42.
  • the frequency control unit 40 controls the update frequency of the movement plan by the planning unit 134 based on the load index information.
  • the load index information is information serving as an index of the load of the self position estimation unit 132.
  • information serving as an index of the processing load required for the estimation process by the self position estimation unit 132 is load index information.
  • the load index information for example, information indicating how much the processing load of the estimation process increases is used.
  • the certainty factor of the estimation result (estimated value) by the DR processing unit 30 is used as the load index information.
  • the frequency control unit 40 controls the update frequency of the movement plan based on the certainty factor.
  • determination information on the correction processing by the correction processing unit 33 is used as the load index information.
  • the frequency control unit 40 stops the update of the movement plan by the planning unit 134 based on the determination information.
  • each of a global movement plan and a local movement plan is generated as a movement plan.
  • a process of controlling the update frequency of the global movement plan is executed based on the above-described load index information.
  • the control of the update frequency based on the load index information (certainty factor and determination information) will be described in detail later.
  • the global movement plan unit 41 generates a global movement plan and executes a global movement plan update.
  • the global movement plan is a plan for moving the vehicle 10 in a wide area.
  • a route plan to the destination of the vehicle 10 is generated as a global movement plan.
  • the route plan is a plan including information indicating the route (route) to which the vehicle 10 should be moved.
  • the route plan specifies, for example, a road that passes from the current location of the vehicle 10 to the destination, left / right turn at an intersection, the direction of the branch, and the like.
  • FIG. 5 is a schematic view showing an example of route planning.
  • the planned route 52 from the current location 50 of the vehicle 10 to the destination 51 is schematically shown in FIG.
  • a route plan is generated with reference to the position (current position 50) of the vehicle 10 based on a global map including, for example, information of the road 53 from the current position 50 to the destination 51 of the vehicle 10. Be done. Further, in accordance with the movement of the vehicle 10, congestion information on the planned route 52, etc., change of the route, that is, update of the route plan (global movement plan) is executed. The updated route plan is supplied to the local movement plan unit 42.
  • the local movement planning unit 42 generates a local movement plan, and executes the update of the local movement plan.
  • the local movement plan is a plan for moving the vehicle 10 in a narrow area around the vehicle 10.
  • a trajectory plan that indicates the moving direction of the vehicle 10 from the current location 50 is generated as the local movement plan.
  • a trajectory of the vehicle 10 including a movement direction, a velocity, and the like for safely moving the vehicle 10 in accordance with the planned route 52 is planned.
  • FIG. 6 is a schematic view showing an example of trajectory planning.
  • candidates for the track 54 of the vehicle 10 at the current position 50 shown in FIG. 5 are schematically shown.
  • the trajectory 54 of the vehicle 10 when the steering angle (the amount of rotation of the steering wheel) is operated is calculated based on the current posture (direction ⁇ ) and speed of the vehicle 10 and the like.
  • candidates for a plurality of tracks 54 with different steering angles are illustrated. Among these candidates, a track 54 which can make the vehicle 10 best follow the planned route 52 is appropriately selected, and the selected track 54 is used as a track plan.
  • the method of generating the trajectory plan is not limited, and, for example, when there is an obstacle or another vehicle around the vehicle 10, the trajectory 54 for avoiding them may be calculated as appropriate. Further, for example, a track 54 along a white line of a road on which the vehicle 10 is traveling, a track 54 for following another vehicle traveling in the front, or the like may be appropriately calculated.
  • the trajectory plan is updated frequently.
  • the updated activation plan is supplied to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135 shown in FIG.
  • FIG. 7 is a schematic view showing an outline of a basic operation of the self position estimation unit 132.
  • FIG. 8 is a schematic diagram showing an outline of the basic operation of the planning unit 134.
  • FIGS. 7 and 8 schematically show each functional block included in the self-position estimation unit 132 and the planning unit 134 described in FIG. 3 and information exchanged between the functional blocks.
  • the dead reckoning process by the DR processing unit 30 is repeatedly executed at a predetermined frequency (processing rate). At each repetition, an estimated value of the state quantity (position and attitude) of the vehicle 10 and the certainty factor (error covariance matrix) are calculated.
  • the matching processing by the matching processing unit 31 is repeatedly executed independently of the DR processing unit 30. At this time, information such as an estimated value and a certainty factor for searching reference information is appropriately acquired from the DR processing unit 30. If the matching is successful, the location recognition processor 32 calculates the absolute values of the position and orientation of the vehicle 10, and the estimated values and the error covariance matrix are updated.
  • the correction processing unit 33 determines whether to execute the correction process. If it is determined that the correction process is to be performed, the correction process using the loop close function is performed based on the updated estimated value. Then, the result of the correction process is fed back to the DR processing unit 30.
  • Global Path Planner global movement plan generation processing
  • Local Path Planner local movement plan generation processing
  • each movement plan is updated at a different frequency. For example, the update frequency of the local movement plan is set higher than that of the global movement plan.
  • the update frequency of the global movement plan is appropriately determined by the frequency control unit 40 based on the processing load indicator (load indicator information) of each process in the self position estimation unit 132 described in FIG. It is controlled.
  • local movement plans are constantly updated with a predetermined frequency.
  • FIG. 9 is a flow chart showing an example of control of the update frequency of the global movement plan. This process is started, for example, when an operation for starting the vehicle 10 and starting driving is performed, for example, when an ignition switch, a power switch, or a start switch of the vehicle 10 is turned on. Ru. Further, this process ends, for example, when an operation for ending the driving is performed, for example, when an ignition switch, a power switch, a start switch or the like of the vehicle 10 is turned off.
  • ambient information of the vehicle 10 is detected using the external sensor 25 (step 101).
  • the detected peripheral information is supplied to the matching processing unit 31.
  • the DR processing unit 30 calculates an estimated value of the position and orientation (state amount) of the vehicle 10 and a certainty factor of the estimated value (step 102).
  • the DR processing unit 30 acquires motion information related to the motion of the vehicle 10 detected by the internal sensor 24, performs dead reckoning processing, and estimates the current position (current position) of the vehicle 10 and the current attitude. Calculate
  • step 102 is a process of acquiring the estimated value and the certainty factor calculated by the DR processing unit 30 according to the completion of step 101, for example.
  • the position and orientation of the vehicle 10, which changes with time are always estimated. Therefore, by using the estimated value and the certainty factor calculated by the DR processing unit 30, it is possible to execute the process reflecting the latest state of the vehicle 10.
  • FIG. 10 is a schematic view showing an example of the operation of the vehicle 10.
  • a vehicle 10 moving in a plane represented by a map coordinate system (X coordinate and Y coordinate) is schematically illustrated.
  • the state of the vehicle 10 in the map coordinate system is represented by the position r of the vehicle 10 (x, y) and the direction ⁇ of the vehicle 10 in the XY plane.
  • is an angle formed by the X coordinate and the traveling direction of the vehicle 10.
  • the inside sensor 24 detects operation information (such as acceleration) of the vehicle 10 at time t. From this operation information, the movement amount and movement direction of the vehicle 10 from time t-1 one time before to time t are calculated. The state of the vehicle 10 at time t is estimated based on the movement amount and the movement direction and the state of the vehicle 10 at time t-1 (estimated values of the position r and the orientation ⁇ ).
  • operation information such as acceleration
  • the movement amount and movement direction of the vehicle 10 from time t-1 one time before to time t are calculated.
  • the state of the vehicle 10 at time t is estimated based on the movement amount and the movement direction and the state of the vehicle 10 at time t-1 (estimated values of the position r and the orientation ⁇ ).
  • positions r1 to r5 of the vehicle 10 from time T1 to time T5 are schematically illustrated.
  • the position r2 at time T2 is an estimated value calculated based on the movement amount and the movement direction from time T1 to time T2 with reference to the position r1 at time T1.
  • the operation information detected by the internal sensor 24 generally includes an error. Therefore, when only the dead reckoning process is repeated, the error of the estimated value increases with each repetition of the steps, and the accumulated error is accumulated.
  • the error range corresponding to each of the positions r1 to r5 is represented by an elliptic error 55.
  • the elliptical error 55 represents, for example, a range in which the vehicle 10 exists with an arbitrary probability (for example, a 90% probability or the like).
  • the magnitude of the elliptical error 55 increases with time. As this error increases, the confidence in the estimate decreases. As a result, the position indicated by the estimated value may gradually deviate from the actual position of the vehicle 10.
  • estimation processing using only dead reckoning processing may continue. possible.
  • the elliptical error shown in FIG. 10 may increase. Even in such a case, it is possible to reduce the error of the estimated value and to increase the certainty factor by performing the correction process (update process) of the estimated value in step 110 described later.
  • the matching processing unit 31 sets a search range for searching for reference information (step 103).
  • the matching processing unit 31 searches the reference information stored in the reference information database 26 based on the estimated value (the current position of the vehicle 10) calculated in step 102.
  • the search range of the reference information at this time that is, the condition for searching the reference information, etc. is set.
  • FIG. 11 is a schematic diagram for explaining an example of a search range of reference information.
  • FIG. 11A is a schematic view showing an example of a search range of the reference information 60.
  • FIG. 11B is a table showing a specific example of the reference information 60 shown in FIG. 11A.
  • FIG. 11A schematically shows an acquisition route 61 from which the map generation vehicle has passed in the past and acquired the reference information 60, and the acquisition positions 62a to 62g thereof.
  • the acquisition direction 63 of each reference information 60 is schematically illustrated by an arrow.
  • the image information (key frame 64) acquired at the acquisition position 62g is illustrated as an example.
  • the vehicle 10 is assumed to move among the seven acquisition positions 62a to 62g, positions closer to the acquisition positions 62a and 62b.
  • each reference information 60 is assigned an ID for identifying each reference information.
  • a key frame image information, depth information, etc.
  • coordinates (x, y) of the acquisition position 62 and an angle ( ⁇ ) indicating the acquisition direction 63 are stored in association with each other.
  • the matching processing unit 31 executes a search of the reference information 60 by appropriately referring to, for example, the acquisition position 62 and the acquisition direction 63.
  • the peripheral area 66 of the vehicle 10 is set based on the current location (estimated value) of the vehicle 10.
  • a circular peripheral area 66 is schematically illustrated.
  • reference information 60 acquired in the peripheral area 66 that is, reference information 60 in which the acquisition position 62 is included in the peripheral area 66 is searched from the reference information database 26.
  • peripheral area 66 By setting the peripheral area 66 in this manner, it is possible to search for the reference information 60 acquired in a desired range.
  • the present invention is not limited to the case where the peripheral area 66 is used.
  • setting of a search range may be performed such that N reference information is acquired in order of acquisition positions closer to the current position of the vehicle 10.
  • the setting of the search range may be appropriately performed according to not only the position r of the vehicle 10 but also the direction ⁇ .
  • a search range 65 (peripheral area 66) of reference information is set based on the certainty factor.
  • the peripheral area 66a when the certainty factor is high and the peripheral area 66b when the certainty factor is low are respectively illustrated.
  • the search range 65 (peripheral area 66a) is set narrow.
  • the surrounding area 66a is set such that the area near the vehicle 10 is to be searched.
  • the peripheral area 66a includes acquisition positions 62a and 62b. Therefore, as shown in FIG. 11B, the search result 67a when the certainty factor is high includes the reference information 60a and 60b acquired at the acquisition positions 62a and 62b.
  • the search range 65 (peripheral area 66) is set wide.
  • the peripheral region 66b is set such that the region from the vicinity of the vehicle 10 to the distant region is a search target.
  • the peripheral area 66b includes all acquisition positions 62a to 62g in the figure. Therefore, as shown in FIG. 11B, the search result 67b when the certainty factor is low includes all seven reference information 60a to 60g.
  • the search range 65 is set narrower as the certainty factor is higher, and the search range 65 is set wider as the certainty factor is lower.
  • the number of reference information 60 searched when the certainty factor is high is smaller than the number of reference information 60 searched when the certainty factor is low. That is, the higher the degree of certainty, the less reference objects included in the search results.
  • the frequency control unit 40 controls the update frequency of the global movement plan based on the certainty factor (step 104). For example, the frequency control unit 40 sets the update frequency according to the value of the certainty factor calculated in step 102, and performs the global movement plan unit 41 so as to update the global movement plan at the set update frequency. Control the operation of
  • FIG. 12 is a table showing the relationship between the CPU load factor and the update frequency of the global movement plan at the stage of searching for reference information.
  • the stage where the reference information is searched (search stage) is, for example, a stage until the matching processing unit 31 determines the correction reference information from the reference information database 26.
  • Step 104 is processing executed at the search stage of reference information.
  • the search range 65 of the reference information is set narrow.
  • the number of pieces of reference information included in the search result that is, the number of pieces of reference information to be subjected to matching processing in step 105 described later decreases. Therefore, it is considered that the matching process of the self position estimation unit 132 is performed with a low CPU load factor.
  • the frequency control unit 40 sets the update frequency of the global movement plan high.
  • the CPU load factor required for global movement plan update processing becomes high. This makes it possible to fully utilize, for example, the processing capability of the CPU. Also, by updating the global movement plan with high certainty, it is possible to improve the update accuracy of the global movement plan.
  • the search range 65 of the reference information is set wide. As a result, the number of pieces of reference information to be subjected to the matching process increases, and it is considered that the matching process of the self position estimation unit 132 is executed with a high CPU load factor.
  • the frequency control unit 40 sets the global movement plan update frequency low if the degree of certainty is low. As a result, the CPU load factor required for global movement plan update processing is low. As a result, even when the CPU load factor by the self position estimation unit 132 is increased, it is possible to sufficiently suppress an increase in the overall processing load and the like.
  • the update frequency is set to be higher as the certainty factor is higher, and the update frequency is set to be lower as the certainty factor is lower. This makes it possible to balance the processing loads of, for example, the estimation processing of the position and orientation of the vehicle 10 and the update processing of the global movement plan, and it is possible to realize sufficiently stable movement control.
  • the certainty factor it becomes possible to realize control of the update frequency according to, for example, the amount of increase in the processing load of the CPU. That is, it can be said that the certainty factor functions sufficiently as an index (load index information) indicating a change in processing load required for the estimation process.
  • FIG. 13 is a graph showing an example of the relationship between the certainty factor and the update frequency.
  • the horizontal axis of the graph is the degree of confidence of the estimated value (self position), and is represented by a value from 0% to 100%.
  • the vertical axis of the graph is the update frequency (replanning rate) of the global movement plan, and is represented by values from 0 Hz to 1 Hz.
  • the update frequency of 0 Hz corresponds to the stop of the update.
  • the update frequency is set such that the relationship between the certainty factor and the update frequency is linear. That is, the frequency control unit 40 linearly changes the update frequency with respect to the change in the certainty factor.
  • the update frequency is represented by a straight line passing through the origin. For example, when the certainty factor is 0%, the update frequency is set to 0 Hz (stop), and when the certainty factor is 100%, the update frequency is set to 1 Hz. As described above, by controlling the update frequency linearly with respect to the certainty factor, it is possible to easily control the balance of the processing load and the like.
  • the slope of the graph, the upper limit value of the update frequency, and the like may be set as appropriate. Also, instead of linear control of the update frequency, control using a non-linear function or the like may be performed. Besides, the method of controlling the update frequency based on the certainty factor is not limited, and any method capable of balancing the processing load may be used, for example.
  • matching processing of reference information and peripheral information is executed (step 105). Specifically, the matching processing unit 31 executes a matching process between the peripheral information acquired in step 101 and each of the one or more pieces of reference information searched in step 103.
  • the matching rate between the peripheral information and the key frame included in each reference information is calculated.
  • the reference information whose matching rate exceeds a predetermined threshold is determined as the correction reference information for correcting the estimated value as the reference information similar to the peripheral information.
  • a plurality of correction reference information may be determined.
  • the reference information similar to the peripheral information is not searched, and the correction reference information is not determined.
  • the method for determining the correction reference information by the matching process is not limited. For example, processing may be performed to determine, as reference information for correction, reference information with the highest matching ratio among reference information in which the matching ratio exceeds a predetermined threshold. Further, the correction reference information may be determined based on conditions (weather, time, etc.) other than the threshold value.
  • step 106 it is determined whether or not correction reference information has been determined. If it is determined that the correction reference information is not determined (No in step 106), the processing in step 101 to step 105 is performed again. That is, the peripheral information is acquired again, and a process of searching for reference information is performed. Therefore, until the correction reference information is found, it can be said that the estimation process by the self position estimation unit 132 is a search step of reference information.
  • the self-position identification (estimation process) of the vehicle 10 is performed only by the dead reckoning process by the internal sensor 24 such as a wheel encoder or an IMU sensor.
  • the internal sensor 24 such as a wheel encoder or an IMU sensor.
  • the place recognition processing unit 32 executes a place recognition process (Step 107). For example, the absolute values of the current position and orientation of the vehicle 10 with respect to the acquisition position and acquisition direction of the correction reference information are calculated from the matching result (matching information) between the correction reference information and the surrounding information. This makes it possible to recognize the position and attitude of the vehicle 10 in the global map.
  • the correction processing unit 33 determines whether to execute the correction process by the loop close function (step 108). Based on a predetermined determination condition, various situations are determined such as, for example, whether the correction process is necessary or whether the correction process can be performed.
  • the predetermined time is the determination condition. For example, when the correction process is being performed within a predetermined time, it is determined that the correction process is not necessary (the correction process is not to be performed) on the assumption that the estimated value is already sufficiently corrected. Conversely, when the correction process is not performed within a predetermined time, it is determined that the correction process is necessary (the correction process is to be performed), since the error of the estimated value may be increasing.
  • the method of setting the predetermined determination condition is not limited, and any condition for determining the execution of the correction process may be set.
  • Step 101 the process returns to Step 101, and the search for the next correction reference information (Step 101 to Step 107) is performed. Further, information indicating that the correction process is not performed is output to the frequency control unit 40 as the determination information. In this case, the update of the global movement plan by the global movement plan unit 41 is continued with the update frequency set at that time.
  • Step 108 When it is determined that the correction process is to be performed (Yes in Step 108), information indicating that the correction process is to be performed is output to the frequency control unit 40 as the determination information. In this case, the global movement plan is stopped (step 109). As described above, the frequency control unit 40 stops the update of the global movement plan by the global movement planning unit 41 based on the determination information. For example, at the timing when the determination information indicating that the correction process is to be performed is acquired, a process of temporarily setting the update frequency of the global movement plan to 0 Hz is performed (see FIG. 13).
  • the local movement plan (trajectory plan such as the speed and rotation of the vehicle) is continuously updated.
  • the local movement planning unit 42 generates a trajectory plan for safely moving the vehicle 10 based on a snapshot (image information, depth information, etc.) of the current time acquired by the external sensor 25 or the like. . This enables safe movement control to continue while the global movement plan is stopped.
  • the correction processing unit 33 executes correction processing of the estimated value using the loop close function (step 110).
  • FIG. 14 is a schematic view showing an example of correction processing by the loop close function.
  • information on the past passing position of the vehicle 10 and the attitude at the passing position stored in the storage unit 111 that is, information on a track on which the vehicle 10 has passed in the past is acquired.
  • These pieces of information are, for example, estimated values estimated by the dead reckoning process.
  • the attitude at the past passing position and the passing position of the vehicle 10 is corrected on the basis of the absolute value of the position and attitude calculated at step 107.
  • FIG. 14 schematically shows positions R1 to R3 of the vehicle 10 in the past and positions R1 ′ to R3 ′ of the vehicle 10 after correction.
  • the position R4 is a position at which correction processing by the loop close function has been performed in the past. As shown in FIG. 14, by performing the correction processing, it becomes possible to correct each position and posture that has passed in the past.
  • FIG. 15 is a table showing the relationship between the CPU load factor and the update frequency of the global movement plan at the stage of performing correction processing of the estimated value.
  • the certainty factor of the estimated value may be low, that is, the correction process may be required. Even when the certainty factor of the estimated value is high, the loop close function may be executed.
  • the CPU load factor may temporarily rise.
  • the estimated value correction stage updating of the global movement plan is temporarily stopped, and the CPU load factor required for updating the global movement plan is zero.
  • the frequency control unit 40 sets the update frequency based on the degree of certainty of the corrected estimated value, and resumes the global movement plan update. This makes it possible to improve the update accuracy of the global movement plan.
  • step 111 When step 111 is completed, the process returns to step 101 and the above process is repeated.
  • the search for the correction reference information (searching step) and the correction process using the correction reference information (correction step) are alternately performed. Further, according to the CPU load factor at each stage of the estimation process by the self position estimation unit 132, the update frequency of the global movement plan is controlled. As a result, the processing load of the entire system under movement control can be properly maintained, and sufficiently stable movement control can be realized.
  • the update frequency of the movement plan of the vehicle 10 based on the load indicator information serving as the indicator of the processing load of the estimation process of estimating at least one of the position and orientation of the vehicle 10 Is controlled.
  • the processing load required for movement control and to realize stable movement control it becomes possible to control the processing load required for movement control and to realize stable movement control.
  • a method of replanning the route according to the change of the surrounding environment of the vehicle can be considered.
  • the position and posture of the vehicle are appropriately controlled according to the change in the position of another vehicle or a pedestrian. If the position or attitude of the vehicle deviates in this process, a new route is replanned.
  • various processing such as detection processing and recognition processing of another vehicle, and replanning processing of a route will be executed. For this reason, the load on the CPU may be increased, which may cause problems such as processing delay and freeze.
  • the update frequency of the global movement plan is controlled based on load index information that is an index of the processing load required for the estimation process in the self position estimation unit 132. This makes it possible to properly control the processing load of the entire system in accordance with the processing load required for the estimation processing. As a result, it is possible to sufficiently suppress the influence (delay, freeze, etc.) on other processes associated with an increase in the processing load of the estimation process.
  • a search step of reference information when the certainty factor of the estimated value is high a search step of reference information when the certainty factor of the estimated value is low, and a correction step of correcting the estimated value Can be roughly divided into each step (see FIGS. 12 and 15).
  • the update frequency is controlled using the certainty factor as an index.
  • the certainty factor for example, it becomes possible to easily set the update frequency according to the processing load required for the matching process and the like.
  • the update is stopped using the trigger information as an index.
  • the reference information database is constructed using the map generation vehicle.
  • the reference information may be acquired by the vehicle itself, and the reference information database may be constructed.
  • key frames image information, depth information, etc.
  • the position and orientation of the vehicle at the time of key frame acquisition are stored in the reference information database as reference information. .
  • the estimated value of the current position and orientation of the vehicle is corrected based on the reference information acquired by the vehicle itself in the past.
  • key frames acquired using the same sensor (external sensor) are compared with each other, and it becomes possible to correct the estimated value with high accuracy.
  • the reference information database is constructed by the vehicle itself, stable movement control can be realized by appropriately controlling the update frequency of the movement plan on a global basis.
  • the process of adjusting the update frequency of the global movement plan is performed.
  • the timing etc. which adjust update frequency are not limited.
  • the estimated value and the certainty factor are calculated by the dead reckoning process. Based on this certainty factor, the update frequency of the global movement plan may be adjusted during execution of the matching process. As a result, the update frequency can be set finely, and adjustment of the CPU load factor and the like can be realized with high accuracy.
  • the determination processing as to whether or not to execute the correction processing is performed (Step 108 in FIG. 9).
  • the present invention is not limited to this.
  • a configuration may be used in which the determination process related to the execution of the correction process is not performed.
  • the update of the global movement plan is stopped at the timing when the correction reference information is determined.
  • updating of the global movement plan is resumed. For example, such processing may be performed.
  • the frequency control unit controls the update frequency of the global movement plan based on the load index information.
  • the present invention is not limited to this, and the update frequency of the local movement plan may be controlled. Also, processing such as controlling the update frequency of each of the global movement plan and the local movement plan may be performed. As described above, by appropriately controlling the update frequency of each migration plan, it is possible to maintain the processing load of the entire system properly.
  • the status of the update process may be notified that the global movement plan is “updating” or “updated”.
  • a predetermined notification image indicating the state of the update processing is generated, and appropriately displayed on a display or the like provided in the output unit 106 shown in FIG. This allows the passenger to easily check, for example, whether the global travel plan has been updated.
  • the information processing method according to the present technology including the control of the update frequency of the movement plan and the like is executed by the automatic driving control unit.
  • the information processing method according to the present technology may be executed by a cloud server without being limited to this. That is, the function of the automatic driving control unit may be mounted on the cloud server.
  • the cloud server operates as an information processing apparatus according to the present technology.
  • the information processing method and program according to the present technology are executed by interlocking the computer (automatic driving control unit) mounted on the vehicle with another computer (cloud server) that can communicate via a network or the like.
  • An information processing apparatus according to the present technology may be constructed.
  • a system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network and one device in which a plurality of modules are housed in one housing are all systems.
  • the information processing method according to the present technology by the computer system and the execution of the program include, for example, estimation of at least one of the position and attitude of a vehicle, generation of a movement plan for moving the vehicle, and control of update frequency of movement plan , Both when executed by a single computer and when each processing is executed by a different computer. Also, execution of each process by a predetermined computer includes performing a part or all of the process on another computer and acquiring the result.
  • the information processing method and program according to the present technology can also be applied to a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • an autonomous mobile robot or the like can be considered as a mobile body.
  • various environments such as the outdoor such as a road or a park, the indoor such as a hospital or a shopping mall, and the indoor such as an office or a living room are assumed.
  • the autonomous mobile robot moves to a destination by executing estimation processing of its own position in the environment in which it is moving, generation processing of a movement plan, and the like.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is any type of movement, such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), etc. It may be realized as a device mounted on the body.
  • the present technology can also adopt the following configuration.
  • an estimation unit that estimates at least one of the position and orientation of a moving object;
  • a generation unit that generates a movement plan for moving the moving body;
  • An information processing apparatus comprising: a frequency control unit that controls an update frequency of the movement plan by the generation unit based on load index information that is an index of a load of the estimation unit.
  • the load indicator information includes the certainty factor of the estimation result by the estimation unit,
  • An information processing apparatus, wherein the frequency control unit controls the update frequency of the movement plan based on the certainty factor.
  • the frequency control unit sets the update frequency to be higher as the certainty factor is higher, and sets the update frequency to be lower as the certainty factor is lower.
  • the frequency control unit linearly changes the update frequency with respect to a change in the certainty factor.
  • the generation unit generates each of a global movement plan and a local movement plan of the mobile body, An information processing apparatus, wherein the frequency control unit controls the update frequency of the global movement plan based on the certainty factor.
  • An information processing apparatus, wherein the local movement plan includes a trajectory plan that indicates a moving direction of the moving body from a current position.
  • the information processing apparatus according to any one of (2) to (7), wherein The moving body has a motion sensor that detects motion information on the motion of the moving body, An information processing apparatus, wherein the estimation unit executes estimation processing by autonomous navigation based on the motion information detected by the motion sensor, and calculates the certainty factor of the estimation result.
  • the mobile unit includes a peripheral sensor that detects peripheral information on a peripheral environment of the mobile unit, The estimation unit searches for one or more reference information related to the surrounding environment of the mobile body based on the estimation result, and matches the one or more pieces of the searched reference information with the surrounding information detected by the surrounding sensor.
  • An information processing apparatus that determines correction reference information for correcting the estimation result by executing a process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本技術の一形態に係る情報処理装置は、推定部と、生成部と、頻度制御部とを具備する。前記推定部は、移動体の位置及び姿勢の少なくとも一方を推定する。前記生成部は、前記移動体を移動させるための移動計画を生成する。前記頻度制御部は、前記推定部の負荷の指標となる負荷指標情報に基づいて、前記生成部による前記移動計画の更新頻度を制御する。

Description

情報処理装置、情報処理方法、プログラム、及び移動体
 本技術は、移動体の移動を制御する情報処理装置、情報処理方法、プログラム、及び移動体に関する。
 従来、車両やロボット等の移動体の自律移動制御を行なう技術が開発されている。例えば、特許文献1には、移動ロボットの誘導制御装置について記載されている。この誘導制御装置では、移動環境の特徴となる道標の情報を含む地図情報を用いて、ロボットの目的地までの経路が計画される。ロボットは経路に沿って移動され、その移動量に基づいてロボットの位置姿勢データがモニタリングされる。この位置姿勢データは、道標を撮影したカメラ画像等から推定された位置姿勢推定値により適宜更新される。そして更新後のロボットの位置と姿勢に基づいてロボットの経路が再計画される。これらのサイクルを繰り返すことで、ロボットを目的地まで移動させることが可能となる。(特許文献1の明細書段落[0014][0021][0028][0035][0089]図1、12等)。
特開平6-259131号公報
 このように、移動体の移動制御を行なうためには、移動体の位置・姿勢の推定処理や移動体の経路の計画処理等の様々な処理が実行される。これらの移動制御に要する処理負荷をコントロールして安定した移動制御を実現する技術が求められている。
 以上のような事情に鑑み、本技術の目的は、移動制御に要する処理負荷をコントロールして安定した移動制御を実現することが可能な情報処理装置、情報処理方法、プログラム及び移動体を提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、推定部と、生成部と、頻度制御部とを具備する。
 前記推定部は、移動体の位置及び姿勢の少なくとも一方を推定する。
 前記生成部は、前記移動体を移動させるための移動計画を生成する。
 前記頻度制御部は、前記推定部の負荷の指標となる負荷指標情報に基づいて、前記生成部による前記移動計画の更新頻度を制御する。
 この情報処理装置では、移動体の位置及び姿勢の少なくとも一方を推定する推定部の負荷の指標となる負荷指標情報に基づいて、移動体の移動計画の更新頻度が制御される。これにより、移動制御に要する処理負荷をコントロールして安定した移動制御を実現することが可能となる。
 前記負荷指標情報は、前記推定部による推定結果の確信度を含んでもよい。この場合、前記頻度制御部は、前記確信度に基づいて前記移動計画の前記更新頻度を制御してもよい。
 移動体の位置や姿勢の確信度を指標とすることで、移動制御に要する処理負荷を精度良くコントロールすることが可能となり、安定した移動制御を実現することが可能となる。
 前記頻度制御部は、前記確信度が高いほど前記更新頻度を高く設定し、前記確信度が低いほど前記更新頻度を低く設定してもよい。
 これにより、例えば位置や姿勢の推定処理及び移動計画の生成処理の各処理負荷のバランスをとることが可能となり、十分に安定した移動制御を実現することが可能となる。
 前記頻度制御部は、前記確信度の変化に対して前記更新頻度を線形に変化させてもよい。
 これにより、移動制御に要する処理負荷を容易にコントロールすることが可能となり、安定した移動制御を容易に実現することが可能となる。
 前記生成部は、前記移動体の大域的な移動計画及び局所的な移動計画の各々を生成してもよい。この場合、前記頻度制御部は、前記確信度に基づいて前記大域的な移動計画の前記更新頻度を制御してもよい。
 これにより、大域的な移動計画の更新に要する処理負荷を制御することが可能となり、移動制御に伴う全体の処理負荷を適正にコントロールすることが可能となる。
 前記大域的な移動計画は、前記移動体の目的地までの経路計画を含んでもよい。
 これにより、経路計画の更新頻度を制御することが可能となり、移動制御に要する処理負荷を十分にコントロールすることが可能となる。
 前記局所的な移動計画は、前記移動体の現在地からの移動方向を指示する軌道計画を含んでもよい。
 例えば軌道計画を用いることで、移動体を停止させることなく、全体の処理負荷をコントロールすることが可能となり、安定でかつ高速な移動制御を実現することが可能となる。
 前記移動体は、前記移動体の動作に関する動作情報を検出する動作センサを有してもよい。この場合、前記推定部は、前記動作センサにより検出された前記動作情報に基づいて自律航法による推定処理を実行し、前記推定結果の前記確信度を算出してもよい。
 このように自律航法による推定処理を実行することで、位置や姿勢の推定結果の確信度を容易に算出することが可能となる。
 前記移動体は、前記移動体の周辺環境に関する周辺情報を検出する周辺センサを有してもよい。この場合、前記推定部は、前記推定結果に基づいて前記移動体の周辺環境に関する1以上の参照情報を検索し、前記検索された1以上の参照情報と前記周辺センサにより検出された前記周辺情報とのマッチング処理を実行することで、前記推定結果を補正するための補正用参照情報を決定してもよい。
 これにより、補正用参照情報を用いて移動体の位置や姿勢を補正することが可能となり、移動制御の精度を向上することが可能となる。
 前記推定部は、前記確信度に基づいて前記参照情報の検索範囲を設定してもよい。
 これにより、移動体の位置や姿勢の確信度に応じた適切な検索範囲を設定することが可能となる。この結果、移動体の位置や姿勢を適正に補正することが可能となる。
 前記推定部は、前記確信度が高いほど前記検索範囲を狭く設定し、前記確信度が低いほど前記検索範囲を広く設定してもよい。
 これにより、移動体の位置や姿勢を適正に補正することが可能となり、高精度な移動制御を実現することが可能となる。
 前記負荷指標情報は、前記補正用参照情報に基づく前記推定結果の補正処理の実行の有無に関する実行情報を含んでもよい。
 補正処理の実行情報を指標とすることで、移動制御に要する処理負荷を精度良くコントロールすることが可能となり、安定した移動制御を実現することが可能となる。
 前記補正処理は、前記移動体の現在及び過去の前記推定結果を補正する処理であってもよい。
 これにより、移動体が通過した経路等が高精度に算出され、移動体の周辺地図等を精度良く生成することが可能となる。この結果、高精度な移動制御を実現することが可能となる。
 前記頻度制御部は、前記実行情報に基づいて、前記生成部による前記移動計画の更新を停止してもよい。
 これにより、補正処理の実行に伴う処理負荷の増大による影響等を十分に回避することが可能となる。この結果、移動体の移動制御を大幅に安定化することが可能となる。
 前記生成部は、前記移動体の大域的な移動計画及び局所的な移動計画の各々を生成してもよい。この場合、前記頻度制御部は、前記実行情報に基づいて、前記生成部による前記大域的な移動計画の更新を停止してもよい。
 これにより、大域的な移動計画の更新に要する処理負荷を十分に抑制することが可能となり、移動制御に伴う全体の処理負荷を適正にコントロールすることが可能となる。
 前記推定部は、前記補正処理を実行するか否かを判定し、判定結果に応じて前記補正処理を実行してもよい。
 これにより、補正処理を適正なタイミングで実行することが可能となる。この結果、例えば不要な処理を減らすことが可能となり、処理負荷を抑制することが可能となる。
 前記推定部は、前記補正処理を実行すると判定された場合に、前記実行情報として前記補正処理が実行される旨の情報を前記頻度制御部に出力してもよい。
 これにより、例えば補正処理を実行すると判定されたタイミングに合わせて処理負荷のコントロールを開始することが可能となり、補正処理による処理負荷の増大等を回避して、安定した移動制御を実現することが可能となる。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、移動体の位置及び姿勢の少なくとも一方を推定することを含む。
 前記移動体を移動させるための移動計画が生成される。
 移動体の位置及び姿勢の少なくとも一方を推定する推定処理の負荷の指標となる負荷指標情報に基づいて、前記移動計画の更新頻度が制御される。
 本技術の一形態に係る情報処理方法は、コンピュータシステムに以下のステップを実行させる。
 移動体の位置及び姿勢の少なくとも一方を推定するステップ。
 前記移動体を移動させるための移動計画を生成するステップ。
 移動体の位置及び姿勢の少なくとも一方を推定する推定処理の負荷の指標となる負荷指標情報に基づいて、前記移動計画の更新頻度を制御するステップ。
 本技術の一形態に係る移動体は、推定部と、生成部と、頻度制御部と、移動制御部とを具備する。
 前記推定部は、移動体の位置及び姿勢の少なくとも一方を推定する。
 前記生成部は、前記移動体を移動させるための移動計画を生成する。
 前記頻度制御部は、前記推定部の負荷の指標となる負荷指標情報に基づいて、前記生成部による前記移動計画の更新頻度を制御する。
 前記移動制御部は、前記生成された前記移動計画に基づいて、前記移動体の移動を制御する。
 以上のように、本技術によれば、移動制御に要する処理負荷をコントロールして安定した移動制御を実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施形態に係る自動運転制御部を搭載する車両の構成例を示す外観図である。 車両の制御を行う車両制御システムの構成例を示すブロック図である。 図2に示す自己位置推定部及び計画部の構成例を示すブロック図である。 内界センサ及び外界センサの一例を示す表である。 経路計画の一例を示す模式図である。 軌道計画の一例を示す模式図である。 自己位置推定部の基本的な動作の概要を示す模式図である。 計画部の基本的な動作の概要を示す模式図である。 大域的な移動計画の更新頻度の制御の一例を示すフローチャートである。 車両の動作の一例を示す模式図である。 参照情報の検索範囲の一例を説明するための模式図である。 参照情報を検索している段階でのCPU負荷率と大域的な移動計画の更新頻度との関係を示す表である。 確信度と更新頻度との関係の一例を示すグラフである。 ループクローズ機能による補正処理の一例を示す模式図である。 推定値の補正処理を実行している段階でのCPU負荷率と大域的な移動計画の更新頻度との関係を示す表である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [車両制御システムの構成]
 図1は、本技術の第1の実施形態に係る自動運転制御部を搭載する車両の構成例を示す外観図である。図1Aは、車両10の構成例を示す斜視図であり、図1Bは、車両10を上方から見た場合の模式図である。車両10は、目的地までの自動走行が可能な自動運転機能を備えている。なお車両10は、本実施形態に係る移動体の一例である。
 車両10は、自動運転に用いられる各種のセンサ20を備える。一例として、例えば図1Aには、車両10の前方に向けられた撮像装置21及び距離センサ22が模式的に図示されている。撮像装置21及び距離センサ22は、後述する外界センサ25として機能する。また図1Bには、各車輪の回転等を検出する車輪エンコーダ23が模式的に図示されている。車輪エンコーダ23は、後述する内界センサ24として機能する。この他、車両10には様々なセンサ20が搭載され、センサ20からの出力をもとに車両10の移動制御が行なわれる。
 図2は、車両10の制御を行う車両制御システム100の構成例を示すブロック図である。車両制御システム100は、車両10に設けられ、車両10の各種の制御を行うシステムである。なお、以下、車両10を他の車両と区別する場合、自車又は自車両と称する。
 車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
 なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
 入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
 データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
 例えば、データ取得部102は、車両10の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
 また、例えば、データ取得部102は、車両10の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、車両10の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
 さらに、例えば、データ取得部102は、車両10の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、航法衛星であるGNSS(Global Navigation Satellite System)衛星からの衛星信号(以下、GNSS信号と称する)を受信するGNSS受信機等を備える。
 また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
 通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
 例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
 さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、車両10の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両10と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
 車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両10に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
 出力制御部105は、車両10の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画
像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
 出力部106は、車両10の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
 駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
 駆動系システム108は、車両10の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
 ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
 ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
 記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両10の周囲の情報を含むローカルマップ等の地図データを記憶する。
 自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、車両10の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両10の衝突警告、又は、車両10のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。
 自動運転制御部112は、本実施形態に係る情報処理装置に相当し、例えばCPU、RAM、及びROM等のコンピュータに必要なハードウェアを有する。CPUがROMに予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る情報処理方法が実行される。
 自動運転制御部112の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
 図2に示すように、自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。例えば、自動運転制御部112のCPUが所定のプログラムを実行することで、各機能ブロックが構成される。
 検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
 車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、車両10の外部の情報の検出処理を行う。例えば、車外情報検出部141は、車両10の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、車両10の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
 車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
 車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、車両10の状態の検出処理を行う。検出対象となる車両10の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
 自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
 また自己位置推定部132は、車両10の周辺環境に関する参照情報が記録された参照情報データベース26(図3参照)にアクセスし、参照情報を用いて車両10の位置及び姿勢の推定結果を補正する補正処理を行なう。自己位置推定部132については、図3等を参照して後に詳しく説明する。本実施形態では、自己位置推定部132は、推定部に相当する。
 状況分析部133は、車両10及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
 マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134に供給する。
 交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両10の周囲の信号の位置及び状態、車両10の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
 状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10に関する状況の認識処理を行う。例えば、状況認識部153は、車両10の状況、車両10の周囲の状況、及び、車両10の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、車両10の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
 認識対象となる車両10の状況には、例えば、車両10の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる車両10の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
 状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
 状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10に関する状況の予測処理を行う。例えば、状況予測部154は、車両10の状況、車両10の周囲の状況、及び、運転者の状況等の予測処理を行う。
 予測対象となる車両10の状況には、例えば、車両10の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両10の周囲の状況には、例えば、車両10の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
 状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134に供給する。
 計画部134は、車両10を移動させるための移動計画を生成する。ここで移動計画には、車両10の自動運転を行なうための経路や動作等に関する各種の計画が含まれる。計画部134は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の経路や動作等(移動計画)を計画する。また計画部134は、車両10の経路や動作等のデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。計画部134については、図3等を参照して後に詳しく説明する。本実施形態では、計画部134は、生成部に相当する。
 動作制御部135は、車両10の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
 緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両10の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両10の動作を計画する。緊急事態回避部171は、計画した車両10の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
 加減速制御部172は、計画部134又は緊急事態回避部171により計画された車両10の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
 方向制御部173は、計画部134又は緊急事態回避部171により計画された車両10の動作を実現するための方向制御を行う。例えば、方向制御部173は、計画部134又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。本実施形態では、加減速制御部172及び方向制御部173が共動することで、移動制御部が実現される。
 図3は、図2に示す自己位置推定部132及び計画部134の構成例を示すブロック図である。図3に示すように自己位置推定部132には、内界センサ24、外界センサ25、及び参照情報データベース26の各々から、車両10の自己位置を推定するために必要な情報が供給される。内界センサ24及び外界センサ25は、データ取得部102が備えるセンサ20により構成される。
 図4は、内界センサ24及び外界センサ25の一例を示す表である。図4の表には、内界センサ24及び外界センサ25ごとに、認識器の種類、認識器を用いて得られる物理量、位置・姿勢の絶対値が測定可能であるか否か、及び検出レートについて記載されている。
 内界センサ24は、車両10の動作に関する動作情報を検出するセンサである。本実施形態では、車両10の動作情報として、車両10の速度、加速度、相対位置(移動量)、及び角速度等の物理量が検出される。これらの物理量は、車両10の移動(動作)に伴い、内界センサ24により高い取得レートで連続的に検出可能な量である。このように内界センサ24は、地図上の車両10の位置(絶対位置)や車両10の向き(絶対姿勢)を計測するのではなく、車両10自身、すなわち内界の状態を検出するセンサであるとも言える。本実施形態では、内界センサ24は、動作センサに相当する。
 図4に示すように、内界センサ24は、加速度センサ、ジャイロセンサ、慣性計測装置(IMU)、及び、車輪エンコーダ23等を含む。また各種のカメラにより撮影された画像によるVisualSLAM等を用いることで、車両10の動作(移動量や移動方向)等を検出することも可能である。この場合、カメラ等も内界センサ24に含まれる。この他、内界センサ24の種類は限定されず、アクセル、ブレーキ、及びステアリング等の操作量を検出するセンサや、エンジン回転数やモータ回転数等を検出するセンサが適宜用いられてよい。
 内界センサ24により検出された動作情報は、図1に示す、車両状態検出部143及び状況認識部153を介して自己位置推定部132のDR処理部30に供給される。なお、図3では、車両状態検出部143及び状況認識部153の図示が省略されている。
 外界センサ25は、車両10の周辺環境に関する周辺情報を検出するセンサである。本実施形態では、車両10の周辺情報として、車両10の周辺の道路や建物等の画像情報や奥行情報(点群データ)等が検出される。これらの周辺情報に基づいて、場所認識(Place Recognition)処理等を行なうことで、車両10の位置及び姿勢の地図座標系における絶対値等が検出される。この点については、後に詳しく説明する。
 図4に示すように、外界センサ25は、車両10の外部の情報を検出するための各種の撮像装置21(ステレオカメラ、単眼カメラ等)、及び車両10の周囲の物体を検出するための距離センサ22(ToFセンサ、LiDARセンサ等)を含む。外界センサ25の種類等は限定されず、例えば車両10の周辺情報を検出可能な任意のセンサが外界センサ25として用いられてよい。
 外界センサ25により検出された周辺情報は、図1に示す、車外情報検出部141を介して自己位置推定部132のマッチング処理部31に供給される。なお、図3では、車外情報検出部141の図示が省略されている。本実施形態では、外界センサ25は、周辺センサに相当する。
 参照情報データベース26は、複数の参照情報が格納されたデータベースであり、記憶部111に設けられる。参照情報は、自己位置推定部132により参照される情報であり、参照処理が行なわれる前に、事前に取得されて参照情報データベース26に格納される。
 参照情報は、例えば車両10等が走行する走行環境を撮影した画像情報と、当該画像情報を撮影した位置及び撮影方向とが関連付けられた情報である。また例えば、走行環境の奥行情報と、当該奥行情報を測定した位置及び測定方向とが関連付けられた情報が参照情報として用いられてもよい。
 この他、参照情報の具体的な構成は限定されない。例えば画像情報や奥行情報に代えて、画像情報から検出された画像特徴点(特徴点の位置や特徴量)や奥行情報から検出された点群レジストレーション等が記憶されてもよい。以下では、参照情報として記憶される画像情報及び奥行情報等をキーフレームと記載し、画像情報及び奥行情報が取得された位置及び取得された方向を、キーフレームの取得位置及び取得方向と記載する場合がある。
 本実施形態では、車両10とは異なる他の車両(以下マップ生成用車両と記載する)により参照情報が取得される。例えばマップ生成用車両は、自身に搭載されたカメラ等を用いて、マップ生成用車両の前方のキーフレーム(画像情報や奥行情報)を取得する。取得されたキーフレームと、取得時のマップ生成用車両の地図座標系における位置及び姿勢とが関連付けられて、サーバ等にアップロードされる。
 マップ生成用車両の位置及び姿勢を取得する方法は限定されない。例えば、航法衛星からの衛星信号であるGNSS(Global Navigation Satellite System)信号(GPSセンサの出力)、地磁気センサ、車輪オドメトリ、及び、SLAMのうち少なくとも1つ以上に基づいて、マップ生成用車両の位置及び姿勢が取得されてもよい。またマップ生成用車両の台数等は限定されず、1台以上のマップ生成用車両が適宜用いられてよい。
 車両10は、サーバ等にアップロードされた参照情報を記憶部111に適宜ダウンロードすることで、参照情報データベース26を構成する。なお、参照情報データベース26が車両10に設けられる場合に限定されず、例えば参照情報データベース26がサーバ等に設けられてもよい。この場合、車両10は、サーバ等に適宜アクセスして、必要となる参照情報を参照あるいはダウンロードする。
 図3に示すように、自己位置推定部132は、デッドレコニング(DR:Dead Reckoning)処理部30、マッチング処理部31、場所認識処理部32、及び補正処理部33を有する。以下、デッドレコニング処理部30を、DR処理部30と記載する。
 本実施形態では、自己位置推定部132により車両10の位置及び姿勢を含む状態量を確率的に推定する処理が実行される。この場合、車両10の状態量は確率分布(確率密度)で表される確率変数として扱われ、例えばある位置に車両10が存在する確率や、車両10がある方向を向いている確率等が算出される。
 車両10の状態量としては、地図座標系(XY座標系)における車両10の位置r=(x、y)及びXY平面での車両10の向きθが設定される(図10参照)。これに限定されず、例えば車両の高さ方向の位置zや、パン、ロール、ヨーといった姿勢を表す角度等が状態量として設定されてもよい。また車両10の速度等の他のパラメータを含む状態量が設定されてもよい。
 確率的な推定処理を実行するアルゴリズムとしては、例えばカルマンフィルタやパーティクルフィルタ等を用いた処理が用いられる。これらのフィルタは、例えば推定の対象となる状態量等に応じて適宜設計される。もちろんこれに限定されず、自己位置推定を行なうことが可能な任意の処理等が用いられてよい。以下では、カルマンフィルタを例に挙げて説明を行なう。
 カルマンフィルタを用いた処理では、例えば状態量の推定値Rn|mと、推定値Rn|mの精度を表す誤差共分散行列Pn|mとが算出される。ここでRn|m及びPn|mは、それぞれ時刻mでの時刻nの状態量の推定値及び誤差共分散行列を表す。
 またカルマンフィルタでは、各時間ステップで予測処理と更新処理とが実行される。予測処理は、例えば現在(時刻t)の1時刻前(時刻t-1)の結果(Rt-1|t-1、Pt-1|t-1)に基づいて、1時刻前での現在の推定値Rt|t-1及び誤差共分散行列Pt|t-1を予測する処理である。更新処理は、例えば状態量に関する計測値に基づいて予測処理の結果(Rt|t-1、Pt|t-1)を更新し、現在の時刻tにおける推定値Rt|t及び誤差共分散行列Pt|tを算出する処理である。
 例えば、ある時間ステップにおいて、状態量に関する計測値が取得されたとする。この場合、予測処理と更新処理とが実行され、推定結果として推定値Rt|t及び誤差共分散行列Pt|tが算出される。また例えば、状態量に関する計測値が取得されない場合等には、予測処理だけが実行されることもあり得る。そのような場合には、推定結果として推定値Rt|t-1及び誤差共分散行列Pt|t-1が算出される。
 このように、カルマンフィルタを用いた処理では、予測処理及び更新処理の各々による推定結果が、状況に応じて適宜算出される。以下では、推定値Rn|m及び誤差共分散行列Pn|mの符号を省略して、単に推定値及び誤差共分散行列と記載する場合がある。
 DR処理部30は、デッドレコニング処理により車両10の位置及び姿勢を推定する。ここでデッドレコニング処理とは、内界センサ24により検出された車両10自身の動作(動作情報)に基づいて、車両10の位置及び姿勢を推定する処理である。本実施形態において、デッドレコニング処理は、自律航法に相当する。
 例えば、車輪エンコーダ23により時刻tに検出された車輪の回転量に基づいて、時刻t-1での車両10の位置からの移動量を算出し、時刻tでの車両10の相対的な位置を推定するといった処理が実行される。なお実際のデッドレコニング処理では、車輪エンコーダ23のみならず、内界センサ24に含まれ各センサにより検出された各種の動作情報が適宜用いられる。
 本実施形態では、デッドレコニング処理により、上記したカルマンフィルタにおける予測処理が実現される。従って、デッドレコニング処理を行なうことで、車両10の状態量の推定値と誤差共分散行列との予測処理が実行される。
 またDR処理部30は、誤差共分散行列に基づいて、車両10の状態量の推定値についての確信度を算出する。確信度とは、車両10の状態量の推定値の確からしさを表す量である。例えば、車両10の位置rの誤差(確率分布の分散)が小さいほど、推定された位置rに車両10が存在する確率は高くなり、位置rの確信度は大きくなる。
 本実施形態では、状態量全体の確からしさを表す確信度が算出される。例えば、誤差共分散行列の対角成分から、状態量に含まれる各状態変数(位置r、向きθ等)の確信度を算出することが可能である。これら各状態変数の確信度に基づいて、全体の確信度が算出される。この他、推定値の確信度を算出可能な任意の方法が用いられてよい。
 このように、DR処理部30は、内界センサ24により検出された動作情報に基づいてデッドレコニングによる推定処理を実行し、推定値の確信度を算出する。算出された推定値及び確信度は、マッチング処理部31に供給される。また後述する計画部134の頻度制御部40には、確信度が供給される。
 マッチング処理部31は、DR処理部30の推定結果(推定値)に基づいて車両10の周辺環境に関する1以上の参照情報を検索する。例えば推定値により指定される車両10の位置を基準として参照情報データベース26から参照情報が検索される。この結果、車両10の現在地の周辺で取得された参照情報が検索されることになる。
 またマッチング処理部31は、検索された1以上の参照情報と外界センサ25により検出された周辺情報とのマッチング処理を実行することで、推定値を補正するための補正用参照情報を決定する。例えばマッチング率が所定の条件を満たす参照情報が、補正用参照情報として決定される。なお各参照情報のマッチング率が所定の条件を満たさない場合には、補正用参照情報が決定されない場合もあり得る。
 マッチング処理としては、例えば、特徴点マッチング、テンプレートマッチング、及び画像スキャニング等の任意のマッチング処理が用いられる。この他、マッチング処理の具体的な方法は限定されず、例えば機械学習等を用いたマッチング等が適宜実行されてもよい。
 場所認識処理部32は、補正用参照情報と周辺情報とに基づいて、車両10の現在地を算出する。例えば、補正用参照情報と周辺情報とのマッチング結果、及び補正用参照情報の取得位置・取得姿勢等に基づいて場所認識処理が実行され、地図座標系における車両10の位置及び姿勢の絶対値が算出される。すなわち、補正用参照情報に基づいて、車両10の位置及び姿勢の計測が行なわれるとも言える。
 本実施形態では、場所認識処理により、上記したカルマンフィルタにおける更新処理が実現される。従って、場所認識処理を行なうことで、車両10の状態量の推定値と誤差共分散行列との更新処理が実行される。更新された推定値及び誤差共分散行列は、DR処理部30に出力され、その後の予測処理に用いられる。
 なお、場所認識処理部32は、例えばGPSセンサ等を用いて検出された車両10の自己位置等に基づいて、推定値及び誤差共分散行列の更新処理等を実行することも可能である。例えば、補正用参照情報に基づく場所認識処理とGPSセンサにより検出された自己位置とを併用することで、推定処理の精度を大幅に向上することが可能である。
 補正処理部33は、車両10の位置及び姿勢の推定値の補正処理を実行する。補正処理は、例えば、補正用参照情報に基づいて算出された車両10の位置及び姿勢(地図座標系における絶対値)を基準として、推定処理を補正する処理である。すなわち補正処理部33は、補正用参照情報に基づいて推定結果を補正するとも言える。
 本実施形態では、補正処理として、車両10の現在及び過去の推定値を補正する処理が実行される。従って補正処理部33により、車両10がそれまでに通過した軌跡が補正される。このように、過去の推定値を含む補正処理は、一般にループクローズ機能(Loop Close機能、あるいはLoop Closure機能)と呼ばれる。ループクローズ機能については、後に詳しく説明する。補正された推定値(補正結果)は、DR処理部30に供給され、カルマンフィルタを用いた処理に適宜フィードバックされる。
 なお補正処理部33は、所定の判定条件に基づいて、補正処理を実行するか否かを判定する。所定の判定条件は、例えば適正なタイミング・状況で補正処理が実行されるように適宜設定される。また補正処理を実行するか否かの判定結果の情報(判定情報)は、後述する計画部134の頻度制御部40に供給される。本実施形態では、判定情報は、補正用参照情報に基づく推定結果の補正処理の実行の有無に関する実行情報に相当する。
 計画部134は、頻度制御部40と、大域的移動計画部41と、局所的移動計画部42とを有する。
 頻度制御部40は、負荷指標情報に基づいて、計画部134による移動計画の更新頻度を制御する。ここで負荷指標情報とは、自己位置推定部132の負荷の指標となる情報である。具体的には、自己位置推定部132による推定処理に要する処理負荷の指標となる情報が、負荷指標情報となる。負荷指標情報としては、例えば推定処理の処理負荷がどのくらい増加するかといったことを示す情報が用いられる。
 例えばDR処理部30による推定結果(推定値)の確信度が、負荷指標情報として用いられる。この場合、頻度制御部40は、確信度に基づいて移動計画の更新頻度を制御する。また例えば、補正処理部33による補正処理に関する判定情報が、負荷指標情報として用いられる。頻度制御部40は、判定情報に基づいて、計画部134による移動計画の更新を停止する。
 なお計画部134では、移動計画として大域的な移動計画及び局所的な移動計画の各々が生成される。本実施形態では、上記した負荷指標情報に基づいて、大域的な移動計画の更新頻度を制御する処理が実行される。負荷指標情報(確信度及び判定情報)に基づく更新頻度の制御については、後に詳しく説明する。
 大域的移動計画部41は、大域的な移動計画を生成し、大域的な移動計画の更新を実行する。大域的な移動計画とは、広範囲なエリアで車両10を移動させるための計画である。本実施形態では、大域的な移動計画として、車両10の目的地までの経路計画が生成される。経路計画は、車両10を移動させるべき道順(順路)を示す情報等を含む計画である。経路計画により、例えば車両10の現在地から目的地に到達するまでに通る道路、交差点での右左折、分岐の方向等が指定される。
 図5は、経路計画の一例を示す模式図である。図5には、車両10の現在地50から目的地51までの予定経路52が模式的に図示されている。大域的移動計画部41では、例えば車両10の現在地50から目的地51までの道路53の情報等を含むグローバルマップをもとに、車両10の位置(現在地50)を参照して経路計画が生成される。また、車両10の移動や、予定経路52上の渋滞情報等に応じて、ルートの変更、すなわち経路計画(大域的な移動計画)の更新が実行される。更新された経路計画は、局所的移動計画部42に供給される。
 局所的移動計画部42は、局所的な移動計画を生成し、局所的な移動計画の更新を実行する。局所的な移動計画とは、車両10の周辺の狭い領域で車両10を移動させるための計画である。本実施形態では、局所的な移動計画として、車両10の現在地50からの移動方向を指示する軌道計画が生成される。軌道計画では、例えば予定経路52に合わせて車両10を安全に移動させるための移動方向や速度等を含む車両10の軌道が計画される。
 図6は、軌道計画の一例を示す模式図である。図6には、図5に示す現在地50における車両10の軌道54の候補が模式的に図示されている。例えば、車両10の現在の姿勢(向きθ)及び速度等に基づいて、舵角(ステアリングホイールの回転量)を操作した場合の車両10の軌道54が算出される。図6では、舵角の異なる複数の軌道54の候補が図示されている。これらの候補のうち、車両10を予定経路52に最も良く追従させることが可能な軌道54が適宜選択され、選択された軌道54が軌道計画として用いられる。
 なお、軌道計画を生成する方法は限定されず、例えば車両10の周辺に障害物や他の車両等がある場合には、それらを回避する軌道54が適宜算出されてもよい。また例えば、車両10が走行している道路の白線に沿った軌道54や、前方を走行する他の車両を追従する軌道54等が適宜算出されてよい。
 このように、軌道計画は、車両10の位置や姿勢の変化に加え、車両10の周辺の障害物や交通状況等に対応する必要がある。このため、軌道計画は頻繁に更新される。更新された起動計画は、図1に示す動作制御部135の加減速制御部172及び方向制御部173に供給される。
 [自己位置推定部及び計画部の基本動作]
 図7は、自己位置推定部132の基本的な動作の概要を示す模式図である。図8は、計画部134の基本的な動作の概要を示す模式図である。図7及び図8では、図3で説明した自己位置推定部132及び計画部134に含まれる各機能ブロックと、機能ブロック間でやり取りされる情報とが模式的に示されている。
 図7に示すように、自己位置推定部132では、DR処理部30によるデッドレコニング処理が、所定の頻度(処理レート)で繰り返し実行される。この繰り返しの度に、車両10の状態量(位置及び姿勢)の推定値及び確信度(誤差共分散行列)が算出される。
 また、マッチング処理部31によるマッチング処理は、DR処理部30とは独立して繰り返し実行される。この時、参照情報を検索するための推定値や確信度等の情報がDR処理部30から適宜取得される。マッチングが取れた場合、場所認識処理部32により、車両10の位置及び姿勢の絶対値が算出され、推定値及び誤差共分散行列が更新される。
 場所認識処理が完了すると、補正処理部33により、補正処理を実行するか否かが判定される。補正処理を実行すると判定された場合、更新された推定値を基準としてループクローズ機能を用いた補正処理が実行される。そして補正処理の結果が、DR処理部30にフィードバックされる。
 図8に示すように、計画部134では、大域的な移動計画の生成処理(Global Path Planner)と、局所的な移動計画の生成処理(Local Path Planner)とが、それぞれ独立した頻度で繰り返し実行され、各移動計画が異なる頻度で更新される。例えば、大域的な移動計画と比べ、局所的な移動計画の更新頻度は高く設定される。
 また上記したように、大域的な移動計画の更新頻度は、図7で説明した自己位置推定部132での各処理の処理負荷の指標(負荷指標情報)に基づいて、頻度制御部40により適宜制御される。一方で、局所的な移動計画は、所定の頻度で常時更新される。
 [更新頻度の制御]
 図9は、大域的な移動計画の更新頻度の制御の一例を示すフローチャートである。なお、この処理は、例えば、車両10を起動し、運転を開始するための操作が行われたとき、例えば、車両10のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両10のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
 まず外界センサ25を使って、車両10の周辺情報が検出される(ステップ101)。検出された周辺情報は、マッチング処理部31に供給される。
 DR処理部30により、車両10の位置及び姿勢(状態量)の推定値及び推定値の確信度が算出される(ステップ102)。DR処理部30は、内界センサ24により検出された車両10の動作に関する動作情報を取得し、デッドレコニング処理を実行し、車両10の現在の位置(現在地)及び現在の姿勢を推定した推定値を算出する。
 なお図7を参照して説明したように、DR処理部30は独立した処理レートで動作している。従って、ステップ102は、例えばステップ101の完了に応じて、DR処理部30により算出された推定値及び確信度を取得する処理であるとも言える。このようにDR処理部では、時間とともに変化する車両10の位置及び姿勢が常に推定されている。従って、DR処理部30により算出された推定値及び確信度を用いることで、車両10の最新の状態を反映した処理を実行することが可能となる。
 図10は、車両10の動作の一例を示す模式図である。図10では、地図座標系(X座標及びY座標)で表される平面内を移動する車両10が模式的に図示されている。また地図座標系における車両10の状態は、車両10の位置r=(x、y)及びXY平面での車両10の向きθで表される。ここでθは、X座標と車両10の進行方向とが成す角度である。
 内界センサ24により、例えば時刻tに車両10の動作情報(加速度等)が検出されたとする。この動作情報から、1時刻前の時刻t-1から時刻tまでの車両10の移動量及び移動方向が算出される。この移動量及び移動方向と、時刻t-1での車両10の状態(位置r及び向きθの推定値)とに基づいて、時刻tでの車両10の状態が推定される。
 図10では、時刻T1から時刻T5までの車両10の位置r1~r5が模式的に図示されている。例えば時刻T2での位置r2は、時刻T1での位置r1を基準として、時刻T1から時刻T2までの移動量及び移動方向に基づいて算出された推定値となる。なお時刻T1では、地図座標系における車両10の位置r及び向きθが取得されているものとする。
 内界センサ24により検出される動作情報には、一般に誤差が含まれる。このため、デッドレコニング処理のみを繰り返した場合、推定値の誤差はステップを繰り返すごとに増加し、累積誤差が蓄積されることになる。
 図10では、各位置r1~r5に対応する誤差範囲が楕円誤差55により表されている。楕円誤差55は、例えば車両10が任意の確率(例えば90%の確率等)で存在する範囲を表す。図10に示すように、楕円誤差55の大きさは、時刻とともに増大する。この誤差の増大に伴い、推定値の確信度は減少する。この結果、推定値が示す位置が実際の車両10の位置から次第にずれていく可能性がある。
 例えば、GPSセンサの精度が低い、あるいはGPSセンサが使用できない環境(トンネル、地下、高層ビルの間の道路、及び屋内等)では、デッドレコニング処理だけを用いた推定処理が継続されるといった場合があり得る。このような場合には、図10に示す楕円誤差が増大する可能性がある。このような場合であっても、後述するステップ110での推定値の補正処理(更新処理)を行なうことで、推定値の誤差を低減し、確信度を増大させることが可能である。
 図9に戻り、マッチング処理部31により、参照情報を検索するための検索範囲が設定される(ステップ103)。マッチング処理部31は、ステップ102で算出された推定値(車両10の現在地)に基づいて、参照情報データベース26に格納された参照情報を検索する。この時の参照情報の検索範囲、すなわち参照情報を検索する条件等が設定される。
 図11は、参照情報の検索範囲の一例を説明するための模式図である。図11Aは、参照情報60の検索範囲の一例を示す模式図である。図11Bは、図11Aに示す参照情報60の具体例を示す表である。
 図11Aには、過去にマップ生成用車両が通過し、参照情報60を取得した取得経路61と、その取得位置62a~62gとが模式的に図示されている。また各参照情報60の取得方向63が矢印により模式的に図示されている。なお図11Aでは、取得位置62gで取得された画像情報(キーフレーム64)が一例として図示されている。また車両10は、7箇所の取得位置62a~62gのうち、取得位置62a及び62bに近い位置を移動しているものとする。
 図11Bに示すように、各参照情報60には、各々を識別するためのIDが付与されている。また参照情報60には、キーフレーム(画像情報、奥行情報等)と、その取得位置62の座標(x、y)及び取得方向63を示す角度(θ)とが関連付けて記憶されている。マッチング処理部31は、例えば取得位置62や取得方向63を適宜参照することで、参照情報60の検索を実行する。
 図11Aに示すように、例えば参照情報60の検索範囲65として、車両10の現在地(推定値)を基準として車両10の周辺領域66が設定される。図11Aでは、円形の周辺領域66が模式的に図示されている。例えば、参照情報データベース26から、周辺領域66で取得された参照情報60、すなわち周辺領域66に取得位置62が含まれる参照情報60が検索される。
 このように周辺領域66を設定することで、所望の範囲で取得された参照情報60を検索することが可能となる。なお周辺領域66を用いる場合に限定されず、例えば取得位置が車両10の現在位置に近い順にN個の参照情報を取得するといった検索範囲の設定が行なわれてもよい。また車両10の位置rのみならず向きθに応じた検索範囲の設定が適宜実行されてよい。
 本実施形態では、確信度に基づいて、参照情報の検索範囲65(周辺領域66)が設定される。図11Aでは、確信度が高い場合の周辺領域66aと、確信度が低い場合の周辺領域66bとがそれぞれ図示されている。
 例えば車両10の現在地50の確信度が高い場合には、車両10の現在地50の誤差が小さい(図10参照)。つまり、車両10が実際に存在している位置(真の現在地)は、推定値で指定される位置に近い位置であると考えられる。この場合、推定値に近い範囲の参照情報を取得すればよく、離れた位置の参照情報を取得する必要はない。従って、検索範囲65(周辺領域66a)は狭く設定される。
 図11Aに示すように、車両10の現在地の確信度が高い場合、車両10の近傍の領域を検索対象とするような周辺領域66aが設定される。周辺領域66aには、取得位置62a及び62bが含まれる。従って、図11Bに示すように、確信度が高い場合の検索結果67aには、取得位置62a及び62bで取得された参照情報60a及び60bが含まれる。
 一方で、車両10の現在地50の確信度が低い場合には、車両10の現在地50の誤差が大きい。すなわち、車両10の真の現在地は、推定値で指定される位置にから離れている可能性がある。このため、参照情報を検索する場合には、推定値に近い範囲の参照情報のみならず、離れた位置の参照情報が取得される。従って、検索範囲65(周辺領域66)は広く設定される。
 図11Aに示すように、車両10の現在地の確信度が低い場合、車両10の近傍から離れた領域までを検索対象とするような周辺領域66bが設定される。周辺領域66bには、図中の全ての取得位置62a~62gが含まれる。従って、図11Bに示すように、確信度が低い場合の検索結果67bには、7つの参照情報60a~60gが全て含まれる。
 このように、本実施形態では、確信度が高いほど検索範囲65は狭く設定され、確信度が低いほど検索範囲65は広く設定される。この結果、確信度が高い場合に検索される参照情報60の数は、確信度が低い場合に検索される参照情報60の数と比べ小さくなる。すなわち、確信度が高いほど、検索結果に含まれる参照対象は少なくなる。
 図9に戻り、頻度制御部40により、確信度に基づいて、大域的な移動計画の更新頻度が制御される(ステップ104)。例えば頻度制御部40は、ステップ102で算出された確信度の値に応じた更新頻度を設定し、設定された更新頻度で大域的な移動計画の更新を行なうように、大域的移動計画部41の動作を制御する。
 図12は、参照情報を検索している段階でのCPU負荷率と大域的な移動計画の更新頻度との関係を示す表である。参照情報を検索している段階(検索段階)とは、例えばマッチング処理部31により参照情報データベース26から補正用参照情報が決定されるまでの段階である。なおステップ104は、参照情報の検索段階で実行される処理である。
 例えば図12の左側の列に示すように、確信度が高い場合、参照情報の検索範囲65は狭く設定される。この結果、検索結果に含まれる参照情報の数、すなわち後述するステップ105でのマッチング処理の対象となる参照情報の数は少なくなる。従って自己位置推定部132のマッチング処理は低いCPU負荷率で実行されると考えられる。
 頻度制御部40は、確信度が高い場合に大域的な移動計画の更新頻度を高く設定する。この結果、大域的な移動計画の更新処理に要するCPU負荷率は高くなる。これにより、例えばCPUの処理能力を十分に活用することが可能となる。また確信度が高い状態で大域的な移動計画を更新することで、大域的な移動計画の更新精度を向上することが可能となる。
 また図12の右側の列に示すように、確信度が低い場合、参照情報の検索範囲65は広く設定される。この結果、マッチング処理の対象となる参照情報の数は多くなり、自己位置推定部132のマッチング処理は高いCPU負荷率で実行されると考えられる。
 頻度制御部40は、確信度が低い場合に大域的な移動計画の更新頻度を低く設定する。この結果、大域的な移動計画の更新処理に要するCPU負荷率は低くなる。これにより、自己位置推定部132によるCPU負荷率が増大した場合であっても、全体の処理負荷の増大等を十分に抑制することが可能となる。
 このように、本実施形態では、確信度が高いほど更新頻度が高く設定され、確信度が低いほど更新頻度が低く設定される。これにより、例えば車両10の位置や姿勢の推定処理及び大域的な移動計画の更新処理の各処理負荷のバランスをとることが可能となり、十分に安定した移動制御を実現することが可能となる。
 また確信度を用いることで、例えばCPUの処理負荷の増加量等に応じた更新頻度の制御を実現することが可能となる。すなわち確信度は、推定処理に要する処理負荷の変化を表す指標(負荷指標情報)として十分に機能するとも言える。
 図13は、確信度と更新頻度との関係の一例を示すグラフである。グラフの横軸は、推定値(自己位置)の確信度であり、0%から100%までの値で表される。グラフの縦軸は、大域的な移動計画の更新頻度(再計画レート)であり、0Hzから1Hzまでの値であらわされる。なお、更新頻度が0Hzであることは、更新が停止していることに相当する。
 図13に示すように、更新頻度は、確信度と更新頻度との関係が線形となるように設定される。すなわち、頻度制御部40は、確信度の変化に対して更新頻度を線形に変化させる。図13に示す例では、更新頻度は、原点を通る直線で表される。例えば確信度が0%の場合には更新頻度は0Hz(停止)に設定され、確信度が100%の場合には更新頻度は1Hzに設定される。このように、確信度に対して更新頻度を線形に制御することで、処理負荷のバランス等を容易に制御することが可能となる。
 なおグラフの傾きや更新頻度の上限値等は適宜設定されてよい。また更新頻度の線形な制御に代えて、非線形な関数等を用いた制御が実行されてもよい。この他、確信度に基づいて更新頻度を制御する方法は限定されず、例えば処理負荷のバランスをとることが可能な任意の方法が用いられてよい。
 図9に戻り、更新頻度の制御が完了すると、参照情報と周辺情報とのマッチング処理が実行される(ステップ105)。具体的には、マッチング処理部31により、ステップ101で取得された周辺情報と、ステップ103で検索された1以上の参照情報の各々とのマッチング処理が実行される。
 各参照情報とのマッチング処理では、周辺情報と各参照情報に含まれるキーフレームとのマッチング率がそれぞれ算出される。例えばマッチング率が所定の閾値を超えた参照情報が、周辺情報に類似する参照情報であるとして、推定値を補正するための補正用参照情報に決定される。この場合、補正用参照情報が複数決定される場合もあり得る。
 なお所定の閾値を超える参照情報が存在しなかった場合には、周辺情報に類似する参照情報は検索されていないとして、補正用参照情報は決定されない。
 マッチング処理により補正用参照情報を決定する方法は限定されない。例えば、マッチング率が所定の閾値を超えた参照情報のうち、最もマッチング率の高い参照情報を補正用参照情報として決定するといった処理が実行されてもよい。また閾値以外の条件(天候や時間等)に基づいて、補正用参照情報が決定されてもよい。
 マッチング処理が完了すると、補正用参照情報が決定されたか否かが判定される(ステップ106)。補正用参照情報が決定されていないと判定された場合(ステップ106のNo)、ステップ101~ステップ105までの処理が再度実行される。すなわち、周辺情報が再度取得され、参照情報を検索する処理が実行される。従って、補正用参照情報が見つかるまでは、自己位置推定部132による推定処理は、参照情報の検索段階であるとも言える。
 検索段階では、車輪エンコーダやIMUセンサ等の内界センサ24によるデッドレコニング処理のみで、車両10の自己位置同定(推定処理)が行なわれる。この検索段階の時間が長くなると、推定値の確信度は次第に低下していく。この結果、参照情報の検索範囲が広くなり、マッチング処理によるCPU負荷率が増加することになる。
 このような場合であっても、大域的な移動計画の更新頻度を適宜制御することで(ステップ104)、システム全体のCPU負荷率をバランスよく調整することが可能である。これにより、車両10の移動制御に要する各処理を安定して継続することが可能となる。
 また例えばマッチング処理が必要とする計算資源(CPUの処理能力)を十分に確保することが可能となり、マッチング処理の処理時間を短縮することが可能となる。この結果、例えばマッチング処理に時間がかかることで、位置の不確かさが増大し、次のマッチング処理にさらに時間がかかるといった状況を十分に回避することが可能となる。
 補正用参照情報が決定されたと判定された場合(ステップ106のYes)、場所認識処理部32により、場所認識処理が実行される(ステップ107)。例えば、補正用参照情報と周辺情報とのマッチング結果(マッチング情報)から、補正用参照情報の取得位置及び取得方向に対する、車両10の現在の位置及び姿勢の絶対値がそれぞれ算出される。これにより、グローバルマップ内での車両10の位置や姿勢を認識することが可能となる。
 補正処理部33により、所定の判定条件に基づいて、ループクローズ機能による補正処理を実行するか否かが判定される(ステップ108)。所定の判定条件により、例えば補正処理が必要であるか否か、あるいは補正処理を実行可能であるか否かといった各種の状況が判定される。
 例えば、所定の時間内に補正処理が実行されたかどうかが判定される。この場合、所定の時間が判定条件となる。例えば所定の時間内に補正処理が実行されている場合、推定値はすでに十分補正されているとして、補正処理は必要ない(補正処理を実行しない)と判定される。逆に所定の時間内に補正処理が実行されていない場合、推定値の誤差が増加している可能性があるとして、補正処理が必要である(補正処理を実行する)と判定される。この他、所定の判定条件を設定する方法等は限定されず、補正処理の実行を判定する任意の条件が設定されてよい。
 補正処理を実行しないと判定された場合(ステップ108のNo)、ステップ101に戻り、次の補正用参照情報の探索(ステップ101~ステップ107)が実行される。また判定情報として補正処理が実行しない旨の情報が頻度制御部40に出力される。この場合、大域的移動計画部41による大域的な移動計画の更新は、そのときに設定されている更新頻度で継続される。
 補正処理を実行すると判定された場合(ステップ108のYes)、判定情報として補正処理が実行される旨の情報が頻度制御部40に出力される。この場合、大域的な移動計画が停止される(ステップ109)。このように頻度制御部40は、判定情報に基づいて、大域的移動計画部41による大域的な移動計画の更新を停止する。例えば補正処理が実行される旨の判定情報を取得したタイミングで、大域的な移動計画の更新頻度を一時的に0Hzに設定するといった処理が実行される(図13参照)。
 なお大域的な移動計画の提供が停止された場合であっても、局所的な移動計画(車両の速度や回転等の軌道計画)は継続して更新される。例えば局所的移動計画部42は、外界センサ25等により取得された現在の時刻のスナップショット(画像情報や奥行情報等)をもとに、車両10を安全に移動させるための軌道計画を生成する。これにより大域的な移動計画が停止されている間も、安全な移動制御を継続することが可能である。
 補正処理部33により、ループクローズ機能を用いた推定値の補正処理が実行される(ステップ110)。図14は、ループクローズ機能による補正処理の一例を示す模式図である。
 例えば、記憶部111に記憶された車両10の過去の通過位置及び通過位置での姿勢に関する情報、すなわち車両10が過去に通過した軌跡の情報が取得される。これらの情報は、例えばデッドレコニング処理により推定された推定値である。ループクローズ機能では、ステップ107で算出された位置及び姿勢の絶対値を基準として、車両10の過去の通過位置及び通過位置での姿勢がそれぞれ補正される。
 図14には、過去の車両10の位置R1~R3と、補正後の車両10の位置R1'~R3'とが模式的に図示されている。なお位置R4は、過去にループクローズ機能による補正処理が行なわれた位置である。図14に示すように、補正処理を行なうことで、過去に通過した各位置及び姿勢をそれぞれ補正することが可能となる。
 これにより、デッドレコニング処理で生じた誤差等を十分に低減させることが可能となる。また過去に通過した軌跡も含めた補正処理を行なうことで、非常に高精度な地図(自己位置推定用マップ等のローカルマップ)を作成することが可能となる。ループクローズ機能は、例えばGraphSLAM等の技術を用いて実現される。
 図15は、推定値の補正処理を実行している段階でのCPU負荷率と大域的な移動計画の更新頻度との関係を示す表である。推定値の補正処理が実行される場合、推定値の確信度は低い、すなわち補正処理が必要となっている場合が考えられる。なお推定値の確信度が高い場合であっても、ループクローズ機能が実行される場合もあり得る。
 図15に示すように、推定値の補正段階、すなわち車両10が通過した過去の軌跡を補正する段階では、一時的にCPU負荷率が上昇する場合があり得る。一方で、推定値の補正段階においては、大域的な移動計画の更新が一時的に停止されており、大域的な移動計画の更新に要するCPU負荷率はゼロとなる。
 このように、補正処理が実行される場合に、大域的な移動計画の更新を停止することで、CPUの演算容量に十分な余裕を持たせることが可能である。これにより、例えば処理量の増大に伴う不具合(各処理の遅延やフリーズ等)を十分に回避することが可能となる。この結果、移動体の移動制御を大幅に安定化することが可能となる。これにより、安定でかつ精度の高い移動制御を実現することが可能となる。
 図9に戻り、補正処理が完了すると、大域的な移動計画の更新が再開される(ステップ111)。頻度制御部40は、例えば補正後の推定値の確信度に基づいて、更新頻度を設定して、大域的な移動計画の更新を再開する。これにより、大域的な移動計画の更新精度を向上することが可能となる。
 ステップ111が完了すると、ステップ101に戻り上記の処理が繰り返される。
 このように自己位置推定部132では、補正用参照情報の探索(検索段階)と、補正用参照情報を用いた補正処理(補正段階)とが交互に実行されることになる。また自己位置推定部132による推定処理の各段階でのCPU負荷率に応じて、大域的な移動計画の更新頻度が制御される。この結果、移動制御中のシステム全体の処理負荷を適正に保つことが可能となり、十分に安定した移動制御を実現することが可能となる。
 以上、本実施形態に係る自動運転制御部112では、車両10の位置及び姿勢の少なくとも一方を推定する推定処理の処理負荷の指標となる負荷指標情報に基づいて、車両10の移動計画の更新頻度が制御される。これにより、移動制御に要する処理負荷をコントロールして安定した移動制御を実現することが可能となる。
 車両の移動を制御する方法において、車両の周辺環境の変化に応じて経路を再計画する方法が考えられる。例えば他の車両や歩行者等の位置の変化に応じて、車両の位置や姿勢が適宜コントロールされる。この過程で車両の位置や姿勢がずれた場合に、新しい経路が再度計画される。この方法では、車両の自己位置推定処理に加え、他の車両等の検出処理や認識処理、及び経路の再計画処理等の様々な処理を実行することになる。このため、CPUの負荷が上昇し、処理の遅延やフリーズ等の不具合が生じる可能性がある。
 本実施形態では、自己位置推定部132での推定処理に要する処理負荷の指標となる負荷指標情報に基づいて、大域的な移動計画の更新頻度が制御される。これにより、推定処理に必要となる処理負荷に応じて、システム全体の処理負荷を適正にコントロールすることが可能となる。この結果、推定処理の処理負荷の増大に伴う、他の処理への影響(遅延やフリーズ等)を十分に抑制することが可能となる。
 例えば推定処理は、CPU負荷率が低い順に、推定値の確信度が高い場合の参照情報の検索段階、推定値の確信度が低い場合の参照情報の検索段階、及び推定値を補正する補正段階の各段階に大別することができる(図12及び図15参照)。これらの各段階でのCPU負荷率に対して、大域的な移動計画の更新頻度を変更することで、全体の処理負荷の調整が実現される。
 検索段階では、確信度を指標として更新頻度が制御される。確信度を用いることで、例えばマッチング処理等に必要な処理負荷に合わせた更新頻度を容易に設定することが可能となる。また大域的な移動計画の更新を一定のレートで冗長に行なわないことで、消費電力を抑制することが可能となり、バッテリー等の継続時間を増大させることが可能となる。
 また補正段階では、トリガー情報を指標として更新が停止される。これにより、ループクローズ機能等に伴いCPU負荷率が肥大的に増加する前に、予めCPUの処理容量を確保することが可能となる。この結果、フリーズ等の不具合を十分に回避することが可能となり、安定でしかも信頼性の高い自律移動制御を実現することが可能となる。
 このように本技術を用いることで、例えばGPSセンサ等が使用できない環境(トンネルや屋内等)においても、車両10の自己位置推定を安定して継続することが可能となる。この結果、様々な環境で車両10を安全に走行させることができる自律移動制御を実現することが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記の実施形態では、マップ生成用車両を用いて参照情報データベースが構築された。これに限定されず、車両自身により参照情報が取得され、参照情報データベースが構築されてもよい。例えば、車両に搭載された外界センサを用いて取得されたキーフレーム(画像情報及び奥行情報等)と、キーフレーム取得時の車両の位置及び姿勢とが、参照情報として参照情報データベースに格納される。
 この場合、車両自身が過去に取得した参照情報に基づいて、現在の車両の位置及び姿勢の推定値が補正される。これにより、同じセンサ(外界センサ)を用いて取得されたキーフレーム同士を比較することになり、推定値を精度良く補正することが可能となる。なお、車両自身により参照情報データベースが構築される場合であっても、大域的な移動計画の更新頻度を適宜制御することで、安定した移動制御を実現することが可能である。
 図9に示すフローチャートでは、マッチング処理が開始される前に、大域的な移動計画の更新頻度を調整する処理が実行された。更新頻度を調整するタイミング等は限定されない。例えばマッチング処理が実行されている間も、デッドレコニング処理により推定値及び確信度が算出される。この確信度に基づいて、マッチング処理の実行中に大域的な移動計画の更新頻度が調整されてもよい。これにより、更新頻度を細かく設定することが可能となり、CPU負荷率等の調整を高い精度で実現することが可能となる。
 また上記では、補正処理を実行するか否かの判定処理が実行された(図9のステップ108)。これに限定されず、例えば補正処理の実行に関する判定処理を実行しない構成が用いられてもよい。この場合、例えば補正参照情報が決定されたタイミングで大域的な移動計画の更新が停止される。そして補正処理が実行された後に、大域的な移動計画の更新が再開される。例えばこのような処理が実行されてもよい。
 上記の実施形態では、頻度制御部により、負荷指標情報に基づいて大域的な移動計画の更新頻度が制御された。これに限定されず、局所的な移動計画の更新頻度が制御されてもよい。また大域的な移動計画及び局所的な移動計画の各々の更新頻度を制御するといった処理が実行されてもよい。このように、各移動計画の更新頻度を適宜制御することで、システム全体の処理負荷を適正に保つことが可能となる。
 また、大域的な移動計画が「更新中」である、あるいは「更新済み」であるといった更新処理の状態が報知されてもよい。例えば更新処理の状態を示す所定の報知画像(アイコン等)が生成され、図2に示す出力部106に備えられたディスプレイ等に適宜表示される。これにより、搭乗者は、例えば大域的な移動計画が更新されているかどうかを容易に確認することが可能となる。
 上記では、自動運転制御部により、移動計画の更新頻度の制御等を含む、本技術に係る情報処理方法が実行された。これに限定されず、クラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。すなわち自動運転制御部の機能が、クラウドサーバに搭載されてもよい。この場合、当該クラウドサーバは、本技術に係る情報処理装置として動作することになる。
 また車両に搭載されたコンピュータ(自動運転制御部)と、ネットワーク等を介して通信可能な他のコンピュータ(クラウドサーバ)とが連動することで、本技術に係る情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば車両の位置及び姿勢の少なくとも一方の推定、車両を移動させるための移動計画の生成、及び移動計画の更新頻度の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法、及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 上記では、移動体の一例として車両を例に説明を行なったが、移動体の種類等に係らず本技術は適用可能である。例えば移動体として、自律移動ロボット等が考えられる。自律移動ロボットの移動環境としては、道路や公園等の屋外、病院やショッピングモール等の屋内、オフィスやリビング等の室内といった様々な環境が想定される。自律移動ロボットは、自身が移動する環境での自己位置の推定処理や移動計画の生成処理等を実行して、目的地までの移動を行う。
 例えば、自律移動ロボットの自己位置の推定処理に要する処理負荷の指標となる情報に基づいて、移動計画の更新頻度を制御することで、システム全体の処理負荷を適正にコントロールすることが可能となる。これにより、自律移動ロボットのフリーズ等が回避され、安定した移動制御を実現することが可能となる。またCPUの消費電力等を抑制することが可能となり、自律移動ロボットの動作時間を延ばすことが可能となる。
 この他、本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。
 なお、本技術は以下のような構成も採ることができる。
(1)移動体の位置及び姿勢の少なくとも一方を推定する推定部と、
 前記移動体を移動させるための移動計画を生成する生成部と、
 前記推定部の負荷の指標となる負荷指標情報に基づいて、前記生成部による前記移動計画の更新頻度を制御する頻度制御部と
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記負荷指標情報は、前記推定部による推定結果の確信度を含み、
 前記頻度制御部は、前記確信度に基づいて前記移動計画の前記更新頻度を制御する
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記頻度制御部は、前記確信度が高いほど前記更新頻度を高く設定し、前記確信度が低いほど前記更新頻度を低く設定する
 情報処理装置。
(4)(2)又は(3)に記載の情報処理装置であって、
 前記頻度制御部は、前記確信度の変化に対して前記更新頻度を線形に変化させる
 情報処理装置。
(5)(2)から(4)のうちいずれか1つに記載の情報処理装置であって、
 前記生成部は、前記移動体の大域的な移動計画及び局所的な移動計画の各々を生成し、
 前記頻度制御部は、前記確信度に基づいて前記大域的な移動計画の前記更新頻度を制御する
 情報処理装置。
(6)(5)に記載の情報処理装置であって、
 前記大域的な移動計画は、前記移動体の目的地までの経路計画を含む
 情報処理装置。
(7)(5)又は(6)に記載の情報処理装置であって、
 前記局所的な移動計画は、前記移動体の現在地からの移動方向を指示する軌道計画を含む
 情報処理装置。
(8)(2)から(7)のうちいずれか1つに記載の情報処理装置であって、
 前記移動体は、前記移動体の動作に関する動作情報を検出する動作センサを有し、
 前記推定部は、前記動作センサにより検出された前記動作情報に基づいて自律航法による推定処理を実行し、前記推定結果の前記確信度を算出する
 情報処理装置。
(9)(2)から(8)のうちいずれか1つに記載の情報処理装置であって、
 前記移動体は、前記移動体の周辺環境に関する周辺情報を検出する周辺センサを有し、
 前記推定部は、前記推定結果に基づいて前記移動体の周辺環境に関する1以上の参照情報を検索し、前記検索された1以上の参照情報と前記周辺センサにより検出された前記周辺情報とのマッチング処理を実行することで、前記推定結果を補正するための補正用参照情報を決定する
 情報処理装置。
(10)(9)に記載の情報処理装置であって、
 前記推定部は、前記確信度に基づいて前記参照情報の検索範囲を設定する
 情報処理装置。
(11)(10)に記載の情報処理装置であって、
 前記推定部は、前記確信度が高いほど前記検索範囲を狭く設定し、前記確信度が低いほど前記検索範囲を広く設定する
 情報処理装置。
(12)(9)から(11)のうちいずれか1つに記載の情報処理装置であって、
 前記負荷指標情報は、前記補正用参照情報に基づく前記推定結果の補正処理の実行の有無に関する実行情報を含む
 情報処理装置。
(13)(12)に記載の情報処理装置であって、
 前記補正処理は、前記移動体の現在及び過去の前記推定結果を補正する処理である
 情報処理装置。
(14)(12)又は(13)に記載の情報処理装置であって、
 前記頻度制御部は、前記実行情報に基づいて、前記生成部による前記移動計画の更新を停止する
 情報処理装置。
(15)(12)又は(13)に記載の情報処理装置であって、
 前記生成部は、前記移動体の大域的な移動計画及び局所的な移動計画の各々を生成し、
 前記頻度制御部は、前記実行情報に基づいて、前記生成部による前記大域的な移動計画の更新を停止する
 情報処理装置。
(16)(12)から(15)のうちいずれか1つに記載の情報処理装置であって、
 前記推定部は、前記補正処理を実行するか否かを判定し、判定結果に応じて前記補正処理を実行する
 情報処理装置。
(17)(16)に記載の情報処理装置であって、
 前記推定部は、前記補正処理を実行すると判定された場合に、前記実行情報として前記補正処理が実行される旨の情報を前記頻度制御部に出力する
 情報処理装置。
 10…車両
 24…内界センサ
 25…外界センサ
 26…参照情報データベース
 30…DR処理部
 31…マッチング処理部
 32…場所認識処理部
 33…補正処理部
 40…頻度制御部
 41…大域的移動計画部
 42…局所的移動計画部
 52…予定経路
 54…軌道
 60、60a~60g…参照情報
 65…検索範囲
 102…データ取得部
 112…自動運転制御部
 132…自己位置推定部
 134…計画部

Claims (20)

  1.  移動体の位置及び姿勢の少なくとも一方を推定する推定部と、
     前記移動体を移動させるための移動計画を生成する生成部と、
     前記推定部の負荷の指標となる負荷指標情報に基づいて、前記生成部による前記移動計画の更新頻度を制御する頻度制御部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記負荷指標情報は、前記推定部による推定結果の確信度を含み、
     前記頻度制御部は、前記確信度に基づいて前記移動計画の前記更新頻度を制御する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記頻度制御部は、前記確信度が高いほど前記更新頻度を高く設定し、前記確信度が低いほど前記更新頻度を低く設定する
     情報処理装置。
  4.  請求項2に記載の情報処理装置であって、
     前記頻度制御部は、前記確信度の変化に対して前記更新頻度を線形に変化させる
     情報処理装置。
  5.  請求項2に記載の情報処理装置であって、
     前記生成部は、前記移動体の大域的な移動計画及び局所的な移動計画の各々を生成し、
     前記頻度制御部は、前記確信度に基づいて前記大域的な移動計画の前記更新頻度を制御する
     情報処理装置。
  6.  請求項5に記載の情報処理装置であって、
     前記大域的な移動計画は、前記移動体の目的地までの経路計画を含む
     情報処理装置。
  7.  請求項5に記載の情報処理装置であって、
     前記局所的な移動計画は、前記移動体の現在地からの移動方向を指示する軌道計画を含む
     情報処理装置。
  8.  請求項2に記載の情報処理装置であって、
     前記移動体は、前記移動体の動作に関する動作情報を検出する動作センサを有し、
     前記推定部は、前記動作センサにより検出された前記動作情報に基づいて自律航法による推定処理を実行し、前記推定結果の前記確信度を算出する
     情報処理装置。
  9.  請求項2に記載の情報処理装置であって、
     前記移動体は、前記移動体の周辺環境に関する周辺情報を検出する周辺センサを有し、
     前記推定部は、前記推定結果に基づいて前記移動体の周辺環境に関する1以上の参照情報を検索し、前記検索された1以上の参照情報と前記周辺センサにより検出された前記周辺情報とのマッチング処理を実行することで、前記推定結果を補正するための補正用参照情報を決定する
     情報処理装置。
  10.  請求項9に記載の情報処理装置であって、
     前記推定部は、前記確信度に基づいて前記参照情報の検索範囲を設定する
     情報処理装置。
  11.  請求項10に記載の情報処理装置であって、
     前記推定部は、前記確信度が高いほど前記検索範囲を狭く設定し、前記確信度が低いほど前記検索範囲を広く設定する
     情報処理装置。
  12.  請求項9に記載の情報処理装置であって、
     前記負荷指標情報は、前記補正用参照情報に基づく前記推定結果の補正処理の実行の有無に関する実行情報を含む
     情報処理装置。
  13.  請求項12に記載の情報処理装置であって、
     前記補正処理は、前記移動体の現在及び過去の前記推定結果を補正する処理である
     情報処理装置。
  14.  請求項12に記載の情報処理装置であって、
     前記頻度制御部は、前記実行情報に基づいて、前記生成部による前記移動計画の更新を停止する
     情報処理装置。
  15.  請求項12に記載の情報処理装置であって、
     前記生成部は、前記移動体の大域的な移動計画及び局所的な移動計画の各々を生成し、
     前記頻度制御部は、前記実行情報に基づいて、前記生成部による前記大域的な移動計画の更新を停止する
     情報処理装置。
  16.  請求項12に記載の情報処理装置であって、
     前記推定部は、前記補正処理を実行するか否かを判定し、判定結果に応じて前記補正処理を実行する
     情報処理装置。
  17.  請求項16に記載の情報処理装置であって、
     前記推定部は、前記補正処理を実行すると判定された場合に、前記実行情報として前記補正処理が実行される旨の情報を前記頻度制御部に出力する
     情報処理装置。
  18.  移動体の位置及び姿勢の少なくとも一方を推定し、
     前記移動体を移動させるための移動計画を生成し、
     移動体の位置及び姿勢の少なくとも一方を推定する推定処理の負荷の指標となる負荷指標情報に基づいて、前記移動計画の更新頻度を制御する
     ことをコンピュータシステムが実行する情報処理方法。
  19.  移動体の位置及び姿勢の少なくとも一方を推定するステップと、
     前記移動体を移動させるための移動計画を生成するステップと、
     移動体の位置及び姿勢の少なくとも一方を推定する推定処理の負荷の指標となる負荷指標情報に基づいて、前記移動計画の更新頻度を制御するステップと
     をコンピュータシステムに実行させるプログラム。
  20.  移動体の位置及び姿勢の少なくとも一方を推定する推定部と、
     前記移動体を移動させるための移動計画を生成する生成部と、
     前記推定部の負荷の指標となる負荷指標情報に基づいて、前記生成部による前記移動計画の更新頻度を制御する頻度制御部と、
     前記生成された前記移動計画に基づいて、前記移動体の移動を制御する移動制御部と
     を具備する移動体。
PCT/JP2018/040213 2017-11-20 2018-10-30 情報処理装置、情報処理方法、プログラム、及び移動体 WO2019098002A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112018005907.3T DE112018005907T5 (de) 2017-11-20 2018-10-30 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und beweglicher körper
US16/763,223 US11661084B2 (en) 2017-11-20 2018-10-30 Information processing apparatus, information processing method, and mobile object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017222961 2017-11-20
JP2017-222961 2017-11-20

Publications (1)

Publication Number Publication Date
WO2019098002A1 true WO2019098002A1 (ja) 2019-05-23

Family

ID=66538966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040213 WO2019098002A1 (ja) 2017-11-20 2018-10-30 情報処理装置、情報処理方法、プログラム、及び移動体

Country Status (3)

Country Link
US (1) US11661084B2 (ja)
DE (1) DE112018005907T5 (ja)
WO (1) WO2019098002A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022130618A1 (ja) * 2020-12-18 2022-06-23 三菱電機株式会社 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム
JP2022121049A (ja) * 2021-02-08 2022-08-19 トヨタ自動車株式会社 自己位置推定装置
JP2022547580A (ja) * 2019-09-13 2022-11-14 ウェーブセンス, インコーポレイテッド 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め
CN116912948A (zh) * 2023-09-12 2023-10-20 南京硅基智能科技有限公司 一种数字人的训练方法、系统及驱动系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171425B2 (ja) * 2018-12-27 2022-11-15 フォルシアクラリオン・エレクトロニクス株式会社 移動量推定装置
KR102634443B1 (ko) * 2019-03-07 2024-02-05 에스케이텔레콤 주식회사 차량용 센서의 보정 정보 획득 장치 및 방법
GB201904165D0 (en) * 2019-03-26 2019-05-08 Eygs Llp Vehicle position validation
WO2021168058A1 (en) * 2020-02-19 2021-08-26 Nvidia Corporation Behavior planning for autonomous vehicles
NL2026196B1 (nl) * 2020-08-01 2022-04-04 Richard Henricus Adrianus Lieshout Teeltsysteem voorzien van een oogstrobot
CN112325770B (zh) * 2020-10-26 2022-08-02 武汉中海庭数据技术有限公司 一种车端单目视觉测量相对精度置信度评估方法及系统
CN117079256B (zh) * 2023-10-18 2024-01-05 南昌航空大学 基于目标检测及关键帧快速定位的疲劳驾驶检测算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178396A (ja) * 2001-12-12 2003-06-27 Hitachi Ltd 車両走行経路推定装置、その車載端末、車両走行経路推定方法、及び車両走行経路推定プログラム
JP2014202561A (ja) * 2013-04-03 2014-10-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2017194527A (ja) * 2016-04-19 2017-10-26 トヨタ自動車株式会社 環境地図のデータ構造、環境地図の作成システム及び作成方法、並びに、環境地図の更新システム及び更新方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259131A (ja) 1993-03-09 1994-09-16 Olympus Optical Co Ltd 移動ロボットの誘導制御装置
JP5793851B2 (ja) * 2010-11-08 2015-10-14 富士通株式会社 位置推定方法、位置推定装置及びプログラム
CN113654561A (zh) * 2014-12-05 2021-11-16 苹果公司 自主导航系统
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US11086326B2 (en) * 2017-01-16 2021-08-10 Hitachi, Ltd. Moving object controller and moving object control method
JP6881369B2 (ja) * 2018-03-26 2021-06-02 トヨタ自動車株式会社 自車位置推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178396A (ja) * 2001-12-12 2003-06-27 Hitachi Ltd 車両走行経路推定装置、その車載端末、車両走行経路推定方法、及び車両走行経路推定プログラム
JP2014202561A (ja) * 2013-04-03 2014-10-27 パイオニア株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
JP2017194527A (ja) * 2016-04-19 2017-10-26 トヨタ自動車株式会社 環境地図のデータ構造、環境地図の作成システム及び作成方法、並びに、環境地図の更新システム及び更新方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022547580A (ja) * 2019-09-13 2022-11-14 ウェーブセンス, インコーポレイテッド 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め
JP7518503B2 (ja) 2019-09-13 2024-07-18 ジーピーアール, インコーポレイテッド 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め
WO2022130618A1 (ja) * 2020-12-18 2022-06-23 三菱電機株式会社 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム
JPWO2022130618A1 (ja) * 2020-12-18 2022-06-23
JP7258250B2 (ja) 2020-12-18 2023-04-14 三菱電機株式会社 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム
JP2022121049A (ja) * 2021-02-08 2022-08-19 トヨタ自動車株式会社 自己位置推定装置
CN116912948A (zh) * 2023-09-12 2023-10-20 南京硅基智能科技有限公司 一种数字人的训练方法、系统及驱动系统
CN116912948B (zh) * 2023-09-12 2023-12-01 南京硅基智能科技有限公司 一种数字人的训练方法、系统及驱动系统

Also Published As

Publication number Publication date
US20200331499A1 (en) 2020-10-22
DE112018005907T5 (de) 2020-07-30
US11661084B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
WO2019098002A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US11537131B2 (en) Control device, control method, and mobile body
US20220180561A1 (en) Information processing device, information processing method, and information processing program
JP6891753B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20210027486A1 (en) Controller, control method, and program
WO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
CN113064143B (zh) 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
WO2019098081A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20200391729A1 (en) Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US20230260254A1 (en) Information processing device, information processing method, and program
EP4147936A1 (en) Drive with caution under uncertainty for an autonomous driving vehicle
US11906970B2 (en) Information processing device and information processing method
US11479265B2 (en) Incremental lateral control system using feedbacks for autonomous driving vehicles
US11429115B2 (en) Vehicle-platoons implementation under autonomous driving system designed for single vehicle
CN114764022B (zh) 用于自主驾驶车辆的声源检测和定位的系统和方法
US20220043458A1 (en) Information processing apparatus and method, program, and mobile body control system
WO2019111549A1 (ja) 移動体、測位システム、測位プログラム及び測位方法
CN113428173B (zh) 用于自动驾驶车辆的静态曲率误差补偿控制逻辑
US11679761B2 (en) Forward collision warning alert system for autonomous driving vehicle safety operator
WO2021189350A1 (en) A point cloud-based low-height obstacle detection system
US20230065284A1 (en) Control and planning with localization uncertainty

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18878559

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18878559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP