WO2024070460A1 - 移動体制御システム、その制御方法、プログラム、及び移動体 - Google Patents

移動体制御システム、その制御方法、プログラム、及び移動体 Download PDF

Info

Publication number
WO2024070460A1
WO2024070460A1 PCT/JP2023/031633 JP2023031633W WO2024070460A1 WO 2024070460 A1 WO2024070460 A1 WO 2024070460A1 JP 2023031633 W JP2023031633 W JP 2023031633W WO 2024070460 A1 WO2024070460 A1 WO 2024070460A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacles
obstacle
control system
forgetting
area
Prior art date
Application number
PCT/JP2023/031633
Other languages
English (en)
French (fr)
Inventor
航輝 相澤
涼至 若山
祐之介 倉光
英樹 松永
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Publication of WO2024070460A1 publication Critical patent/WO2024070460A1/ja

Links

Images

Definitions

  • the present invention relates to a mobile object control system, a control method thereof, a program, and a mobile object.
  • ultra-compact mobility also known as micromobility
  • mobile robots that provide various services to people.
  • Patent Document 1 proposes a technology that measures and evaluates the shape of the road surface in detail to avoid unevenness that could become an obstacle, generates an obstacle map from the evaluation results, and uses this to plan a route for autonomous driving. More specifically, it proposes a method to remove ghosts from moving obstacles while the obstacle map is updated to successively reflect the results of external measurement.
  • Patent Document 2 proposes using an ultrasonic sensor to generate a dynamically changing surrounding map based on sensor information at two different points in time.
  • Patent Document 3 proposes a technology that uses reflected pulses received by a radar sensor to eliminate non-existent moving objects, leaving only highly reliable real images in the road map data.
  • Micromobility is small, and it is necessary to minimize the use of hardware resources. Therefore, it is desirable to use a single sensor that detects the surroundings in front of the moving object as the sensor for detecting the surrounding conditions.
  • a detection unit such as a camera
  • whether accumulated information on detected obstacles is retained or discarded varies depending on the area around the moving object. This is because, while changes in obstacles can be detected within the range of the image captured by the camera, such changes cannot be detected outside that range.
  • the present invention was made in consideration of the above problem, and aims to appropriately set the forgetting rate of information about obstacles detected around a moving object for each area.
  • a mobile body is characterized by comprising: a storage means for storing information on obstacles detected in the past for each divided area obtained by dividing the surrounding area of the mobile body; a forgetting means for forgetting the obstacle information stored by the storage means according to a predetermined forgetting rate assigned to each divided area; an imaging means for acquiring a captured image; a detection means for detecting obstacles included in the captured image; and a map generation means for generating an occupancy map showing the occupancy of obstacles for each divided area in accordance with the obstacle information stored by the storage means and the obstacles detected by the detection means for the current surrounding area of the mobile body.
  • the forgetting rate of information about obstacles detected around a moving object can be appropriately set for each area.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a moving body according to the embodiment
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a moving body according to the embodiment
  • FIG. 2 is a block diagram showing a control configuration of a moving object according to the present embodiment
  • FIG. 2 is a block diagram showing the functional configuration of a moving body according to the embodiment
  • FIG. 1 is a diagram showing an occupancy grid map according to the present embodiment
  • FIG. 1 is a diagram showing a method for generating an occupancy grid map according to the present embodiment
  • FIG. 13 is a diagram for explaining the forgetting of obstacle information according to the present embodiment
  • FIG. 1 is a diagram showing an occupancy grid map according to the present embodiment
  • FIG. 1 is a diagram showing a method for generating an occupancy grid map according to the present embodiment
  • FIG. 13 is a diagram for explaining the forgetting of obstacle information according to the present embodiment
  • FIG. 1 is a diagram showing an occupancy grid map according to the present embodiment
  • FIG. 1
  • FIG. 2 is a diagram showing a global route and a local route according to the embodiment; A flowchart showing a process for controlling the travel of a moving object according to the present embodiment. A flowchart showing a process for forgetting accumulated obstacle information according to the present embodiment.
  • Fig. 1A shows a side view of the moving body 100 according to this embodiment
  • Fig. 1B shows the internal configuration of the moving body 100.
  • arrow X indicates the front-rear direction of the moving body 100
  • F indicates the front
  • R indicates the rear
  • Arrows Y and Z indicate the width direction (left-right direction) and up-down direction of the moving body 100.
  • the moving body 100 is equipped with a battery 113, and is, for example, an ultra-compact mobility that moves mainly by the power of a motor.
  • An ultra-compact mobility is an ultra-compact vehicle that is more compact than a typical automobile and has a passenger capacity of about one or two people.
  • a three-wheeled ultra-compact mobility is described as an example of the moving body 100, but this is not intended to limit the present invention, and it may be, for example, a four-wheeled vehicle or a saddle-type vehicle.
  • the vehicle of the present invention is not limited to vehicles, but may be a vehicle that carries luggage and runs alongside a person walking, or a vehicle that leads a person.
  • the present invention is not limited to four-wheeled or two-wheeled vehicles, and may also be applicable to walking robots that are capable of independent movement.
  • the mobile body 100 is an electric autonomous vehicle equipped with a driving unit 112 and using a battery 113 as the main power source.
  • the battery 113 is a secondary battery such as a lithium-ion battery, and the mobile body 100 is self-propelled by the driving unit 112 using the power supplied from the battery 113.
  • the driving unit 112 is a tricycle equipped with a pair of front wheels 120 on the left and right, and a tail wheel (driven wheel) 121.
  • the driving unit 112 may be in other forms, such as a four-wheeled vehicle.
  • the mobile body 100 is equipped with a seat 111 for one or two people.
  • the traveling unit 112 is equipped with a steering mechanism 123.
  • the steering mechanism 123 is a mechanism that changes the steering angle of the pair of front wheels 120 using motors 122a, 122b as drive sources. By changing the steering angle of the pair of front wheels 120, the traveling direction of the moving body 100 can be changed.
  • the tail wheel 121 does not have its own drive source, but is a driven wheel that operates by following the drive of the pair of front wheels 120.
  • the tail wheel 121 is connected to the body of the moving body 100 via a rotating part. The rotating part rotates so that the direction of the tail wheel 121 changes separately from the rotation of the tail wheel 121.
  • the moving body 100 employs a differential two-wheel type mobility with a tail wheel, but is not limited to this.
  • the moving body 100 is equipped with a detection unit 114 that recognizes the plane in front of the moving body 100.
  • the detection unit 114 is an external sensor that monitors the front of the moving body 100, and in this embodiment, is an imaging device that captures an image in front of the moving body 100.
  • the detection unit 114 is described as an example of a stereo camera having an optical system such as two lenses and respective image sensors. However, it is also possible to adopt a radar or lidar (Light Detection and Ranging) instead of or in addition to the imaging device. Also, in this embodiment, an example in which the detection unit is provided only in front of the moving body 100 is described, but this is not intended to limit the present invention, and the detection unit 114 may be provided at the rear or on the left or right of the moving body 100.
  • the moving body 100 captures an image of the area in front of the moving body 100 using the detection unit 114, and detects obstacles from the captured image. Furthermore, the moving body 100 divides the area around the moving body 100 into a grid, and controls the traveling while generating an occupancy grid map in which obstacle information is accumulated in each grid (hereinafter also referred to as a grid). Details of the occupancy grid map will be described later.
  • FIG. 2 is a block diagram of a control system of the moving body 100 according to this embodiment.
  • the configuration necessary for implementing the present invention will be mainly described. Therefore, in addition to the configuration described below, other configurations may be included.
  • each unit described below is described as being included in the moving body 100, but this is not intended to limit the present invention, and the moving body control system may be realized as a moving body control system including multiple devices.
  • some functions of the control unit 130 may be realized by a server device connected to the moving body so as to be able to communicate with each other, or the detection unit 114 and the GNSS sensor 134 may be provided as external devices.
  • the moving body 100 includes a control unit (ECU) 130.
  • ECU control unit
  • the control unit 130 includes a processor represented by a CPU, a storage device such as a semiconductor memory, an interface with an external device, and the like.
  • the storage device stores a program executed by the processor, data used by the processor for processing, and the like.
  • the processor, storage device, and interface may be provided in multiple sets according to the functions of the moving body 100 and configured to be able to communicate with each other.
  • the control unit 130 acquires the detection results of the detection unit 114, input information from the operation panel 131, audio information input from the audio input device 133, position information from the GNSS sensor 134, and information received via the communication unit 136, and executes the corresponding processing.
  • the control unit 130 controls the motors 122a and 122b (drive control of the drive unit 112), controls the display of the operation panel 131, notifies the occupants of the mobile body 100 by audio from the speaker 132, and outputs information.
  • the voice input device 133 picks up the voices of the occupants of the mobile body 100.
  • the control unit 130 can recognize the input voice and execute the corresponding processing.
  • the GNSS (Global Navigation Satellite system) sensor 134 receives GNSS signals to detect the current position of the mobile body 100.
  • the storage device 135 is a storage device that stores images captured by the detection unit 114, obstacle information, previously generated routes, and occupancy grid maps, etc.
  • the storage device 135 may also store programs executed by the processor and data used by the processor for processing, etc.
  • the storage device 135 may also store various parameters of machine learning models for voice recognition and image recognition executed by the control unit 130 (e.g., learned parameters and hyperparameters of a deep neural network, etc.).
  • the communication unit 136 communicates with the communication device 140, which is an external device, via wireless communication such as Wi-Fi or fifth generation mobile communication.
  • the communication device 140 is, for example, a smartphone, but is not limited to this and may be an earphone-type communication terminal, a personal computer, a tablet terminal, a game console, etc.
  • the communication device 140 connects to a network via wireless communication such as Wi-Fi or fifth generation mobile communication.
  • a user who owns the communication device 140 can give instructions to the mobile body 100 via the communication device 140.
  • the instructions include, for example, an instruction to call the mobile body 100 to a location desired by the user and join the mobile body 100.
  • the mobile body 100 sets a target position based on the position information included in the instruction.
  • the mobile body 100 can also set a target position from an image captured by the detection unit 114, or based on an instruction from a user riding the mobile body 100 via the operation panel 131.
  • a target position from an image captured for example, a person raising their hand towards the mobile body 100 is detected in the captured image, and the position of the detected person is estimated and set as the target position.
  • the functional configuration of the moving body 100 according to this embodiment will be described with reference to Fig. 3.
  • the functional configuration described here is realized by, for example, a CPU reading out a program stored in a memory such as a ROM into a RAM and executing it in the control unit 130.
  • the functional configuration described below describes only the functions necessary for explaining the present invention, and does not describe all of the functional configurations actually included in the moving body 100.
  • the functional configuration of the moving body 100 according to the present invention is not limited to the functional configuration described below.
  • the user instruction acquisition unit 301 has a function of accepting instructions from the user, and can accept user instructions via the operation panel 131, user instructions from an external device such as the communication device 140 via the communication unit 136, and user spoken instructions via the voice input device 133.
  • user instructions include instructions to set a target position (also called a destination) for the mobile body 100 and instructions related to driving control of the mobile body 100.
  • the image information processing unit 302 processes the captured images acquired by the detection unit 114. Specifically, the image information processing unit 302 creates a depth image from the stereo images acquired by the detection unit 114 and converts it into a three-dimensional point cloud. The three-dimensional point cloud image data is used to detect obstacles that impede the travel of the mobile body 100.
  • the image information processing unit 302 may also include a machine learning model that processes image information, and execute learning stage processing and inference stage processing of the machine learning model.
  • the machine learning model of the image information processing unit 302 can perform processing to recognize three-dimensional objects, etc. included in the image information, for example, by performing calculations of a deep learning algorithm using a deep neural network (DNN).
  • DNN deep neural network
  • the grid map generator 303 creates a grid map of a given size (for example, each cell is 10cm x 10cm in a 20m x 20m area) based on the image data of the 3D point cloud. The purpose of this is to reduce the weight of the 3D point cloud, which has a large amount of data and is difficult to process in real time.
  • the grid map includes, for example, a grid map showing the difference between the maximum and minimum heights of the point cloud in the grid (expressing whether the cell is a step) and a grid map showing the maximum height of the point cloud in the grid from a reference point (expressing the topographical shape of the cell). Furthermore, the grid map generator 303 removes spike noise and white noise contained in the generated grid map, detects obstacles with a height above a given level, and generates an occupancy grid map that indicates whether there are any three-dimensional objects that could be obstacles for each grid.
  • the route generating unit 304 generates a travel route for the mobile body 100 to the target position set by the user instruction acquiring unit 301. Specifically, the route generating unit 304 generates a route using an occupied grid map generated by the grid map generating unit 303 from the captured images of the detection unit 114, without requiring obstacle information from a high-precision map. Note that since the detection unit 114 is a stereo camera that captures the area in front of the mobile body 100, it cannot recognize obstacles in other directions. Therefore, it is desirable for the mobile body 100 to store the detected obstacle information for a predetermined period of time in order to avoid colliding with obstacles outside the viewing angle or getting stuck in a dead end. This allows the mobile body 100 to generate a route taking into account both obstacles detected in the past and obstacles detected in real time.
  • the path generating unit 304 periodically generates a global path using the occupancy lattice map, and also periodically generates a local path to follow the global path.
  • the target position of the local path is determined by the global path.
  • the generation period of each path in this embodiment, the generation period of the global path is 100 ms, and the generation period of the local path is 50 ms, but this does not limit the present invention.
  • Various algorithms are known for generating global paths, such as RRT (Rapid-exploring Random Tree), PRM (Probabilistic Road Map), and A*.
  • the path generating unit 304 since a differential two-wheel type mobility with a tail wheel is adopted as the mobile body 100, the path generating unit 304 generates a local path taking into account the tail wheel 121, which is a driven wheel.
  • the driving control unit 305 controls the driving of the mobile body 100 according to the local route. Specifically, the driving control unit 305 controls the driving unit 112 according to the local route to control the speed and angular velocity of the mobile body 100. Furthermore, the driving control unit 305 controls driving in response to various operations by the driver. When a deviation occurs in the driving plan of the local route due to an operation by the driver, the driving control unit 305 may again acquire a new local route generated by the route generation unit 304 and control driving, or may control the speed and angular velocity of the mobile body 100 to eliminate the deviation from the local route in use.
  • ⁇ Occupancy grid map> 4 shows an occupancy grid map 400 including obstacle information according to this embodiment.
  • the mobile body 100 according to this embodiment travels without relying on obstacle information from a high-precision map, so all obstacle information is obtained from the recognition results of the detection unit 114. At this time, it is necessary to store the obstacle information in order to avoid collisions with obstacles outside the viewing angle and getting stuck in dead ends. Therefore, in this embodiment, an occupancy grid map is used as a method of storing obstacle information from the viewpoints of reducing the amount of information of the three-dimensional point cloud of stereo images and ease of handling in route planning.
  • the grid map generating unit 303 divides the area around the moving body 100 into a grid and generates an occupancy grid map that includes information indicating the presence or absence of obstacles for each grid (divided area). Note that, here, an example is described in which a specific area is divided into a grid, but instead of dividing into a grid, it is also possible to divide into other shapes and create an occupancy map indicating the presence or absence of obstacles for each divided area.
  • the occupancy grid map 400 is a surrounding area around the moving body 100, for example, an area of 40m x 40m or 20m x 20m in size, and the area is divided into grids of 20cm x 20cm or 10cm x 10cm, and is dynamically set according to the movement of the moving body 100.
  • the occupancy grid map 400 is an area that is shifted so that the moving body 100 is always at the center as the moving body 100 moves, and is a real-time changing area. Note that the size of the area can be set arbitrarily according to the hardware resources of the moving body 100.
  • the presence/absence information of obstacles detected from the image captured by the detection unit 114 is defined for each grid.
  • the presence/absence information is defined as "0" for a drivable area and "1" for an impassable area (i.e., the presence of an obstacle).
  • 401 indicates a grid in which an obstacle exists.
  • An area in which an obstacle exists indicates an area that the mobile body 100 cannot pass through, and is composed of, for example, solid objects of 5 cm or more in size. Therefore, the mobile body 100 generates a route to avoid these obstacles 401.
  • ⁇ Storage of Obstacle Information> 5 illustrates the accumulation of obstacle information in an occupied grid map according to this embodiment.
  • 500 indicates a local map that moves in accordance with the movement of the moving body 100.
  • the local map 500 is shifted in accordance with the movement of the moving body 100 in the x-axis direction and the y-axis direction on the grid map.
  • the local map 500 illustrates a state in which a dotted line area 501 is deleted and a solid line area 502 is added in accordance with the amount of movement ⁇ x of the moving body 100 in the x-axis direction, for example.
  • the area to be deleted is an area opposite to the moving direction of the moving body 100, and the area to be added is an area in the moving direction.
  • areas are deleted and added in the y-axis direction in accordance with the movement of the moving body 100.
  • the local map 500 also stores information about obstacles that have been detected in the past. If an obstacle is present in a grid included in the deletion area, the obstacle information is deleted from the local map 500, but it is desirable to store the obstacle information separately from the local map 500 for a certain period of time. Such information is useful, for example, when the moving body 100 changes course and the deletion area is once again included in the local map 500, and can improve the accuracy with which the moving body 100 avoids obstacles. Furthermore, by using the stored information, there is no need to detect obstacles again, and the processing load can be reduced.
  • a forgetting process is performed according to a forgetting rate set for each grid.
  • a dynamic obstacle that moves is detected, if the obstacle information that was previously detected and accumulated in the grid continues to be held as is, a false detection that the obstacle exists in all grids along the obstacle's movement trajectory may occur. Therefore, in order to avoid erroneously determining that an obstacle exists in a grid that the obstacle has already passed through, it is necessary to forget the accumulated obstacle information after a certain period of time has passed. Forgetting the accumulated obstacle information will be described later with reference to FIG. 6.
  • the obstacle detection map 510 shows an obstacle detection map showing detection information of obstacles present around the front of the moving body 100 from the captured image captured by the detection unit 114 of the moving body 100.
  • the obstacle detection map 510 shows real-time information and is generated periodically according to the captured image acquired from the detection unit 114. Since moving obstacles such as people and vehicles are also expected, it is desirable to update the obstacles detected in the past within the viewing angle 511 of the detection unit 114, which is the front area of the moving body 100, using the obstacle detection map 510 generated periodically, rather than fixing and storing them. This makes it possible to recognize moving obstacles and prevent the generation of a detour route more than necessary.
  • the occupancy grid map 520 indicates an occupancy grid map generated by adding together the local map 500 and the obstacle detection map 510.
  • the occupancy grid map 520 is generated as a grid map that combines the local map and obstacle detection information that change in real time with obstacle information that has been detected and accumulated in the past.
  • 600 indicates an occupancy grid map including generated obstacle information 603, 604 around the moving body 100.
  • 601 indicates the actual viewing angle (performance) of the detection unit 114. That is, the viewing angle 601 indicates an imaging range determined by the performance of the detection unit 114 such as a stereo camera.
  • 602 indicates a viewing angle range that is narrower than the actual viewing angle 601 when setting the forgetting rate of obstacle information. This makes it possible to reduce erroneous detection of obstacles even when the detection accuracy of obstacles in the edge area of the captured image decreases.
  • a forgetting rate is set for each grid individually.
  • the forgetting rate indicates the extent to which the accumulated obstacle information is retained.
  • the occupancy grid map is generated periodically, and the forgetting rate indicates how many periods the obstacle information is stored.
  • the forgetting rate for forgetting accumulated obstacle information is set to a different value for each grid included in the viewing angle range 602 and for grids not included in the viewing angle range 602.
  • a first forgetting rate is set for grids that overlap the viewing angle range 602 shown in FIG. 6, and a second forgetting rate lower than the first forgetting rate is set for other grids.
  • a grid that overlaps the viewing angle range 602 is a grid where at least a specified area within the grid overlaps the viewing angle range 602.
  • the size of the specified area is arbitrary and can be set, for example, between 1% and 100%.
  • the forgetting rate is set high for grids within the field of view of the detection unit 114, and low for other areas.
  • This setting allows obstacle information to be quickly forgotten within the field of view, which can be used as a measure against dynamic obstacles that involve movement.
  • collisions with obstacles and getting stuck in dead ends can be avoided by storing obstacle information for a certain period of time.
  • the forgetting rate is set even outside the field of view.
  • the forgetting rates may be set separately for each region.
  • the forgetting rate may be set so that the greater the distance from the moving body 100 outside the viewing angle, the higher the forgetting rate.
  • the type of obstacle may be determined, and the forgetting rate may be changed according to the determined type.
  • the types of obstacles include at least dynamic obstacles that move and static obstacles that do not move. Dynamic obstacles are, for example, vehicles and other traffic participants. Static obstacles are, for example, obstacles that do not move by themselves, and include objects such as fixed traffic lights and posts, and tables and desks that are not fixed but can be moved.
  • the forgetting rate may be set higher for areas that include shadows in the captured image for detecting obstacles than for other areas. This makes it possible to reduce the influence of erroneously detected obstacle information even if the detection accuracy of obstacles in areas that include shadows is low.
  • the forgetting rate may be set higher when there are a large number of obstacles in the grid map or when the proportion of obstacles is large. This makes it possible to prevent information about previously detected obstacles from significantly impeding route generation. The specific forgetting process will be described later with reference to FIG. 9.
  • ⁇ Route Generation> 7 shows a travel path generated in the moving body 100 according to this embodiment.
  • the path generation unit 304 according to this embodiment periodically generates a global path 702 using an occupancy lattice map in accordance with a set target position 701, and further periodically generates a local path 703 so as to follow the global path.
  • the target position 701 is set based on various instructions. For example, these include instructions from a passenger aboard the moving body 100 and instructions from a user outside the moving body 100. Instructions from the passenger are given via the operation panel 131 or the voice input device 133. Instructions given via the operation panel 131 may be a method of specifying a specific grid of a lattice map displayed on the operation panel 131. In this case, the size of each grid may be set large so that a wider range of the map can be selected. Instructions given via the voice input device 133 may be instructions using surrounding landmarks as a landmark. The landmarks may include passersby, signs, signs, outdoor facilities such as vending machines, building components such as windows and entrances, roads, vehicles, motorcycles, etc., included in the speech information. When an instruction is received via the voice input device 133, the path generation unit 304 detects the specified landmark from the captured image acquired by the detection unit 114 and sets it as the target position.
  • the path generation unit 304 detects the specified landmark from the captured image acquired by
  • a machine learning model is used for these voice and image recognition.
  • the machine learning model for example, performs calculations of a deep learning algorithm using a deep neural network (DNN) to recognize place names, landmark names such as buildings, store names, and landmark names contained in the spoken information and image information.
  • the voice recognition DNN becomes trained by performing the learning stage processing, and by inputting new spoken information into the trained DNN, it is possible to perform recognition processing (inference stage processing) for the new spoken information.
  • the image recognition DNN can recognize passersby, signs, road signs, outdoor equipment such as vending machines, building components such as windows and entrances, roads, vehicles, and motorcycles contained in images.
  • instructions from a user outside the vehicle 100 can be sent via the user's own communication device 140 to the vehicle 100 via the communication unit 136, or the user can call the vehicle 100 by raising their hand toward the vehicle 100 as shown in FIG. 7.
  • Instructions from the communication device 140 are given by operation input or voice input, similar to the instructions from the occupant described above.
  • the path generation unit 304 generates a global path 702 using the generated occupancy grid map. As described above, various algorithms such as RRT, PRM, and A* are known as methods for generating a global path, but any method may be used. Next, the path generation unit 304 generates a local path 703 so as to follow the generated global path 702. There are various methods for local path planning, such as DWA (Dynamic Window Approach), MPC (Model Predictive Control), clothoid tentacles, and PID (Proportional-Integral-Differential) control.
  • DWA Dynamic Window Approach
  • MPC Model Predictive Control
  • clothoid tentacles clothoid tentacles
  • PID Proportional-Integral-Differential
  • ⁇ Basic control of moving objects> 8 is a flowchart showing the basic control of the moving body 100 according to this embodiment. The process described below is realized in the control unit 130, for example, by the CPU reading out a program stored in a memory such as a ROM into a RAM and executing the program.
  • the control unit 130 sets a target position for the moving body 100 based on a user instruction received by the user instruction acquisition unit 301. As described above, the user instruction can be received in various ways.
  • the control unit 130 captures an image of the area in front of the moving body 100 using the detection unit 114, and acquires the captured image. The acquired captured image is processed by the image information processing unit 302, and a depth image is created and converted into a three-dimensional point cloud.
  • the control unit 130 detects an obstacle, for example a solid object of 5 cm or more, from the three-dimensional point cloud image.
  • the control unit 130 generates an occupancy grid map of a predetermined area centered on the moving body 100 according to the detected obstacle and the position information of the moving body 100. A detailed method will be described with reference to FIG. 9.
  • the control unit 130 generates a driving route for the mobile object 100 using the route generation unit 304.
  • the route generation unit 304 generates a global route using the occupancy grid map, and generates a local route according to the generated global route.
  • the control unit 130 determines the speed and angular velocity of the mobile object 100 according to the generated local route, and controls the driving.
  • the control unit 130 determines whether the mobile object 100 has reached the target position based on the position information from the GNSS sensor 134, and if the target position has not been reached, the process returns to S102, and the process of generating a route while updating the occupancy grid map and controlling the driving is repeated. On the other hand, if the target position has been reached, the process of this flowchart ends.
  • ⁇ Occupancy grid map generation method (forgetting control)> 9 is a flowchart showing a detailed process of the generation control of the occupancy grid map (S104) according to this embodiment.
  • the process described below is realized by, for example, the CPU of the control unit 130 reading a program stored in a memory such as a ROM into a RAM and executing it.
  • the control unit 130 acquires the moving speed of the moving body 100 from the traveling unit 112.
  • the control unit 130 determines whether the acquired moving speed of the moving body 100 is 0, i.e., whether the moving body 100 is in a stopped state. If the moving speed is 0, the process proceeds to S203, and if not, the process proceeds to S204.
  • the control unit 130 sets the forgetting rate k_out outside the field of view to 0 so as not to forget the accumulated obstacle information, and proceeds to S205.
  • the control unit 130 sets the forgetting rate outside the field of view to a default value, and proceeds to S205. Note that the forgetting rate k_in within the field of view is set to a predetermined value regardless of the moving speed of the moving body 100.
  • the forgetting rate is determined based on the following formulas (1) and (2).
  • Accumulation value max k_in / dt*dynamic_object_forget_time ...
  • k_out accumulation max * dt / out_of_fov_forget_time ... formula (2)
  • “k_in” indicates the forgetting rate within the field of view.
  • “k_out” indicates the forgetting rate outside the field of view.
  • “dynamic_object_forget_time” indicates the forgetting time within the field of view.
  • “out_of_fov_forget_time” indicates the forgetting time outside the field of view.
  • dt indicates the period.
  • the control unit 130 forgets the accumulated information of the obstacle.
  • the forgetting process is performed using the following equation (3).
  • map map - k_in*fovmap - k_out (1 - fovmap) ...
  • “fovmap” indicates a grid map within the field of view.
  • “fovmap” indicates grids within the field of view with "1” and grids outside the field of view with "0".
  • the forgetting process is performed by changing the forgetting rate inside and outside the field of view as described above. When the forgetting process is performed, for example, a local map 500 shown in FIG. 5 is generated.
  • the control unit 130 acquires the obstacle information detected in S103 (for example, the obstacle detection map 510 shown in FIG. 5).
  • the control unit 130 generates an occupancy grid map with updated obstacle information by adding the map that has been subjected to the forgetting process in S205 and the obstacle detection map acquired in S206 using the following formula (4).
  • Map map + k_acc * new_map ... Formula (4)
  • Map indicates the occupancy grid map with updated obstacle information
  • map is the obstacle detection map that has been subjected to the forgetting process in S205
  • new_map indicates the newly detected obstacle detection map obtained in S206.
  • "k_acc” indicates the accumulation coefficient. The coefficient is set so as not to be equal to or greater than the accumulation value max.
  • the mobile object control system (e.g., 100) of the above embodiment includes: A storage means for storing information on obstacles detected in the past for each divided area obtained by dividing the area surrounding the moving object (303); a forgetting means for forgetting the obstacle information stored by the storing means according to a predetermined forgetting rate; and (303) An imaging means for acquiring an image (114); A detection means for detecting an obstacle included in the captured image (130, 302, 303); a map generating means for generating an occupancy map showing the occupancy of obstacles for each divided area in accordance with the obstacle information stored by the storage means and the obstacles detected by the detection means for the current surrounding area of the moving object (303);
  • the present invention is characterized by comprising:
  • the forgetting rate of information about obstacles detected around the moving body is appropriately set for each region.
  • the predetermined forgetting rate is different within the viewing angle of the imaging means and outside the viewing angle ( Figure 6).
  • the forgetting rate within the field of view is higher than the forgetting rate outside the field of view ( Figure 6).
  • obstacle information within the field of view is updated more quickly to deal with dynamic obstacles that move, and past detection information is retained for a certain period of time outside the field of view, making it possible to avoid collisions with obstacles or getting stuck in dead ends.
  • the area within the viewing angle is set to be narrower than the imaging range of the imaging means, which is determined by the performance of the imaging means (601, FIG. 6).
  • the moving object control system further includes a discrimination means for discriminating a type of the detected obstacle, The predetermined forgetting rate is set for each type of obstacle.
  • the types of obstacles include at least dynamic obstacles that involve movement and static obstacles that do not involve movement.
  • the forgetting rate can be appropriately set depending on whether the obstacle is moving or static.
  • the forgetting rate set for the dynamic obstacle is higher than the forgetting rate set for the static obstacle.
  • dynamic obstacles involve movement and are quickly forgotten, while static obstacles do not move on their own, so past detection information is retained for a certain period of time, making it possible to avoid collisions with obstacles or getting stuck in dead ends.
  • the dynamic obstacle is a vehicle or other traffic participant.
  • the static obstacle is an obstacle that does not move on its own.
  • fixed obstacles can be identified as static obstacles, making it possible to optimally generate a route for a moving object.
  • the forgetting rate of an area in the captured image that includes a shadow is higher than the forgetting rate of an area in the captured image that does not include a shadow.
  • the forgetting rate is set higher as the number of obstacles increases.
  • This embodiment makes it possible to avoid route generation being severely hindered by previously detected obstacles.
  • the forgetting rate is set higher as the number of divided areas occupied by the obstacle increases.
  • This embodiment makes it possible to avoid route generation being severely hindered by previously detected obstacles.
  • the map generation means divides the area around the mobile object into a grid, and generates an occupancy grid map as the occupancy map, which indicates the occupancy of the obstacles detected by the detection means for each grid.
  • a specified planar area can be easily divided in the x and y directions, and the specified range can be covered without omissions.

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本移動体制御システムは、移動体の周辺領域を分割した分割領域ごとに、過去に検出された障害物の情報を蓄積し、蓄積されている障害物の情報を、分割領域ごとに割り当てた所定の忘却率に従って忘却させる。また、本移動体は、撮像画像を取得し、撮像画像に含まれる障害物を検出し、移動体の現在の周辺領域について、蓄積されている障害物の情報と、検出された障害物とに従って、分割領域ごとに障害物の占有を示す占有地図を生成する。

Description

移動体制御システム、その制御方法、プログラム、及び移動体
　本発明は、移動体制御システム、その制御方法、プログラム、及び移動体に関する。
　近年、超小型モビリティ（マイクロモビリティとも称する。）と呼ばれる、乗車定員が１～２名程度の電動車両や、人に対して種々のサービスを提供する移動型ロボットなどの小型の移動体が知られている。このような移動体には、目的地までの走行経路を周期的に生成しながら自律走行を行うものがある。
　特許文献１は、障害物となる凹凸を回避するために、路面の形状を詳細に計測して評価し、評価結果から障害物地図を生成し、それを用いて経路計画を行って自律走行する技術を提案している。より詳細には、障害物地図が外界計測結果を逐次反映させながら更新される中で、移動障害物におけるゴーストを除去する手法を提案している。特許文献２は、超音波センサを利用して、２つの異なる時点におけるセンサ情報に基づいて動的に変化する周辺マップを生成することを提案している。特許文献３は、レーダセンサで受信した反射パルスに基づき、実在しない移動物体を消去し、信頼の高い実像のみを道路地図データに残す技術を提案している。
特開２０１０－１０２４８５号公報 特表２０１７－５３２２３４号公報 特開２０１９－０５７１９７号公報
　マイクロモビリティは小型であり、ハードウェア資源の使用をできる限り抑える必要がある。従って、周辺状況を検出するセンサとしては、移動体の前方周辺を検出する１つのセンサを用いることが望ましい。このような構成において、カメラ等の検知ユニットを用いて障害物を検出する場合、検出した障害物の蓄積情報を保持するか又は破棄するか（例えば、忘却率）は移動体周辺の領域ごとに異なるものである。これは、カメラによる撮像画像の範囲内においては、障害物の変化を検知できるものの、範囲外においてはそのような変化を検知できないためである。
　一方、検出した移動体周辺の障害物情報を利用して自律走行の走行経路を生成する場合、例えば移動体前方に障害物が検出されたため、迂回すべく視野角外へシフトした障害物付近を通過する経路を生成することも想定されうる。このような場合に、過去に検出した障害物情報を一定期間蓄積しておくことにより、視野角外へシフトした障害物を回避する経路を生成することができる。
　本発明は、上記課題に鑑みてなされ、移動体周辺の検出した障害物の情報の忘却率を、領域ごとに好適に設定することにある。
　本発明によれば、例えば移動体であって、前記移動体の周辺領域を分割した分割領域ごとに、過去に検出された障害物の情報を蓄積する蓄積手段と、前記蓄積手段によって蓄積されている障害物の情報を、分割領域ごとに割り当てた所定の忘却率に従って忘却させる忘却手段と、撮像画像を取得する撮像手段と、前記撮像画像に含まれる障害物を検出する検出手段と、前記移動体の現在の周辺領域について、前記蓄積手段によって蓄積されている障害物の情報と、前記検出手段によって検出された障害物とに従って、分割領域ごとに障害物の占有を示す占有地図を生成する地図生成手段とを備えることを特徴とする。
　本発明によれば、移動体周辺の検出した障害物の情報の忘却率を、領域ごとに好適に設定することができる。
本実施形態に係る移動体のハードウェアの構成例を示すブロック図 本実施形態に係る移動体のハードウェアの構成例を示すブロック図 本実施形態に係る移動体の制御構成を示すブロック図 本実施形態に係る移動体の機能構成を示すブロック図 本実施形態に係る占有格子地図を示す図 本実施形態に係る占有格子地図の生成方法を示す図 本実施形態に係る障害物情報の忘却を説明する図 本実施形態に係る大域経路及び局所経路を示す図 本実施形態に係る移動体の走行を制御する処理手順を示すフローチャート 本実施形態に係る蓄積した障害物情報を忘却する処理手順を示すフローチャート
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
　＜移動体の構成＞
　図１を参照して、本実施形態に係る移動体１００の構成について説明する。図１Ａは本実施形態に係る移動体１００の側面を示し、図１Ｂは移動体１００の内部構成を示している。図中矢印Ｘは移動体１００の前後方向を示しＦが前をＲが後を示す。矢印Ｙ、Ｚは移動体１００の幅方向（左右方向）、上下方向を示す。
　　移動体１００は、バッテリ１１３を搭載しており、例えば、主にモータの動力で移動する超小型モビリティである。超小型モビリティとは、一般的な自動車よりもコンパクトであり、乗車定員が１又は２名程度の超小型車両である。本実施形態では、移動体１００の一例として三輪の超小型モビリティを例に説明するが、本発明を限定する意図はなく例えば四輪車両や鞍乗型車両であってもよい。また、本発明の車両は、乗り物に限らず、荷物を積載して人の歩行に並走する車両や、人を先導する車両であってもよい。さらに、本発明には、四輪や二輪等の車両に限らず、自立移動が可能な歩行型ロボットなども適用可能である。
　移動体１００は、走行ユニット１１２を備え、バッテリ１１３を主電源とした電動自律式車両である。バッテリ１１３は例えばリチウムイオンバッテリ等の二次電池であり、バッテリ１１３から供給される電力により走行ユニット１１２によって移動体１００は自走する。走行ユニット１１２は、左右一対の前輪１２０と、尾輪（従動輪）１２１とを備えた三輪車である。走行ユニット１１２は四輪車の形態等、他の形態であってもよい。移動体１００は、一人用又は二人用の座席１１１を備える。
　走行ユニット１１２は操舵機構１２３を備える。操舵機構１２３はモータ１２２ａ、１２２ｂを駆動源として一対の前輪１２０の舵角を変化させる機構である。一対の前輪１２０の舵角を変化させることで移動体１００の進行方向を変更することができる。尾輪１２１は個別に駆動源を有しておらず一対の前輪１２０の駆動に追従して動作する従動輪である。また、尾輪１２１は移動体１００の車体に対して旋回部を有して連結される。当該旋回部は、尾輪１２１の回転とは別に尾輪１２１の向きが変化するように回転する。このように、本実施形態に係る移動体１００は、尾輪付きの差動二輪型モビリティを採用するものであるが、これに限るものではない。
　移動体１００は、移動体１００の前方の平面を認識する検知ユニット１１４を備える。検知ユニット１１４は、移動体１００の前方を監視する外界センサであり、本実施形態の場合、移動体１００の前方の画像を撮像する撮像装置である。本実施形態では、検知ユニット１１４は、例えば、２つのレンズなどの光学系とそれぞれのイメージセンサとを有するステレオカメラを例に説明する。しかし、撮像装置に代えて又は追加して、レーダやライダ（Light Detection and Ranging）を採用することも可能である。また、本実施形態では、移動体１００の前方にのみ設ける例について説明するが、本発明を限定する意図はなく、移動体１００の後方や左右に設けてもよい。
　本実施形態に係る移動体１００は、検知ユニット１１４を用いて移動体１００の前方領域を撮像し、撮像画像から障害物を検出する。さらに移動体１００は、移動体１００の周辺領域を格子状に分割し、各格子（以下では、グリッドとも称する。）に障害物情報を蓄積した占有格子地図を生成しながら走行を制御する。占有格子地図の詳細については後述する。
　＜移動体の制御構成＞
　図２は、本実施形態に係る移動体１００の制御系のブロック図である。ここでは本発明を実施する上で必要な構成を主に説明する。従って、以下で説明する構成に加えてさらに他の構成が含まれてもよい。また、本実施形態では、以下で説明する各部が移動体１００に含まれるものとして説明するが、本発明を限定する意図はなく、複数のデバイスを含む移動体制御システムとして実現されてもよい。例えば、制御ユニット１３０の一部の機能が通信可能に接続されたサーバ装置によって実現されてもよいし、検知ユニット１１４やＧＮＳＳセンサ１３４が外部デバイスとして設けられてもよい。移動体１００は、制御ユニット（ＥＣＵ）１３０を備える。制御ユニット１３０は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、移動体１００の機能別に複数組設けられて互いに通信可能に構成されてもよい。
　制御ユニット１３０は、検知ユニット１１４の検知結果、操作パネル１３１の入力情報、音声入力装置１３３から入力された音声情報、ＧＮＳＳセンサ１３４からの位置情報、及び通信ユニット１３６を介した受信情報を取得して、対応する処理を実行する。制御ユニット１３０は、モータ１２２ａ、１２２ｂの制御（走行ユニット１１２の走行制御）、操作パネル１３１の表示制御、スピーカ１３２の音声による移動体１００の乗員への報知、情報の出力を行う。
　音声入力装置１３３は、移動体１００の乗員の音声を収音する。制御ユニット１３０は、入力された音声を認識して、対応する処理を実行可能である。ＧＮＳＳ(Global Navigation Satellite system)センサ１３４は、ＧＮＳＳ信号を受信して移動体１００の現在位置を検知する。記憶装置１３５は、検知ユニット１１４による撮像画像、障害物情報、過去に生成した経路、及び占有格子地図等を記憶する記憶デバイスである。記憶装置１３５にも、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されてよい。記憶装置１３５は、制御ユニット１３０によって実行される音声認識や画像認識用の機械学習モデルの各種パラメータ（例えばディープニューラルネットワークの学習済みパラメータやハイパーパラメータなど）を格納してもよい。
　通信ユニット１３６は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介して外部装置である通信装置１４０と相互に通信を行う。通信装置１４０は、例えばスマートフォンであるが、これに限らず、イヤフォン型の通信端末であってもよいし、パーソナルコンピュータ、タブレット端末、ゲーム機などであってもよい。通信装置１４０は、例えば、Ｗｉ‐Ｆｉや第５世代移動体通信などの無線通信を介してネットワークに接続する。
　通信装置１４０を所有するユーザは、当該通信装置１４０を介して移動体１００に対して指示を行うことができる。当該指示は、例えば移動体１００をユーザが所望する位置へ呼び寄せて合流するための指示を含む。当該指示を受信すると、移動体１００は指示に含まれる位置情報に基づいて目標位置を設定する。なお、移動体１００はこのような指示以外にも、検知ユニット１１４の撮像画像から目標位置を設定したり、移動体１００に乗車するユーザからの操作パネル１３１を介した指示に基づいて目標位置を設定したりすることができる。撮像画像から目標位置を設定する場合は、例えば撮像画像内に移動体１００に向かって手を挙げている人を検出し、検出された人の位置を推定して目標位置として設定する。
　＜移動体の機能構成＞
　次に、図３を参照して、本実施形態に係る移動体１００の機能構成について説明する。ここで説明する機能構成は、制御ユニット１３０において、例えばＣＰＵがＲＯＭ等のメモリに格納されたプログラムをＲＡＭに読み出して実行することにより実現される。なお、以下で説明する機能構成は、本発明を説明する上で必要な機能のみについて説明するものであり、移動体１００に実際に含まれる機能構成の全てを説明するものではない。つまり、本発明に係る移動体１００の機能構成を以下で説明する機能構成に限定するものではない。
　ユーザ指示取得部３０１は、ユーザからの指示を受け付ける機能を有し、操作パネル１３１を介したユーザ指示や、通信ユニット１３６を介して通信装置１４０等の外部装置からユーザ指示、音声入力装置１３３を介してユーザの発話による指示を受け付けることができる。ユーザ指示には上述したように、移動体１００の目標位置（目的地とも称する。）を設定する指示や、移動体１００の走行制御に関わる指示が含まれる。
　画像情報処理部３０２は、検知ユニット１１４によって取得された撮像画像を処理する。具体的には、画像情報処理部３０２は、検知ユニット１１４によって取得されたステレオ画像から深度画像を作成して３次元点群化する。３次元点群化された画像データは、移動体１００の走行を妨げる障害物を検出するために利用される。また、画像情報処理部３０２は、画像情報を処理する機械学習モデルを含み、当該機械学習モデルの学習段階の処理や推論段階の処理を実行してもよい。画像情報処理部３０２の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、画像情報に含まれる立体物等を認識する処理を行うことができる。
　格子地図生成部３０３は、３次元点群の画像データに基づいて、所定サイズ（例えば、２０ｍＸ２０ｍの領域において各セルが１０ｃｍＸ１０ｃｍ）のグリッドマップを作成する。これは、３次元点群のデータ量が多くリアルタイム処理が困難であるため、軽量化することを目的としている。当該グリッドマップは、例えば、グリッド内点群の最大高さと最小高さの差を示すグリッドマップ（当該セルが段差であるかどうかを表現）と、基準点からグリッド内点群の最大高さを示すグリッドマップ（当該セルの地形形状を表現）とを含んで構成される。さらに、格子地図生成部３０３は、生成したグリッドマップに含まれるスパイクノイズやホワイトノイズを除去し、所定以上の高さを有する障害物を検知し、グリッドごとに障害物となる立体物が存在するか否かを示す占有格子地図を生成する。
　経路生成部３０４は、ユーザ指示取得部３０１によって設定された目標位置に対しての移動体１００の走行経路を生成する。具体的には、経路生成部３０４は、高精度地図の障害物情報を必要とすることなく、検知ユニット１１４の撮像画像から格子地図生成部３０３によって生成された占有格子地図を用いて経路を生成する。なお、検知ユニット１１４が移動体１００の前方領域を撮像するステレオカメラであるため、他方向の障害物を認識することができない。従って、移動体１００は、視野角外の障害物への衝突や袋小路でのスタックを回避するため、検出した障害物情報を所定期間記憶しておくことが望ましい。これにより、移動体１００は、過去に検出した障害物と、リアルタイムで検出した障害物との両方を考慮して経路生成を行うことができる。
　また、経路生成部３０４は、占有格子地図を用いて大域経路（global path）を周期的に生成し、さらに大域経路に追従するように局所経路（local path）を周期的に生成する。つまり、大域経路によって局所経路の目標位置が決定される。また、各径路の生成周期として、本実施形態では大域経路の生成周期を１００ｍｓとし、局所経路の生成周期を５０ｍｓとするが、本発明を限定するものではない。大域経路を生成するアルゴリズムとしては、ＲＲＴ（Rapid-exploring Random Tree）、ＰＲＭ（Probabilistic Road Map）、Ａ＊など種々のアルゴリズムが知られている。また、移動体１００として尾輪付きの差動二輪型のモビリティを採用しているため、経路生成部３０４は従動輪である尾輪１２１を考慮した局所経路を生成する。
　走行制御部３０５は、局所経路に従って移動体１００の走行を制御する。具体的には、走行制御部３０５は、局所経路に従って走行ユニット１１２を制御して移動体１００の速度及び角速度を制御する。更に、走行制御部３０５は、運転者の各種操作に応じて走行を制御する。走行制御部３０５は、運転者の操作によって局所経路の運転計画にずれが生じた場合において、再度、経路生成部３０４によって生成された新たな局所経路を取得して走行を制御してもよいし、使用中の局所経路からのずれを解消するように移動体１００の速度及び角速度を制御してもよい。
　＜占有格子地図＞
　図４は、本実施形態に係る障害物情報を含む占有格子地図４００を示す。本実施形態に係る移動体１００は、高精度地図の障害物情報に頼らずに走行するため、障害物情報はすべて検知ユニット１１４の認識結果から取得する。このとき視野角外の障害物への衝突や袋小路でのスタック回避のため、障害物情報を記憶する必要がある。そこで、本実施形態では、障害物情報を記憶する方法として、ステレオ画像の３次元点群の情報量の削減と経路計画での扱いやすさの観点から占有格子地図を利用する。
　本実施形態に係る格子地図生成部３０３は、移動体１００の周辺領域を格子状に分割し、格子（分割領域）ごとに、障害物の有無を示す情報を含ませた占有格子地図を生成する。なお、ここでは、所定領域を格子状に分割する例で説明するが、格子状に分割するのではなく、他の形状で分割して、分割した領域ごとに障害物の有無を示す占有地図を作成するようにしてもよい。占有格子地図４００は、移動体１００の周辺の例えば４０ｍＸ４０ｍや２０ｍｘ２０ｍのサイズの領域を周辺領域とし、当該領域を２０ｃｍＸ２０ｃｍや１０ｃｍｘ１０ｃｍの格子（グリッド）に分割され、移動体１００の移動に応じて動的に設定する。つまり、占有格子地図４００は、移動体１００の移動に合わせて常に移動体１００が中心にくるようにシフトされ、リアルタイムで変動する領域である。なお、領域のサイズについては、移動体１００のハードウェア資源に応じて任意に設定することができる。
　また、占有格子地図４００には、検知ユニット１１４による撮像画像から検出された障害物の有無情報が各グリッドに定義される。有無情報としては、例えば走行可能領域を”０”とし、走行不可能領域（即ち、障害物有り）を”１”として定義される。図４において４０１は、障害物が存在するグリッドを示す。障害物が存在する領域は、移動体１００が通過できない領域を示し、例えば５ｃｍ以上の立体物で構成される。従って、移動体１００は、これらの障害物４０１を回避するように、経路を生成する。
　＜障害物情報の蓄積＞
　図５は、本実施形態に係る占有格子地図における障害物情報の蓄積について説明する。５００は、移動体１００の移動に合わせて移動するローカルマップを示す。ローカルマップ５００は、格子地図上のｘ軸方向、ｙ軸方向に対する移動体１００の移動に応じてシフトされる。ローカルマップ５００は、例えば移動体１００のｘ軸方向への移動量Δｘに応じて、５０１の点線領域を削除して、５０２の実線領域を追加する様子を示す。削除する領域は移動体１００の進行方向とは反対の領域となり、追加する領域は当該進行方向の領域となる。同様に、ｙ軸方向についても移動体１００の移動に応じて領域の削除及び追加が行われる。
　また、ローカルマップ５００は、過去に検出された障害物情報を蓄積している。なお、削除領域に含まれるグリッドに障害物が存在する場合には、当該障害物情報についてはローカルマップ５００からは削除するものの、一定期間の間、ローカルマップ５００とは別に保持しておくことが望ましい。このような情報は、例えば移動体１００が進路を変更して再度、削除領域がローカルマップ５００内に含まれることとなった場合に有効であり、移動体１００の障害物に対する回避精度を向上させることができる。また、蓄積情報を利用することにより再度障害物の検出を行う必要が無く、処理負荷を低減することができる。
　さらに、ローカルマップ５００は、後述する障害物検出マップ５１０と加算される前に、グリッドごとに設定された忘却率に従って忘却処理が行われる。移動を伴う動的な障害物を検出した場合において、過去に検出してグリッドに蓄積した障害物情報をそのまま保持し続けると、障害物の移動軌跡に沿って全てのグリッドに障害物が存在するという誤検出が発生しうる。したがって、既に障害物が通過したグリッドを誤って障害物が存在すると判断することを回避するために、一定期間経過後に障害物の蓄積情報を忘却する必要がある。蓄積した障害物情報の忘却については図６を用いて後述する。
　５１０は、移動体１００の検知ユニット１１４によって撮像された撮像画像から移動体１００の前方周辺に存在する障害物の検出情報を示す障害物検出マップを示す。障害物検出マップ５１０は、リアルタイムの情報を示すものであり、検知ユニット１１４から取得される撮像画像に応じて周期的に生成される。なお、人や車両など移動する障害物も想定されるため、移動体１００の前方領域である検知ユニット１１４の視野角内５１１においては、過去に検出された障害物を固定して蓄積するのではなく、周期的に生成された障害物検出マップ５１０によって更新することが望ましい。これにより、移動する障害物についても認識することができ、必要以上に迂回する経路の生成を防止することができる。一方で、移動体１００の後方領域（厳密には、検知ユニット１１４の視野角外）については、ローカルマップ５００に示すように、過去に検出された障害物の情報が蓄積される。これにより、例えば、前方領域に障害物が検出され、迂回路を生成する際に、通過した障害物への衝突を回避した経路を容易に生成することができる。
　５２０は、ローカルマップ５００と障害物検出マップ５１０とを加算して生成された占有格子地図を示す。このように、占有格子地図５２０は、リアルタイムで変動するローカルマップ及び障害物検出情報と、過去に検出して蓄積した障害物情報とを合成した格子地図として生成される。
　＜障害物情報の忘却＞
　図６は、本実施形態に係る占有格子地図における障害物情報の忘却について説明する。６００は、移動体１００周辺の生成された障害物情報６０３、６０４を含む占有格子地図を示す。６０１は検知ユニット１１４の実際の視野角（性能）を示す。つまり、視野角６０１は、ステレオカメラなどの検知ユニット１１４の性能により定まる撮像範囲を示す。６０２は、障害物情報の忘却率を設定する際の実際の視野角６０１よりも狭い範囲で規定した視野角内範囲を示す。これにより、撮像画像における端部領域における障害物の検出精度が低下する場合であっても、障害物の誤検出を低減することができる。
　本実施形態においては、各グリッドに対して個別に忘却率を設定する。ここで、忘却率とは、蓄積した障害物情報をどの程度保持されるかを示すものである。例えば、本実施形態によれば、占有格子地図は周期的に生成されるものであり、忘却率とは何周期にわたって障害物情報を記憶するかを示すものとなる。
　具体的には、本実施形態では、蓄積した障害物情報を忘却するための忘却率を、視野角内範囲６０２に含まれる各グリッドと、視野角内範囲６０２に含まれないグリッドとで異なる値に設定する。例えば、図６に示す視野角内範囲６０２に重なるグリッドについては第１の忘却率が設定され、それ以外のグリッドには第１の忘却率より低い第２の忘却率が設定される。ここで、視野角内範囲６０２に重なるグリッドとは、グリッド内の所定領域以上が視野角内範囲６０２に重なるグリッドである。上記所定領域のサイズについては任意であり、例えば１～１００％で設定可能である。
　このように本実施形態によれば、検知ユニット１１４の視野角内のグリッドについては忘却率を高く設定し、それ以外の領域は忘却率を低く設定する。このように設定することにより、視野角内においては障害物情報を早く忘却させて、移動を伴う動的障害物の対策とすることができる。一方、視野角外においては、一定期間障害物情報を記憶することにより、障害物に対する衝突や袋小路でのスタックを回避することができる。ただし、経路生成の演算負荷を削減するために、移動体１００の所定の周辺領域において障害物情報を保持し、それ以外の領域は忘却することが望ましい。したがって、本実施形態によれば、視野角外においても忘却率を設定する。
　なお、ここでは、視野角内と視野角外とで異なる忘却率を設定する例について説明するが、それぞれの領域内でさらに個別に設定するようにしてもよい。例えば、視野角外において移動体１００からの距離が離れるほど、忘却率が高くなるように設定してもよい。また、障害物の種別を判別し、判別した種別に応じて忘却率を変更するようにしてもよい。障害物の種別としては、移動を伴う動的障害物と、移動を伴わない静的障害物とを少なくとも含む。動的障害物は、例えば車両や他の交通参加者である。静的障害物は、例えば自ら移動することがない障害物であり、固定されている信号機やポストなどの物体や、固定はされていないものの移動可能なテーブルや机などをも含む。また、障害物を検出するための撮像画像において影が含まれる領域については、他の領域と比較して忘却率を高く設定するようにしてもよい。これにより、影が含まれる領域の障害物の検出精度が低い場合であっても、誤検出した障害物情報の影響を低減することができる。また、グリッドマップにおいて障害物の数が多い場合や、障害物の占める割合が大きい場合には、忘却率を高く設定するようにしてもよい。これにより、過去に検出した障害物の情報によって経路生成が極端に妨げられることを回避することができる。具体的な忘却処理については、図９を用いて後述する。
　＜経路生成＞
　図７は、本実施形態に係る移動体１００において生成される走行経路を示す。本実施形態に係る経路生成部３０４は、設定された目標位置７０１に応じて、占有格子地図を用いて大域経路（global path）７０２を周期的に生成し、さらに大域経路に追従するように局所経路（local path）７０３を周期的に生成する。
　目標位置７０１は、種々の指示に基づいて設定される。例えば、移動体１００に乗車している乗員からの指示や、移動体１００外のユーザからの指示が含まれる。乗員からの指示は、操作パネル１３１や音声入力装置１３３を介して行われる。操作パネル１３１を介する指示は、操作パネル１３１に表示した格子地図の所定のグリッドを指定する方法でもよい。この場合は、各グリッドのサイズを大きく設定し、より広範囲の地図上から選択可能としてもよい。音声入力装置１３３を介する指示は、周辺の物標を目印とする指示でもよい。物標は、発話情報に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。音声入力装置１３３を介する指示を受け付けると、経路生成部３０４は、検知ユニット１１４によって取得された撮像画像から指定された物標を検出して目標位置として設定する。
　これらの音声認識や画像認識については、機械学習モデルを利用する。機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、発話情報や画像情報に含まれる場所名、建造物などのランドマーク名、店舗名、物標の名称などを認識する。音声認識のＤＮＮは、学習段階の処理を行うことにより学習済みの状態となり、新たな発話情報を学習済みのＤＮＮに入力することにより新たな発話情報に対する認識処理（推論段階の処理）を行うことができる。また、画像認識のＤＮＮは、画像内に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車の認識を行うことができる。
　また、移動体１００外のユーザからの指示については、所有する通信装置１４０を介した指示を通信ユニット１３６を介して移動体１００へ通知したり、図７に示すように移動体１００に向けて手を挙げるなどの動作によって移動体１００を呼び寄せることも可能である。通信装置１４０による指示は、上記乗員からの指示と同様に操作入力や音声入力によって行われる。
　目標位置７０１が設定されると、経路生成部３０４は、生成した占有格子地図を用いて大域経路７０２を生成する。大域経路の生成手法としては、上述したように、ＲＲＴ、ＰＲＭ、Ａ＊など種々のアルゴリズムが知られているが任意の手法が用いられてもよい。続いて、経路生成部３０４は、生成された大域経路７０２に追従するように局所経路７０３を生成する。局所経路計画の手法としては、ＤＷＡ（Dynamic Window Approach）や、ＭＰＣ（Model Predictive Control）、clothoid tentacles、ＰＩＤ(Proportional-Integral-Differential)制御など種々の手法が存在する。
　＜移動体の基本制御＞
　図８は、本実施形態に係る移動体１００の基本制御を示すフローチャートである。以下で説明する処理は、制御ユニット１３０において、例えばＣＰＵがＲＯＭ等のメモリに格納されたプログラムをＲＡＭに読み出して実行することにより実現される。
　Ｓ１０１で制御ユニット１３０は、ユーザ指示取得部３０１によって受信したユーザ指示に基づいて、移動体１００の目標位置を設定する。ユーザ指示については、上述したように、種々の方法で受け付けることができる。続いて、Ｓ１０２で制御ユニット１３０は、検知ユニット１１４によって移動体１００の前方領域を撮像し、撮像画像を取得する。取得した撮像画像は画像情報処理部３０２によって処理され、深度画像が作成され３次元点群化される。Ｓ１０３で制御ユニット１３０は、３次元点群化された画像から、例えば５ｃｍ以上の立体物となる障害物を検出する。Ｓ１０４で制御ユニット１３０は、検出された障害物と、移動体１００の位置情報とに応じて、移動体１００を中心とした所定領域の占有格子地図を生成する。詳細な手法については図９を用いて説明する。
　次に、Ｓ１０５で制御ユニット１３０は、経路生成部３０４によって移動体１００の走行経路を生成する。経路生成部３０４は、上述したように、占有格子地図を用いて大域経路を生成し、生成した大域経路に従って局所経路を生成する。続いて、Ｓ１０６で制御ユニット１３０は、生成した局所経路に従って移動体１００の速度及び角速度を決定し、走行を制御する。その後、Ｓ１０７で制御ユニット１３０は、移動体１００が目標位置へ到達したかどうかをＧＮＳＳセンサ１３４からの位置情報に基づいて判断し、目標位置へ到達していない場合は処理をＳ１０２に戻して、占有格子地図を更新しながら経路を生成し、走行を制御する処理を繰り返し行う。一方、目標位置へ到達した場合は、本フローチャートの処理を終了する。
　＜占有格子地図の生成手法（忘却制御）＞
　図９は、本実施形態に係る占有格子地図の生成制御（Ｓ１０４）の詳細な処理手順を示すフローチャートである。以下で説明する処理は、制御ユニット１３０において、例えばＣＰＵがＲＯＭ等のメモリに格納されたプログラムをＲＡＭに読み出して実行することにより実現される。
　まずＳ２０１で制御ユニット１３０は、移動体１００の移動速度を走行ユニット１１２から取得する。続いてＳ２０２で制御ユニット１３０は、取得した移動体１００の移動速度が０、即ち、移動体１００が停止状態にあるか否かを判断する。移動速度が０であればＳ２０３に進み、そうでなければＳ２０４に進む。
　Ｓ２０３で制御ユニット１３０は、移動体１００が停止状態にある場合には、蓄積している障害物情報を忘却させないように、視野角外の忘却率k_outに０を設定し、処理をＳ２０５に進める。一方、Ｓ２０４で制御ユニット１３０は、移動体１００が移動状態（走行状態）にある場合には視野角外の忘却率にデフォルトの値を設定し、処理をＳ２０５に進める。なお、視野角内の忘却率k_inについては移動体１００の移動速度に関わらず所定の値が設定される。
　忘却率の決定方法の一例について説明する。忘却率の決定方法は以下の数式（１）及び（２）に基づいて決定される。
蓄積値max = k_in / dt*dynamic_object_forget_time・・・数式（１）
k_out = 蓄積max*dt/out_of_fov_forget_time・・・数式（２）
ここで、"k_in"は視野角内忘却率を示す。"k_out"は視野角外忘却率を示す。"dynamic_object_forget_time"は視野角内忘却時間を示す。"out_of_fov_forget_time"視野角外忘却時間を示す。"dt"は周期を示す。上記数式（１）及び（２）を用いて忘却率を決定することにより、視野角内においては早く障害物情報を更新し、視野角外は過去の障害物情報を重視することができる。
　Ｓ２０５で制御ユニット１３０は、障害物の蓄積情報の忘却を行う。当該忘却処理は、以下の数式（３）を用いて実行される。
map = map - k_in*fovmap - k_out (1 - fovmap)・・・数式（３）
ここで、"fovmap"は視野角内のグリッドマップを示す。例えば、"fovmap"は視野角内のグリッドを”１”で示し、視野角外のグリッドを”０”で示す。数式（３）によれば、上述したように視野角内外で忘却率を変えて忘却処理を実行する。忘却処理を実行すると、例えば図５に示すローカルマップ５００が生成される。
　次に、Ｓ２０６で制御ユニット１３０は、Ｓ１０３で検出した障害物情報（例えば、図５に示す障害物検出マップ５１０）を取得する。続いてＳ２０７で制御ユニット１３０は、Ｓ２０５で忘却処理を施したマップと、Ｓ２０６で取得した障害物検出マップとを以下の数式（４）を用いて加算することにより、障害物情報を更新した占有格子地図を生成する。
Map = map+k_acc*new_map・・・数式（４）
ここで、”Map”は障害物情報を更新した占有格子地図を示し、”map”は上記Ｓ２０５で忘却処理を施した障害物検出マップであり、”new_map”は上記Ｓ２０６で取得した新たに検出した障害物検出マップを示す。”k_acc”は蓄積の係数を示す。当該係数は蓄積値max以上の値とならないように設定される。
Ｓ２０７の処理終了すると、本フローチャートの処理を終了し、処理をＳ１０５に進める。なお、Ｓ２０１乃至Ｓ２０７の処理は周期的に実施されるものであり、例えば１０Ｈｚの周期で実施される。
　＜実施形態のまとめ＞
　１．上記実施形態の移動体制御システム（例えば、１００）は、
　移動体の周辺領域を分割した分割領域ごとに、過去に検出された障害物の情報を蓄積する蓄積手段と、（３０３）
　前記蓄積手段によって蓄積されている障害物の情報を所定の忘却率に従って忘却させる忘却手段と、（３０３）
　撮像画像を取得する撮像手段と、（１１４）
　前記撮像画像に含まれる障害物を検出する検出手段と、（１３０、３０２、３０３）
　前記移動体の現在の周辺領域について、前記蓄積手段によって蓄積されている障害物の情報と、前記検出手段によって検出された障害物とに従って、分割領域ごとに障害物の占有を示す占有地図を生成する地図生成手段と（３０３）
を備えることを特徴とする。
　この実施形態によれば、移動体周辺の検出した障害物の情報の忘却率を、領域ごとに好適に設定する。これにより、本発明によれば、動的障害物に対策することができるとともに、過去に検出した障害物の情報を有効に利用し、それらの障害物に対する衝突や袋小路でのスタックを回避することができる。
　２．上記実施形態の移動体制御システムでは、前記所定の忘却率は、前記撮像手段の視野角内と視野角外とで異なる（図６）。
　この実施形態によれば、視野角内外で忘却率を切り替えることにより、過去に検出した障害物情報を有効に利用しつつ、障害物情報を更新することができる。
　３．上記実施形態の移動体制御システムでは、前記視野角内の忘却率は、前記視野角外の忘却率よりも高い（図６）。
　この実施形態によれば、視野角内においては障害物情報をより早く更新することにより移動を伴う動的障害物への対策とし、視野角外においては一定期間過去の検出情報を保持することにより、障害物に対する衝突や袋小路でのスタックを回避することができる。
　４．上記実施形態の移動体制御システムでは、前記視野角内の領域は、前記撮像手段の性能により定まる該撮像手段の撮像範囲よりも狭くなるように設定される（６０１、図６）。
　この実施形態によれば、撮像画像における端部領域の検出精度による障害物の誤検出を低減することができる。
　５．上記実施形態の移動体制御システムでは、検出された前記障害物の種別を判別する判別手段をさらに備え、
　前記所定の忘却率は、前記障害物の種別ごとに設定される。
　この実施形態によれば、障害物の種別に応じて過去に検出された障害物情報を有効に利用することができる。
　６．上記実施形態の移動体制御システムでは、前記障害物の種別は、移動を伴う動的障害物と、移動を伴わない静的障害物とを少なくとも含む。
　この実施形態によれば、動的障害物又は静的障害物に応じて、忘却率を好適に設定することができる。
　７．上記実施形態の移動体制御システムでは、前記動的障害物に設定される忘却率は、前記静的障害物に設定される忘却率よりも高い。
　この実施形態によれば、動的障害物は移動を伴うため早めに忘却し、静的障害物は自ら移動することがないため一定期間過去の検出情報を保持することにより、障害物に対する衝突や袋小路でのスタックを回避することができる。
　８．上記実施形態の移動体制御システムでは、前記動的障害物とは、車両又は他の交通参加者である。
　この実施形態によれば、動的障害物として交通参加者を判別することより、移動体の経路を好適に生成することができる。
　９．上記実施形態の移動体制御システムは、前記静的障害物とは、自ら移動することがない障害物である。
　この実施形態によれば、静的障害物として固定された障害物を判別することにより、移動体の経路を好適に生成することができる。
　１０．上記実施形態の移動体制御システムでは、前記撮像画像において影が含まれる領域の忘却率は、前記撮像画像において影が含まれない領域の忘却率よりも高い。
　この実施形態によれば、障害物の検出精度が低くなる影が含まれる領域については早めに忘却させ、誤検出が発生した際の影響を低減することができる。
　１１．上記実施形態の移動体制御システムでは、前記障害物の数が多いほど忘却率が高く設定される。
　この実施形態によれば、過去に検出した障害物によって経路生成が極端に妨げられることを回避することができる。
　１２．上記実施形態の移動体制御システムでは、前記障害物の占める分割領域の数が多いほど忘却率が高く設定される。
　この実施形態によれば、過去に検出した障害物によって経路生成が極端に妨げられることを回避することができる。
　１３．上記実施形態の移動体制御システムでは、前記地図生成手段は、前記移動体の周辺の領域を格子状に分割し、格子ごとに前記検出手段によって検出された障害物の占有を示す占有格子地図を、前記占有地図として生成する。
　この実施形態によれば、所定の平面領域をｘ、ｙ方向に容易に分割することができるとともに、所定範囲を漏れなくカバーすることができる。
　発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
　本願は、２０２２年９月３０日提出の日本国特許出願特願２０２２－１５８６３８を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (16)

  1. 　移動体制御システムであって、
    　移動体の周辺領域を分割した分割領域ごとに、過去に検出された障害物の情報を蓄積する蓄積手段と、
    　前記蓄積手段によって蓄積されている障害物の情報を、分割領域ごとに割り当てた所定の忘却率に従って忘却させる忘却手段と、
    　撮像画像を取得する撮像手段と、
    　前記撮像画像に含まれる障害物を検出する検出手段と、
    　前記移動体の現在の周辺領域について、前記蓄積手段によって蓄積されている障害物の情報と、前記検出手段によって検出された障害物とに従って、分割領域ごとに障害物の占有を示す占有地図を生成する地図生成手段と
    を備えることを特徴とする移動体制御システム。
  2. 　前記所定の忘却率は、前記撮像手段の視野角内と視野角外とで異なることを特徴とする請求項１に記載の移動体制御システム。
  3. 　前記視野角内の忘却率は、前記視野角外の忘却率よりも高いことを特徴とする請求項２に記載の移動体制御システム。
  4. 　前記視野角内の領域は、前記撮像手段の性能により定まる該撮像手段の撮像範囲よりも狭くなるように設定されることを特徴とする請求項２又は３に記載の移動体制御システム。
  5. 　検出された前記障害物の種別を判別する判別手段をさらに備え、
    　前記所定の忘却率は、前記障害物の種別ごとに設定されることを特徴とする請求項１乃至４の何れか１項に記載の移動体制御システム。
  6. 　前記障害物の種別は、移動を伴う動的障害物と、移動を伴わない静的障害物とを少なくとも含むことを特徴とする請求項５に記載の移動体制御システム。
  7. 　前記動的障害物に設定される忘却率は、前記静的障害物に設定される忘却率よりも高いことを特徴とする請求項６に記載の移動体制御システム。
  8. 　前記動的障害物とは、車両又は他の交通参加者であることを特徴とする請求項６又は７に記載の移動体制御システム。
  9. 　前記静的障害物とは、自ら移動することがない障害物であることを特徴とする請求項６乃至８の何れか１項に記載の移動体制御システム。
  10. 　前記撮像画像において影が含まれる領域の忘却率は、前記撮像画像において影が含まれない領域の忘却率よりも高いことを特徴とする請求項１乃至９の何れか１項に記載の移動体制御システム。
  11. 　前記障害物の数が多いほど忘却率が高く設定されることを特徴とする請求項１乃至１０の何れか１項に記載の移動体制御システム。
  12. 　前記障害物の占める分割領域の数が多いほど忘却率が高く設定されることを特徴とする請求項１乃至１１の何れか１項に記載の移動体制御システム。
  13. 　前記地図生成手段は、前記移動体の周辺の領域を格子状に分割し、格子ごとに前記検出手段によって検出された障害物の占有を示す占有格子地図を、前記占有地図として生成することを特徴とする請求項１乃至１２の何れか１項に記載の移動体制御システム。
  14. 　移動体制御システムの制御方法であって、
    　移動体の周辺領域を分割した分割領域ごとに、過去に検出された障害物の情報を蓄積する蓄積工程と、
    　前記蓄積工程で蓄積されている障害物の情報を、分割領域ごとに割り当てた所定の忘却率に従って忘却させる忘却工程と、
    　撮像画像を取得する撮像工程と、
    　前記撮像画像に含まれる障害物を検出する検出工程と、
    　前記移動体の現在の周辺領域について、前記蓄積工程で蓄積されている障害物の情報と、前記検出工程で検出された障害物とに従って、分割領域ごとに障害物の占有を示す占有地図を生成する地図生成工程と
    を含むことを特徴とする移動体制御システムの制御方法。
  15. 　コンピュータを、請求項１から１３のいずれか１項に記載の移動体制御システムの各手段として機能させるためのプログラム。
  16. 　移動体であって、
    　前記移動体の周辺領域を分割した分割領域ごとに、過去に検出された障害物の情報を蓄積する蓄積手段と、
    　前記蓄積手段によって蓄積されている障害物の情報を、分割領域ごとに割り当てた所定の忘却率に従って忘却させる忘却手段と、
    　撮像画像を取得する撮像手段と、
    　前記撮像画像に含まれる障害物を検出する検出手段と、
    　前記移動体の現在の周辺領域について、前記蓄積手段によって蓄積されている障害物の情報と、前記検出手段によって検出された障害物とに従って、分割領域ごとに障害物の占有を示す占有地図を生成する地図生成手段と
    を備えることを特徴とする移動体。
PCT/JP2023/031633 2022-09-30 2023-08-30 移動体制御システム、その制御方法、プログラム、及び移動体 WO2024070460A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022158638 2022-09-30
JP2022-158638 2022-09-30

Publications (1)

Publication Number Publication Date
WO2024070460A1 true WO2024070460A1 (ja) 2024-04-04

Family

ID=90477218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/031633 WO2024070460A1 (ja) 2022-09-30 2023-08-30 移動体制御システム、その制御方法、プログラム、及び移動体

Country Status (1)

Country Link
WO (1) WO2024070460A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026727A (ja) * 2008-07-17 2010-02-04 Panasonic Electric Works Co Ltd 自律移動装置
JP2022046408A (ja) * 2021-04-30 2022-03-23 株式会社Preferred Robotics 情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026727A (ja) * 2008-07-17 2010-02-04 Panasonic Electric Works Co Ltd 自律移動装置
JP2022046408A (ja) * 2021-04-30 2022-03-23 株式会社Preferred Robotics 情報処理装置

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
CN112149487B (zh) 一种用于自动驾驶的用于训练神经网络对象检测模型的用于确定锚框的方法
US20210380124A1 (en) Autonomous driving device and autonomous driving control method that displays the following road traveling route
RU2759975C1 (ru) Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности
JP2021504825A (ja) 自律走行車両運行管理計画
JP7170637B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN114026463B (zh) 基于部分点云的行人速度估计方法
CN113496189B (zh) 基于静态障碍物地图的感知方法及系统
JP6892887B2 (ja) 車両制御装置及び車両
US20240054793A1 (en) Information processing device, information processing method, and program
CN113753070B (zh) 自动车辆的锁定行人检测与预测
CN117284317A (zh) 基于横向对象控制纵向加速度的系统和方法
CN117284319A (zh) 基于横向对象控制纵向加速度的系统和方法
JP2020124994A (ja) 車両運動制御方法及び車両運動制御装置
WO2024070460A1 (ja) 移動体制御システム、その制御方法、プログラム、及び移動体
CN117284318A (zh) 基于横向对象控制纵向加速度的系统和方法
CN117141463A (zh) 识别并行泊车车辆的意图和预测的系统、方法和计算机程序产品
JP2021095078A (ja) 車線変更決定装置
JP2020124993A (ja) 車両運動制御方法及び車両運動制御装置
JP2020203587A (ja) 自動運転システム
JP2020124995A (ja) 車両運動制御方法及び車両運動制御装置
US20210303874A1 (en) A point cloud-based low-height obstacle detection system
JP2024036932A (ja) 移動体制御システム、その制御方法、プログラム、及び移動体
JP2024127022A (ja) 移動体制御システム、その制御方法、プログラム、及び移動体
WO2024089810A1 (ja) 移動体制御システム、その制御方法、プログラム、及び移動体