WO2023188251A1 - 移動体の制御装置、移動体の制御方法、および記憶媒体 - Google Patents

移動体の制御装置、移動体の制御方法、および記憶媒体 Download PDF

Info

Publication number
WO2023188251A1
WO2023188251A1 PCT/JP2022/016482 JP2022016482W WO2023188251A1 WO 2023188251 A1 WO2023188251 A1 WO 2023188251A1 JP 2022016482 W JP2022016482 W JP 2022016482W WO 2023188251 A1 WO2023188251 A1 WO 2023188251A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual lane
moving
roadway
predetermined area
speed
Prior art date
Application number
PCT/JP2022/016482
Other languages
English (en)
French (fr)
Inventor
英樹 松永
隆志 松本
涼至 若山
航輝 相澤
健登 白方
祐之介 倉光
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to PCT/JP2022/016482 priority Critical patent/WO2023188251A1/ja
Publication of WO2023188251A1 publication Critical patent/WO2023188251A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a moving object control device, a moving object control method, and a storage medium.
  • Patent Document 1 a document has been disclosed that considers recognizing whether a moving object is moving on a sidewalk or a roadway.
  • the present invention has been made in consideration of such circumstances, and is a moving object that can appropriately recognize whether a moving object is moving on a roadway or in a predetermined area different from a roadway.
  • One of the objects is to provide a body control device, a moving body control method, and a storage medium.
  • a moving body control device, a moving body control method, and a storage medium according to the present invention employ the following configuration.
  • a control device for a movable body according to one aspect of the present invention is a control device for a movable body that can move both on a roadway and a predetermined area different from the roadway, and captures an image of the traveling direction of the movable body.
  • a central virtual lane including the assumed course of the moving object, a right virtual lane existing on the right side of the central virtual lane as seen from the moving object, and the central virtual lane as seen from the moving object
  • a left virtual lane that exists on the left side of the lane is set, and based on the results of spatial classification for each of the center virtual lane, the right virtual lane, and the left virtual lane, the mobile object moves along the road.
  • a road type recognition unit that recognizes whether the moving object is moving or moving in the predetermined area; and a road type recognition unit that limits a speed when the moving object moves on a roadway to a first speed, and the moving object moves in the predetermined area. and a control section that limits the speed when the vehicle is moving to a second speed lower than the first speed.
  • the road type recognition unit recognizes whether the center virtual lane is a copy of the roadway or a copy of the predetermined area, and If the reliability of the recognition result regarding the virtual lane is equal to or higher than the standard, recognizing whether the mobile object is moving on a roadway or in the predetermined area based on the recognition result regarding the central virtual lane, If the reliability of the recognition result regarding the central virtual lane is less than the standard, the mobile object may move on the roadway based on the results of the spatial classification for each of the left virtual lane and the right virtual lane. It recognizes whether the vehicle is moving in the predetermined area or not.
  • the road type recognition unit determines, as the spatial classification, a roadway for each of the left virtual lane and the right virtual lane; This is to recognize whether the photograph is of the predetermined area or outside the running track.
  • the road type recognition unit determines whether the moving object is traveling on a road based on a combination of the results of performing the spatial classification for each of the left virtual lane and the right virtual lane. It recognizes whether the object is moving or whether it is moving within the predetermined area.
  • the road type recognition unit is configured such that one of the left virtual lane and the right virtual lane is a representation of a roadway, and the other is a representation of the predetermined area. If it is recognized that there is, based on the degree of similarity between the image related to the left virtual lane and the image related to the center virtual lane, and the degree of similarity between the image related to the right virtual lane and the image related to the center virtual lane, It recognizes whether the moving object is moving on a roadway or in the predetermined area.
  • the road type recognition unit is configured such that one of the left virtual lane and the right virtual lane is a picture of the outside of the driving road, and the other is a picture of the road.
  • the similarity between the image related to the left virtual lane and the image related to the center virtual lane the similarity between the image related to the right virtual lane and the image related to the center virtual lane, and the Based on whether there is a partition at the boundary between the image related to the lane and the image recognized as showing the roadway, it is determined whether the moving object is moving on the roadway or not, and whether the moving object is moving in the predetermined area. It is a way to recognize whether there are any.
  • the road type recognition unit inputs information obtained by adding virtual lane designation information indicating which area corresponds to which virtual lane to the captured image into the trained model. By doing so, a result of recognizing whether the mobile object is moving on a roadway or in the predetermined area is obtained.
  • the road type recognition unit inputs the captured image into a learned model to determine whether the moving object is moving on a roadway or whether it is moving in the predetermined area. The result is obtained by recognizing whether the moving object is moving on a roadway or whether it is moving in the predetermined area. The result is obtained by recognizing whether the moving object is moving on a roadway or whether it is moving in the predetermined area.
  • the learned model includes parameters of a layer that performs spatial classification for each virtual lane and parameters of a layer that integrates the results of spatial classification for each virtual lane. are learned simultaneously by backpropagation processing using common training data and teacher data.
  • the road type recognition unit extracts the series of edges from each other among the plurality of virtual lanes. This is the boundary between two adjacent virtual lanes.
  • the road type recognition unit may be arranged such that at least a part of the plurality of virtual lanes extends with a specified width on the road surface for a region in which the series of edges cannot be extracted in the captured image. Assuming this, boundaries between two adjacent virtual lanes among the plurality of virtual lanes are set.
  • the road type recognition unit repeatedly performs processing at a predetermined period, and inherits the past recognition results for each of the plurality of virtual lanes to determine the movement of the vehicle. It recognizes whether the body is moving on a roadway or in the predetermined area.
  • a method for controlling a movable body is a method for controlling a movable body performed by a control device for a movable body capable of moving both on a roadway and a predetermined area different from the roadway, the method comprising: In an image taken by an external camera that captures the moving direction of the moving object, a central virtual lane that includes the assumed course of the moving object, a right virtual lane that exists on the right side of the central virtual lane when viewed from the moving object, and the A result of setting a left virtual lane that exists on the left side of the central virtual lane when viewed from a moving object, and performing spatial classification for each of the central virtual lane, the right virtual lane, and the left virtual lane.
  • a storage medium provides a processor of a control device for a movable body capable of moving both on a roadway and a predetermined area different from the roadway.
  • a central virtual lane that includes the assumed course of the moving object, a right virtual lane that exists on the right side of the central virtual lane as seen from the moving object, and a right virtual lane that exists on the right side of the central virtual lane as seen from the moving object; Based on the results of spatial classification of the center virtual lane, the right virtual lane, and the left virtual lane, the moving object moves along the road.
  • the storage medium stores a program for executing the following steps: limiting the speed to a second speed lower than the first speed.
  • FIG. 1 is a diagram illustrating an example of a configuration of a moving body and a control device according to an embodiment.
  • FIG. 3 is a perspective view of the moving body seen from above.
  • FIG. 3 is a diagram showing an example of an image IM captured by an external camera.
  • FIG. 3 is a diagram showing a range of positions of a series of edges that can be recognized as road boundary edges in a captured image.
  • FIG. 7 is a diagram illustrating how a virtual lane boundary is set by offsetting the extracted lane boundary edge by a specified width.
  • FIG. 2 is a diagram (part 1) for explaining the processing of the road type recognition unit 120.
  • FIG. FIG. 3 is a diagram (part 2) for explaining the processing of the road type recognition unit 120;
  • FIG. 3 is a diagram for explaining the content of processing by the road type recognition unit 120 using the integrated trained model.
  • FIG. 3 is a diagram for explaining a learning process of an integrated trained model. It is a figure which shows the process of the modification of 2
  • the moving object moves both on the road and in a predetermined area different from the road.
  • Mobile objects are sometimes referred to as micromobility.
  • Electric scooters are a type of micromobility.
  • the moving object may be a vehicle that can carry a passenger, or may be an autonomous moving object that is capable of autonomously traveling unmanned.
  • the latter autonomous mobile body is used, for example, for transporting luggage and the like.
  • the predetermined area is, for example, a sidewalk.
  • the predetermined area may be part or all of the roadside strip, bicycle lane, public open space, etc., or may include all of the sidewalk, roadside strip, bicycle lane, public open space, etc. In the following description, it is assumed that the predetermined area includes a sidewalk and a public open space.
  • FIG. 1 is a diagram showing an example of the configuration of a moving object 1 and a control device 100 according to an embodiment.
  • the mobile body 1 includes, for example, an external world detection device 10, a mobile body sensor 12, an operator 14, an internal camera 16, a positioning device 18, a mode changeover switch 22, a movement mechanism 30, and a drive device 40. , an external notification device 50, a storage device 70, and a control device 100 are installed. Note that some of these configurations that are not essential for realizing the functions of the present invention may be omitted.
  • the mobile object is not limited to a vehicle, but may also include a small mobile device that runs parallel to a walking user, carrying luggage or leading a person, and other mobile objects capable of autonomous movement (e.g., a walking user). type robots, etc.).
  • the external world detection device 10 is a variety of devices whose detection range is the traveling direction of the moving body 1.
  • the external detection device 10 includes an external camera, a radar device, a LIDAR (Light Detection and Ranging), a sensor fusion device, and the like.
  • the external world detection device 10 outputs information indicating the detection result (image, position of an object, etc.) to the control device 100.
  • the moving object sensor 12 includes, for example, a speed sensor, an acceleration sensor, a yaw rate (angular velocity) sensor, an azimuth sensor, and an operation amount detection sensor attached to the operator 14.
  • the operator 14 includes, for example, an operator for instructing acceleration/deceleration (for example, an accelerator pedal or a brake pedal) and an operator for instructing steering (for example, a steering wheel).
  • the moving object sensor 12 may include an accelerator opening sensor, a brake depression amount sensor, a steering torque sensor, and the like.
  • the moving body 1 may include, as the operator 14, an operator in a mode other than the above (for example, a non-circular rotary operator, a joystick, a button, etc.).
  • the internal camera 16 images at least the head of the occupant of the moving body 1 from the front.
  • the internal camera 16 is a digital camera that uses an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Internal camera 16 outputs the captured image to control device 100.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the positioning device 18 is a device that measures the position of the mobile object 1.
  • the positioning device 18 is, for example, a GNSS (Global Navigation Satellite System) receiver, and specifies the position of the mobile object 1 based on a signal received from a GNSS satellite, and outputs it as position information.
  • GNSS Global Navigation Satellite System
  • the location information of the mobile object 1 may be estimated from the location of a Wi-Fi base station to which a communication device, which will be described later, is connected.
  • the mode changeover switch 22 is a switch operated by a passenger.
  • the mode changeover switch 22 may be a mechanical switch or a GUI (Graphical User Interface) switch set on a touch panel.
  • the mode changeover switch 22 is set to, for example, mode A: an assist mode in which one of the steering operation and acceleration/deceleration control is performed by the occupant, and the other is automatically performed; There may be a mode A-1 in which the vehicle is operated automatically, and a mode A-2 in which the vehicle occupant performs acceleration/deceleration operations and steering control is automatically performed.
  • Mode B Steering and acceleration/deceleration operations are performed by the vehicle occupant.
  • Manual operation mode, mode C Accepts an operation to switch the operation mode to one of the automatic operation modes in which operation control and acceleration/deceleration control are automatically performed.
  • the moving mechanism 30 is a mechanism for moving the moving body 1 on the road.
  • the moving mechanism 30 is, for example, a wheel group including a steering wheel and a driving wheel. Further, the moving mechanism 30 may be a leg section for walking on multiple legs.
  • the drive device 40 outputs force to the moving mechanism 30 to move the moving body 1.
  • the drive device 40 includes a motor that drives the drive wheels, a battery that stores power to be supplied to the motor, a steering device that adjusts the steering angle of the steered wheels, and the like.
  • the drive device 40 may include an internal combustion engine, a fuel cell, or the like as a driving force output means or a power generation means. Further, the drive device 40 may further include a brake device using frictional force or air resistance.
  • the external notification device 50 is, for example, a lamp, a display device, a speaker, etc. provided on the outer panel of the mobile body 1 and used to notify information to the outside of the mobile body 1.
  • the external notification device 50 performs different operations depending on whether the moving body 1 is moving in a predetermined area or on a roadway.
  • the external notification device 50 is controlled to cause the lamp to emit light when the moving body 1 is moving in a predetermined area, and not to cause the lamp to emit light when the moving body 1 is moving on a roadway.
  • the color of the light emitted from this lamp is preferably a color specified by law.
  • the external notification device 50 is controlled to cause the lamp to emit green light when the moving object 1 is moving in a predetermined area, and to cause the lamp to emit blue light when the moving object 1 is moving on a roadway. Good too.
  • the external notification device 50 is a display device
  • the external notification device 50 displays in text or graphics that the mobile object 1 is “running on a sidewalk” when the mobile object 1 is traveling in a predetermined area.
  • FIG. 2 is a perspective view of the moving body 1 seen from above.
  • FW is a steering wheel
  • RW is a driving wheel
  • SD is a steering device
  • MT is a motor
  • BT is a battery.
  • Steering device SD, motor MT, and battery BT are included in drive device 40.
  • AP is an accelerator pedal
  • BP is a brake pedal
  • WH is a steering wheel
  • SP is a speaker
  • MC is a microphone.
  • the illustrated moving object 1 is a one-person moving object, and an occupant P is seated in a driver's seat DS and wearing a seat belt SB.
  • Arrow D1 is the traveling direction (velocity vector) of moving body 1.
  • the external world detection device 10 is provided near the front end of the moving object 1, the internal camera 16 is provided at a position where it can image the head of the occupant P from in front of the occupant P, and the mode changeover switch 22 is provided at the boss portion of the steering wheel WH. ing. Further, an external notification device 50 as a display device is provided near the front end of the moving body 1.
  • the storage device 70 is, for example, a non-transitory storage device such as an HDD (Hard Disk Drive), a flash memory, or a RAM (Random Access Memory).
  • the storage device 70 stores map information 72, a program 74 executed by the control device 100, and the like.
  • the storage device 70 is shown outside the control device 100 in the figure, the storage device 70 may be included in the control device 100.
  • the storage device 70 may be provided on a server (not shown).
  • the control device 100 includes, for example, a road type recognition section 120, an object recognition section 130, and a control section 140. These components are realized by, for example, executing a program (software) 74 by a hardware processor such as a CPU (Central Processing Unit). Some or all of these components are hardware (circuit parts) such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), and GPU (Graphics Processing Unit). (including circuitry), or may be realized by collaboration between software and hardware.
  • LSI Large Scale Integration
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • GPU Graphics Processing Unit
  • the program may be stored in advance in the storage device 70 or in a removable storage medium (non-transitory storage medium) such as a DVD or CD-ROM, and the storage medium is attached to the drive device.
  • the program may be installed in the storage device 70 by being installed.
  • the road type recognition unit 120 recognizes whether the mobile object 1 is moving on a road or in a predetermined area.
  • the road type recognition unit 120 recognizes whether the mobile object 1 is moving on a roadway or in a predetermined area, for example, by analyzing an image captured by an external camera of the external world detection device 10. Note that the output of a radar device, LIDAR, sensor fusion device, etc. may be used auxiliary. Details of the processing by the road type recognition unit 120 will be described later.
  • the object recognition unit 130 recognizes objects existing around the moving body 1 based on the output of the external world detection device 10.
  • Objects include moving objects such as vehicles, bicycles, and pedestrians, road boundaries such as road markings, steps, guardrails, shoulders, and median strips, structures installed on the road such as road signs and billboards, and structures on the road. Includes some or all of the existing (falling) obstacles such as falling objects.
  • the object recognition unit 130 adds an external camera to a trained model that has been trained to output information such as the presence, position, and type of an object when an image captured by an external camera of the external world detection device 10 is input. By inputting captured images, information such as the presence, location, and type of other moving objects can be obtained.
  • the type of other moving object can also be estimated based on the size in the image, the intensity of the reflected wave received by the radar device of the external world detection device 10, and the like. Further, the object recognition unit 130 obtains the speed of another moving object detected by a radar device using Doppler shift or the like, for example.
  • the control unit 140 controls the drive device 40 according to the set driving mode, for example.
  • the mobile body 1 may execute only some of the driving modes described below, but in either case, the control unit 140 controls whether the mobile body 1 moves on a roadway or moves in a predetermined area. Different speed limit values depending on the situation. In that case, the mode changeover switch 22 may be omitted.
  • the control unit 140 refers to the traveling route and object information based on the output of the object recognition unit 130, and calculates the distance between the moving body 1 and the object that is present in front of the moving body 1 when the moving body 1 moves on the road. If the distance to the object in front of the moving object 1 is sufficiently long, the first speed V1 (for example, a speed of ten [km/h] or more and less than several tens [km/h]) The motor MT of the drive device 40 is controlled so that the movable body 1 moves.
  • the first speed V1 for example, a speed of ten [km/h] or more and less than several tens [km/h]
  • the control unit 140 When the movable body 1 moves in a predetermined area, the control unit 140 maintains the distance to the object in front of the movable body 1 at a certain level or more, and makes sure that the distance to the object in front of the movable body 1 is sufficient. If it is long, the motor MT of the drive device 40 is controlled so that the moving body 1 moves at a second speed V2 (for example, a speed of less than 10 [km/h]).
  • This function is similar to the ACC (Adaptive Cruise Control) function of a vehicle with the first speed V1 or the second speed V2 as the set speed, and the technology used in ACC can be utilized.
  • control unit 140 controls the steering device SD to change the steering angle of the steered wheels based on the amount of operation of the operator 14 such as a steering wheel.
  • This function is similar to that of a power steering device, and the technology used in the power steering device can be used.
  • the moving body 1 may have a steering device in which the operating element 14 and the steering mechanism are mechanically connected, without electronically controlling the steering.
  • the control unit 140 refers to the travel route and object information based on the output of the object recognition unit 130, generates a target trajectory on which the mobile object 1 can move while avoiding objects within the travel route, and The steering device SD of the drive device 40 is controlled to move along the trajectory.
  • the control unit 140 controls the motor MT of the drive device 40 based on the speed of the moving body 1 and the amount of operation of the accelerator pedal or the brake pedal.
  • the control unit 140 controls the motor MT of the drive device 40 with the first speed V1 as the upper limit speed when the moving object 1 is moving on the road (in the case of mode A-2, when the upper speed limit is reached, the motor MT is (meaning that the moving body 1 will not be accelerated even if there is an acceleration instruction), and if the moving body 1 is moving in a predetermined area, the drive device 40 is controlled with the second speed V2 as the upper limit speed.
  • the control unit 140 controls the motor MT of the drive device 40 based on the speed of the moving body 1 and the amount of operation of the accelerator pedal or the brake pedal.
  • the control unit 140 controls the motor MT of the drive device 40 with the first speed V1 as the upper limit speed when the moving object 1 is moving on a roadway (in the case of mode B, when the upper limit speed is reached, further acceleration is performed). (meaning that the moving body 1 is not accelerated even if there is an instruction), and when the moving body 1 is moving in a predetermined area, the motor MT of the drive device 40 is controlled with the second speed V2 as the upper limit speed. Regarding steering, it is similar to mode A-1.
  • the control unit 140 refers to the travel path and object information based on the output of the object recognition unit 130, generates a target trajectory on which the moving object 1 can move while avoiding objects within the travel path, and allows the mobile object 1 to move along the target trajectory.
  • the drive device 40 is controlled so as to move.
  • the control unit 140 controls the drive device 40 with the first speed V1 as the upper limit speed when the moving object 1 is moving on a roadway, and when the moving object 1 is moving in a predetermined area.
  • the drive device 40 is controlled using the second speed V2 as the upper limit speed.
  • the road type recognition unit 120 identifies, in a space on the traveling direction side of the moving object 1, a central virtual lane that includes the assumed course of the moving object 1, a right virtual lane that exists on the right side of the central virtual lane when viewed from the moving object 1; A plurality of virtual lanes including at least a left virtual lane existing on the left side with respect to the central virtual lane as viewed from the moving object 1 are defined, and spatial classification is performed for each of the plurality of virtual lanes based on the output of the external world detection device 10. Based on the results, it is recognized whether the mobile object 1 is moving on a road or in a predetermined area.
  • the external world detection device 10 used by the road type recognition unit 120 is an external camera that images the outside of a moving object.
  • FIG. 3 is a diagram showing an example of an image IM taken by an external camera.
  • 200 is a roadway
  • 201 is a sidewalk.
  • the area Lm in FIG. 3 is the assumed course K of the moving body 1 (for example, an extension of the central axis of the moving body 1 at that time, but is not limited to this, and if a steering angle occurs, the area Lm represents the central virtual lane containing the lane (which may be a future path).
  • the region Lr in FIG. 3 represents the right virtual lane Lr that exists on the right side with respect to the central virtual lane Lm, and the region Ll represents the left virtual lane that exists on the left side with respect to the central virtual lane Lm when viewed from the mobile object 1. represent.
  • the road type recognition unit 120 sets the center virtual lane Lm, the right virtual lane Lr, and the left virtual lane Ll on the captured image IM, and processes each region in the captured image IM.
  • road boundary edges a series of edges indicating road boundaries (hereinafter referred to as road boundary edges) can be extracted from the captured image IM
  • the road type recognition unit 120 distinguishes road boundary edges from each other among a plurality of virtual lanes. This is the boundary between two adjacent virtual lanes.
  • An edge is a pixel (characteristic pixel) whose difference in pixel value (luminance, RGB value, etc.) with an adjacent pixel is larger than a reference.
  • There are various methods for selecting adjacent pixels but when extracting a line extending along the traveling direction as seen from the moving object 1, it is preferable that a pixel in the horizontal direction of the pixel of interest is selected as the adjacent pixel. be.
  • FIG. 4 is a diagram showing a range of positions of a series of edges that can be recognized as road boundary edges in a captured image.
  • the track boundary edges are supposed to be lined up from the bottom of the captured image IM toward the top dead center DP.
  • the track boundary edge is not located at the center of the lower part of the captured image IM, but from a position offset to the left or right to the top dead center DP. They should be lined up facing each other.
  • the road type recognition unit 120 recognizes the edges lined up toward the top dead center DP in the illustrated area A1 as road boundary edges indicating the boundary between the center virtual lane Lm and the left virtual lane Ll, and The edges lined up toward the dead point DP are recognized as road boundary edges indicating the boundary between the center virtual lane Lm and the right virtual lane Lr. In the figure, lines recognized as route boundary edges are indicated by broken lines. In the example of FIG. 3, since the step 202 between the roadway 200 and the sidewalk 201 is extracted as a road boundary edge, the road type recognition unit 120 identifies this road boundary edge as the boundary between the central virtual lane Lm and the left virtual lane Ll. Line.
  • the road type recognition unit 120 offsets the extracted road boundary edge by a specified width W (width in the assumed plane as seen from above) to either the left or right.
  • the line drawn is the boundary between two adjacent virtual lanes.
  • FIG. 5 is a diagram showing how virtual lane boundaries are set by offset by a specified width from the extracted lane boundary edges.
  • BD is the boundary between the central virtual lane Lm and the right virtual lane Lr that are set. Since the specified width W is the width in the assumed plane S, it becomes narrower toward the upper side in the captured image IM.
  • the specified width W is set to, for example, the width of a typical roadway, but may be variable depending on the recognition result of whether the moving object 1 is moving on a roadway or in a predetermined area. . For example, if it is recognized with high reliability that the moving object 1 is moving in a predetermined area (particularly on a sidewalk), the prescribed width W for at least the central virtual lane Lm is set to the width of a typical sidewalk. Good too.
  • the road type recognition unit 120 sets a line that is offset to the left and right by a predetermined width (half of the specified width W) from the assumed course K on the assumed plane, and uses it as the captured image IM.
  • a predetermined width half of the specified width W
  • the line converted to the plane be the boundary between two mutually adjacent virtual lanes.
  • the road type recognition unit 120 sets boundaries between two adjacent virtual lanes among the plurality of virtual lanes, assuming that at least a portion of the plurality of virtual lanes extends with a specified width on the road surface.
  • the road type recognition unit 120 repeatedly performs processing at a predetermined period, and inherits the past recognition results for each of a plurality of virtual lanes to determine whether the mobile object 1 is moving on a roadway or not in a predetermined area. It may also be possible to recognize whether it is moving.
  • the road type recognition unit 120 of the first embodiment determines whether the mobile object 1 is moving on a roadway or not based on the results of spatial classification for each of the plurality of virtual lanes based on the output of the external world detection device. Recognize whether you are moving through an area.
  • the road type recognition unit 120 first recognizes whether the central virtual lane Lm represents a roadway or a predetermined area. When the reliability of the recognition result regarding the central virtual lane Lm is equal to or higher than the standard, the road type recognition unit 120 determines whether the mobile object 1 is moving on the roadway or not in a predetermined area based on the recognition result regarding the central virtual lane Lm. Recognize when you are moving.
  • the road type recognition unit 120 assigns points to the roadway score each time it recognizes each of a plurality of first events indicating that the mobile object 1 is moving on the roadway in the area of the central virtual lane Lm of the captured image IM.
  • the roadway score Sr is equal to or greater than the first threshold Th1, it is recognized that the mobile object 1 is moving on the roadway.
  • the road type recognition unit 120 weights the points according to the confidence level when each of the plurality of first events is recognized, and adds the weighted points to the roadway score Sr.
  • the road type recognition unit 120 determines that the mobile object 1 is moving regardless of the roadway score Sr.
  • Body 1 is recognized as moving on the sidewalk.
  • the first event is that there is no static obstacle such as a signboard, the vehicle is moving, there is a road marking, there is a crosswalk, or the vehicle is on the lower side of a step.
  • the second event is that there is a static obstacle such as a billboard, that there is a Braille block, or that the object is above a step.
  • the reliability of the recognition result regarding the central virtual lane Lm is calculated based on the value of the roadway score Sr. For example, if the roadway score Sr is less than the first threshold Th1 and the second event is not recognized, the road type recognition unit 120 determines that the reliability of the recognition result regarding the central virtual lane Lm is less than the standard. .
  • the road type recognition unit 120 inputs the area of the central virtual lane Lm of the captured image IM into the first trained model, so that the area where the central virtual lane Lm, that is, the area in which the mobile object 1 is moving, is The result may be obtained by recognizing whether it is a road or a predetermined area.
  • the first trained model inputs an image having the size of the central virtual lane Lm, it outputs information (identification result) indicating whether the relevant part depicts the roadway or a predetermined area. This is a model learned using machine learning.
  • the first trained model is set to output information indicating the reliability of output information together with the identification result, and the area of the central virtual lane Lm of the captured image IM is input to the first trained model. If the reliability output at that time is less than the reference value, it may be determined that the reliability of the recognition result regarding the central virtual lane Lm is less than the reference.
  • the road type recognition unit 120 determines whether the moving object 1 Recognize whether you are moving on a roadway or within a predetermined area.
  • the road type recognition unit 120 determines whether each of the left virtual lane Ll and the right virtual lane Lr is a roadway, a predetermined area, or a road outside the road (for example, a wall of a building) as spatial classification. ) or is unknown.
  • FIG. 6 is a diagram (part 1) for explaining the processing of the road type recognition unit 120.
  • the road type recognition unit 120 performs recognition regarding the image of the area of the central virtual lane Lm (hereinafter referred to as the central virtual lane image), and if the reliability is low, the road type recognition unit 120 recognizes the image of the area of the left virtual lane Ll.
  • the left virtual lane image By inputting the image (hereinafter referred to as the left virtual lane image) to the second trained model, a recognition result indicating whether the left virtual lane Ll represents the road, a predetermined area, or outside the running road is obtained. .
  • the road type recognition unit 120 inputs an image of the area of the right virtual lane Lr (hereinafter referred to as a right virtual lane image) to the third learned model, thereby determining whether the right virtual lane Lr is a road, a predetermined area, or A recognition result indicating which part of the outside of the running track is taken is obtained.
  • Each of the second learned model and the third learned model is a model learned by machine learning so as to output the above-mentioned identification result when an image is input. That is, the model is trained using images as training data and labels such as roadway, predetermined area, and off-road as training data.
  • the road type recognition unit 120 determines whether the mobile object 1 is moving on a roadway or in a predetermined area based on the combination of spatial classification results for each of the left virtual lane Ll and the right virtual lane Lm. Recognize what is happening. More specifically, the road type recognition unit 120 determines whether the mobile object 1 is moving on the roadway based on the combination of the identification results of the left virtual lane Ll and the right virtual lane Lr, and the analysis results regarding the center virtual lane Lm. , recognizes whether the vehicle is moving within a predetermined area.
  • FIG. 7 is a diagram (part 2) for explaining the processing of the road type recognition unit 120.
  • the road type recognition unit 120 recognizes that the center virtual lane Lm is also a roadway. In other words, the mobile object 1 is recognized as moving on a roadway.
  • the road type recognition unit 120 also determines that the center virtual lane Lm also has a predetermined area. It is recognized that the moving body 1 is moving in a predetermined area.
  • the road type recognition unit 120 recognizes that one of the left virtual lane Ll and the right virtual lane Lr is a road, and the other is a predetermined area
  • Based on the similarity ⁇ l between the left virtual lane image and the center virtual lane image, and the similarity ⁇ r between the right virtual lane image and the center virtual lane image it is determined whether the mobile object 1 is moving on the roadway or is moving in a predetermined area. Recognize what is happening.
  • the left virtual lane Ll is the predetermined area and the right virtual lane Lr is the roadway, but for the opposite pattern, the left and right may be reversed.
  • Similarity is an index value obtained by calculating cosine similarity, etc.
  • the second threshold Th2 and the third threshold Th3 are both positive values, and Th2>Th3.
  • the road type recognition unit 120 determines that the similarity ⁇ l is larger than the second threshold Th2, and the difference ⁇ l ⁇ r obtained by subtracting the similarity ⁇ r from the similarity ⁇ l is less than the third threshold Th3. If the center virtual lane Lm is also large, it is recognized that the central virtual lane Lm is a photograph of a predetermined area, that is, the moving object 1 is recognized as moving in a predetermined area.
  • the road type recognition unit 120 determines that the degree of similarity ⁇ r is larger than the second threshold Th2, and the difference ⁇ r ⁇ l obtained by subtracting the degree of similarity ⁇ l from the degree of similarity ⁇ r is less than the third threshold Th3. If the center virtual lane Lm is also large, it is recognized that the central virtual lane Lm is a reflection of the roadway, that is, the moving object 1 is recognized as moving on the roadway.
  • the road type recognition unit 120 determines that the central virtual lane Lm is a reflection of the road or a predetermined area. A recognition result is output that it is unclear whether the moving object 1 is a photograph or not, that is, it is unclear whether the moving object 1 is moving on a road or in a predetermined area.
  • the road type recognition unit 120 recognizes that one of the left virtual lane Ll and the right virtual lane Lr is off the road and the other is a road
  • Based on whether there is a partition such as a guardrail it is recognized whether the moving object 1 is moving on a roadway or in a predetermined area.
  • the left virtual lane Ll is the off-road
  • the right virtual lane Lr is the road, but the opposite pattern can be achieved by reversing the left and right sides.
  • the road type recognition unit 120 determines that if there is a partition such as a guardrail at the boundary between the central virtual lane image and the right virtual lane image, the central virtual lane Lm In other words, the moving body 1 is recognized as moving in a predetermined area.
  • the road type recognition unit 120 detects that there is no partition such as a guardrail at the boundary between the center virtual lane image and the right virtual lane image, and that there is no partition between the center virtual lane image and the right virtual lane image.
  • the degree of similarity ⁇ r is less than or equal to the fourth threshold Th4
  • the central virtual lane Lm is a photograph of a predetermined area, that is, the moving object 1 is recognized as moving in a predetermined area.
  • the road type recognition unit 120 detects that there is no partition such as a guardrail at the boundary between the center virtual lane image and the right virtual lane image, and that there is no partition between the center virtual lane image and the right virtual lane image.
  • the degree of similarity ⁇ r is larger than the fourth threshold Th4, it is recognized that the central virtual lane Lm is a representation of a roadway, that is, the mobile object 1 is recognized as moving on a roadway.
  • the mobile object 1 it is possible to recognize whether the mobile object 1 is moving on a roadway or in a predetermined area different from the roadway by reflecting the characteristics of each virtual lane. Even in cases where it is difficult to make a determination based only on the central virtual lane image, recognition accuracy can be improved by referring to the left virtual lane image and the right virtual lane image. As a result, it is possible to appropriately recognize whether the mobile object 1 is moving on a road or in a predetermined area different from the road.
  • the road type recognition unit 120 uses the integrated learned model including the virtual lane setting layer to determine whether the mobile object 1 is moving on a road or not, and whether it is moving in a predetermined area different from the road. Recognize what you are doing.
  • FIG. 8 is a diagram for explaining the content of processing by the road type recognition unit 120 using the integrated trained model.
  • the road type recognition unit 120 obtains a result of recognizing whether the mobile object 1 is moving on a roadway or in a predetermined area by inputting the captured image IM into the integrated learned model.
  • the integrated trained model includes, for example, a virtual lane setting layer, a central virtual lane recognition layer, a left virtual lane recognition layer, a right virtual lane recognition layer, and a recognition result integration layer.
  • the integrated learned model is trained by a method described below based on a machine learning model in which the connection structure shown in the figure is defined.
  • the virtual lane setting layer When the captured image IM is input, the virtual lane setting layer outputs the range of the center virtual lane Lm, left virtual lane Ll, and right virtual lane Lr in the captured image IM.
  • the central virtual lane recognition layer functions similarly to the first trained model in the first embodiment, and the left virtual lane recognition layer functions similarly to the second trained model in the first embodiment, and the right virtual lane recognition layer functions similarly to the second trained model in the first embodiment.
  • the layer functions similarly to the third trained model in the first embodiment.
  • the recognition result integration layer has a function equivalent to the processing shown in FIG. 7 in the first embodiment, it does not necessarily function according to the prescribed rules illustrated in FIG. is configured to do so.
  • FIG. 9 is a diagram for explaining the learning process of the integrated trained model.
  • the integrated trained model is generated by a learning device (not shown).
  • the virtual lane setting layer parameters were learned by the first backpropagation process using the captured image IM as learning data and virtual lane designation information indicating which area in the captured image IM corresponds to which virtual lane as training data. It is something.
  • the central virtual lane recognition layer, the left virtual lane recognition layer, the right virtual lane recognition layer, and the recognition result integration layer are trained together, for example, by a second backpropagation process.
  • the central virtual lane image input to the central virtual lane recognition layer, the left virtual lane image input to the left virtual lane recognition layer, and the right virtual lane image input to the right virtual lane recognition layer are used as training data, road or Using a label (recognition result) indicating one of the predetermined areas as training data, the parameters of the central virtual lane recognition layer, left virtual lane recognition layer, right virtual lane recognition layer, and recognition result integration layer are determined by the second backpropagation process. be learned.
  • the integrated trained model uses learning data and teaching data in which the parameters of the layer that performs spatial classification for each virtual lane and the parameters of the layer that integrates the spatial classification results for each virtual lane are common. This is learned all at once through the second backpropagation process.
  • the central virtual lane is cut out from the captured image IM based on virtual lane information set on a rule base as in the first embodiment.
  • the recognition result may be obtained by inputting the image, the right virtual lane image, and the left virtual lane image to an integrated learning model # (the one shown in FIG. 8 except for the virtual lane setting layer).
  • FIG. 10 is a diagram showing processing of a modification of the second embodiment.
  • the integrated learned model # has parameters learned by the second backpropagation process described above.
  • the integrated trained model # also uses learning data and teaching data in which the parameters of the layer that performs spatial classification for each virtual lane and the parameters of the layer that integrates the results of the spatial classification for each virtual lane are common. This is learned all at once through the second backpropagation process.
  • a storage medium for storing computer-readable instructions
  • a processor connected to the storage medium; the processor executing the computer-readable instructions to: In an image taken by an external camera that captures the traveling direction of a moving object that can move on both a roadway and a predetermined area different from the roadway, a central virtual lane that includes the assumed course of the moving object, and the center as seen from the moving object.
  • a control device for a mobile object Based on the results of spatial classification for each of the center virtual lane, the right virtual lane, and the left virtual lane, it is recognized whether the mobile object is moving on a roadway or in the predetermined area. , Limiting the speed when the moving body moves on the roadway to a first speed, and limiting the speed when the moving body moves in the predetermined area to a second speed lower than the first speed.
  • a control device for a mobile object Limiting the speed when the moving body moves on the roadway to a first speed, and limiting the speed when the moving body moves in the predetermined area to a second speed lower than the first speed.
  • External world detection device 12
  • Mobile sensor 14
  • Internal camera 16
  • Positioning device 22
  • Mode changeover switch 30
  • Movement mechanism 40
  • Drive device 50
  • Storage device 100
  • Control device 120
  • Road type recognition section 130
  • Object recognition section 140
  • Control section 140

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置であって、前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定し、前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識する道路タイプ認識部と、前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限する制御部と、を備える移動体の制御装置。

Description

移動体の制御装置、移動体の制御方法、および記憶媒体
　本発明は、移動体の制御装置、移動体の制御方法、および記憶媒体に関する。
　従来、歩道と車道の双方を移動可能な移動体について実用化が進められており、その種の移動体では歩道と車道で上限速度を異ならせる必要がある。これに関連し、移動体が歩道を移動しているのか、車道を移動しているのかを認識することについて検討した文献が開示されている（特許文献１）。
特開２０２０－０８６９９５号公報
　従来の技術では、移動体が車道を移動しているのか、車道と異なる所定領域を移動しているのかを適切に認識することができない場合があった。
　本発明は、このような事情を考慮してなされたものであり、移動体が車道を移動しているのか、車道と異なる所定領域を移動しているのかを適切に認識することが可能な移動体の制御装置、移動体の制御方法、および記憶媒体を提供することを目的の一つとする。
　この発明に係る移動体の制御装置、移動体の制御方法、および記憶媒体は、以下の構成を採用した。
　（１）：この発明の一態様に係る移動体の制御装置は、車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置であって、前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定し、前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識する道路タイプ認識部と、前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限する制御部と、を備えるものである。
　（２）：上記（１）の態様において、前記道路タイプ認識部は、前記中央仮想レーンが前記車道を写したものであるか、前記所定領域を写したものであるかを認識し、前記中央仮想レーンに関する認識結果の信頼度が基準以上である場合は、前記中央仮想レーンに関する認識結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識し、前記中央仮想レーンに関する認識結果の信頼度が基準未満である場合は、前記左側仮想レーンおよび前記右側仮想レーンのそれぞれについて前記空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識するものである。
　（３）：上記（１）または（２）の態様において、前記道路タイプ認識部は、前記空間分類として、前記左側仮想レーンおよび前記右側仮想レーンのそれぞれについて、車道を写したものであるか、前記所定領域を写したものであるか、走路外を写したものであるかを認識するものである。
　（４）：上記（３）の態様において、前記道路タイプ認識部は、前記左側仮想レーンおよび前記右側仮想レーンのそれぞれについて前記空間分類を行った結果の組み合わせに基づいて、前記移動体が車道を移動しているのか、前記所定領域を移動しているのかを認識するものである。
　（５）：上記（３）の態様において、前記道路タイプ認識部は、前記左側仮想レーンおよび前記右側仮想レーンのうち一方が車道を写したものであり、他方が前記所定領域を写したものであると認識した場合、前記左側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度、および前記右側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度に基づいて、前記移動体が車道を移動しているのか、前記所定領域を移動しているのかを認識するものである。
　（６）：上記（３）の態様において、前記道路タイプ認識部は、前記左側仮想レーンおよび前記右側仮想レーンのうち一方が走路外を写したものであり、他方が車道を写したものであると認識した場合、前記左側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度、前記右側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度、および、前記中央仮想レーンに係る画像と前記車道を写したものと認識された画像との境界部分に仕切りがあるか否かに基づいて、前記移動体が車道を移動しているのか、前記所定領域を移動しているのかを認識するものである。
　（７）：上記（１）の態様において、前記道路タイプ認識部は、どの領域がどの仮想レーンに該当するかを示す仮想レーン指定情報を前記撮像画像に付加した情報を、学習済モデルに入力することで、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識した結果を得るものである。
　（８）：上記（１）の態様において、前記道路タイプ認識部は、前記撮像画像を学習済モデルに入力することで、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識した結果を得るものである。
　（９）：上記（７）または（８）の態様において、前記学習済モデルは、仮想レーンごとの空間分類を行う層のパラメータと、前記仮想レーンごとの空間分類の結果を統合する層のパラメータとが、共通する学習データと教師データを用いたバックプロパゲーション処理によって同時に学習されたものである。
　（１０）：上記（１）の態様において、前記道路タイプ認識部は、前記撮像画像において走路境界を示す一連のエッジが抽出できた場合、前記一連のエッジを、前記複数の仮想レーンのうち互いに隣接する二つの仮想レーンの境界とするものである。
　（１１）：上記（１０）の態様において、前記道路タイプ認識部は、前記撮像画像において前記一連のエッジが抽出できない領域について、前記複数の仮想レーンの少なくとも一部が路面において規定幅で延在すると仮定して、前記複数の仮想レーンのうち隣接する二つの仮想レーンの境界を設定するものである。
　（１２）：上記（１）の態様において、前記道路タイプ認識部は、所定周期で繰り返し処理を行うものであり、前記複数の仮想レーンのそれぞれについての過去の前記認識結果を引き継いで、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識するものである。
　（１３）：本発明の他の態様に係る移動体の制御方法は、車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置が行う移動体の制御方法であって、前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定することと、前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識することと、前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限することと、を備えるものである。
　（１４）：本発明の他の態様に係る記憶媒体は、車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置のプロセッサに、前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定することと、前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識することと、前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限することと、を実行させるプログラムを記憶した記憶媒体である。
　（１）～（１４）の態様によれば、移動体が車道を移動しているのか、車道と異なる所定領域を移動しているのかを適切に認識することができる。
実施形態に係る移動体および制御装置の構成の一例を示す図である。 移動体を上方から見た透視図である。 外部カメラの撮像画像ＩＭの一例を示す図である。 撮像画像において走路境界エッジと認識され得る一連のエッジの位置の範囲を示す図である。 抽出された走路境界エッジから規定幅オフセットさせて仮想レーンの境界を設定する様子を示す図である。 道路タイプ認識部１２０の処理について説明するための図（その１）である。 道路タイプ認識部１２０の処理について説明するための図（その２）である。 統合学習済モデルを用いた道路タイプ認識部１２０の処理の内容について説明するための図である。 統合学習済モデルの学習過程について説明するための図である。 第２実施形態の変形例の処理を示す図である。
　以下、図面を参照し、本発明の移動体の制御装置、移動体の制御方法、およびプログラムの実施形態について説明する。移動体は、車道と、車道と異なる所定領域との双方を移動するものである。移動体は、マイクロモビリティと称される場合がある。電動キックボードはマイクロモビリティの一種である。また、移動体は乗員が搭乗可能な乗物であってもよいし、無人での自律走行が可能な自律移動体であってもよい。後者の自律移動体は、例えば、荷物等を運搬する用途に用いられる。所定領域とは、例えば歩道である。また、所定領域とは、路側帯や自転車レーン、公開空地などのうち一部または全部であってもよいし、歩道、路側帯、自転車レーン、公開空地などを全て含んでもよい。以下の説明では、所定領域は歩道と公開空地を含むものとする。
　図１は、実施形態に係る移動体１および制御装置１００の構成の一例を示す図である。移動体１には、例えば、外界検知デバイス１０と、移動体センサ１２と、操作子１４と、内部カメラ１６と、測位装置１８と、モード切替スイッチ２２と、移動機構３０と、駆動装置４０と、外部報知装置５０と、記憶装置７０と、制御装置１００とが搭載される。なお、これらの構成のうち本発明の機能を実現するのに必須でない一部の構成が省略されてもよい。移動体は、乗物に限らず、歩くユーザと並走して荷物を運んだり、人を先導したりするような小型モビリティを含んでよく、また、その他の自律移動が可能な移動体（例えば歩行型ロボットなど）を含んでもよい。
　外界検知デバイス１０は、移動体１の進行方向を検知範囲とする各種デバイスである。外界検知デバイス１０は、外部カメラ、レーダー装置、ＬＩＤＡＲ（Light Detection and Ranging）、センサフュージョン装置などを含む。外界検知デバイス１０は、検知結果を示す情報（画像、物体の位置等）を制御装置１００に出力する。
　移動体センサ１２は、例えば、速度センサ、加速度センサ、ヨーレート（角速度）センサ、方位センサ、並びに操作子１４に取り付けられた操作量検出センサなどを含む。操作子１４は、例えば、加減速を指示するための操作子（例えばアクセルペダルやブレーキペダル）と、操舵を指示するための操作子（例えばステアリングホイール）とを含む。この場合、移動体センサ１２は、アクセル開度センサやブレーキ踏量センサ、ステアリングトルクセンサ等を含んでよい。移動体１は、操作子１４として、上記以外の態様の操作子（例えば、円環状でない回転操作子、ジョイスティック、ボタン等）を備えてもよい。
　内部カメラ１６は、移動体１の乗員の少なくとも頭部を正面から撮像する。内部カメラ１６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を利用したデジタルカメラである。内部カメラ１６は、撮像した画像を制御装置１００に出力する。
　測位装置１８は、移動体１の位置を測位する装置である。測位装置１８は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機であり、ＧＮＳＳ衛星から受信した信号に基づいて、移動体１の位置を特定し、位置情報として出力する。なお、移動体１の位置情報は、後述する通信装置が接続しているＷｉ－Ｆｉ基地局の位置から推定されてもよい。
　モード切替スイッチ２２は、乗員により操作されるスイッチである。モード切替スイッチ２２は、機械式スイッチであってもよいし、タッチパネル上に設定されるＧＵＩ（Graphical User Interface）スイッチであってもよい。モード切替スイッチ２２は、例えば、モードＡ：乗員により操舵操作と加減速制御との一方が行われ、他方は自動的に行われるアシストモードであり、乗員により操舵操作が行われ加減速制御が自動的に行われるモードＡ－１と、乗員により加減速操作が行われ操舵制御が自動的に行われるモードＡ－２とがあってよい、モードＢ：乗員により操舵操作および加減速操作がなされる手動運転モード、モードＣ：操作制御および加減速制御が自動的に行われる自動運転モードのいずれかに運転モードを切り替える操作を受け付ける。
　移動機構３０は、道路において移動体１を移動させるための機構である。移動機構３０は、例えば、操舵輪と駆動輪とを含む車輪群である。また、移動機構３０は、多足歩行するための脚部であってもよい。
　駆動装置４０は、移動機構３０に力を出力して移動体１を移動させる。例えば、駆動装置４０は、駆動輪を駆動するモータ、モータに供給する電力を蓄えるバッテリ、操舵輪の操舵角を調整する操舵装置などを含む。駆動装置４０は、駆動力出力手段、或いは発電手段として、内燃機関や燃料電池などを備えてもよい。また、駆動装置４０は、摩擦力や空気抵抗によるブレーキ装置を更に備えてもよい。
　外部報知装置５０は、例えば移動体１の外板部に設けられ、移動体１の外部に向けて情報を報知するためのランプ、ディスプレイ装置、スピーカなどである。外部報知装置５０は、移動体１が所定領域を移動している状態と、車道を移動している状態とで異なる動作を行う。例えば、外部報知装置５０は、移動体１が所定領域を移動している場合にランプを発光させ、移動体１が車道を移動している場合にランプを発光させないように制御される。このランプの発光色は、法規で定められた色であると好適である。外部報知装置５０は、移動体１が所定領域を移動している場合にランプを緑色で発光させ、移動体１が車道を移動している場合にランプを青色で発光させるというように制御されてもよい。外部報知装置５０がディスプレイ装置である場合、外部報知装置５０は、移動体１が所定領域を走行している場合に「歩道走行中である」旨をテキストやグラフィックで表示する。
　図２は、移動体１を上方から見た透視図である。図中、ＦＷは操舵輪、ＲＷは駆動輪、ＳＤは操舵装置、ＭＴはモータ、ＢＴはバッテリである。操舵装置ＳＤ、モータＭＴ、バッテリＢＴは駆動装置４０に含まれる。また、ＡＰはアクセルペダル、ＢＰはブレーキペダル、ＷＨはステアリングホイール、ＳＰはスピーカ、ＭＣはマイクである。図示する移動体１は一人乗りの移動体であり、乗員Ｐは運転席ＤＳに着座してシートベルトＳＢを装着している。矢印Ｄ１は移動体１の進行方向（速度ベクトル）である。外界検知デバイス１０は移動体１の前端部付近に、内部カメラ１６は乗員Ｐの前方から乗員Ｐの頭部を撮像可能な位置に、モード切替スイッチ２２はステアリングホイールＷＨのボス部にそれぞれ設けられている。また、移動体１の前端部付近に、ディスプレイ装置としての外部報知装置５０が設けられている。
　図１に戻り、記憶装置７０は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）などの非一過性の記憶装置である。記憶装置７０には、地図情報７２、制御装置１００が実行するプログラム７４などが格納される。図では記憶装置７０を制御装置１００の枠外に記載しているが、記憶装置７０は制御装置１００に含まれるものであってよい。また、記憶装置７０は不図示のサーバ上に設けられてもよい。
　＜第１実施形態＞
　［制御装置］
　制御装置１００は、例えば、道路タイプ認識部１２０と、物体認識部１３０と、制御部１４０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）７４を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置７０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置７０にインストールされてもよい。
　道路タイプ認識部１２０は、移動体１が車道を移動しているか、所定領域を移動しているかを認識する。道路タイプ認識部１２０は、例えば、外界検知デバイス１０の外部カメラが撮像した画像を解析することで、移動体１が車道を移動しているか、所定領域を移動しているかを認識する。なお、レーダー装置、ＬＩＤＡＲ、センサフュージョン装置等の出力が補助的に用いられてもよい。道路タイプ認識部１２０の処理の詳細については後述する。
　物体認識部１３０は、外界検知デバイス１０の出力に基づいて、移動体１の周辺に存在する物体を認識する。物体とは、車両や自転車、歩行者などの移動体、道路区画線、段差、ガードレール、路肩、中央分離帯などの走路境界、道路標識や看板などの路上に設置された構造物、走路上に存在する（落ちている）落下物などの障害物のうち一部または全部を含む。物体認識部１３０は、例えば、外界検知デバイス１０の外部カメラが撮像した画像が入力されると物体の存在、位置、種別などの情報を出力するように学習された学習済モデルに、外部カメラの撮像した画像を入力することで、他の移動体の存在、位置、種別など情報を取得する。他の移動体の種別は、画像におけるサイズや外界検知デバイス１０のレーダー装置が受信する反射波の強度などに基づいて推定することもできる。また、物体認識部１３０は、例えば、レーダー装置がドップラーシフトなどを利用して検出した他の移動体の速度を取得する。
　制御部１４０は、例えば、設定されている運転モードに応じて駆動装置４０を制御する。なお、移動体１は、下記の運転モードのうち一部のみ実行するものであってよいが、制御部１４０は、いずれの場合も、移動体１が車道を移動する場合と所定領域を移動する場合とで速度制限値を異ならせる。その場合、モード切替スイッチ２２は省略されてよい。
　モードＡ－１において制御部１４０は、物体認識部１３０の出力に基づく走路と物体の情報を参照し、移動体１が車道を移動する場合、移動体１の前方に存在する物体との距離を一定以上に維持し、移動体１の前方に存在する物体との距離が十分に長い場合は第１速度Ｖ１（例えば、十［ｋｍ／ｈ］以上、数十［ｋｍ／ｈ］未満の速度）で移動体１が移動するように、駆動装置４０のモータＭＴを制御する。制御部１４０は、移動体１が所定領域を移動する場合、移動体１の前方に存在する物体との距離を一定以上に維持し、移動体１の前方に存在する物体との距離が十分に長い場合は第２速度Ｖ２（例えば、十［ｋｍ／ｈ］未満の速度）で移動体１が移動するように、駆動装置４０のモータＭＴを制御する。係る機能は、第１速度Ｖ１または第２速度Ｖ２を設定速度とした車両のＡＣＣ（Adaptive Cruise Control）機能と同様のものであり、ＡＣＣにおいて用いられている技術を利用することができる。また、モードＡ－１において制御部１４０は、ステアリングホイール等の操作子１４の操作量に基づいて操舵輪の操舵角を変更するように操舵装置ＳＤを制御する。係る機能は、パワーステアリング装置の機能と同様のものであり、パワーステアリング装置において用いられている技術を利用することができる。なお操舵に関して電子制御を行わず、移動体１は、操作子１４と操舵機構が機械的に連結された操舵装置を有してもよい。
　モードＡ－２において、制御部１４０は、物体認識部１３０の出力に基づく走路と物体の情報を参照し、走路内で物体を回避して移動可能な目標軌道を生成し、移動体１が目標軌道に沿って移動するように駆動装置４０の操舵装置ＳＤを制御する。加減速に関しては、制御部１４０は、移動体１の速度とアクセルペダルまたはブレーキペダルの操作量とに基づいて駆動装置４０のモータＭＴを制御する。制御部１４０は、移動体１が車道を移動している場合は第１速度Ｖ１を上限速度として駆動装置４０のモータＭＴを制御し（モードＡ－２の場合、上限速度に達した場合は更なる加速指示があっても移動体１を加速させないことを意味する）、移動体１が所定領域を移動している場合は第２速度Ｖ２を上限速度として駆動装置４０を制御する。
　モードＢにおいて制御部１４０は、移動体１の速度とアクセルペダルまたはブレーキペダルの操作量とに基づいて駆動装置４０のモータＭＴを制御する。制御部１４０は、移動体１が車道を移動している場合は第１速度Ｖ１を上限速度として駆動装置４０のモータＭＴを制御し（モードＢの場合、上限速度に達した場合は更なる加速指示があっても移動体１を加速させないことを意味する）、移動体１が所定領域を移動している場合は第２速度Ｖ２を上限速度として駆動装置４０のモータＭＴを制御する。操舵に関してはモードＡ－１と同様である。
　モードＣにおいて制御部１４０は、物体認識部１３０の出力に基づく走路と物体の情報を参照し、走路内で物体を回避して移動可能な目標軌道を生成し、移動体１が目標軌道に沿って移動するように駆動装置４０を制御する。モードＣにおいても、制御部１４０は、移動体１が車道を移動している場合は第１速度Ｖ１を上限速度として駆動装置４０を制御し、移動体１が所定領域を移動している場合は第２速度Ｖ２を上限速度として駆動装置４０を制御する。
　［道路タイプ認識］
　以下、道路タイプ認識部１２０の処理について説明する。道路タイプ認識部１２０は、移動体１の進行方向側の空間に、移動体１の想定進路を含む中央仮想レーン、移動体１から見て中央仮想レーンに対して右側に存在する右側仮想レーン、移動体１から見て中央仮想レーンに対して左側に存在する左側仮想レーンを少なくとも含む複数の仮想レーンを定義し、複数の仮想レーンのそれぞれについて、外界検知デバイス１０の出力に基づいて空間分類を行った結果に基づいて、移動体１が車道を移動しているか、所定領域を移動しているかを認識する。
　道路タイプ認識部１２０が使用する外界検知デバイス１０は、移動体の外部を撮像する外部カメラである。図３は、外部カメラの撮像画像ＩＭの一例を示す図である。図中、２００は車道、２０１は歩道である。図３における領域Ｌｍは、移動体１の想定進路Ｋ（例えばその時点の移動体１の中心軸の延長線上であるが、これに限らず操舵角が発生している場合は操舵角に応じた将来の進路であってもよい）を含む中央仮想レーンを表す。図３における領域Ｌｒは、中央仮想レーンＬｍに対して右側に存在する右側仮想レーンＬｒを表し、領域Ｌｌは、移動体１から見て中央仮想レーンＬｍに対して左側に存在する左側仮想レーンを表す。
　道路タイプ認識部１２０は、中央仮想レーンＬｍ、右側仮想レーンＬｒ、左側仮想レーンＬｌを撮像画像ＩＭ上で設定し、撮像画像ＩＭにおける各領域について処理を行う。この領域を定める際に、道路タイプ認識部１２０は、撮像画像ＩＭにおいて走路境界を示す一連のエッジ（以下、走路境界エッジ）が抽出できた場合、走路境界エッジを、複数の仮想レーンのうち互いに隣接する二つの仮想レーンの境界とする。エッジとは、隣接画素との画素値（輝度、ＲＧＢ値など）の差が基準よりも大きい画素（特徴画素）である。隣接画素の選択の方法は種々存在するが、移動体１から見て進行方向に沿って延在する線を抽出する場合は、着目画素の横方向の画素が隣接画素として選択されると好適である。
　図４は、撮像画像において走路境界エッジと認識され得る一連のエッジの位置の範囲を示す図である。走路境界エッジは撮像画像ＩＭの下部から上死点ＤＰに向かって並んでいる筈である。また、移動体１が走路境界の真上を移動していることは稀であるため、走路境界エッジは撮像画像ＩＭの下部の中央部ではなく左右いずれかにオフセットした位置から上死点ＤＰに向かって並んでいる筈である。道路タイプ認識部１２０は、図示する領域Ａ１において上死点ＤＰに向かって並んでいるエッジを、中央仮想レーンＬｍと左側仮想レーンＬｌとの境界を示す走路境界エッジと認識し、領域Ａ２において上死点ＤＰに向かって並んでいるエッジを、中央仮想レーンＬｍと右側仮想レーンＬｒとの境界を示す走路境界エッジと認識する。図中、走路境界エッジと認識される線を破線で示す。図３の例では、車道２００と歩道２０１の間にある段差２０２が走路境界エッジとして抽出されたため、道路タイプ認識部１２０は、この走路境界エッジを中央仮想レーンＬｍと左側仮想レーンＬｌとの境界線とする。
　左右に存在する筈の走路境界エッジの一方が抽出できない場合、道路タイプ認識部１２０は、抽出された走路境界エッジから規定幅Ｗ（上記から見た想定平面における幅）、左右いずれかにオフセットさせた線を、互いに隣接する二つの仮想レーンの境界とする。図５は、抽出された走路境界エッジから規定幅オフセットさせて仮想レーンの境界を設定する様子を示す図である。図中、ＢＤが、設定される中央仮想レーンＬｍと右側仮想レーンＬｒとの境界である。規定幅Ｗは想定平面Ｓにおける幅であるので、撮像画像ＩＭにおいては上側になるほど狭くなる。規定幅Ｗは、例えば、典型的な車道の幅に設定されるが、移動体１が車道を移動しているのか所定領域を移動しているのかの認識結果に応じて可変であってもよい。例えば、移動体１が所定領域（特に歩道）を移動していることが高信頼度で認識されている場合、少なくとも中央仮想レーンＬｍに関する規定幅Ｗは、典型的な歩道の幅に設定されてもよい。
　全くエッジ線が抽出できない場合、道路タイプ認識部１２０は、例えば、想定平面上で想定進路Ｋから所定幅（規定幅Ｗの半分）ずつ左右にオフセットさせた線を設定し、それを撮像画像ＩＭの平面に変換した線を、互いに隣接する二つの仮想レーンの境界とする。
　このように、道路タイプ認識部１２０は、複数の仮想レーンの少なくとも一部が路面において規定幅で延在すると仮定して、複数の仮想レーンのうち隣接する二つの仮想レーンの境界を設定する。
　また、道路タイプ認識部１２０は、所定周期で繰り返し処理を行うものであり、複数の仮想レーンのそれぞれについての過去の認識結果を引き継いで、移動体１が車道を移動しているか、所定領域を移動しているかを認識してもよい。
　第１実施形態の道路タイプ認識部１２０は、複数の仮想レーンのそれぞれについて、外界検知デバイスの出力に基づいて空間分類を行った結果に基づいて、移動体１が車道を移動しているか、所定領域を移動しているかを認識する。
　例えば、道路タイプ認識部１２０は、まず、中央仮想レーンＬｍが車道を写したものであるか、所定領域を写したものであるかを認識する。道路タイプ認識部１２０は、中央仮想レーンＬｍに関する認識結果の信頼度が基準以上である場合は、中央仮想レーンＬｍに関する認識結果に基づいて、移動体１が車道を移動しているか、所定領域を移動しているかを認識する。
　例えば、道路タイプ認識部１２０は、撮像画像ＩＭの中央仮想レーンＬｍの領域において、移動体１が車道を移動していることを示す複数の第１事象のそれぞれを認識した度にポイントを車道スコアＳｒに加算し、車道スコアＳｒが第１閾値Ｔｈ１以上である場合に、移動体１が車道を移動していると認識する。このとき、道路タイプ認識部１２０は、複数の第１事象のそれぞれを認識した際の確信度に応じてポイントに重み付けして、車道スコアＳｒに加算する。但し、道路タイプ認識部１２０は、外部カメラが撮像した画像において、移動体１が歩道を移動していることを示す複数の第２事象のいずれかを認識した場合、車道スコアＳｒに関わらず移動体１が歩道を移動していると認識する。第１事象とは、立て看板等の静的障害物が無い、車両が移動している、路面標示がある、横断歩道がある、段差に対して下側である、といったものである。第２事象とは、立て看板等の静的障害物がある、点字ブロックがある、段差に対して上側である、といったものである。このとき、中央仮想レーンＬｍに関する認識結果の信頼度は、車道スコアＳｒの値に基づいて算出される。例えば、道路タイプ認識部１２０は、車道スコアＳｒが第１閾値Ｔｈ１未満であり、且つ第２事象が認識されなかった場合、中央仮想レーンＬｍに関する認識結果の信頼度が基準未満であると判定する。
　上記に代えて、道路タイプ認識部１２０は、撮像画像ＩＭの中央仮想レーンＬｍの領域を第１学習済モデルに入力することで、中央仮想レーンＬｍすなわち移動体１が移動している領域が、車道であるか所定領域であるかを認識した結果を得るようにしてもよい。第１学習済モデルは、中央仮想レーンＬｍのサイズを有する画像を入力すると、当該部分が車道を写したものか、所定領域を写したものかを示す情報（識別結果）を出力するように、機械学習によって学習されたモデルである。この場合、第１学習済モデルが、出力情報の信頼度を示す情報を識別結果と共に出力するように設定しておき、撮像画像ＩＭの中央仮想レーンＬｍの領域を第１学習済モデルに入力した際に出力された信頼度が基準値未満であれば、中央仮想レーンＬｍに関する認識結果の信頼度が基準未満であると判定してよい。
　中央仮想レーンＬｍに関する認識結果の信頼度が基準未満である場合、道路タイプ認識部１２０は、左側仮想レーンＬｌおよび右側仮想レーンＬｒのそれぞれについて空間分類を行った結果に基づいて、移動体１が車道を移動しているか、所定領域を移動しているかを認識する。道路タイプ認識部１２０は、空間分類として、左側仮想レーンＬｌおよび右側仮想レーンＬｒのそれぞれについて、車道を写したものであるか、所定領域を写したものであるか、走路外（例えば建物の壁）を写したものであるか、或いは不明であるかを認識する。図６は、道路タイプ認識部１２０の処理について説明するための図（その１）である。まず前述したように、道路タイプ認識部１２０は、中央仮想レーンＬｍの領域の画像（以下、中央仮想レーン画像と称する）に関する認識を行い、信頼度が低かった場合、左側仮想レーンＬｌの領域の画像（以下、左側仮想レーン画像と称する）を第２学習済モデルに入力することで、左側仮想レーンＬｌが車道、所定領域、走路外のいずれを写したものであるかを示す認識結果を得る。同様に、道路タイプ認識部１２０は、右側仮想レーンＬｒの領域の画像（以下、右側仮想レーン画像と称する）を第３学習済モデルに入力することで、右側仮想レーンＬｒが車道、所定領域、走路外のいずれを写したものであるかを示す認識結果を得る。第２学習済モデルと第３学習済モデルのそれぞれは、画像が入力されると上記の識別結果を出力するように、機械学習によって学習されたモデルである。すなわち、画像を学習データ、車道、所定領域、走路外といったラベルを教師データとして学習されたモデルである。
　道路タイプ認識部１２０は、左側仮想レーンＬｌおよび右側仮想レーンＬｍのそれぞれについて空間分類を行った結果の組み合わせに基づいて、移動体１が車道を移動しているのか、所定領域を移動しているのかを認識する。より具体的に、道路タイプ認識部１２０は、左側仮想レーンＬｌと右側仮想レーンＬｒの識別結果、および中央仮想レーンＬｍに関する解析結果の組み合わせに基づいて、移動体１が車道を移動しているのか、所定領域を移動しているのかを認識する。
　図７は、道路タイプ認識部１２０の処理について説明するための図（その２）である。図中（１）で示すように、左側仮想レーンＬｌと右側仮想レーンＬｒの双方が車道を写したものであると認識した場合、道路タイプ認識部１２０は、中央仮想レーンＬｍも車道を写したものである、すなわち移動体１は車道を移動していると認識する。また、図中（２）で示すように、左側仮想レーンＬｌと右側仮想レーンＬｒの双方が所定領域を写したものであると認識した場合、道路タイプ認識部１２０は、中央仮想レーンＬｍも所定領域を写したものである、すなわち移動体１は所定領域を移動していると認識する。
　図中（３）～（５）で示すように、道路タイプ認識部１２０は、左側仮想レーンＬｌと右側仮想レーンＬｒの一方が車道、他方が所定領域を写したものであると認識した場合、左側仮想レーン画像と中央仮想レーン画像の類似度αｌ、および右側仮想レーン画像と中央仮想レーン画像の類似度αｒに基づいて移動体１が車道を移動しているのか、所定領域を移動しているのかを認識する。図では左側仮想レーンＬｌが所定領域、右側仮想レーンＬｒが車道としているが、逆のパターンについては左右を反転させればよい。類似度とは、ＣＮＮ（Convolution Neural Network）等を利用した手法によって求められた、それぞれの画像の特徴量について、コサイン類似度等を求めることで得られる指標値であり、例えば０から１までの値をとり得る。下記の例では、第２閾値Ｔｈ２、第３閾値Ｔｈ３は共に正の値であり、Ｔｈ２＞Ｔｈ３である。
　図中（３）で示すように、道路タイプ認識部１２０は、類似度αｌが第２閾値Ｔｈ２よりも大きく、且つ類似度αｌから類似度αｒを差し引いた差分αｌ－αｒが第３閾値Ｔｈ３よりも大きい場合、中央仮想レーンＬｍは所定領域を写したものである、すなわち移動体１は所定領域を移動していると認識する。
　図中（４）で示すように、道路タイプ認識部１２０は、類似度αｒが第２閾値Ｔｈ２よりも大きく、且つ類似度αｒから類似度αｌを差し引いた差分αｒ－αｌが第３閾値Ｔｈ３よりも大きい場合、中央仮想レーンＬｍは車道を写したものである、すなわち移動体１は車道を移動していると認識する。
　図中（５）で示すように、道路タイプ認識部１２０は、類似度αｒと類似度αｌの双方が第４閾値Ｔｈ４以下である場合、中央仮想レーンＬｍは車道を写したものか所定領域を写したものか不明である、すなわち移動体１は車道と所定領域のいずれを移動しているのか不明であるという認識結果を出力する。
　図中（６）～（８）で示すように、道路タイプ認識部１２０は、左側仮想レーンＬｌと右側仮想レーンＬｒの一方が走路外、他方が車道を写したものであると認識した場合、左側仮想レーン画像と中央仮想レーン画像の類似度αｌ、右側仮想レーン画像と中央仮想レーン画像の類似度αｒ、および、中央仮想レーン画像と車道を写したものと認識された画像との境界部分にガードレール等の仕切りがあるか否かに基づいて、移動体１が車道を移動しているのか、所定領域を移動しているのかを認識する。図では左側仮想レーンＬｌが走路外、右側仮想レーンＬｒが車道としているが、逆のパターンについては左右を反転させればよい。
　まず、図中（６）で示すように、道路タイプ認識部１２０は、中央仮想レーン画像と右側仮想レーン画像との境界部分にガードレール等の仕切りがある場合、中央仮想レーンＬｍは所定領域を写したものである、すなわち移動体１は所定領域を移動していると認識する。
　図中（７）で示すように、道路タイプ認識部１２０は、中央仮想レーン画像と右側仮想レーン画像との境界部分にガードレール等の仕切りが無く、且つ中央仮想レーン画像と右側仮想レーン画像との類似度αｒが第４閾値Ｔｈ４以下である場合、中央仮想レーンＬｍは所定領域を写したものである、すなわち移動体１は所定領域を移動していると認識する。
　図中（８）で示すように、道路タイプ認識部１２０は、中央仮想レーン画像と右側仮想レーン画像との境界部分にガードレール等の仕切りが無く、且つ中央仮想レーン画像と右側仮想レーン画像との類似度αｒが第４閾値Ｔｈ４よりも大きい場合、中央仮想レーンＬｍは車道を写したものである、すなわち移動体１は車道を移動していると認識する。
　以上説明した第１実施形態によれば、仮想レーンごとの特徴を反映させて移動体１が車道を移動しているのか、車道と異なる所定領域を移動しているのかを認識することができる。仮に中央仮想レーン画像だけでは判断が難しいようなケースであっても、左側仮想レーン画像と右側仮想レーン画像を参照することで、認識精度を向上させることができる。この結果、移動体１が車道を移動しているのか、車道と異なる所定領域を移動しているのかを適切に認識することができる。
　＜第２実施形態＞
　以下、第２実施形態について説明する。第２実施形態の制御装置１００では、道路タイプ認識部１２０が、仮想レーン設定層を含む統合学習済モデルを用いて、移動体１が車道を移動しているのか、車道と異なる所定領域を移動しているのかを認識する。
　図８は、統合学習済モデルを用いた道路タイプ認識部１２０の処理の内容について説明するための図である。道路タイプ認識部１２０は、撮像画像ＩＭを統合学習済モデルに入力することで、移動体１が車道を移動しているか、所定領域を移動しているかを認識した結果を得る。統合学習済モデルは、例えば、仮想レーン設定層と、中央仮想レーン認識層と、左側仮想レーン認識層と、右側仮想レーン認識層と、認識結果統合層とを含む。統合学習済モデルは、図示するような接続構造が規定された機械学習モデルを元に、後述する方法で学習されたものである。
　仮想レーン設定層は、撮像画像ＩＭが入力されると、撮像画像ＩＭにおける中央仮想レーンＬｍ、左側仮想レーンＬｌ、右側仮想レーンＬｒの範囲を出力する。中央仮想レーン認識層は、第１実施形態における第１学習済モデルと同様に機能し、左側仮想レーン認識層は、第１実施形態における第２学習済モデルと同様に機能し、右側仮想レーン認識層は、第１実施形態における第３学習済モデルと同様に機能するものである。認識結果統合層は、第１実施形態における図７で示した処理に相当する機能を有するが、図７に例示した規定のルール通りに機能するとは限らず、機械学習の結果に応じた演算処理を行うように構成されている。
　図９は、統合学習済モデルの学習過程について説明するための図である。統合学習済モデルは、図示しない学習装置によって生成される。仮想レーン設定層は、撮像画像ＩＭを学習データ、撮像画像ＩＭにおいてどの領域がどの仮想レーンに該当するかを示す仮想レーン指定情報を教師データとして、第１バックプロパゲーション処理によってパラメータが学習されたものである。中央仮想レーン認識層、左側仮想レーン認識層、右側仮想レーン認識層、および認識結果統合層は、例えば第２バックプロパゲーション処理によってまとめて学習される。例えば、中央仮想レーン認識層に入力される中央仮想レーン画像、左側仮想レーン認識層に入力される左側仮想レーン画像、および右側仮想レーン認識層に入力される右側仮想レーン画像を学習データ、車道または所定領域のいずれかを示すラベル（認識結果）を教師データとして、第２バックプロパゲーション処理によって中央仮想レーン認識層、左側仮想レーン認識層、右側仮想レーン認識層、および認識結果統合層のパラメータが学習される。このように、統合学習済モデルは、仮想レーンごとの空間分類を行う層のパラメータと、前記仮想レーンごとの空間分類の結果を統合する層のパラメータとが、共通する学習データと教師データを用いた第２バックプロパゲーション処理によって一度に学習されたものである。
　このように統合学習済モデルを学習することで、仮想レーンごとの特徴を反映させて移動体１が車道を移動しているのか、車道と異なる所定領域を移動しているのかを認識することができる。仮に中央仮想レーン画像だけでは判断が難しいようなケースであっても、左側仮想レーン画像と右側仮想レーン画像を参照することで、認識精度を向上させることができる。また、機械学習を利用することで、ルールベースの規則の作成者が想定していなかった特徴を利用して認識を行うこともできるため、認識精度を更に向上させることができる可能性がある。この結果、第２実施形態によれば、移動体１が車道を移動しているのか、車道と異なる所定領域を移動しているのかを適切に認識することができる。
　＜第２実施形態の変形例＞
　第２実施形態において、撮像画像ＩＭを統合学習済モデルに入力するのではなく、第１実施形態のようにルールベースで設定した仮想レーンの情報に基づいて撮像画像ＩＭから切り出した、中央仮想レーン画像、右側仮想レーン画像、左側仮想レーン画像を、統合学習済モデル＃（図８に示すものから仮想レーン設定層を除いたもの）に入力することで、認識結果を得るようにしてもよい。図１０は、第２実施形態の変形例の処理を示す図である。統合学習済モデル＃は、前述した第２バックプロパゲーション処理によってパラメータが学習されたものである。すなわち、統合学習済モデル＃も、仮想レーンごとの空間分類を行う層のパラメータと、前記仮想レーンごとの空間分類の結果を統合する層のパラメータとが、共通する学習データと教師データを用いた第２バックプロパゲーション処理によって一度に学習されたものである。
　上記説明した実施形態は、以下のように表現することができる。
　コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
　前記記憶媒体に接続されたプロセッサと、を備え、
　前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
　車道と、車道と異なる所定領域との双方を移動可能な移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定し、
　前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識し、
　前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限する、
　移動体の制御装置。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１０　外界検知デバイス
１２　移動体センサ
１４　操作子
１６　内部カメラ
１８　測位装置
２２　モード切替スイッチ
３０　移動機構
４０　駆動装置
５０　外部報知装置
７０　記憶装置
１００　制御装置
１２０　道路タイプ認識部
１３０　物体認識部
１４０　制御部

Claims (14)

  1. 　車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置であって、
    　前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定し、前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識する道路タイプ認識部と、
    　前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限する制御部と、
    　を備える移動体の制御装置。
  2. 　前記道路タイプ認識部は、
    　前記中央仮想レーンが前記車道を写したものであるか、前記所定領域を写したものであるかを認識し、
    　前記中央仮想レーンに関する認識結果の信頼度が基準以上である場合は、前記中央仮想レーンに関する認識結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識し、
    　前記中央仮想レーンに関する認識結果の信頼度が基準未満である場合は、前記左側仮想レーンおよび前記右側仮想レーンのそれぞれについて前記空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識する、
    　請求項１記載の移動体の制御装置。
  3. 　前記道路タイプ認識部は、前記空間分類として、前記左側仮想レーンおよび前記右側仮想レーンのそれぞれについて、車道を写したものであるか、前記所定領域を写したものであるか、走路外を写したものであるかを認識する、
    　請求項１または２記載の移動体の制御装置。
  4. 　前記道路タイプ認識部は、前記左側仮想レーンおよび前記右側仮想レーンのそれぞれについて前記空間分類を行った結果の組み合わせに基づいて、前記移動体が車道を移動しているのか、前記所定領域を移動しているのかを認識する、
    　請求項３記載の移動体の制御装置。
  5. 　前記道路タイプ認識部は、前記左側仮想レーンおよび前記右側仮想レーンのうち一方が車道を写したものであり、他方が前記所定領域を写したものであると認識した場合、前記左側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度、および前記右側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度に基づいて、前記移動体が車道を移動しているのか、前記所定領域を移動しているのかを認識する、
    　請求項３記載の移動体の制御装置。
  6. 　前記道路タイプ認識部は、前記左側仮想レーンおよび前記右側仮想レーンのうち一方が走路外を写したものであり、他方が車道を写したものであると認識した場合、前記左側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度、前記右側仮想レーンに係る画像と前記中央仮想レーンに係る画像との類似度、および、前記中央仮想レーンに係る画像と前記車道を写したものと認識された画像との境界部分に仕切りがあるか否かに基づいて、前記移動体が車道を移動しているのか、前記所定領域を移動しているのかを認識する、
    　請求項３記載の移動体の制御装置。
  7. 　前記道路タイプ認識部は、どの領域がどの仮想レーンに該当するかを示す仮想レーン指定情報を前記撮像画像に付加した情報を、学習済モデルに入力することで、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識した結果を得る、
    　請求項１記載の移動体の制御装置。
  8. 　前記道路タイプ認識部は、前記撮像画像を学習済モデルに入力することで、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識した結果を得る、
    　請求項１記載の移動体の制御装置。
  9. 　前記学習済モデルは、仮想レーンごとの空間分類を行う層のパラメータと、前記仮想レーンごとの空間分類の結果を統合する層のパラメータとが、共通する学習データと教師データを用いたバックプロパゲーション処理によって同時に学習されたものである、
    　請求項７または８記載の移動体の制御装置。
  10. 　前記道路タイプ認識部は、前記撮像画像において走路境界を示す一連のエッジが抽出できた場合、前記一連のエッジを、複数の仮想レーンのうち互いに隣接する二つの仮想レーンの境界とする、
    　請求項１記載の移動体の制御装置。
  11. 　前記道路タイプ認識部は、前記撮像画像において前記一連のエッジが抽出できない領域について、前記複数の仮想レーンの少なくとも一部が路面において規定幅で延在すると仮定して、前記複数の仮想レーンのうち隣接する二つの仮想レーンの境界を設定する、
    　請求項１０記載の移動体の制御装置。
  12. 　前記道路タイプ認識部は、所定周期で繰り返し処理を行うものであり、複数の仮想レーンのそれぞれについての過去の認識結果を引き継いで、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識する、
    　請求項１記載の移動体の制御装置。
  13. 　車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置が行う移動体の制御方法であって、
    　前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定することと、
    　前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識することと、
    　前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限することと、
    　を備える移動体の制御方法。
  14. 　車道と、車道と異なる所定領域との双方を移動可能な移動体の制御装置のプロセッサに、
    　前記移動体の進行方向を撮像する外部カメラの撮像画像において、前記移動体の想定進路を含む中央仮想レーン、前記移動体から見て前記中央仮想レーンに対して右側に存在する右側仮想レーン、前記移動体から見て前記中央仮想レーンに対して左側に存在する左側仮想レーンをそれぞれ設定することと、
    　前記中央仮想レーン、前記右側仮想レーン、および前記左側仮想レーンのそれぞれについて空間分類を行った結果に基づいて、前記移動体が車道を移動しているか、前記所定領域を移動しているかを認識することと、
    　前記移動体が車道を移動する場合の速度を第１速度に制限し、前記移動体が前記所定領域を移動する場合の速度を前記第１速度よりも低い第２速度に制限することと、
    　を実行させるプログラムを記憶した記憶媒体。
PCT/JP2022/016482 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、および記憶媒体 WO2023188251A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/016482 WO2023188251A1 (ja) 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、および記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/016482 WO2023188251A1 (ja) 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、および記憶媒体

Publications (1)

Publication Number Publication Date
WO2023188251A1 true WO2023188251A1 (ja) 2023-10-05

Family

ID=88199842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016482 WO2023188251A1 (ja) 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、および記憶媒体

Country Status (1)

Country Link
WO (1) WO2023188251A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017100490A (ja) * 2015-11-30 2017-06-08 パイオニア株式会社 速度制御装置
US20200250975A1 (en) * 2019-01-31 2020-08-06 AitronX Inc. Sidewalk Detection for Electric Scooters
JP2021149951A (ja) * 2020-03-13 2021-09-27 富士通株式会社 道路認識装置及び方法、電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017100490A (ja) * 2015-11-30 2017-06-08 パイオニア株式会社 速度制御装置
US20200250975A1 (en) * 2019-01-31 2020-08-06 AitronX Inc. Sidewalk Detection for Electric Scooters
JP2021149951A (ja) * 2020-03-13 2021-09-27 富士通株式会社 道路認識装置及び方法、電子機器

Similar Documents

Publication Publication Date Title
US10489686B2 (en) Object detection for an autonomous vehicle
US9435885B2 (en) Road-terrain detection method and system for driver assistance systems
US20190094858A1 (en) Parking Location Prediction
US20170206426A1 (en) Pedestrian Detection With Saliency Maps
EP3991138A1 (en) Refining depth from an image
US11699237B2 (en) Bounding box embedding for object identifying
EP3825958B1 (en) A new way to generate tight 2d bounding boxes for autonomous driving labeling
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
CN115704898A (zh) 自主交通工具应用中相机图像和雷达数据的关联
WO2023188251A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
US20220315026A1 (en) Mobile object control device and mobile object control method
US20220314987A1 (en) Mobile object control device and mobile object control method
WO2023187879A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
US20230316779A1 (en) White line recognition device, mobile object control system, and white line recognition method
WO2023187893A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
WO2023188090A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
WO2023187972A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
WO2023187975A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
WO2023187991A1 (ja) 移動体の制御装置、および移動体の制御方法
WO2022210135A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
WO2023187995A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
US20230234609A1 (en) Control device, control method, and storage medium
WO2023187969A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
US20240071103A1 (en) Image recognition device, image recognition method, and program
WO2024071006A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935396

Country of ref document: EP

Kind code of ref document: A1