WO2021200254A1 - 移動体の制御方法、移動体の制御装置、移動体、およびプログラム - Google Patents

移動体の制御方法、移動体の制御装置、移動体、およびプログラム Download PDF

Info

Publication number
WO2021200254A1
WO2021200254A1 PCT/JP2021/011294 JP2021011294W WO2021200254A1 WO 2021200254 A1 WO2021200254 A1 WO 2021200254A1 JP 2021011294 W JP2021011294 W JP 2021011294W WO 2021200254 A1 WO2021200254 A1 WO 2021200254A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
moving body
weight
state
manual
Prior art date
Application number
PCT/JP2021/011294
Other languages
English (en)
French (fr)
Inventor
政彦 豊吉
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021200254A1 publication Critical patent/WO2021200254A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]

Definitions

  • the present disclosure relates to a method for controlling a moving body, a control device for the moving body, a moving body, and a program.
  • Patent Documents 1 and 2 Various technologies related to moving objects such as vehicles and drones capable of autonomous control have been proposed (see, for example, Patent Documents 1 and 2).
  • the method for controlling a moving body includes performing a process of accepting an input instructing manual control of the moving body when the moving body is controlled in a controlled state by autonomous control, and moving. Based on the input instructing the manual control of the body, the process of changing the control weight related to the control state of the moving body with time is performed, and the control state of the moving body is controlled by autonomous control based on the control weight. It includes performing a process of shifting from a state to a control state by manual control.
  • the moving body control device includes a reception unit that performs a process of receiving an input instructing manual control of the moving body when the moving body is controlled in a controlled state by autonomous control.
  • a weight switching unit that performs processing to change the control weight related to the control state of the moving body over time based on an input instructing manual control of the moving body, and an autonomous control state of the moving body based on the control weight. It is provided with a transition processing unit that performs a process of transitioning from a control state by control to a control state by manual control.
  • the mobile body is based on a reception unit that performs a process of accepting an input instructing manual control and an input instructing manual control when the mobile body is controlled in a controlled state by autonomous control.
  • a weight switching unit that performs processing to change the control weight related to the control state over time, and a transition that performs processing to shift the control state from the control state by autonomous control to the control state by manual control based on the control weight. It is equipped with a processing unit.
  • the program according to the embodiment of the present disclosure performs a process of accepting an input instructing manual control of the moving body when the moving body is controlled in a controlled state by autonomous control, and manually controls the moving body. Based on the input indicating Have the computer execute the process including the process of shifting to the control state by.
  • the moving body control device In the moving body control method, the moving body control device, the moving body, or the program according to the embodiment of the present disclosure, a process of temporally changing the control weight regarding the control state of the moving body is performed, and the control weight is performed. Based on the above, the process of shifting the control state of the moving body from the control state by autonomous control to the control state by manual control is performed.
  • a moving body capable of autonomous control there is an aerial photography drone equipped with a photography camera for aerial photography.
  • a photography camera for aerial photography For example, there is an aerial photography drone that autonomously tracks a tracking target while autonomously photographing it.
  • the aerial photography drone detects, for example, a person, a car, a bicycle, or the like as a tracking target, and estimates the three-dimensional position of the tracking target.
  • the user can select a tracking target and specify a flight point using the UI (User Interface) of the radio (proportional system).
  • the aerial drone moves according to the tracked object, keeps shooting the tracked object, and flies to the designated point.
  • FIG. 1 shows an outline of a mobile body system to which the mobile body control method according to the first embodiment of the present disclosure is applied.
  • the control method according to the first embodiment is applied to a system including a mobile body 100 and a manual controller 110.
  • the manual controller 110 is a transmitter that transmits a signal for maneuvering the mobile body 100, and is called a radio. The user can manually control the moving body 100 by using the manual controller 110.
  • the manual controller 110 includes a position control controller unit 111, a gimbal control controller unit 112, and a controller UI 113. Further, the manual controller 110 includes operation units such as buttons and a joystick for inputting various instructions when the user manually controls the moving body 100.
  • the mobile body 100 is, for example, a vehicle or a drone that can move autonomously.
  • the mobile body 100 can autonomously move according to a path created in advance.
  • the transfer 100 is an aerial photography drone that autonomously tracks the above-mentioned tracking target while autonomously photographing the tracking target will be described as an example.
  • the moving body 100 includes a processing unit 1, a sensor unit 2, a drive control unit 3, a gimbal control unit 4, a drive mechanism unit 5, a gimbal 6, and a camera 7 for photographing.
  • the processing unit 1 corresponds to a specific example of the "control device" in the technology of the present disclosure.
  • the control method in the technique of the present disclosure is realized by the processing unit 1.
  • the processing unit 1 may be composed of, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the program in the technique of the present disclosure may cause the microcomputer to execute the processing by the control method in the technique of the present disclosure.
  • the processing by the control method in the technique of the present disclosure can be realized by the CPU executing the program stored in the ROM or the RAM.
  • the processing by the control method in the technique of the present disclosure may be realized by the CPU executing the processing based on the program supplied from the outside by, for example, wired or wireless communication.
  • the processing unit 1 includes a self-position estimation unit 11, a three-dimensional distance measuring unit 12, a tracking target detection unit 13, a three-dimensional environment structure recognition unit 14, a tracking target three-dimensional position calculation unit 15, and a collision determination unit 16. And a route optimization unit 17. Further, the processing unit 1 includes an autonomous / manual switching unit 18, an autonomous intermediate switching determination unit 19, an autonomous / manual weight switching unit 20, a control value creating unit 21, and a gimbal operation planning unit 22. ..
  • the position control controller unit 111 outputs the instruction value to the processing unit 1 of the moving body 100 when various instructions are input from the user regarding the movement of the moving body 100.
  • the gimbal control controller unit 112 outputs the instruction values to the processing unit 1 of the moving body 100 when various instructions are input from the user regarding the posture of the shooting camera 7 of the moving body 100.
  • the controller UI 113 has a display unit, and displays various information such as the control state of the moving body 100 on the display unit.
  • the sensor unit 2 includes a three-dimensional sensor and the like for recognizing the environment and the tracking target.
  • the sensor unit 2 includes, for example, external sensors such as LiDAR (Light Detection and Ringing) and a camera, and outputs sensor information from those sensors to the processing unit 1. Further, the sensor unit 2 includes an internal sensor for detecting the self-posture, speed, and the like of the moving body 100.
  • external sensors such as LiDAR (Light Detection and Ringing) and a camera
  • the sensor unit 2 includes an internal sensor for detecting the self-posture, speed, and the like of the moving body 100.
  • the drive mechanism unit 5 includes various drive mechanisms for realizing the movement of the moving body 100, such as an actuator and a motor.
  • the drive mechanism unit 5 may include, for example, a plurality of propellers.
  • the drive mechanism unit 5 may include parts for outputting various information to the outside of the moving body 100. For example, an LED (Light Emitting Diode), a display device, a speaker, or the like may be included.
  • the drive control unit 3 outputs a control signal for driving and controlling the drive mechanism unit 5 to the drive mechanism unit 5.
  • the gimbal 6 is attached to the shooting camera 7 and controls the posture of the shooting camera 7.
  • the shooting camera 7 shoots, for example, a tracking target.
  • the gimbal control unit 4 outputs a control signal for controlling the gimbal 6 to the gimbal 6.
  • the self-position estimation unit 11 estimates the self-position based on the sensor information from the sensor unit 2.
  • the three-dimensional distance measuring unit 12 performs three-dimensional distance measuring based on the sensor information from the sensor unit 2.
  • the tracking target detection unit 13 detects the tracking target based on the sensor information from the sensor unit 2.
  • the three-dimensional environment structure recognition unit 14 performs three-dimensional environment recognition based on the outputs from the self-position estimation unit 11 and the three-dimensional distance measuring unit 12.
  • the tracking target three-dimensional position calculation unit 15 calculates the three-dimensional position of the tracking target based on the outputs from the tracking target detection unit 13 and the three-dimensional distance measuring unit 12.
  • the collision determination unit 16 determines a collision with an external object of the moving body 100 based on the outputs from the self-position estimation unit 11 and the three-dimensional environment structure recognition unit 14.
  • the route optimization unit 17 optimizes the movement route (flight route) of the moving body 100 based on the outputs from the tracking target three-dimensional position calculation unit 15, the collision determination unit 16, and the autonomous / manual switching unit 18. ..
  • the route optimization unit 17 When the route optimization unit 17 receives an input instructing manual control of the moving body 100 with respect to the control related to the moving path of the moving body 100 or the control value related to the movement of the moving body 100, the route optimization unit 17 controls by autonomous control described later. Based on the control weight for the state (first weight) and the control weight for the control state by manual control (second weight), the control state of the moving body 100 is changed from the control state by autonomous control to the control state by manual control. Performs the process of migrating to. The route optimization unit 17 performs a process of shifting, for example, a control state related to a movement path of a moving body from a control state by autonomous control to a control state by manual control.
  • the route optimization unit 17 performs a process of calculating the movement route of the moving body 100 based on the weight of control for the control state by autonomous control and the weight of control for the control state by manual control, which will be described later.
  • the route optimization unit 17 performs manual control, for example, when the input value for instructing manual control with respect to the control value related to the movement path of the moving body 100 or the control value related to the movement of the moving body 100 becomes equal to or more than a predetermined threshold value. Start the process of shifting to the control state.
  • a continuous value is given to the processing unit 1 as an instruction input value from the user via the manual controller 110, for example, by the joystick of the operation unit.
  • the route optimization unit 17 for example, as an instruction input value from the user corresponding to the control value related to the movement of the moving body 100, for example, the input from the joystick corresponding to the speed instruction value 0.5 [m / s] or more is 1. If it continues for more than a second, the process of shifting from the control state by autonomous control to the control state by manual control is started.
  • the route optimization unit 17 receives an input instructing to stop the manual control of the moving body 100 with respect to the control related to the moving path of the moving body 100 or the control value related to the movement of the moving body 100, the route optimization unit 17 will be described later.
  • the process of shifting the control state of the moving body 100 from the control state by the manual control to the control state by the autonomous control is performed.
  • the route optimization unit 17 shifts the control state of the mobile body 100 from the control state by autonomous control to the control state by manual control with respect to the control regarding the movement path of the mobile body 100 or the control value regarding the movement of the mobile body 100.
  • the route optimization unit 17 displays the movement route of the moving body 100 on the display unit of the controller UI 113, for example.
  • the autonomous / manual switching unit 18 forcibly switches between the autonomous control and the manual control of the moving body 100.
  • the autonomous / manual switching unit 18 forcibly switches from the autonomous control to the manual control when there is a specific instruction input as an input for instructing the manual control of the moving body 100 via the manual controller 110, for example.
  • Perform processing For example, when an operation input is made such that both of the two joysticks of the operation unit of the manual controller 110 are tilted inward as much as possible, a process of forcibly switching from autonomous control to manual control is performed.
  • the autonomous middle switching determination unit 19 performs a process of accepting an input instructing manual control of the mobile body 100 when the mobile body 100 is controlled in a controlled state by autonomous control.
  • the autonomous / manual switching unit 18 and the autonomous intermediate switching determination unit 19 correspond to a specific example of the "reception unit" in the technology of the present disclosure.
  • the autonomous / manual weight switching unit 20 performs a process of temporally changing the control weight for the control state by the autonomous control and the control weight for the control state by the manual control, which will be described later.
  • the autonomous middle switching determination unit 19 corresponds to a specific example of the "switching unit" in the technology of the present disclosure.
  • the control value creation unit 21 generates a control value for controlling the moving body 100.
  • the control value generated by the control value creating unit 21 may include at least one of the position, velocity, acceleration, and jerk of the moving body 100.
  • the control value creating unit 21 performs a process of calculating a control value related to the movement of the moving body 100 based on, for example, a weight of control for a control state by autonomous control and a weight of control for a control state by manual control, which will be described later.
  • the control value creating unit 21 When there is an input instructing manual control via the manual controller 110, the control value creating unit 21 generates a control value reflecting the manual control.
  • a speed instruction value indicating the speed of the moving body 100 is given as an input value for instructing manual control from the operation unit of the manual controller 110, a control value reflecting the speed instruction value is generated.
  • the speed indication value of the moving body 100 can be changed, for example, by tilting the joystick of the manual controller 110 or the like.
  • the gimbal motion planning unit 22 When the gimbal motion planning unit 22 receives an input instructing manual control of the moving body 100 with respect to the attitude control of the photographing camera 7, the weight of control for the control state by autonomous control and the control state by manual control, which will be described later, Based on the weight of control for, the process of shifting the control state of the moving body 100 from the control state by autonomous control to the control state by manual control is performed.
  • the gimbal motion planning unit 22 receives an input instructing to stop the manual control of the moving body 100 regarding the attitude control of the photographing camera 7, the weight of the control for the control state by the autonomous control described later and the manual operation are performed. Based on the weight of control with respect to the control state by control, regarding the attitude control of the photographing camera 7, a process of shifting the control state of the moving body 100 from the control state by manual control to the control state by autonomous control is performed.
  • the route optimization unit 17 and the gimbal operation planning unit 22 correspond to a specific example of the "transition processing unit" in the technology of the present disclosure.
  • FIG. 2 shows an example of a change in the control weight with respect to the control state by autonomous control and a change in the control weight with respect to the control state by manual control according to the control method of the mobile body 100 according to the first embodiment.
  • FIG. 3 shows an example of switching the control state of the mobile body 100 by the control method of the mobile body 100 according to the first embodiment.
  • the weight of control for the control state by autonomous control is also simply referred to as "weight of autonomous control”.
  • the weight of control for the control state by manual control is also simply referred to as "weight of manual control”.
  • the weight of the autonomous control and the manual control In the control method of the mobile body 100 according to the first embodiment, in order to gradually reflect the input control value to the autonomous control, as shown in FIG. 2, the weight of the autonomous control and the manual control The weight of each is gradually changed over time. Then, as shown in FIG. 3, when the control state of the moving body 100 is shifted from the autonomous control to the manual control, the shift period is provided and the shift to the manual control is performed instead of immediately switching to the manual control. Let me. The same applies to the case where the control state of the moving body 100 is shifted from manual control to autonomous control.
  • the value of the weight is represented by, for example, a value of 0 to 100 (%), and the sum of the weight of the autonomous control and the weight of the manual control is controlled to be 100, for example. For example, when the weight of the autonomous control is 0 and the weight of the manual control is 100, the state is completely switched to the manual control. In this case, the weight of autonomous control and the weight of manual control are automatically determined when one value is determined.
  • FIG. 4 shows the control state regarding the movement path of the moving body 100 by taking the case where the weight of the autonomous control is large as an example.
  • FIG. 5 shows, as an example, a case where the weight of the autonomous control and the weight of the manual control are equal to the control state regarding the movement path of the moving body 100.
  • FIG. 6 shows, as an example, a case where the weight of manual control is large for the control state regarding the movement path of the moving body 100.
  • Rta indicates an autonomously controlled movement route
  • Rtm indicates a manually controlled movement route
  • Rt indicates an actual movement route
  • Pa indicates an autonomously controlled waypoint (passing point)
  • Pm indicates a manually controlled waypoint
  • Ca indicates the cost of autonomous control (weight of autonomous control)
  • Cm indicates the cost of manual control (weight of manual control).
  • the actual movement path Rt approaches the movement path Rta of the autonomous control.
  • the actual movement path Rt is the movement path Rta of autonomous control and manual control. It is in an intermediate state with the movement path Rtm of.
  • the weight of manual control costs Cm of manual control
  • FIG. 7 shows the movement path of the moving body 100 when the control state regarding the moving path of the moving body 100 is shifted from the autonomous control to the manual control by the control method of the moving body 100 according to the first embodiment. An example of the change in is shown.
  • FIG. 7 shows a state in which the weight of manual control (cost Cm of manual control) increases from the left side to the right side of the figure.
  • the weight of manual control costs Cm of manual control
  • the actual movement path Rt is substantially equal to the movement path Rta of autonomous control.
  • the weight of manual control costs Cm of manual control
  • the actual movement path Rt changes to a path approaching the waypoint Pm of manual control.
  • FIG. 8 schematically shows an example of a processing flow when the moving path of the moving body 100 is controlled by the control method of the moving body 100 according to the first embodiment.
  • the processing unit 1 confirms the input of the position control controller unit 111 in the autonomous intermediate switching determination unit 19 (step S101). Next, the processing unit 1 sets the destination for manual control in the route optimization unit 17 (step S102).
  • the processing unit 1 confirms the three-dimensional position of the tracking target in the tracking target three-dimensional position calculation unit 15 (step S103).
  • the processing unit 1 sets the destination and waypoint of the autonomous control in the route optimization unit 17 (step S104).
  • the processing unit 1 confirms the weight of the autonomous control and the weight of the manual control in the autonomous / manual weight switching unit 20 (step S105).
  • the processing unit 1 calculates the movement route in the route optimization unit 17 (step S106).
  • the processing unit 1 converts the movement path into a control value related to the movement of the moving body 100 in the drive control unit 3 (step S107). Further, the processing unit 1 presents the calculated movement route to the user via the controller UI 113 in the route optimization unit 17 (step S108). This presents the user with how the future travel path will change due to manual control.
  • the processing unit 1 repeats the processing of step S101 and step S103 after calculating the movement route of step S106. As a result, it becomes possible to gradually change the control state regarding the movement path of the moving body 100 with the passage of time.
  • FIG. 9 schematically shows an example of a processing flow in the case of controlling a control value related to the movement of the moving body 100 by the control method of the moving body 100 according to the first embodiment.
  • steps S101 to S105 are the same as the processing flow shown in FIG.
  • the processing unit 1 then calculates the control value in the control value creating unit 21 (step S111).
  • the processing unit 1 converts the control value calculated by the control value creating unit 21 in the drive control unit 3 into a control value that actually controls the drive mechanism unit 5 (step S112).
  • processing unit 1 repeats the processing of step S101 and step S103 after calculating the control value in step S111. This makes it possible to gradually change the control value related to the movement of the moving body 100 with the passage of time.
  • FIG. 10 schematically shows an example of a processing flow in the case of controlling the gimbal 6 of the photographing camera 7 mounted on the moving body 100 by the control method of the moving body 100 according to the first embodiment. ..
  • the processing unit 1 confirms the input of the gimbal control controller unit 112 in the autonomous switching determination unit 19 (step S201). Next, the processing unit 1 sets the target posture for manual control in the gimbal operation planning unit 22 (step S202).
  • the processing unit 1 confirms the three-dimensional position of the tracking target in the tracking target three-dimensional position calculation unit 15 (step S203).
  • the processing unit 1 sets the target posture for autonomous control in the gimbal motion planning unit 22 (step S204).
  • the processing unit 1 confirms the weight of the autonomous control and the weight of the manual control in the autonomous / manual weight switching unit 20 (step S205).
  • the processing unit 1 calculates the posture in the gimbal motion planning unit 22 (step S206).
  • the processing unit 1 converts the posture calculated by the gimbal operation planning unit 22 into the control value of the gimbal 6 in the gimbal control unit 4 (step S207).
  • processing unit 1 repeats the processing of step S201 and step S203 after calculating the posture of step S206. This makes it possible to gradually change the attitude control of the photographing camera 7 with the passage of time.
  • the processing of changing the weight of the autonomous control and the weight of the manual control with time is performed, and the weight of the autonomous control and the manual control are performed.
  • the process of shifting the control state of the moving body 100 from the control state by the autonomous control to the control state by the manual control is performed. This makes it possible to smoothly switch between autonomous control and manual control.
  • control method of the moving body 100 for example, in an aerial photography drone that autonomously tracks a person or a car while taking aerial photographs, when the tracking target is lost, the user loses sight of it. It is possible to present it to and smoothly encourage manual operation. It is possible to smoothly switch the control from autonomous control to manual control and manually search for the tracking target. After discovering the tracking target, it is possible to present the discovery to the user and autonomously restart the tracking smoothly. In this case, it is possible to smoothly shift the control state from manual control to autonomous control. For example, it is possible to smoothly continue tracking the tracking target without sudden stop or acceleration.
  • the user is presented with a route to autonomously fly when tracking the tracking target or when autonomously flying toward a specific point, and when the user manually inputs, a new route is introduced. While presenting, it is possible to smoothly switch the control from autonomous control to manual control. When there is no input from the user, it is possible to resume autonomous flight along the original destination. It is possible to take pictures that dynamically reflect the user's intentions with respect to autonomous control.
  • control device the control method, and the program according to the technique of the present disclosure are realized by the processing unit 1 inside the mobile body 100, but the technique of the present disclosure is the outside of the mobile body 100. It may be realized by the device of.
  • the external device may be a manual controller 110, or may be a terminal device such as a PC (personal computer) or a mobile terminal different from the manual controller 110.
  • the control weight used for switching may be only one.
  • the control weight may be an autonomous control weight for manual control or a manual control weight for autonomous control.
  • the weight of control may be changed so as to reduce the ratio of control occupied by autonomous control as time passes.
  • the control weight is the weight of autonomous control with respect to manual control, the control weight is reduced as time elapses.
  • the present technology may have the following configuration.
  • the control weight related to the control state of the moving body is changed with time, and the control state of the moving body is autonomously controlled based on the first weight and the second weight. Performs the process of shifting from the control state by control to the control state by manual control. This makes it possible to smoothly switch between autonomous control and manual control.
  • the control weight includes the first weight indicating the control weight for the control state by the autonomous control and the second weight indicating the control weight for the control state by the manual control (1) to (10). ).
  • a reception unit that performs processing to receive input instructing manual control when controlling in a controlled state by autonomous control
  • a weight switching unit that performs a process of temporally changing the control weight related to the control state based on the input instructing the manual control.
  • a mobile body including a transition processing unit that performs a process of shifting a control state from a control state by the autonomous control to a control state by the manual control based on the weight of the control.
  • processing for receiving an input instructing manual control of the moving body is performed, and Based on the input instructing the manual control of the moving body, the process of changing the control weight regarding the control state of the moving body with time is performed.
  • a program that causes a computer to execute a process including shifting the control state of the moving body from the control state by the autonomous control to the control state by the manual control based on the weight of the control.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本開示の移動体の制御方法は、移動体を自律制御による制御状態で制御している場合に、移動体の手動制御を指示する入力を受け付ける処理を行うことと、移動体の手動制御を指示する入力に基づいて、移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、制御の重みに基づいて、移動体の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行うこととを含む。

Description

移動体の制御方法、移動体の制御装置、移動体、およびプログラム
　本開示は、移動体の制御方法、移動体の制御装置、移動体、およびプログラムに関する。
　自律制御が可能な車両やドローン等の移動体に関する技術が種々提案されている（例えば特許文献１，２参照）。
特表２０１８－５２２７７３号公報 特表２０１８－５２７２３５号公報
　移動体が自律制御による制御状態にある場合に、手動制御に切り替えたいという要求がある。この場合、制御状態を急激に切り替えると様々な不具合が生じる可能性がある。
　自律制御と手動制御とのスムーズな切り替えを行うことが可能な移動体の制御方法、移動体の制御装置、移動体、およびプログラムを提供することが望ましい。
　本開示の一実施の形態に係る移動体の制御方法は、移動体を自律制御による制御状態で制御している場合に、移動体の手動制御を指示する入力を受け付ける処理を行うことと、移動体の手動制御を指示する入力に基づいて、移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、制御の重みに基づいて、移動体の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行うこととを含む。
　本開示の一実施の形態に係る移動体の制御装置は、移動体を自律制御による制御状態で制御している場合に、移動体の手動制御を指示する入力を受け付ける処理を行う受付部と、移動体の手動制御を指示する入力に基づいて、移動体の制御状態に関する制御の重みを時間的に変化させる処理を行う重み切替部と、制御の重みに基づいて、移動体の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う移行処理部とを備える。
　本開示の一実施の形態に係る移動体は、自律制御による制御状態で制御している場合に、手動制御を指示する入力を受け付ける処理を行う受付部と、手動制御を指示する入力に基づいて、制御状態に関する制御の重みを時間的に変化させる処理を行う重み切替部と、制御の重みに基づいて、制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う移行処理部とを備える。
　本開示の一実施の形態に係るプログラムは、移動体を自律制御による制御状態で制御している場合に、移動体の手動制御を指示する入力を受け付ける処理を行うことと、移動体の手動制御を指示する入力に基づいて、移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、制御の重みに基づいて、移動体の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行うこととを含む処理をコンピュータに実行させる。
　本開示の一実施の形態に係る移動体の制御方法、移動体の制御装置、移動体、またはプログラムでは、移動体の制御状態に関する制御の重みを時間的に変化させる処理を行い、制御の重みに基づいて、移動体の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う。
本開示の第１の実施の形態に係る移動体の制御方法が適用される移動体システムの概要を示すブロック図である。 第１の実施の形態に係る移動体の制御方法による、自律制御の重みの変化と手動制御の重みの変化との一例を示す説明図である。 第１の実施の形態に係る移動体の制御方法による、移動体の制御状態の切り替えの一例を示す説明図である。 第１の実施の形態に係る移動体の制御方法による移動体の移動経路に関する制御状態を、自律制御の重みが大きい場合を例に示した説明図である。 第１の実施の形態に係る移動体の制御方法による移動体の移動経路に関する制御状態を、自律制御の重みと手動制御の重みとが等しい場合を例に示した説明図である。 第１の実施の形態に係る移動体の制御方法による移動体の移動経路に関する制御状態を、手動制御の重みが大きい場合を例に示した説明図である。 第１の実施の形態に係る移動体の制御方法によって、移動体の移動経路に関する制御状態を自律制御から手動制御へと移行させた場合の、移動体の移動経路の変化の一例を示した説明図である。 第１の実施の形態に係る移動体の制御方法によって、移動体の移動経路を制御する場合の処理フローの一例を概略的に示す流れ図である。 第１の実施の形態に係る移動体の制御方法によって、移動体の移動に関する制御値を制御する場合の処理フローの一例を概略的に示す流れ図である。 第１の実施の形態に係る移動体の制御方法によって、移動体に搭載された撮影用カメラのジンバルを制御する場合の処理フローの一例を概略的に示す流れ図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例
　１．第１の実施の形態（図１～図１０）
　　１．１　構成
　　１．２　動作
　　１．３　効果
　　１．４　変形例
　２．その他の実施の形態
 
＜０．比較例＞
　自律制御が可能な移動体として、例えば空撮用の撮影カメラを備えた空撮用ドローンがある。例えば、追跡対象を自律で撮影しながら自律で追跡する空撮用ドローンがある。この場合、空撮用ドローンは、追跡対象として、例えば人、車、または自転車等を検出し、追跡対象の３次元位置を推定する。この場合、ユーザはプロポ（プロポーショナルシステム）のＵＩ（User Interface）で追跡対象の選択や飛行地点の指定を行うことができる。空撮用ドローンは、追跡対象に合わせて移動し、追跡対象を撮影し続け、指定された地点まで飛行する。
　このような空撮用ドローンにおいて、制御状態を手動制御にしたい場合がある。例えば、空撮用ドローンが追跡対象を見失った場合や、飛行経路を動的に変更したい場合などに手動制御にしたい要求がある。
　しかしながら、移動体が自律制御による制御状態にある場合に手動制御に切り替えた場合、制御状態を急激に切り替えると、移動体を制御するための制御値が急激に変化するため、急ブレーキや急な方向転換等が発生する。この場合、例えば空撮用ドローンの場合には、撮影映像に途切れが生じる等の不具合が生じる可能性がある。
　そこで、自律制御と手動制御とのスムーズな切り替えを行うことが可能な技術の開発が望まれる。
＜１．第１の実施の形態＞
［１．１　構成］
　図１は、本開示の第１の実施の形態に係る移動体の制御方法が適用される移動体システムの概要を示している。
　第１の実施の形態に係る制御方法は、移動体１００と、手動コントローラ１１０とを備えたシステムに適用される。
　手動コントローラ１１０は、移動体１００を操縦する信号を送信する送信機であり、プロポと呼ばれる。ユーザは、手動コントローラ１１０を用いて移動体１００を手動制御により手動操縦することが可能となっている。
　手動コントローラ１１０は、位置制御コントローラ部１１１と、ジンバル制御コントローラ部１１２と、コントローラＵＩ１１３とを備えている。また、手動コントローラ１１０は、ユーザが移動体１００を手動制御する際の各種指示の入力を行うためのボタンやジョイスティック等の操作部を備えている。
　移動体１００は、例えば自律して移動が可能な車両やドローン等である。移動体１００は、事前に作成された経路に従って自律移動することが可能となっている。第１の実施の形態では、移体１００が、上述した追跡対象を自律で撮影しながら自律で追跡する空撮用ドローンである場合を例に説明する。
　移動体１００は、処理部１と、センサ部２と、駆動制御部３と、ジンバル制御部４と、駆動機構部５と、ジンバル６と、撮影用カメラ７とを備えている。
　処理部１は、本開示の技術における「制御装置」の一具体例に相当する。本開示の技術における制御方法は処理部１によって実現される。
　処理部１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を含むマイクロコンピュータによって構成されていてもよい。本開示の技術におけるプログラムは、本開示の技術における制御方法による処理をマイクロコンピュータに実行させるものであってもよい。本開示の技術における制御方法による処理は、ＲＯＭまたはＲＡＭに記憶されたプログラムを、ＣＰＵが実行することで実現し得る。なお、本開示の技術における制御方法による処理は、例えば有線または無線による通信により外部から供給されたプログラムに基づく処理をＣＰＵが実行することで実現してもよい。
　処理部１は、自己位置推定部１１と、３次元測距部１２と、追跡対象検出部１３と、３次元環境構造認識部１４と、追跡対象３次元位置計算部１５と、衝突判定部１６と、経路最適化部１７とを有している。また、処理部１は、自律・手動切替部１８と、自律中切替判定部１９と、自律／手動重み切替部２０と、制御値作成部２１と、ジンバル動作計画部２２とを有している。
　位置制御コントローラ部１１１は、移動体１００の移動に関するユーザからの各種指示の入力があった場合に、その指示値を移動体１００の処理部１に出力する。
　ジンバル制御コントローラ部１１２は、移動体１００の撮影用カメラ７の姿勢に関するユーザからの各種指示の入力があった場合に、その指示値を移動体１００の処理部１に出力する。
　コントローラＵＩ１１３は、表示部を有し、表示部に移動体１００の制御状態等の各種情報を表示する。
　センサ部２は、環境認識や追跡対象の認識を行うための３次元センサ等を含む。センサ部２は、例えば、ＬｉＤＡＲ（Light Detection and Ranging）やカメラ等の外界センサを含み、それらのセンサからのセンサ情報を処理部１に出力する。また、センサ部２は、移動体１００の自己姿勢や速度等を検出するための内界センサを含む。
　駆動機構部５は、移動体１００の動きを実現するための各種駆動機構、例えばアクチュエータ、およびモータ等を含む。移動体１００がドローンの場合、駆動機構部５は、例えば複数のプロペラが含まれていてもよい。駆動機構部５は、移動体１００の外部に各種情報出力を行うための部品が含まれていてもよい。例えば、ＬＥＤ（Light Emitting Diode）、表示装置やスピーカ等が含まれていてもよい。
　駆動制御部３は、駆動機構部５を駆動制御する制御信号を駆動機構部５に出力する。
　ジンバル６は、撮影用カメラ７に取り付けられ、撮影用カメラ７の姿勢を制御する。撮影用カメラ７は、例えば追跡対象の撮影を行う。
　ジンバル制御部４は、ジンバル６を制御する制御信号をジンバル６に出力する。
　自己位置推定部１１は、センサ部２からのセンサ情報に基づいて自己位置の推定を行う。
　３次元測距部１２は、センサ部２からのセンサ情報に基づいて３次元的な測距を行う。
　追跡対象検出部１３は、センサ部２からのセンサ情報に基づいて追跡対象の検出を行う。
　３次元環境構造認識部１４は、自己位置推定部１１および３次元測距部１２からの出力に基づいて、３次元的な環境認識を行う。
　追跡対象３次元位置計算部１５は、追跡対象検出部１３および３次元測距部１２からの出力に基づいて、追跡対象の３次元的な位置を計算する。
　衝突判定部１６は、自己位置推定部１１および３次元環境構造認識部１４からの出力に基づいて、移動体１００の外部の物体に対する衝突の判定を行う。
　経路最適化部１７は、追跡対象３次元位置計算部１５、衝突判定部１６、および自律・手動切替部１８からの出力に基づいて、移動体１００の移動経路（飛行経路）の最適化を行う。
　経路最適化部１７は、移動体１００の移動経路に関する制御、または移動体１００の移動に関する制御値に関して、移動体１００の手動制御を指示する入力があった場合には、後述する自律制御による制御状態に対する制御の重み（第１の重み）と手動制御による制御状態に対する制御の重み（第２の重み）とに基づいて、移動体１００の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う。経路最適化部１７は、例えば移動体の移動経路に関する制御状態を、自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う。
　経路最適化部１７は、後述する自律制御による制御状態に対する制御の重みと手動制御による制御状態に対する制御の重みとに基づいて、移動体１００の移動経路を計算する処理を行う。経路最適化部１７は、例えば、移動体１００の移動経路に関する制御、または移動体１００の移動に関する制御値に関して、手動制御を指示する入力値が所定の閾値以上となった場合に、手動制御による制御状態へと移行させる処理を開始する。処理部１には、手動コントローラ１１０を介して、ユーザからの指示入力値として、例えば操作部のジョイスティックにより連続値が与えられる。経路最適化部１７は、例えば、移動体１００の移動に関する制御値に相当するユーザからの指示入力値として、例えば速度指示値０．５［ｍ／ｓ］以上に相当するジョイスティックからの入力が１秒以上続いた場合には、自律制御による制御状態から手動制御による制御状態へと移行させる処理を開始する。
　また、経路最適化部１７は、移動体１００の移動経路に関する制御、または移動体１００の移動に関する制御値に関して、移動体１００の手動制御の停止を指示する入力があった場合には、後述する自律制御による制御状態に対する制御の重みと手動制御による制御状態に対する制御の重みとに基づいて、移動体１００の制御状態を手動制御による制御状態から自律制御による制御状態へと移行させる処理を行う。
　また、経路最適化部１７は、移動体１００の移動経路に関する制御、または移動体１００の移動に関する制御値に関して、移動体１００の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる場合に、コントローラＵＩ１１３を介して、移動体１００の制御状態の変化を提示する処理を行う。経路最適化部１７は、例えばコントローラＵＩ１１３の表示部に移動体１００の移動経路を表示する。
　自律・手動切替部１８は、移動体１００の自律制御と手動制御との強制的な切り替えを行う。自律・手動切替部１８は、例えば、手動コントローラ１１０を介して移動体１００の手動制御を指示する入力として、特定の指示入力があった場合には、自律制御から手動制御へと強制的に切り替える処理を行う。例えば、手動コントローラ１１０の操作部の２本のジョイスティックを両方とも内側に最大限倒すような操作入力がなされた場合に、自律制御から手動制御へと強制的に切り替える処理を行う。
　自律中切替判定部１９は、移動体１００を自律制御による制御状態で制御している場合に、移動体１００の手動制御を指示する入力を受け付ける処理を行う。
　自律・手動切替部１８および自律中切替判定部１９は、本開示の技術における「受付部」の一具体例に相当する。
　自律／手動重み切替部２０は、後述する自律制御による制御状態に対する制御の重みと、手動制御による制御状態に対する制御の重みとを時間的に変化させる処理を行う。
　自律中切替判定部１９は、本開示の技術における「切替部」の一具体例に相当する。
　制御値作成部２１は、移動体１００の制御を行うための制御値を生成する。制御値作成部２１が生成する制御値は、移動体１００の位置、速度、加速度、および躍度のうち少なくとも１つを含んでもよい。制御値作成部２１は、例えば、後述する自律制御による制御状態に対する制御の重みと手動制御による制御状態に対する制御の重みとに基づいて、移動体１００の移動に関する制御値を計算する処理を行う。制御値作成部２１は、手動コントローラ１１０を介して手動制御を指示する入力があった場合には、手動制御を反映した制御値を生成する。例えば、手動コントローラ１１０の操作部から、手動制御を指示する入力値として移動体１００の速度を指示する速度指示値が与えられた場合には、その速度指示値を反映した制御値を生成する。移動体１００の速度指示値は、例えば手動コントローラ１１０のジョイスティックの傾き等によって変化させることが可能である。
　ジンバル動作計画部２２は、撮影用カメラ７の姿勢制御に関して、移動体１００の手動制御を指示する入力があった場合には、後述する自律制御による制御状態に対する制御の重みと手動制御による制御状態に対する制御の重みとに基づいて、移動体１００の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う。
　また、ジンバル動作計画部２２は、撮影用カメラ７の姿勢制御に関して、移動体１００の手動制御の停止を指示する入力があった場合には、後述する自律制御による制御状態に対する制御の重みと手動制御による制御状態に対する制御の重みとに基づいて、撮影用カメラ７の姿勢制御に関して、移動体１００の制御状態を手動制御による制御状態から自律制御による制御状態へと移行させる処理を行う。
　経路最適化部１７およびジンバル動作計画部２２は、本開示の技術における「移行処理部」の一具体例に相当する。
［１．２　動作］
　第１の実施の形態に係る移動体１００の制御方法では、例えば自律飛行中に手動操作がなされた際に、急な加減速等なしに、移動体１００の移動経路に関する制御や撮影用カメラ７の姿勢制御等について、スムーズにユーザの意図通りの操作を反映させる処理を行う。また、手動操作がなされなくなった場合には、スムーズに自律飛行に戻す処理を行う。
　第１の実施の形態に係る移動体１００の制御方法では、手動コントローラ１１０を介してユーザからの指示入力があった際に、入力された制御値すべてを一度に制御に反映させるのではなく、徐々に反映させていくことで、スムーズな制御状態の移行を実現する。
　図２は、第１の実施の形態に係る移動体１００の制御方法による、自律制御による制御状態に対する制御の重みの変化と、手動制御による制御状態に対する制御の重みの変化との一例を示している。図３は、第１の実施の形態に係る移動体１００の制御方法による、移動体１００の制御状態の切り替えの一例を示している。なお、以下では、自律制御による制御状態に対する制御の重みを、単に「自律制御の重み」ともいう。また、手動制御による制御状態に対する制御の重みを、単に「手動制御の重み」ともいう。
　第１の実施の形態に係る移動体１００の制御方法では、自律制御に対して、入力された制御値を徐々に反映させるために、図２に示したように、自律制御の重みと手動制御の重みとをそれぞれ、時間的に徐々に変化させる。そして、図３に示したように、移動体１００の制御状態を自律制御から手動制御へと移行させる場合に、すぐに手動制御に切り替えるのではなく、移行期間を設けて、手動制御へと移行させる。なお、移動体１００の制御状態を手動制御から自律制御へと移行させる場合についても同様である。重みの値は、例えば、０～１００（％）の値で示され、例えば自律制御の重みと手動制御の重みとの合計が、１００となるように制御される。例えば自律制御の重みが０、手動制御の重みが１００の場合、完全に手動制御に切り替わった状態となる。この場合、自律制御の重みと手動制御の重みは、一方の値が決まれば他方の値が自動的に決まることになる。
　図４～図６を参照して、移動体１００の移動経路に関する制御状態を切り替える場合を例に、制御の重みと制御状態との関係について説明する。図４は、移動体１００の移動経路に関する制御状態を、自律制御の重みが大きい場合を例に示している。図５は、移動体１００の移動経路に関する制御状態を、自律制御の重みと手動制御の重みとが等しい場合を例に示している。図６は、移動体１００の移動経路に関する制御状態を、手動制御の重みが大きい場合を例に示している。
　図４～図６において、Ｒｔａは自律制御の移動経路、Ｒｔｍは手動制御の移動経路、Ｒｔは実際の移動経路を示す。Ｐａは自律制御のウェイポイント（通過ポイント）、Ｐｍは手動制御のウェイポイントを示す。Ｃａは自律制御のコスト（自律制御の重み）、Ｃｍは手動制御のコスト（手動制御の重み）を示す。
　図４の状態では、自律制御の重み（自律制御のコストＣａ）が大きい状態なので、実際の移動経路Ｒｔは自律制御の移動経路Ｒｔａに近づく。図５の状態では、自律制御の重み（自律制御のコストＣａ）と手動制御の重み（手動制御のコストＣｍ）とが等しい状態なので、実際の移動経路Ｒｔは自律制御の移動経路Ｒｔａと手動制御の移動経路Ｒｔｍとの中間の状態となる。図６の状態では、手動制御の重み（手動制御のコストＣｍ）が大きい状態なので、実際の移動経路Ｒｔは手動制御の移動経路Ｒｔｍに近づく。
　図７は、第１の実施の形態に係る移動体１００の制御方法によって、移動体１００の移動経路に関する制御状態を、自律制御から手動制御へと移行させた場合の、移動体１００の移動経路の変化の一例を示している。
　図７では図の左側から右側に行くに従い、手動制御の重み（手動制御のコストＣｍ）が大きくなっていく状態を示す。図７の一番左側の状態では、手動制御の重み（手動制御のコストＣｍ）が最小であり、実際の移動経路Ｒｔは自律制御の移動経路Ｒｔａと略等しい。図７の右側に行くに従い、手動制御の重み（手動制御のコストＣｍ）が大きくなり、実際の移動経路Ｒｔが、手動制御のウェイポイントＰｍに近づくような経路に変化する。
（移動体１００の移動経路を制御する場合の処理フロー）
　図８は、第１の実施の形態に係る移動体１００の制御方法によって、移動体１００の移動経路を制御する場合の処理フローの一例を概略的に示している。
　処理部１は、自律中切替判定部１９において、位置制御コントローラ部１１１の入力を確認する（ステップＳ１０１）。次に、処理部１は、経路最適化部１７において、手動制御の目的地の設定をする（ステップＳ１０２）。
　一方、処理部１は、追跡対象３次元位置計算部１５において、追跡対象の３次元位置の確認をする（ステップＳ１０３）。次に、処理部１は、経路最適化部１７において、自律制御の目的地とウェイポイントの設定をする（ステップＳ１０４）。
　次に、処理部１は、自律／手動重み切替部２０において、自律制御の重みと手動制御の重みとを確認する（ステップＳ１０５）。次に、処理部１は、経路最適化部１７において、移動経路の計算を行う（ステップＳ１０６）。
　次に、処理部１は、駆動制御部３において、移動経路を移動体１００の移動に関する制御値に変換する（ステップＳ１０７）。また、処理部１は、経路最適化部１７において、コントローラＵＩ１１３を介して、ユーザに計算された移動経路を提示する（ステップＳ１０８）。これにより、手動制御によってどのように将来の移動経路が変化するかをユーザに提示する。
　また、処理部１は、ステップＳ１０６の移動経路の計算を行った後、ステップＳ１０１およびステップＳ１０３の処理を繰り返す。これにより、時間経過により徐々に移動体１００の移動経路に関する制御状態を変化させることが可能となる。
（移動体１００の移動に関する制御値を制御する場合の処理フロー）
　図９は、第１の実施の形態に係る移動体１００の制御方法によって、移動体１００の移動に関する制御値を制御する場合の処理フローの一例を概略的に示している。
　図９において、ステップＳ１０１～Ｓ１０５は図８に示した処理フローと同様である。　ステップＳ１０５の処理の後、次に、処理部１は、制御値作成部２１において、制御値の計算を行う（ステップＳ１１１）。次に、処理部１は、駆動制御部３において、制御値作成部２１において計算された制御値を、実際に駆動機構部５を制御する制御値に変換する（ステップＳ１１２）。
　また、処理部１は、ステップＳ１１１の制御値の計算を行った後、ステップＳ１０１およびステップＳ１０３の処理を繰り返す。これにより、時間経過により徐々に移動体１００の移動に関する制御値を変化させることが可能となる。
（撮影用カメラ７の姿勢制御の処理フロー）
　図１０は、第１の実施の形態に係る移動体１００の制御方法によって、移動体１００に搭載された撮影用カメラ７のジンバル６を制御する場合の処理フローの一例を概略的に示している。
　処理部１は、自律中切替判定部１９において、ジンバル制御コントローラ部１１２の入力を確認する（ステップＳ２０１）。次に、処理部１は、ジンバル動作計画部２２において、手動制御の目的姿勢の設定をする（ステップＳ２０２）。
　一方、処理部１は、追跡対象３次元位置計算部１５において、追跡対象の３次元位置の確認をする（ステップＳ２０３）。次に、処理部１は、ジンバル動作計画部２２において、自律制御の目的姿勢の設定をする（ステップＳ２０４）。
　次に、処理部１は、自律／手動重み切替部２０において、自律制御の重みと手動制御の重みとを確認する（ステップＳ２０５）。次に、処理部１は、ジンバル動作計画部２２において、姿勢の計算を行う（ステップＳ２０６）。
　次に、処理部１は、ジンバル動作計画部２２によつて計算された姿勢を、ジンバル制御部４においてジンバル６の制御値に変換する（ステップＳ２０７）。
　また、処理部１は、ステップＳ２０６の姿勢の計算を行った後、ステップＳ２０１およびステップＳ２０３の処理を繰り返す。これにより、時間経過により徐々に撮影用カメラ７の姿勢制御を変化させることが可能となる。
［１．３　効果］
　以上説明したように、第１の実施の形態に係る移動体１００の制御方法によれば、自律制御の重みと手動制御の重みとを時間的に変化させる処理を行い、自律制御の重みと手動制御の重みとに基づいて、移動体１００の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う。これにより、自律制御と手動制御とのスムーズな切り替えを行うことが可能となる。
　第１の実施の形態に係る移動体１００の制御方法によれば、例えば、人や車を空撮しながら自律追尾する空撮用ドローンにおいて、追跡対象を見失った場合に、見失ったことをユーザに提示して手動操作をスムーズに促すようなことが可能となる。自律制御から手動制御へとスムーズに制御を切り替えて、手動で追跡対象を探索することが可能となる。追跡対象を発見したら、発見したことをユーザに提示して、自律で追跡をスムーズに再開させるようなことが可能となる。この場合、手動制御から自律制御へとスムーズに制御状態を移行させることが可能となる。例えば、急停止や急加速等することなく、スムーズに追跡対象の追跡を継続することが可能となる。
　また、空撮用ドローンにおいて、追跡対象の追跡や特定の地点を目指して自律飛行している場合に自律飛行する経路をユーザに提示し、ユーザの手動の入力があった場合に、新しい経路を提示しながら、スムーズに制御を自律制御から手動制御に切り替えることが可能となる。ユーザからの入力がなくなった場合には、元々の目的地に沿って自律飛行を再開することが可能となる。自律制御に対して、動的にユーザの意図を反映した撮影が可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
［１．４　変形例］
　なお、以上の説明では本開示の技術による制御装置、制御方法、およびプログラムを、移動体１００の内部の処理部１によって実現する例を挙げたが、本開示の技術は、移動体１００の外部の装置によって実現するようにしてもよい。ここで、外部の装置は、手動コントローラ１１０であってもよいし、手動コントローラ１１０とは別のＰＣ（パーソナルコンピュータ）やモバイル端末等の端末装置であってもよい。
　また、以上の説明では、自律制御の重み（第１の重み）と手動制御の重み（第２の重み）とに基づいて、自律制御と手動制御との切り替えを行う場合を例に説明したが、切り替えに用いる制御の重みは、１つのみであってもよい。この場合、制御の重みは、手動制御に対する自律制御の重み、または自律制御に対する手動制御の重みであってもよい。例えば、自律制御による制御状態から手動制御による制御状態へと移行させる場合、時間が経過するに従い自律制御が占める制御の割合を減少させるように、制御の重みを変化させればよい。例えば、制御の重みを、手動制御に対する自律制御の重みとする場合、時間が経過するに従い制御の重みを減少させる処理を行う。
＜２．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、移動体の制御状態に関する制御の重みを時間的に変化させる処理を行い、第１の重みと第２の重みとに基づいて、移動体の制御状態を自律制御による制御状態から手動制御による制御状態へと移行させる処理を行う。これにより、自律制御と手動制御とのスムーズな切り替えを行うことが可能となる。
（１）
　移動体を自律制御による制御状態で制御している場合に、前記移動体の手動制御を指示する入力を受け付ける処理を行うことと、
　前記移動体の手動制御を指示する入力に基づいて、前記移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、
　前記制御の重みに基づいて、前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行うことと
　を含む
　移動体の制御方法。
（２）
　前記制御の重みを時間的に変化させる処理として、
　時間が経過するに従い前記自律制御が占める制御の割合を減少させる処理を行う
　上記（１）に記載の移動体の制御方法。
（３）
　前記移動体の制御状態は、前記移動体の移動経路に関する制御状態である
　上記（１）または（２）に記載の移動体の制御方法。
（４）
　前記制御の重みに基づいて、前記移動体の移動経路を計算する処理を行うこと、
　をさらに含む
　上記（３）に記載の移動体の制御方法。
（５）
　前記制御の重みに基づいて、前記移動体の移動に関する制御値を計算する処理を行うこと、
　をさらに含む
　上記（１）または（２）に記載の移動体の制御方法。
（６）
　前記移動体の制御状態は、前記移動体に搭載された撮影用カメラの姿勢に関する制御状態である
　上記（１）ないし（５）のいずれか１つに記載の移動体の制御方法。
（７）
　前記手動制御を指示する入力値が所定の閾値以上となった場合に、前記手動制御による制御状態へと移行させる処理を開始する
　上記（１）ないし（６）のいずれか１つに記載の移動体の制御方法。
（８）
　前記移動体の手動制御を指示する入力として、特定の指示入力があった場合に、前記自律制御から前記手動制御へと強制的に切り替える処理を行うこと、
　をさらに含む
　上記（１）ないし（７）のいずれか１つに記載の移動体の制御方法。
（９）
　前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる場合に、前記移動体の制御状態の変化を提示する処理を行うこと、
　をさらに含む
　上記（１）ないし（８）のいずれか１つに記載の移動体の制御方法。
（１０）
　前記移動体の手動制御の停止を指示する入力を受け付ける処理を行うことと、
　前記制御の重みに基づいて、前記移動体の制御状態を前記手動制御による制御状態から前記自律制御による制御状態へと移行させる処理を行うことと
　をさらに含む
　上記（１）ないし（９）のいずれか１つに記載の移動体の制御方法。
（１１）
　前記制御の重みは、前記自律制御による制御状態に対する制御の重みを示す第１の重みと、前記手動制御による制御状態に対する制御の重みを示す第２の重みとを含む
　上記（１）ないし（１０）のいずれか１つに記載の移動体の制御方法。
（１２）
　前記制御の重みを時間的に変化させる処理として、
　時間が経過するに従い前記第１の重みを減少させると共に、前記第２の重みを増加させる処理を行う
　上記（１１）に記載の移動体の制御方法。
（１３）
　移動体を自律制御による制御状態で制御している場合に、前記移動体の手動制御を指示する入力を受け付ける処理を行う受付部と、
　前記移動体の手動制御を指示する入力に基づいて、前記移動体の制御状態に関する制御の重みを時間的に変化させる処理を行う重み切替部と、
　前記制御の重みに基づいて、前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行う移行処理部と
　を備える
　移動体の制御装置。
（１４）
　自律制御による制御状態で制御している場合に、手動制御を指示する入力を受け付ける処理を行う受付部と、
　前記手動制御を指示する入力に基づいて、前記制御状態に関する制御の重みを時間的に変化させる処理を行う重み切替部と、
　前記制御の重みに基づいて、制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行う移行処理部と
　を備える
　移動体。
（１５）
　移動体を自律制御による制御状態で制御している場合に、前記移動体の手動制御を指示する入力を受け付ける処理を行うことと、
　前記移動体の手動制御を指示する入力に基づいて、前記移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、
　前記制御の重みに基づいて、前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行うことと
　を含む処理をコンピュータに実行させる
　プログラム。
　本出願は、日本国特許庁において２０２０年３月３１日に出願された日本特許出願番号第２０２０－６４５７９号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (15)

  1. 　移動体を自律制御による制御状態で制御している場合に、前記移動体の手動制御を指示する入力を受け付ける処理を行うことと、
    　前記移動体の手動制御を指示する入力に基づいて、前記移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、
    　前記制御の重みに基づいて、前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行うことと
    　を含む
    　移動体の制御方法。
  2. 　前記制御の重みを時間的に変化させる処理として、
    　時間が経過するに従い前記自律制御が占める制御の割合を減少させる処理を行う
    　請求項１に記載の移動体の制御方法。
  3. 　前記移動体の制御状態は、前記移動体の移動経路に関する制御状態である
    　請求項１に記載の移動体の制御方法。
  4. 　前記制御の重みに基づいて、前記移動体の移動経路を計算する処理を行うこと、
    　をさらに含む
    　請求項３に記載の移動体の制御方法。
  5. 　前記制御の重みに基づいて、前記移動体の移動に関する制御値を計算する処理を行うこと、
    　をさらに含む
    　請求項１に記載の移動体の制御方法。
  6. 　前記移動体の制御状態は、前記移動体に搭載された撮影用カメラの姿勢に関する制御状態である
    　請求項１に記載の移動体の制御方法。
  7. 　前記手動制御を指示する入力値が所定の閾値以上となった場合に、前記手動制御による制御状態へと移行させる処理を開始する
    　請求項１に記載の移動体の制御方法。
  8. 　前記移動体の手動制御を指示する入力として、特定の指示入力があった場合に、前記自律制御から前記手動制御へと強制的に切り替える処理を行うこと、
    　をさらに含む
    　請求項１に記載の移動体の制御方法。
  9. 　前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる場合に、前記移動体の制御状態の変化を提示する処理を行うこと、
    　をさらに含む
    　請求項１に記載の移動体の制御方法。
  10. 　前記移動体の手動制御の停止を指示する入力を受け付ける処理を行うことと、
    　前記制御の重みに基づいて、前記移動体の制御状態を前記手動制御による制御状態から前記自律制御による制御状態へと移行させる処理を行うことと
    　をさらに含む
    　請求項１に記載の移動体の制御方法。
  11. 　前記制御の重みは、前記自律制御による制御状態に対する制御の重みを示す第１の重みと、前記手動制御による制御状態に対する制御の重みを示す第２の重みとを含む
    　請求項１に記載の移動体の制御方法。
  12. 　前記制御の重みを時間的に変化させる処理として、
    　時間が経過するに従い前記第１の重みを減少させると共に、前記第２の重みを増加させる処理を行う
    　請求項１１に記載の移動体の制御方法。
  13. 　移動体を自律制御による制御状態で制御している場合に、前記移動体の手動制御を指示する入力を受け付ける処理を行う受付部と、
    　前記移動体の手動制御を指示する入力に基づいて、前記移動体の制御状態に関する制御の重みを時間的に変化させる処理を行う重み切替部と、
    　前記制御の重みに基づいて、前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行う移行処理部と
    　を備える
    　移動体の制御装置。
  14. 　自律制御による制御状態で制御している場合に、手動制御を指示する入力を受け付ける処理を行う受付部と、
    　前記手動制御を指示する入力に基づいて、前記制御状態に関する制御の重みを時間的に変化させる処理を行う重み切替部と、
    　前記制御の重みに基づいて、制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行う移行処理部と
    　を備える
    　移動体。
  15. 　移動体を自律制御による制御状態で制御している場合に、前記移動体の手動制御を指示する入力を受け付ける処理を行うことと、
    　前記移動体の手動制御を指示する入力に基づいて、前記移動体の制御状態に関する制御の重みを時間的に変化させる処理を行うことと、
    　前記制御の重みに基づいて、前記移動体の制御状態を前記自律制御による制御状態から前記手動制御による制御状態へと移行させる処理を行うことと
    　を含む処理をコンピュータに実行させる
    　プログラム。
PCT/JP2021/011294 2020-03-31 2021-03-19 移動体の制御方法、移動体の制御装置、移動体、およびプログラム WO2021200254A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-064579 2020-03-31
JP2020064579 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200254A1 true WO2021200254A1 (ja) 2021-10-07

Family

ID=77928276

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011294 WO2021200254A1 (ja) 2020-03-31 2021-03-19 移動体の制御方法、移動体の制御装置、移動体、およびプログラム

Country Status (1)

Country Link
WO (1) WO2021200254A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309960A (ja) * 1997-05-12 1998-11-24 Toyota Motor Corp 自動走行車両制御装置
JPH10329575A (ja) * 1997-05-29 1998-12-15 Toyota Motor Corp 自動走行車両制御装置
JP2019010968A (ja) * 2017-06-30 2019-01-24 株式会社Ｓｏｋｅｎ 飛行装置
JP2019172112A (ja) * 2018-03-29 2019-10-10 株式会社Ｓｕｂａｒｕ 車両の運転支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309960A (ja) * 1997-05-12 1998-11-24 Toyota Motor Corp 自動走行車両制御装置
JPH10329575A (ja) * 1997-05-29 1998-12-15 Toyota Motor Corp 自動走行車両制御装置
JP2019010968A (ja) * 2017-06-30 2019-01-24 株式会社Ｓｏｋｅｎ 飛行装置
JP2019172112A (ja) * 2018-03-29 2019-10-10 株式会社Ｓｕｂａｒｕ 車両の運転支援システム

Similar Documents

Publication Publication Date Title
CN113518956B (zh) 用于可移动对象的自主控制和人工控制之间的切换的方法、系统及存储介质
EP3353497B1 (en) Systems and methods for generating an interactive user interface
US9798322B2 (en) Virtual camera interface and other user interaction paradigms for a flying digital assistant
JP7156305B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
KR20180062267A (ko) 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
WO2019111608A1 (ja) 制御装置、無人システム、制御方法及びプログラム
JP2020525335A (ja) 自動運転システムの人間による監視
JP6267275B2 (ja) 自動運転制御能力を有する車両を制御するための方法および装置
JPWO2019159232A1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
WO2020019110A1 (zh) 移动平台的辅助移动方法、移动装置及移动平台
WO2021212462A1 (zh) 移动控制方法、移动装置及移动平台
US20200001173A1 (en) Method and apparatus for driving an application
KR20190104264A (ko) 차량에 탑재되는 인공 지능 장치 및 그 방법
JP4467533B2 (ja) 折線追従移動ロボットおよび折線追従移動ロボットの制御方法
WO2019144298A1 (zh) 辅助移动方法、移动装置及可移动平台
WO2021200254A1 (ja) 移動体の制御方法、移動体の制御装置、移動体、およびプログラム
US20200012293A1 (en) Robot and method of providing guidance service by the robot
JP2015225490A (ja) 移動体の経路計画方法と装置
US20210064059A1 (en) Systems and methods for managing a transportation device fleet using teleoperation commands
KR20210050201A (ko) 로봇, 로봇의 작동 방법 및 상기 로봇을 포함하는 로봇 시스템
CN110770668A (zh) 可移动平台的控制方法、可移动平台及可读存储介质
CN115698890A (zh) 非完整移动机器人及其连续调节方法和系统
KR20190128425A (ko) 원통좌표계 기반 무인이동체 조종 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
WO2021039387A1 (ja) 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム
JP6975703B2 (ja) 車両制御装置及び車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21779717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP