WO2023189455A1 - データ処理方法、データ処理装置、プログラム、および移動体制御システム - Google Patents

データ処理方法、データ処理装置、プログラム、および移動体制御システム Download PDF

Info

Publication number
WO2023189455A1
WO2023189455A1 PCT/JP2023/009499 JP2023009499W WO2023189455A1 WO 2023189455 A1 WO2023189455 A1 WO 2023189455A1 JP 2023009499 W JP2023009499 W JP 2023009499W WO 2023189455 A1 WO2023189455 A1 WO 2023189455A1
Authority
WO
WIPO (PCT)
Prior art keywords
flight
data
moving
photographing
moving image
Prior art date
Application number
PCT/JP2023/009499
Other languages
English (en)
French (fr)
Inventor
厚史 泉原
直樹 内田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023189455A1 publication Critical patent/WO2023189455A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a data processing method, a data processing device, a program, and a mobile object control system, and in particular, a data processing method, a data processing device, a program, and a mobile object control system that allow intended movement to be easily realized. Regarding the system.
  • Patent Document 1 discloses that the subject position of a subject appearing in content is determined based on the photographing position, photographing direction, and subject distance of the photographing device, and the photographing method is determined based on the imaging surface size, focal length, and subject distance of the photographing device.
  • a content sharing device is disclosed that obtains a subject size by obtaining a range size.
  • Patent Document 1 According to the content sharing device disclosed in Patent Document 1, it is possible to reliably identify the subject of the shared content and easily manage the composition and camera work.
  • the present disclosure has been made in view of this situation, and is intended to enable intended movement to be easily realized.
  • the data processing device controls the first moving body to control movement of the second moving body based on a first moving image taken from the first moving body.
  • This is a data processing method for generating control data corresponding to a travel route of a vehicle.
  • the data processing device of the present disclosure provides control data corresponding to a moving route of the first moving body, for controlling movement of a second moving body, based on a moving image photographed from the first moving body.
  • This is a data processing device including a data generation unit that generates.
  • the program of the present disclosure causes a computer to control the movement of a second moving object based on a moving image taken from the first moving object, corresponding to the movement route of the first moving object.
  • This is a program for executing processing to generate data.
  • the mobile object control system of the present disclosure provides control corresponding to the movement path of the first mobile object to control movement of a second mobile object based on a moving image taken from the first mobile object.
  • the present invention is a mobile body control system including a data processing device that generates data, and the second mobile body that moves based on the control data.
  • control data corresponding to the movement route of the first moving object is generated for controlling movement of the second moving object based on a moving image photographed from the first moving object. Ru.
  • FIG. 1 is a diagram illustrating an overview of a mobile object control system according to a technology according to the present disclosure.
  • 2 is a flowchart illustrating an overview of the operation of the mobile object control system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a mobile object control system.
  • FIG. 1 is a block diagram showing a configuration example of a mobile object control system according to a first embodiment.
  • 3 is a flowchart illustrating the flow of flight data generation processing. It is a block diagram showing an example of composition of a mobile object control system of a 2nd embodiment. 3 is a flowchart illustrating the flow of flight data generation processing. It is a block diagram showing an example of composition of a mobile object control system of a 3rd embodiment.
  • 3 is a flowchart illustrating the flow of flight data generation processing. It is a block diagram showing an example of composition of a mobile object control system of a 4th embodiment. 3 is a flowchart illustrating the flow of flight data generation processing. It is a block diagram showing an example of composition of a mobile object control system of a 5th embodiment. 3 is a flowchart illustrating the flow of flight data generation processing. It is a block diagram showing an example of composition of a mobile object control system of a 6th embodiment. It is a block diagram showing an example of composition of a mobile object control system of a 7th embodiment. It is a flowchart explaining the flow of flight control processing. It is a block diagram showing an example of composition of a mobile object control system of an 8th embodiment.
  • FIG. 2 is a diagram illustrating an example to which the technology according to the present disclosure can be applied.
  • FIG. 2 is a diagram illustrating an example to which the technology according to the present disclosure can be applied.
  • FIG. 2 is a diagram illustrating an example to which the technology according to the present disclosure can be applied.
  • FIG. 2 is a diagram illustrating an example to which the technology according to the present disclosure can be applied.
  • FIG. 2 is a diagram illustrating an example to which the technology according to the present disclosure can be applied.
  • FIG. 2 is a diagram illustrating an example to which the technology according to the present disclosure can be applied.
  • FIG. 3 is a diagram showing an example of imaging characteristic parameters.
  • FIG. 3 is a diagram showing an example of imaging characteristic parameters.
  • FIG. 3 is a diagram showing an example of imaging characteristic parameters.
  • FIG. 3 is a diagram showing an example of imaging characteristic parameters. It is a diagram showing an example of the configuration of a computer.
  • control according to a template allows imaging with high reproducibility in a limited pattern, but tends to result in a one-sided and ordinary moving image.
  • FIG. 1 is a diagram illustrating an overview of a mobile object control system according to the technology according to the present disclosure.
  • a mobile object control system 1 shown in FIG. 1 is configured to include a data processing device 10 and a mobile object 20.
  • the data processing device 10 is configured by, for example, a cloud server provided on the cloud or a general-purpose computer such as a PC (Personal Computer).
  • a cloud server provided on the cloud
  • a general-purpose computer such as a PC (Personal Computer).
  • the data processing device 10 includes a control data generation section 11.
  • the control data generation unit 11 acquires a captured moving image taken from another moving body (first moving body), and generates control data for controlling the moving body 20 (second moving body). generate.
  • the control data is data corresponding to the movement route of another moving body, and includes information such as the movement route of the moving body 20, the speed and posture of the moving body 20 as it moves along the moving route, and data from the moving body 20, which will be described later. Contains control information for controlling photography, etc.
  • the mobile object 20 is, for example, a UAV (Unmanned Aerial Vehicle) (so-called drone) that flies autonomously, an autonomous vehicle that moves on land, an autonomous ship that moves on or in water, an autonomous mobile vacuum cleaner that moves indoors, etc. It is composed of autonomous mobile robots.
  • UAV Unmanned Aerial Vehicle
  • drone autonomous Aerial Vehicle
  • the mobile body 20 can move based on control data generated by the data processing device 10 (control data generation unit 11). Furthermore, the mobile object 20 is equipped with a camera 20C, and the user who is a video image creator can shoot a desired video using the camera 20C.
  • FIG. 2 is a flowchart illustrating an overview of the operation of the mobile object control system 1.
  • step S1 the control data generation unit 11 acquires a captured moving image (first moving image) captured from another moving object.
  • step S2 the control data generation unit 11 generates control data based on the captured moving image. Specifically, the control data generation unit 11 generates control data in response to a user's direct editing operation on the movement route of another moving object estimated from a captured video image, or Control data is generated that reflects the user's shooting intention and shooting environment regarding the moving image (second moving image).
  • the control data generated in this way controls the movement of the moving body 20 and controls the photography from the moving body 20 (camera 20C). Movement of the moving body 20 and photographing from the moving body 20 (camera 20C) may be controlled based on control data generated in advance, or may be controlled in real time based on control data generated sequentially. Good too.
  • FIG. 3 is a block diagram showing the hardware configuration of a mobile object control system to which the technology according to the present disclosure can be applied.
  • the mobile object control system 100 shown in FIG. 3 is composed of a client terminal 110, a server 130, a controller 150, and a mobile object 170.
  • the server 130 is communicably connected to each of the client terminal 110, controller 150, and mobile object 170 via a wired or wireless communication path. Further, the client terminal 110, the server 130, the controller 150, and the mobile object 170 that constitute the mobile object control system 100 may be connected to each other so as to be able to communicate with each other via a network NW such as the Internet.
  • NW such as the Internet
  • the client terminal 110 is composed of a PC or a tablet terminal operated by a user who operates and controls the mobile object 170.
  • the client terminal 110 includes a control section 111, a communication section 112, an input section 113, a display section 114, and a memory 115.
  • the control unit 111 is composed of a processor such as a CPU (Central Processing Unit), and controls each unit of the client terminal 110 by executing a predetermined program in response to input signals from the input unit 113 and the like.
  • a processor such as a CPU (Central Processing Unit)
  • CPU Central Processing Unit
  • the communication unit 112 is composed of a network interface and the like, and performs wireless or wired communication with the server 130.
  • the input unit 113 is composed of a keyboard, a mouse, a microphone, a touch panel, etc., and supplies input signals according to user operations to the control unit 111.
  • the display unit 114 is composed of a liquid crystal display, an organic EL (Electro-Luminescence) display, etc., and displays various information under the control of the control unit 111.
  • the memory 115 is composed of a nonvolatile memory such as a flash memory, and stores various information under the control of the control unit 111.
  • the client terminal 110 configured in this manner searches for captured moving images, inputs the shooting intention and shooting environment, and creates a travel route reproduced using control data generated by the server 130 in response to user operations. Confirmation/correction etc. are executed. Furthermore, at the client terminal 110, various processing results are presented to the user, such as control data generated by the server 130 and movement simulation results based on the control data.
  • the server 130 is configured by a cloud server provided on the cloud or a general-purpose computer such as a PC.
  • the server 130 includes a control section 131, a communication section 132, a display section 133, and a memory 134.
  • the control unit 131 is composed of a processor such as a CPU, and controls each unit of the server 130 by executing a predetermined program.
  • the communication unit 132 is configured with a network interface and the like, and performs wireless or wired communication with the client terminal 110, controller 150, and mobile object 170.
  • the display unit 133 is composed of a liquid crystal display, an organic EL display, etc., and displays various information under the control of the control unit 131.
  • the memory 134 is composed of a nonvolatile memory such as a flash memory, and stores various information under the control of the control unit 131.
  • control data based on captured moving images
  • construction of a neural network used for generation of control data simulation of movement based on control data, etc. are executed. These execution results are sent to the client terminal 110.
  • the generated control data is sent to mobile 170 via controller 150 or directly.
  • the constructed neural network may be sent to and installed on the mobile 170.
  • the controller 150 is configured by a radio or smartphone operated by a user who operates and controls the mobile object 170.
  • the controller 150 includes a control section 151, a communication section 152, an input section 153, a display section 154, and a memory 155.
  • the control unit 151 is composed of a processor such as a CPU, and controls each unit of the controller 150 by executing a predetermined program in response to input signals from the input unit 153 and the like.
  • the communication unit 152 is configured with a network interface and the like, and performs wireless or wired communication with the server 130. Furthermore, the communication unit 152 can also perform direct wireless communication with the mobile object 170.
  • the input unit 153 is composed of a stick, a switch, a button, a touch panel, etc., and supplies an input signal according to a user's operation to the control unit 151.
  • the display section 154 is composed of a liquid crystal display, an organic EL display, etc. in addition to various lamps, and displays various information under the control of the control section 151.
  • the memory 155 is composed of a nonvolatile memory such as a flash memory, and stores various information under the control of the control unit 151.
  • an operation signal corresponding to the user's operation is transmitted to the moving body 170. Further, in the controller 150, the state of the mobile object 170 is presented to the user as necessary.
  • the mobile object 170 includes a UAV (drone), an autonomous vehicle, an autonomous ship, an autonomous mobile robot such as an autonomous vacuum cleaner, and the like.
  • the moving body 170 includes a control section 171, a communication section 172, a camera 173, a sensor 174, and a drive section 175.
  • the control unit 171 is composed of a CPU, memory, etc., and controls the communication unit 172, camera 173, and drive unit 175 by executing a predetermined program.
  • the communication unit 172 is configured with a network interface and the like, and performs wireless or wired communication with the controller 150 and the server 130 for operating the mobile object 170.
  • the camera 173 photographs moving images under the control of the control unit 171. Furthermore, the camera 173 may be configured to capture moving images, not under the control of the control unit 171, but based on, for example, the control of an internal photography processing unit (such as a processor).
  • an internal photography processing unit such as a processor
  • the sensor 174 includes various sensors, and senses each direction around the moving body 170, including the direction of movement of the moving body 170. Autonomous movement of the mobile body 170 is realized by sensing the surroundings of the mobile body 170.
  • the drive unit 175 is a mechanism for moving the moving body 170, and includes a flight mechanism, a traveling mechanism, a propulsion mechanism, and the like.
  • the mobile object 170 is configured as a UAV
  • the drive unit 175 is configured with a motor, propeller, etc. as a flight mechanism.
  • the drive unit 175 is configured with wheels as a traveling mechanism
  • the drive unit 175 is configured as a propulsion mechanism. It consists of a screw propeller, etc.
  • the drive unit 175 is driven under the control of the control unit 171 to move the movable body 170.
  • control of movement of the mobile body 170 and control of photographing from the mobile body 170 are executed based on control data generated by the server 130.
  • both the moving object on which the photographed moving image is photographed and the moving object on which the user's desired moving image is photographed are UAVs (drones).
  • FIG. 4 is a block diagram illustrating a configuration example of a mobile object control system according to the first embodiment of the present disclosure.
  • the mobile object control system in FIG. 4 includes a search section 201, a flight data generation section 202, a simulation section 203, and a UAV 204.
  • Each configuration shown in FIG. 4 can be realized by the mobile object control system 100 described with reference to FIG. 3.
  • the search unit 201 may be realized by the client terminal 110 in FIG. 3.
  • the search unit 201 searches for captured moving images taken from other UAVs in response to user operations, and supplies the searched captured moving images to the flight data generation unit 202.
  • the search unit 201 searches for the composition and angle of view of the video, camera work, positional relationship with the subject to be gazed at, the moving route and speed at the time of shooting, and the location of the video that was input by the user.
  • a search for captured moving images is performed based on shooting characteristic parameters representing the shooting characteristics of the moving image, such as the structure of the environment in which the image was taken, and other free words.
  • the search unit 201 may search for and select captured moving images from sample moving images that can be previewed, for example.
  • the search unit 201 By operating the search unit 201, the user can find a captured moving image to be used as a reference when capturing a desired moving image.
  • the search engine that actually searches for captured moving images may be built into the client terminal 110 or may be located on the Web.
  • the flight data generation unit 202 and the simulation unit 203 can be realized by the server 130 in FIG. 3.
  • the flight data generation unit 202 performs flight control based on the captured video images from the search unit 201 in order to control the flight of the UAV 204 corresponding to the movement route (flight route) of the UAV on which the captured video images were captured. Data is generated and output to the simulation unit 203.
  • the flight data generation section 202 in FIG. 4 includes a flight data estimation section 211 and a flight data editing section 212.
  • the flight data estimation unit 211 estimates flight data including the flight route of the UAV in which the shot video was taken. For example, the flight data estimation unit 211 uses Visual SLAM (Simultaneous Localization and Mapping) using a monocular camera to calculate a map of the surrounding environment in which the UAV that captured the captured video image flew, and the UAV's movement route within the map. By doing so, the flight data is estimated.
  • Visual SLAM Simultaneous Localization and Mapping
  • the effects of distortion may remain or the scale may become unstable. Furthermore, when the movement route spans a long distance, the accuracy of SLAM decreases. However, when generating flight data in the later stage, it is important to obtain the elements used for later editing, and the influence of distortion and geometric accuracy of SLAM on the final imaging result is minor. Become. Furthermore, the uncertainty of the scale can be resolved by, for example, manually adjusting the scale.
  • the flight data editing unit 212 generates flight data by editing the estimated flight data (estimated flight data). Specifically, flight data editing section 212 generates flight control data in response to a user's direct editing operation of estimated flight data.
  • flight control data is generated by, for example, directly adding geometrical editing to the flight route corresponding to the estimated flight data displayed on the client terminal 110 by the user's operation.
  • control data adapted to the flight site of the UAV 204 is generated by editing the straight lines and curves representing the flight route and changing the subject to be gazed at.
  • the simulation unit 203 executes a flight simulation of the UAV 204 based on the flight control data generated by the flight data generation unit 202.
  • the flight simulation results are displayed on the client terminal 110.
  • the simulation unit 203 modifies the flight control data in response to a user's direct editing operation on the simulation results displayed on the client terminal 110.
  • the flight control data obtained by repeatedly checking and correcting the simulation results by the user is output to the UAV 204.
  • the UAV 204 corresponds to the mobile object 170 in FIG.
  • the flight and photographing of the UAV 204 are controlled based on flight control data generated by the flight data generation unit 202 and modified by the simulation unit 203.
  • step S11 the flight data generation unit 202 acquires the photographed video image searched by the search unit 201.
  • step S12 the flight data estimating unit 211 estimates flight data including the flight route of the UAV in which the photographed video was taken, based on the photographed video from the search unit 201.
  • step S13 the flight data editing unit 212 generates flight control data in response to the user's direct editing operation of the estimated flight data.
  • the flight control data generated in advance in this way controls the flight of the UAV 204 and controls the photography from the camera mounted on the UAV 204.
  • the flight data of the UAV that captured the captured video image is estimated, and flight control data is generated in accordance with the editing operation of the estimated flight data.
  • FIG. 6 is a block diagram illustrating a configuration example of a mobile object control system according to the second embodiment of the present disclosure.
  • the flight data generation section 202 includes a photographic feature extraction section 221 and a flight data generation model 222 in addition to the flight data estimation section 211 of FIG.
  • the photographic feature extraction unit 221 extracts the photographic feature parameters of the photographed image from the flight data estimated by the flight data estimation unit 211 (estimated flight data), and supplies them to the flight data generation model 222.
  • the photographing characteristic parameter is a human-understandable parameter that represents the photographing characteristic of a moving image.
  • the photographic feature extraction unit 221 performs learning by inputting actual flight data obtained by actually flying the UAV and outputting photographing characteristic parameters of moving images photographed during the flight. It consists of a machine learning model.
  • the flight data generation model 222 generates flight control data by applying the photography feature parameters extracted by the photography feature extraction unit 221 to the photography intention and photography environment input by the user.
  • the shooting intention input by the user corresponds to the shooting characteristics expressed by the shooting characteristic parameters, and includes, for example, the composition and angle of view of the video image desired by the user, camera work, positional relationship with the subject to be focused on, shooting, etc. Includes time travel routes.
  • the photographing environment input by the user also corresponds to the photographing characteristics represented by the photographing characteristic parameters, and is based on the structure of the environment in which the user's desired moving image is photographed (in which the UAV 204 flies), that is, the surroundings of the UAV 204.
  • the photographing environment may include people, vehicles, other moving bodies including flying objects, objects to be photographed, and objects to be excluded from the photographic targets.
  • the shooting environment may include people or objects that need to be separated by a predetermined distance or more to generate a flight path when the UAV 204 is flying, people or objects that need to be avoided during flight, or the sun or lighting.
  • the positional relationship between the light source and the subject may also be included.
  • the photographing environment may include latitude and longitude, map information including topography, season and time zone, weather and temperature, and the like.
  • flight control data is generated by adjusting, for example, imaging characteristics using a GUI (Graphical User Interface) by a user's operation.
  • GUI Graphic User Interface
  • the flight data generation model 222 is obtained by performing learning using the shooting characteristic parameters, shooting intention, and shooting environment as input, and outputting actual flight data obtained by actually flying the UAV under these conditions. It consists of a machine learning model.
  • step S21 the flight data generation unit 202 acquires the photographed video image searched by the search unit 201.
  • step S22 the flight data estimating unit 211 estimates flight data including the flight route of the UAV on which the photographed video was taken, based on the photographed video from the search unit 201.
  • step S23 the photographic feature extraction unit 221 extracts the photographic feature parameters of the photographed image from the estimated flight data estimated by the flight data estimation unit 211.
  • step S24 the flight data generation model 222 generates flight control data by applying the photographing feature parameters extracted by the photographing feature extraction unit 221 to the photographing intention and photographing environment input by the user.
  • the photographing feature parameters extracted by the photographing feature extraction unit 221 may be adjusted by the user and then input to the flight data generation model 222.
  • the flight control data generated in advance in this way controls the flight of the UAV 204 and controls the photography from the camera mounted on the UAV 204.
  • the actual flight data and video images obtained from the flight of the UAV 204 and the shooting from the UAV 204, as well as the shooting intention and shooting environment input by the user, are used in the learning of the shooting feature extraction unit 221 and the flight data generation model 222. It can be used for.
  • human-understandable shooting feature parameters are extracted from flight data estimated based on captured video images, and the shooting feature parameters are applied to the user's shooting intention and shooting environment. , flight control data is generated. This allows the user to easily achieve the intended flight by simply adjusting the flight and shooting characteristics that can be interpreted by the user, which in turn makes it easier to capture the user's desired video images. becomes.
  • FIG. 8 is a block diagram illustrating a configuration example of a mobile object control system according to a third embodiment of the present disclosure.
  • the flight data generation section 202 includes a flight data generation model 231 in addition to the flight data estimation section 211 of FIG.
  • the flight data generation model 231 generates flight control data by adapting the flight data estimated by the flight data estimation unit 211 (estimated flight data) to the shooting intention and shooting environment input by the user.
  • flight control data is generated by the user's operation on the client terminal 110, for example, by inputting text expressing the shooting intention or shooting environment, or by selecting the shooting intention or shooting environment using the GUI. Ru.
  • the flight data generation model 231 is obtained by learning with estimated flight data, shooting intention, and shooting environment as input, and actual flight data obtained by actually flying the UAV under these conditions as output. It consists of a machine learning model.
  • step S31 the flight data generation unit 202 acquires the captured video image searched by the search unit 201.
  • step S32 the flight data estimating unit 211 estimates flight data including the flight route of the UAV in which the photographed video was taken, based on the photographed video from the search unit 201.
  • step S33 the flight data generation model 231 generates flight control data by adapting the estimated flight data estimated by the flight data estimation unit 211 to the shooting intention and shooting environment input by the user.
  • the flight control data generated in advance in this way controls the flight of the UAV 204 and controls the photography from the camera mounted on the UAV 204.
  • flight control data is generated by adapting the flight data estimated based on the shot video image to the user's shooting intention and shooting environment. This allows the user to easily achieve the intended flight by simply inputting his or her own shooting intention and the shooting environment in which the UAV 204 is to be flown, which in turn makes it easier to produce the user's desired video images. It becomes possible to take pictures.
  • the captured image searched by the search unit 201 is a moving image associated with actual flight data or shooting intention
  • the captured image is The estimated flight data and photographing characteristic parameters obtained become the actual flight data and photographing intention itself.
  • flight data estimation and imaging feature parameter extraction can be skipped, and the accuracy up to flight control data generation can be improved.
  • FIG. 10 is a block diagram illustrating a configuration example of a mobile object control system according to a fourth embodiment of the present disclosure.
  • the flight data generation section 202 includes a photographic feature extraction section 241 and a flight data generation model 242.
  • the photographic feature extraction unit 241 extracts photographic feature parameters directly from the photographed moving image from the search unit 201 and supplies them to the flight data generation model 242.
  • the photographing characteristic parameter is a human-understandable parameter that represents the photographing characteristic of a moving image.
  • the photographic feature extraction unit 241 is configured with a machine learning model obtained by performing learning using, for example, a moving image photographed by an actual flight of a UAV as an input, and the photographing characteristic parameters of the video image as an output. be done.
  • the flight data generation model 242 generates flight control data by applying the photography feature parameters extracted by the photography feature extraction unit 241 to the photography intention and photography environment input by the user.
  • flight control data is generated in the client terminal 110 by a user's operation, for example, by adjusting shooting characteristics using a GUI.
  • the flight data generation model 242 is obtained by performing learning using the shooting characteristic parameters, shooting intention, and shooting environment as input, and outputting actual flight data obtained by actually flying the UAV under these conditions. It consists of a machine learning model.
  • step S41 the flight data generation unit 202 acquires the captured video image searched by the search unit 201.
  • step S ⁇ b>42 the shooting feature extraction unit 241 extracts shooting feature parameters from the shot moving image from the search unit 201 .
  • step S43 the flight data generation model 242 generates flight control data by applying the photographing feature parameters extracted by the photographing feature extraction unit 241 to the photographing intention and photographing environment input by the user.
  • the flight control data generated in advance in this way controls the flight of the UAV 204 and controls the photography from the camera mounted on the UAV 204.
  • the actual flight data and video images obtained from the flight of the UAV 204 and the shooting from the UAV 204, as well as the shooting intention and shooting environment input by the user, are used in the learning of the shooting feature extraction unit 241 and the flight data generation model 242. It can be used for.
  • human-understandable shooting feature parameters are extracted from the captured video image, and flight control data is generated by applying the shooting feature parameters to the user's shooting intention and shooting environment. .
  • This allows the user to easily achieve the intended flight by simply adjusting the flight and shooting characteristics that can be interpreted by the user, which in turn makes it easier to capture the user's desired video images. becomes.
  • FIG. 12 is a block diagram illustrating a configuration example of a mobile object control system according to a fifth embodiment of the present disclosure.
  • the flight data generation section 202 has a flight data generation model 251.
  • the flight data generation model 251 generates flight control data adapted to the shooting intention and shooting environment input by the user, based on the shot video from the search unit 201.
  • flight control data is generated by the user's operation on the client terminal 110, for example, by inputting text expressing the shooting intention or shooting environment, or by selecting the shooting intention or shooting environment using the GUI. Ru.
  • the flight data generation model 251 was obtained by learning by inputting a video image, shooting intention, and shooting environment, and outputting actual flight data obtained by actually flying a UAV under these conditions. Consists of machine learning models.
  • a technique for estimating the trajectory of a camera position from a moving image using SfM can be applied to the analysis of flight data based on a moving image.
  • step S51 the flight data generation unit 202 acquires the photographed video image searched by the search unit 201.
  • step S52 the flight data generation model 251 generates flight control data adapted to the shooting intention and shooting environment input by the user, based on the shot video from the search unit 201.
  • the flight control data generated in advance in this way controls the flight of the UAV 204 and controls the photography from the camera mounted on the UAV 204.
  • flight control data adapted to the user's shooting intention and shooting environment is generated based on the shot moving image. This allows users to easily achieve their intended flight by simply inputting their own shooting intentions and the shooting environment in which they want the UAV 204 to fly. It becomes possible to take pictures.
  • FIG. 14 is a block diagram illustrating a configuration example of a mobile object control system according to a sixth embodiment of the present disclosure.
  • the flight data generation section 202 has a flight data generation model 261. Further, the flight data generation unit 202 receives, for example, shooting characteristic parameters specified by the user at the client terminal 110 instead of the shot moving images from the search unit 201.
  • the flight data generation model 261 generates flight control data by applying the photographing characteristic parameters specified by the user to the photographing intention and photographing environment input by the user.
  • flight control data is generated by the user's operation on the client terminal 110, for example, by inputting text expressing the shooting intention or shooting environment, or by selecting the shooting intention or shooting environment using the GUI. Ru.
  • the flight data generation model 261 is obtained by performing learning using the shooting characteristic parameters, shooting intention, and shooting environment as input, and outputting actual flight data obtained by actually flying the UAV under these conditions. It consists of a machine learning model.
  • flight control data that is adapted to the user's shooting intention and shooting environment without having to prepare a source moving image.
  • the user can enjoy generating flight control data in a more exploratory manner, such as by discovering unexpected movements of the UAV.
  • the embodiment described above can be applied to a case where a flight plan (scenario) from the start to the end of a flight is created by generating flight control data in advance and repeating confirmation and correction.
  • a flight plan prepared in advance it is not possible to cope with situations such as longer-than-scheduled filming or the occurrence of unforeseen circumstances.
  • FIG. 15 is a block diagram illustrating a configuration example of a mobile object control system according to a seventh embodiment of the present disclosure.
  • the mobile object control system in FIG. 15 includes a search section 301, a photographic feature extraction section 302, a flight control section 303, a drive section 304, and a camera 305.
  • Each configuration shown in FIG. 15 can also be realized by the mobile object control system 100 described with reference to FIG. 3.
  • the search unit 301 may be realized by the client terminal 110 in FIG. 3.
  • the search unit 301 searches for captured moving images taken from other UAVs in response to user operations, and supplies the searched captured moving images to the captured feature extraction unit 302.
  • the imaging feature extraction unit 302 can be realized by the server 130 in FIG. 3.
  • the photographic feature extraction unit 302 extracts photographic feature parameters directly from the photographed moving image from the search unit 301 and supplies them to the flight control unit 303.
  • the photographing characteristic parameter is a human-understandable parameter that represents the photographing characteristic of a moving image.
  • the flight control unit 303, drive unit 304, and camera 305 can be realized by the mobile object 170 (UAV) in FIG. 3.
  • the flight control unit 303 controls the flight of the UAV and the photography from the UAV by controlling a drive unit 304 corresponding to the drive unit 175 in FIG. 3 and a camera 305 corresponding to the camera 173 in FIG.
  • the flight control unit 303 has a flight data generation model 311 installed in the UAV in advance.
  • the flight data generation model 311 sequentially generates flight control data by applying the photographing feature parameters extracted by the photographing feature extraction unit 302 to the photographing intention and photographing environment input by the user. At this time, the photographic feature parameters extracted by the photographic feature extraction unit 302 may be adjusted by the user and then input to the flight data generation model 311.
  • the flight control data is generated by adjusting the imaging characteristics using a GUI, for example, by a user's operation.
  • the imaging feature parameters may be installed in the UAV in advance together with the flight data generation model 311.
  • the flight data generation model 311 is obtained by performing learning using the shooting characteristic parameters, shooting intention, and shooting environment as input, and outputting actual flight data obtained by actually flying the UAV under these conditions. It consists of a machine learning model.
  • the process of FIG. 16 is started, for example, when the controller 150 instructs the mobile object 170 (UAV) to start flight, and is repeated until the end of flight is instructed.
  • UAV mobile object 170
  • step S111 the flight control unit 303 acquires the photographing characteristic parameters from the server 130.
  • step S112 the flight data generation model 311 generates flight control data by applying the acquired photographic feature parameters to the photographing intention and photographing environment input by the user.
  • the flight control data sequentially generated in this way controls the flight of the UAV and controls the photography from the camera mounted on the UAV.
  • flight control data is sequentially generated by applying human-understandable shooting characteristic parameters extracted from captured video images to the user's shooting intention and shooting environment, and the flight is controlled. be done. This allows the user to easily achieve the intended flight by simply adjusting the flight and shooting characteristics that can be interpreted by the user, which in turn makes it easier to capture the user's desired video images. becomes.
  • FIG. 17 is a block diagram illustrating a configuration example of a mobile object control system according to an eighth embodiment of the present disclosure.
  • the photographing feature extraction section 302 is not provided, and the flight control section 303 has the flight data generation model 321.
  • the search unit 301 searches for captured moving images taken from other UAVs in response to a user's operation, and supplies the searched captured moving images to the flight control unit 303 via the server 130. .
  • the flight data generation model 321 generates flight control data adapted to the shooting intention and shooting environment input by the user, based on the shot video from the search unit 301.
  • flight control data is generated by the user's operation on the client terminal 110 or the controller 150, for example, by inputting text expressing the shooting intention or shooting environment, or by selecting the shooting intention or shooting environment using the GUI. is generated.
  • the flight data generation model 321 was obtained by learning by inputting a video image, shooting intention, and shooting environment, and outputting actual flight data obtained by actually flying a UAV under these conditions. Consists of machine learning models.
  • the process in FIG. 18 is started, for example, when the controller 150 instructs the mobile object 170 (UAV) to start flight, and is repeated until the end of flight is instructed.
  • UAV mobile object 170
  • step S121 the flight control unit 303 acquires a photographed image from the search unit 301.
  • step S122 the flight data generation model 321 generates flight control data adapted to the shooting intention and shooting environment input by the user, based on the shot video from the search unit 201.
  • the flight control data sequentially generated in this way controls the flight of the UAV and controls the photography from the camera mounted on the UAV.
  • flight control data adapted to the user's shooting intention and shooting environment is sequentially generated based on the shot moving image, and the flight is controlled. This allows users to easily achieve the intended flight by simply inputting their own shooting intentions and the shooting environment in which they want the UAV to fly, which in turn makes it easier to produce the user's desired video images. It becomes possible to take pictures.
  • flight control data is generated in advance (pre-creation of a flight plan) and an embodiment in which flight control data is generated sequentially (sequential execution of flight control). It's okay.
  • flight control data generated for a certain environment can be cut and pasted through geometric editing, partially reversed playback, end point connections, etc., making it possible to repeat the same flight for a long time. It may be possible to do so.
  • FIG. 19 is a diagram illustrating a first example to which the technology according to the present disclosure can be applied.
  • FIG. 19 shows a captured moving image V510 captured from a moving object (UAV) that flew along route R510.
  • the photographed moving image V510 is a moving image photographed by a UAV flying past the roof of a house, which is a subject of interest.
  • a moving image V520 desired by the user is shown, which was shot from a UAV that flew using flight control data generated based on the shot moving image V510.
  • the moving image V520 is a moving image taken from a UAV that is descending and flying past a steel tower that is the object of interest.
  • the photographed video image V510 and the video image V520 show a route in which the subject of interest is descended while approaching the subject of interest from a distance and passes close to the subject of interest, and a route in which the subject of interest is kept within the angle of view until passing near the subject of interest.
  • the same structure is common. This can be realized, for example, by using photographic feature parameters extracted directly or indirectly from the photographed moving image V510.
  • the captured moving image V510 and the moving image V520 differ in the subject of interest and its size (height), and the scale of the route accordingly differs, so the distance and flight speed of the entire route are different.
  • This can be realized, for example, by applying photographing feature parameters directly or indirectly extracted from the photographed moving image V510 to the user's photographing intention.
  • the object to be the subject of interest in the photographed moving image V510 is selected, and the object (point of gaze wp) to be the subject of interest in the moving image V520 must be designated by the user at the start of shooting the moving image V520. be.
  • the example in FIG. 19 can be realized by the mobile object control system of any one of the first to sixth embodiments, in which flight and photographing of the UAV are controlled by flight control data generated in advance.
  • FIG. 20 is a diagram illustrating a second example to which the technology according to the present disclosure can be applied.
  • FIG. 20 shows a photographed moving image V510 taken from a mobile object (UAV) that flew along route R510.
  • UAV mobile object
  • the lower part of FIG. 20 shows a route R530 of the UAV flown using flight control data generated based on the photographed moving image V510.
  • the moving image taken by flying along route R530 is taken from a UAV flying indoors, grazing over the person who is the subject of interest.
  • the photographed video image V510 and the video image taken by flying along the route R530 show two routes: descending while approaching the subject of interest from a distance, and passing close to the subject of interest; , a common composition is that the subject of interest is kept within the angle of view. This can be realized, for example, by using photographic feature parameters extracted directly or indirectly from the photographed moving image V510.
  • the photographed video image V510 and the video image taken while flying along route R530 differ in the subject of interest and its size (height), and the scale of the route also differs accordingly.
  • the overall distance and flight speed are different.
  • route R530 is an indoor flight, the structure of the environment is subject to change. This can be realized, for example, by applying the shooting feature parameters directly or indirectly extracted from the shot moving image V510 to the user's shooting intention and the shooting environment.
  • FIG. 20 can also be realized by the mobile object control system of any one of the first to sixth embodiments, in which flight and photographing of the UAV are controlled by flight control data generated in advance.
  • FIG. 21 is a diagram illustrating a third example to which the technology according to the present disclosure can be applied.
  • a photographed moving image V610 photographed from a mobile object (UAV) that flew along route R610 is shown.
  • the photographed moving image V610 is a moving image photographed by a UAV flying around a building that is an object of interest while photographing the building.
  • the lower part of FIG. 21 shows a route R620 of the UAV flown by the flight control data generated based on the photographed video image V610, and a video image V620 desired by the user that was photographed by flying along the route R620. has been done.
  • the moving image V620 is a moving image shot by a UAV flying while shooting a tree as a subject of interest while avoiding other trees around the tree.
  • Photographed video image V610 and video image V620 have in common a route (route R610, R620) that circles around the subject of interest, and a composition that keeps the subject of interest within the angle of view while circling. This can be realized, for example, by using photographic feature parameters extracted directly or indirectly from the photographed moving image V610.
  • the photographed moving image V610 and the moving image V620 differ in the subject of interest and its size, and the scale of the route accordingly differs, so the distance and flight speed of the entire route are different.
  • route R620 is a flight that avoids other trees
  • the structure of the environment is subject to change. This can be realized, for example, by applying the shooting feature parameters directly or indirectly extracted from the shot moving image V610 to the user's shooting intention and the shooting environment.
  • the route R620 may be changed depending on the structure of the environment (the spacing between trees).
  • FIG. 21 can also be realized by the mobile object control system of any one of the first to sixth embodiments, in which flight and photographing of the UAV are controlled by flight control data generated in advance.
  • FIG. 22 is a diagram illustrating a fourth example to which the technology according to the present disclosure can be applied.
  • FIG. 22 On the left side of FIG. 22, a cut of a video image V710 taken from a moving object (UAV) flying parallel to a person cycling in the summer mountains is shown.
  • UAV moving object
  • FIG. 22 shows one cut of a moving image V720 taken from a UAV flying parallel to a person skiing in a winter mountain, using flight control based on the already shot moving image V710.
  • the captured video image V710 and the video image V720 show the position of the light source (sun) in the screen (the point where the sun is located above the screen), the scale and position of the person who is the subject of interest in the screen, and They have the same posture (the person is moving sideways at the bottom of the screen). Furthermore, the photographed video image V710 and the video image V720 differ in terms of the positional relationship between the ground and the camera (the UAV is flying low near the ground) and the proportion of the background on the screen (the top half of the screen is the background). are common. This can be realized, for example, by using shooting feature parameters directly or indirectly extracted from the shot moving image V710.
  • the photographed video image V710 and the video image V720 differ in the moving direction of the person who is the subject of interest (uphill or downhill), the season and location of the environment, the state of the background, and the presence or absence of obstacles. are different. Furthermore, the number of objects of interest may be different between the shot moving image V710 and the moving image V720. This can be realized, for example, by applying the shooting feature parameters directly or indirectly extracted from the shot moving image V710 to the user's shooting intention and the shooting environment.
  • the flight and shooting of the UAV is controlled by flight control data that is sequentially generated. This can be realized by the mobile object control system of the seventh or eighth embodiment.
  • FIG. 23 is a diagram illustrating a fifth example to which the technology according to the present disclosure can be applied.
  • FIG. 23 shows the path R810 of a moving object (UAV) circling around a person while photographing the person from the chest up (bust shot) in an open space without obstacles. .
  • UAV moving object
  • FIG. 23 shows a route R820 of the UAV flown in a space where there is an obstacle B20 based on flight control data generated based on a captured video image taken while flying along route R810.
  • Photographing along route R810 and photographing along route R820 have in common the way the person who is the subject of interest appears in the moving image (the bust shot). This can be realized, for example, by using photographic feature parameters extracted directly or indirectly from the photographed moving image on route R810.
  • route R820 is a route that avoids obstacle B20, unlike route R820. This can be realized, for example, by applying the shooting feature parameters directly or indirectly extracted from the shot moving image V810 to the user's shooting intention and the shooting environment.
  • the photographing along the route R820 is such that the photographing intention of wanting to clearly photograph the upper body of the person is utilized.
  • the moving image may be taken along a route R830 that includes the obstacle B30. Photographing along the route R830 allows for some reflection of the obstacle B30, while still taking advantage of the photographic intention of clearly photographing the upper body of the person.
  • FIGS. 23 and 24 can be realized by the mobile object control system of any one of the first to sixth embodiments, in which flight and photographing of the UAV are controlled by flight control data generated in advance.
  • Example of shooting intention (shooting characteristic parameters)> An example of photographing characteristic parameters applied to a user's photographing intention will be described. Here, it is assumed that the photographing characteristic parameter and the photographing intention are synonymous. There are two types of photographic intentions: those that do not take time into consideration (which are constant regardless of the passage of time) and those that do take time into account (which may change depending on the time result).
  • Position of subject within the screen This is a composition when capturing a subject in front of the camera within the screen, such as the Japanese flag composition where the subject is placed in the center of the screen.
  • the coordinate position within the screen at which the center of the subject is located is set as a parameter. In which region of the regions divided by the rule of thirds the center of the subject is located may be set as a parameter.
  • the left side of FIG. 25 shows an example where 90° ⁇ 270°, and the way the light hits the subject SB is backlighting.
  • the right side of FIG. 25 shows an example of 0° ⁇ 90° (270° ⁇ 360°), and the way the light hits the subject SB is front lighting.
  • 90° ⁇ 180° the light source LS is located on the left side of the screen
  • 180° ⁇ 270° the light source LS is located on the right side of the screen. It becomes like this.
  • the user may specify the way the light hits the screen, such as front lighting or back lighting, or the position of the light source LS in the screen (right side or left side).
  • Sense of Scale and Posture of a Person For the sense of scale of a person, for example, how much of the human skeleton is reflected is set as a parameter. Specifically, if only the face is shown, face-up shooting is used, and if the face, chest, and waist are shown, bust-up shooting is used. In addition, if the image shows everything from the face to the toes, the photo will be taken as a full-body photo.
  • the vertical distance d between the camera CAM and the ground is set as a parameter. In particular, by setting the distance d small, it is possible to capture moving images with a sense of speed.
  • Ratio of the background on the screen is the ratio of the area behind the subject extracted by determining the depth of the subject using monocular depth estimation technology to the entire screen (all pixels) ⁇ It is required as.
  • the ratio ⁇ is set as a parameter.
  • the shooting intention is to take a clear picture of the upper half of the person's body, and it is set whether it is a tilted composition or a bird's-eye view composition.
  • the attitude ⁇ of the camera CAM with respect to the subject SB shown in FIG. 26 is set as a parameter.
  • Geometric posture of the camera The horizontal angle ⁇ 1 and the vertical angle ⁇ 2 in the three-dimensional coordinate system may be set as the camera orientation. Instead of the angles ⁇ 1 and ⁇ 2, the angle of looking up, the angle of looking down, directly below, etc. may be specified by the user. The orientation of the camera can also be set indirectly by other parameters.
  • the height h and width w of the detection frame in which the subject is detected may be set as the size of the subject relative to the screen.
  • the user may specify a size level such as large, medium, or small.
  • the position of the subject within the screen mentioned above in (1) may be set by the center coordinates (x, y) of the detection frame shown in FIG. 27, or the position preset within the screen may be set by the user. May be specified.
  • a frequency ⁇ (Hz) and a shaking width s (pixel) may be set using a motion estimation technique based on Dense Optical Flow.
  • preset swaying such as walking, running, train, automobile, off-road car, etc. may be prepared and specified by the user.
  • zoom rate is set as a parameter.
  • the zoom rate may vary due to the fact that the 35mm equivalent focal length x (mm) changes by ⁇ y (mm) per second, or that the size of the subject changes relative to the moving image at the start of shooting by z% per second. can be defined as
  • Relationship with dynamic obstacles It may be selectively set whether to avoid moving obstacles so that they are not shown or to allow the obstacles to be hidden behind the subject (occlusion). For example, after calculating a route that minimizes occlusion, you can set a prohibited area around an obstacle, and then distort the route in a direction that avoids the obstacle according to the set prohibited area, so that the obstacle is not visible. You can set a route.
  • Speed of camerawork For example, slow camerawork may be set for scenes with high importance, and fast camerawork may be set for scenes with low importance.
  • the left/right rotation, upward/downward movement, angular velocity, etc. of the camera (moving object) are set.
  • the left/right rotation, upward/downward movement, speed, etc. of the camera (moving object) are set.
  • the closest distance of the camera (moving body) to the subject ascent/descent, angular velocity, etc. are set.
  • the distance r between the camera CAM and the subject SB and the moving direction of the subject SB are determined as the positional relationship with the subject, as shown in FIG.
  • the angle ⁇ is set.
  • the maximum angular velocity, maximum angular acceleration, maximum speed, and maximum acceleration of the camera described in (11) above may be set.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer built into dedicated hardware and, for example, a general-purpose personal computer that can execute various functions by installing various programs.
  • FIG. 29 is a block diagram showing an example of a hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU 901 In the computer, a CPU 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903 are interconnected by a bus 904.
  • a bus 904. In the computer, a CPU 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903 are interconnected by a bus 904.
  • An input/output interface 905 is further connected to the bus 904.
  • An input section 906, an output section 907, a storage section 908, a communication section 909, and a drive 910 are connected to the input/output interface 905.
  • the input unit 906 consists of a keyboard, mouse, microphone, etc.
  • the output unit 907 includes a display, a speaker, and the like.
  • the storage unit 908 includes a hard disk, nonvolatile memory, and the like.
  • the communication unit 909 includes a network interface and the like.
  • the drive 910 drives a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 for example, loads a program stored in the storage unit 908 into the RAM 903 via the input/output interface 905 and the bus 904 and executes the program, thereby executing the above-described series. processing is performed.
  • a program executed by the computer (CPU 901) can be provided by being recorded on a removable medium 911 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
  • a program can be installed in the storage unit 908 via the input/output interface 905 by installing a removable medium 911 into the drive 910. Further, the program can be received by the communication unit 909 via a wired or wireless transmission medium and installed in the storage unit 908. Other programs can be installed in the ROM 902 or the storage unit 908 in advance.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • the technology according to the present disclosure can have the following configuration.
  • the data processing device Data processing that generates control data corresponding to the movement route of the first moving object to control movement of the second moving object based on a first moving image taken from the first moving object.
  • Method. (2) Based on the control data generated in advance based on the first moving image, at least one of movement of the second moving body and photographing from the second moving body is controlled. The data processing method described in 1). (3) estimating movement data including the movement route of the first moving object based on the first moving image; The data processing method according to (2), wherein the control data is generated by editing the estimated movement data.
  • the control data is generated by applying the photographing feature parameter extracted from the first moving image to the photographing intention.
  • the control data adapted to the shooting environment is generated based on the first moving image.
  • a data generation unit that generates control data corresponding to the movement route of the first moving body, for controlling the movement of the second moving body, based on a moving image taken from the first moving body. Data processing equipment.
  • control data corresponding to the movement route of the first moving body for controlling the movement of the second moving body based on a moving image taken from the first moving body; and executing a process. program.
  • a data processing device that generates control data corresponding to the movement route of the first moving body, for controlling the movement of the second moving body, based on a moving image taken from the first moving body;
  • a mobile body control system comprising: the second mobile body that moves based on the control data.
  • 1 Mobile object control system 10 Data processing device, 11 Data generation unit, 20 Mobile object, 20C camera, 100 Mobile object control system, 110 Client terminal, 130 Server, 150 Controller, 170 Mobile object, 201 Search Department, 202 Flight data Generation unit, 203 Simulation unit, 204 UAV, 301 Search unit, 302 Photography feature extraction unit, 303 Flight control unit, 304 Drive unit, 305 Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本開示は、意図した通りの移動を簡単に実現することができるようにするデータ処理方法、データ処理装置、プログラム、および移動体制御システムに関する。 データ処理装置は、第１の移動体から撮影された第１の動画像に基づいて、第２の移動体の移動を制御するための、第１の移動体の移動経路に対応した制御データを生成する。本開示に係る技術は、例えば、ＵＡＶなどの移動体を制御する移動体制御システムに適用することができる。

Description

データ処理方法、データ処理装置、プログラム、および移動体制御システム
　本開示は、データ処理方法、データ処理装置、プログラム、および移動体制御システムに関し、特に、意図した通りの移動を簡単に実現できるようにするデータ処理方法、データ処理装置、プログラム、および移動体制御システムに関する。
　特許文献１には、撮影装置の撮影位置、撮影方向、および被写体距離に基づいて、コンテンツに映る被写体の被写体位置を求めるとともに、撮影装置の撮像面サイズ、焦点距離、および被写体距離に基づいて撮影範囲サイズを求めることで、被写体サイズを求めるコンテンツ共有装置が開示されている。
　特許文献１に開示されているコンテンツ共有装置によれば、共有コンテンツについて、被写体を確実に特定でき、構図やカメラワークを容易に管理することが可能となる。
特開２０１１－７８００８号公報
　近年、広範囲を高速かつ高い自由度で移動可能な移動体を用いることで、ダイナミックな動画像を撮影することが可能となりつつある。しかしながら、意図した通りに移動体を操縦・制御することは難しく、所望の動画像を撮影することは容易でなかった。
　本開示は、このような状況に鑑みてなされたものであり、意図した通りの移動を簡単に実現できるようにするものである。
　本開示のデータ処理方法は、データ処理装置が、第１の移動体から撮影された第１の動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ処理方法である。
　本開示のデータ処理装置は、第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ生成部を備えるデータ処理装置である。
　本開示のプログラムは、コンピュータに、第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成する処理を実行させるためのプログラムである。
　本開示の移動体制御システムは、第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ処理装置と、前記制御データに基づいて移動する前記第２の移動体とを含む移動体制御システムである。
　本開示においては、第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データが生成される。
本開示に係る技術の移動体制御システムの概要を示す図である。 移動体制御システムの動作の概要について説明するフローチャートである。 移動体制御システムのハードウェア構成例を示すブロック図である。 第１の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行データ生成処理の流れについて説明するフローチャートである。 第２の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行データ生成処理の流れについて説明するフローチャートである。 第３の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行データ生成処理の流れについて説明するフローチャートである。 第４の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行データ生成処理の流れについて説明するフローチャートである。 第５の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行データ生成処理の流れについて説明するフローチャートである。 第６の実施形態の移動体制御システムの構成例を示すブロック図である。 第７の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行制御処理の流れについて説明するフローチャートである。 第８の実施形態の移動体制御システムの構成例を示すブロック図である。 飛行制御処理の流れについて説明するフローチャートである。 本開示に係る技術が適用され得る事例について説明する図である。 本開示に係る技術が適用され得る事例について説明する図である。 本開示に係る技術が適用され得る事例について説明する図である。 本開示に係る技術が適用され得る事例について説明する図である。 本開示に係る技術が適用され得る事例について説明する図である。 本開示に係る技術が適用され得る事例について説明する図である。 撮影特徴パラメータの例を示す図である。 撮影特徴パラメータの例を示す図である。 撮影特徴パラメータの例を示す図である。 撮影特徴パラメータの例を示す図である。 コンピュータの構成例を示す図である。
　以下、本開示を実施するための形態（以下、実施形態とする）について説明する。なお、説明は以下の順序で行う。
　１．背景
　２．本開示に係る技術の概要
　３．移動体制御システムのハードウェア構成
　４．第１の実施形態（推定飛行データの編集操作に応じた飛行データの生成）
　５．第２の実施形態（推定飛行データを用いた飛行データの生成（１））
　６．第３の実施形態（推定飛行データを用いた飛行データの生成（２））
　７．第４の実施形態（動画像を直接用いた飛行データの生成（１））
　８．第５の実施形態（動画像を直接用いた飛行データの生成（２））
　９．第６の実施形態（動画像を用いない飛行データの生成）
　10．第７の実施形態（動画像を直接用いた飛行制御（１））
　11．第８の実施形態（動画像を直接用いた飛行制御（２））
　12．本開示に係る技術が適用され得る事例
　13．撮影意図（撮影特徴パラメータ）の例
　14．コンピュータの構成例
＜１．背景＞
　近年、広範囲を高速かつ高い自由度で移動可能な移動体を用いることで、ダイナミックな動画像を撮影することが可能となりつつある。しかしながら、なめらかに意図した移動経路を移動するよう移動体を操作することは難しく、さらには、撮影を行いながら、安全を確保することは容易でなかった。当然、動画像を撮影するユーザが、必ずしも高度な移動体操作技術を有しているとは限らない。
　例えば、撮影機材が搭載されたドローンなどは、マニュアルで操作されるか、プログラミングされたテンプレートに従って制御されるものが主流である。マニュアルで意図した通りに操作しながら安全に撮影を行うことの難しさは、上述した通りである。一方で、テンプレートに従った制御によれば、限られたパターンにおいては再現性の高い撮影を行なえるが、一辺倒のありきたりな動画像となってしまう傾向にある。
　そこで、本開示に係る技術においては、他者によって撮影された動画像に基づいて、動画像制作者（ユーザ）の意図した通りの移動を簡単に実現することで、所望の動画像をより簡易に撮影できるようにする。
＜２．本開示に係る技術の概要＞
　図１は、本開示に係る技術の移動体制御システムの概要を示す図である。
　図１に示される移動体制御システム１は、データ処理装置１０と移動体２０を含むように構成される。
　データ処理装置１０は、例えば、クラウド上に設けられるクラウドサーバや、ＰＣ（Personal Computer）などの汎用的なコンピュータにより構成される。
　データ処理装置１０は、制御データ生成部１１を備える。制御データ生成部１１は、他の移動体（第１の移動体）から撮影された撮影済み動画像を取得し、移動体２０（第２の移動体）の移動体を制御するための制御データを生成する。制御データは、他の移動体の移動経路に対応したデータとされ、移動体２０の移動経路の他、その移動経路に従って移動体２０が移動する際の速度や姿勢、後述する移動体２０からの撮影などを制御するための制御情報が含まれる。
　移動体２０は、例えば、自律飛行するＵＡＶ（Unmanned Aerial Vehicle）（いわゆるドローン）や、陸上を移動する自律走行車両、水上または水中を移動する自律航行船舶、屋内を移動する自律移動掃除機などの自律移動ロボットにより構成される。
　移動体２０は、データ処理装置１０（制御データ生成部１１）により生成された制御データに基づいて移動することができる。また、移動体２０には、カメラ２０Ｃが搭載され、動画像制作者であるユーザは、カメラ２０Ｃによって所望の動画像を撮影することができる。
　図２は、移動体制御システム１の動作の概要について説明するフローチャートである。
　ステップＳ１において、制御データ生成部１１は、他の移動体から撮影された撮影済み動画像（第１の動画像）を取得する。
　ステップＳ２において、制御データ生成部１１は、撮影済み動画像に基づいて制御データを生成する。具体的には、制御データ生成部１１は、撮影済み動画像から推定される他の移動体の移動経路に対するユーザの直接的な編集操作に応じて制御データを生成したり、カメラ２０Ｃにより撮影される動画像（第２の動画像）についてのユーザの撮影意図や撮影環境が反映された制御データを生成する。
　このようにして生成された制御データにより、移動体２０の移動が制御されたり、移動体２０（カメラ２０Ｃ）からの撮影が制御されたりする。移動体２０の移動や、移動体２０（カメラ２０Ｃ）からの撮影は、事前に生成された制御データに基づいて制御されてもよいし、逐次生成される制御データに基づいてリアルタイムに制御されてもよい。
＜３．移動体制御システムのハードウェア構成＞
　図３は、本開示に係る技術を適用し得る移動体制御システムのハードウェア構成を示すブロック図である。
　図３に示される移動体制御システム１００は、クライアント端末１１０、サーバ１３０、コントローラ１５０、および移動体１７０から構成される。
　移動体制御システム１００において、サーバ１３０は、有線または無線の通信経路を介して、クライアント端末１１０、コントローラ１５０、および移動体１７０それぞれと通信可能に接続されている。また、移動体制御システム１００を構成するクライアント端末１１０、サーバ１３０、コントローラ１５０、および移動体１７０は、インターネットなどのネットワークＮＷを介して、それぞれ相互に通信可能に接続されてもよい。
（クライアント端末）
　クライアント端末１１０は、移動体１７０を操縦・制御するユーザにより操作されるＰＣやタブレット端末により構成される。クライアント端末１１０は、制御部１１１、通信部１１２、入力部１１３、表示部１１４、およびメモリ１１５を備えている。
　制御部１１１は、ＣＰＵ（Central Processing Unit）などのプロセッサで構成され、入力部１１３からの入力信号などに応じて所定のプログラムを実行することにより、クライアント端末１１０の各部を制御する。
　通信部１１２は、ネットワークインタフェースなどで構成され、サーバ１３０との間で、無線または有線による通信を行う。
　入力部１１３は、キーボード、マウス、マイクロフォン、タッチパネルなどで構成され、ユーザの操作に応じた入力信号を、制御部１１１に供給する。
　表示部１１４は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどで構成され、制御部１１１の制御に従い、各種の情報を表示する。
　メモリ１１５は、フラッシュメモリなどの不揮発性メモリなどで構成され、制御部１１１の制御に従い、各種の情報を記憶する。
　このようにして構成されるクライアント端末１１０においては、ユーザの操作に応じて、撮影済み動画像の検索、撮影意図や撮影環境の入力、サーバ１３０により生成された制御データにより再現される移動経路の確認・修正などが実行される。また、クライアント端末１１０においては、サーバ１３０により生成された制御データや、制御データに基づいた移動のシミュレーション結果など、各種の処理結果がユーザに提示される。
（サーバ）
　サーバ１３０は、クラウド上に設けられるクラウドサーバや、ＰＣなどの汎用的なコンピュータにより構成される。サーバ１３０は、制御部１３１、通信部１３２、表示部１３３、およびメモリ１３４を備えている。
　制御部１３１は、ＣＰＵなどのプロセッサで構成され、所定のプログラムを実行することにより、サーバ１３０の各部を制御する。
　通信部１３２は、ネットワークインタフェースなどで構成され、クライアント端末１１０、コントローラ１５０、および移動体１７０との間で、無線または有線による通信を行う。
　表示部１３３は、液晶ディスプレイや有機ＥＬディスプレイなどで構成され、制御部１３１の制御に従い、各種の情報を表示する。
　メモリ１３４は、フラッシュメモリなどの不揮発性メモリなどで構成され、制御部１３１の制御に従い、各種の情報を記憶する。
　このようにして構成されるサーバ１３０においては、撮影済み動画像に基づいた制御データの生成、制御データの生成に用いられるニューラルネットワークの構築、制御データに基づいた移動のシミュレーションなどが実行される。これらの実行結果は、クライアント端末１１０に送信される。生成された制御データは、コントローラ１５０を介して、または直接、移動体１７０に送信される。構築されたニューラルネットワークは、移動体１７０に送信されてインストールされてもよい。
（コントローラ）
　コントローラ１５０は、移動体１７０を操縦・制御するユーザにより操作されるプロポやスマートフォンにより構成される。コントローラ１５０は、制御部１５１、通信部１５２、入力部１５３、表示部１５４、およびメモリ１５５を備えている。
　制御部１５１は、ＣＰＵなどのプロセッサで構成され、入力部１５３からの入力信号などに応じて所定のプログラムを実行することにより、コントローラ１５０の各部を制御する。
　通信部１５２は、ネットワークインタフェースなどで構成され、サーバ１３０との間で、無線または有線による通信を行う。また、通信部１５２は、移動体１７０との間で、無線による直接通信を行うこともできる。
　入力部１５３は、スティック、スイッチやボタンの他、タッチパネルなどで構成され、ユーザの操作に応じた入力信号を、制御部１５１に供給する。
　表示部１５４は、各種のランプの他、液晶ディスプレイや有機ＥＬディスプレイなどで構成され、制御部１５１の制御に従い、各種の情報を表示する。
　メモリ１５５は、フラッシュメモリなどの不揮発性メモリなどで構成され、制御部１５１の制御に従い、各種の情報を記憶する。
　このようにして構成されるコントローラ１５０においては、ユーザの操作に対応した操作信号が、移動体１７０に送信される。また、コントローラ１５０においては、必要に応じて、移動体１７０の機体状態がユーザに提示される。
（移動体）
　移動体１７０は、ＵＡＶ（ドローン）や、自律走行車両、自律航行船舶、自律移動掃除機などの自律移動ロボットなどにより構成される。移動体１７０は、制御部１７１、通信部１７２、カメラ１７３、センサ１７４、および駆動部１７５を備えている。
　制御部１７１は、ＣＰＵやメモリなどで構成され、所定のプログラムを実行することにより、通信部１７２、カメラ１７３、および駆動部１７５を制御する。
　通信部１７２は、ネットワークインタフェースなどで構成され、移動体１７０を操縦するためのコントローラ１５０やサーバ１３０との間で、無線または有線による通信を行う。
　カメラ１７３は、制御部１７１の制御に従い、動画像を撮影する。また、カメラ１７３は、制御部１７１の制御によらず、例えば内部に備える撮影処理部（プロセッサなど）の制御に基づいて、動画像を撮影するようにも構成され得る。
　センサ１７４は、各種のセンサを含み、移動体１７０の進行方向を含む移動体１７０の周囲の各方向をセンシングする。移動体１７０の周囲がセンシングされることで、移動体１７０の自律移動が実現される。
　駆動部１７５は、移動体１７０を移動させるための機構であり、飛行機構、走行機構、推進機構などが含まれる。この例では、移動体１７０はＵＡＶとして構成され、駆動部１７５は飛行機構としてのモータやプロペラなどから構成される。また、移動体１７０が自律走行車両として構成される場合、駆動部１７５は走行機構としての車輪などから構成され、移動体１７０が自律航行船舶として構成される場合、駆動部１７５は推進機構としてのスクリュープロペラなどから構成される。駆動部１７５は、制御部１７１の制御に従って駆動し、移動体１７０を移動させる。
　このようにして構成される移動体１７０においては、サーバ１３０により生成された制御データに基づいて、移動体１７０の移動の制御や、移動体１７０からの撮影の制御が実行される。
　以下においては、図３を参照して説明した移動体制御システム１００により実現される実施形態について説明する。以下の実施形態においては、撮影済み動画像が撮影された移動体と、ユーザの所望の動画像が撮影される移動体は、いずれもＵＡＶ（ドローン）であるものとする。
＜４．第１の実施形態（推定飛行データの編集操作に応じた飛行データの生成）＞
　図４は、本開示に係る第１の実施形態の移動体制御システムの構成例を示すブロック図である。
　図４の移動体制御システムは、検索部２０１、飛行データ生成部２０２、シミュレーション部２０３、およびＵＡＶ２０４から構成される。図４に示される各構成は、図３を参照して説明した移動体制御システム１００により実現され得る。
　検索部２０１は、図３のクライアント端末１１０により実現され得る。
　検索部２０１は、ユーザの操作に応じて、他のＵＡＶから撮影された撮影済み動画像の検索を行い、検索された撮影済み動画像を、飛行データ生成部２０２に供給する。
　具体的には、検索部２０１は、ユーザにより入力された、動画像の構図や画角、カメラワーク、注視対象となる被写体との位置関係、撮影時の移動経路や移動速度、動画像が撮影された環境の構造など、動画像の撮影特徴を表す撮影特徴パラメータや、その他のフリーワードに基づいて、撮影済み動画像の検索を行う。また、検索部２０１は、例えばプレビュー可能なサンプル動画像から、撮影済み動画像の検索・選択を行うようにしてもよい。
　ユーザは、検索部２０１に対する操作によって、所望の動画像の撮影において参考とする撮影済み動画像を見つけ出すことができる。なお、実際に撮影済み動画像の検索を実行する検索エンジンは、クライアント端末１１０内に組み込まれていてもよいし、Ｗｅｂ上に配置されていてもよい。
　飛行データ生成部２０２とシミュレーション部２０３は、図３のサーバ１３０により実現され得る。
　飛行データ生成部２０２は、検索部２０１からの撮影済み動画像に基づいて、ＵＡＶ２０４の飛行を制御するための、撮影済み動画像が撮影されたＵＡＶの移動経路（飛行ルート）に対応した飛行制御データを生成し、シミュレーション部２０３に出力する。
　図４の飛行データ生成部２０２は、飛行データ推定部２１１と飛行データ編集部２１２を有している。
　飛行データ推定部２１１は、検索部２０１からの撮影済み動画像に基づいて、撮影済み動画像が撮影されたＵＡＶの飛行ルートを含む飛行データを推定する。例えば、飛行データ推定部２１１は、単眼カメラによるVisual ＳＬＡＭ（Simultaneous Localization and Mapping）により、撮影済み動画像が撮影されたＵＡＶが飛行した周囲環境の地図と、地図内でのＵＡＶの移動経路を算出することで、飛行データを推定する。
　ＵＡＶに搭載されているカメラのカメラパラメータが不明な場合、歪みの影響が残ったり、スケールが不定となる。また、移動経路が長距離に渡る場合、ＳＬＡＭの正確さが低下する。しかしながら、後段で飛行データを生成する上では、後段の編集に用いられる要素が得られることが重要であって、歪みやＳＬＡＭの幾何学的な正確さの最終的な撮影結果に対する影響は軽微となる。また、スケールの不定は、例えばマニュアルでスケールを調整させることで解消することができる。
　飛行データ編集部２１２は、推定された飛行データ（推定飛行データ）を編集することで、飛行データを生成する。具体的には、飛行データ編集部２１２は、推定飛行データのユーザの直接的な編集操作に応じて、飛行制御データを生成する。
　ここでは、クライアント端末１１０に表示される推定飛行データに対応する飛行ルートに対して、ユーザの操作により、例えば直接幾何的な編集が加えられることで、飛行制御データが生成される。具体的には、飛行ルートを表す直線や曲線の編集や、注視対象となる被写体の変更により、ＵＡＶ２０４の飛行現場に適応した制御データが生成される。
　シミュレーション部２０３は、飛行データ生成部２０２により生成された飛行制御データに基づいて、ＵＡＶ２０４の飛行のシミュレーションを実行する。飛行のシミュレーション結果は、クライアント端末１１０に表示される。シミュレーション部２０３は、クライアント端末１１０に表示されたシミュレーション結果に対するユーザの直接的な編集操作に応じて、飛行制御データを修正する。
　このようにして、ユーザによりシミュレーション結果の確認と修正が繰り返されることで得られた飛行制御データは、ＵＡＶ２０４に出力される。
　ＵＡＶ２０４は、図３の移動体１７０に対応する。ＵＡＶ２０４は、飛行データ生成部２０２により生成され、シミュレーション部２０３により修正された飛行制御データに基づいて、その飛行や撮影が制御される。
　次に、図５のフローチャートを参照して、図４の飛行データ生成部２０２による飛行データ生成処理の流れについて説明する。
　ステップＳ１１において、飛行データ生成部２０２は、検索部２０１により検索された撮影済み動画像を取得する。
　ステップＳ１２において、飛行データ推定部２１１は、検索部２０１からの撮影済み動画像に基づいて、撮影済み動画像が撮影されたＵＡＶの飛行ルートを含む飛行データを推定する。
　ステップＳ１３において、飛行データ編集部２１２は、推定された推定飛行データのユーザの直接的な編集操作に応じて、飛行制御データを生成する。
　このようにして事前に生成された飛行制御データにより、ＵＡＶ２０４の飛行が制御されたり、ＵＡＶ２０４に搭載されているカメラからの撮影が制御されたりする。
　以上の処理によれば、撮影済み動画像が撮影されたＵＡＶの飛行データが推定され、その推定飛行データの編集操作に応じて、飛行制御データが生成される。これにより、高度なマニュアル操作技術を必要とすることなく、簡単な編集操作より、撮影済み動画像が撮影されたＵＡＶと類似した、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
＜５．第２の実施形態（推定飛行データを用いた飛行データの生成（１））＞
　図６は、本開示に係る第２の実施形態の移動体制御システムの構成例を示すブロック図である。
　図６の移動体制御システムにおいては、飛行データ生成部２０２が、図４の飛行データ推定部２１１に加えて、撮影特徴抽出部２２１と飛行データ生成モデル２２２を有している。
　撮影特徴抽出部２２１は、飛行データ推定部２１１により推定された飛行データ（推定飛行データ）から、撮影済み画像の撮影特徴パラメータを抽出し、飛行データ生成モデル２２２に供給する。撮影特徴パラメータは、動画像の撮影特徴を表す、人に可解なパラメータとされる。
　撮影特徴抽出部２２１は、例えば、ＵＡＶが実際に飛行することで得られた実飛行データを入力とし、その飛行により撮影された動画像の撮影特徴パラメータを出力とした学習を行うことで得られた機械学習モデルで構成される。
　飛行データ生成モデル２２２は、撮影特徴抽出部２２１により抽出された撮影特徴パラメータを、ユーザにより入力された撮影意図や撮影環境に適用することで、飛行制御データを生成する。
　ユーザにより入力される撮影意図は、撮影特徴パラメータにより表される撮影特徴に対応し、例えば、ユーザの所望する動画像の構図や画角、カメラワーク、注視対象となる被写体との位置関係、撮影時の移動経路などを含む。
　ユーザにより入力される撮影環境もまた、撮影特徴パラメータにより表される撮影特徴に対応し、ユーザの所望する動画像が撮影される（ＵＡＶ２０４が飛行する）環境の構造、すなわち、ＵＡＶ２０４の周辺にある撮影対象または撮影可能な対象の幾何学的な形状を含む。例えば、撮影環境は、建物の中であれば、屋根や壁、柱などを含み、屋外であれば、地面や崖、木々などを含み、特に都市部であれば、建物や橋梁などの大型構造物などを含む。また、撮影環境は、人、車両や飛行体を含むその他の移動体を含んでもよいし、撮影対象としての物体や、撮影対象から排除すべき物体を含んでもよい。さらに、撮影環境は、ＵＡＶ２０４の飛行時に所定の距離以上離れて飛行経路を生成する必要がある人や物体、飛行時に回避して飛行する必要がある人や物体を含んでもよいし、太陽や照明を含む光源と被写体との位置関係を含んでもよい。さらにまた、撮影環境は、緯度や経度、地形を含む地図情報、季節や時間帯、天候や気温などを含むようにしてもよい。
　ここでは、クライアント端末１１０において、ユーザの操作により、例えば撮影特徴がＧＵＩ（Graphical User Interface）を用いて調整されることで、飛行制御データが生成される。
　飛行データ生成モデル２２２は、撮影特徴パラメータ、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　次に、図７のフローチャートを参照して、図６の飛行データ生成部２０２による飛行データ生成処理の流れについて説明する。
　ステップＳ２１において、飛行データ生成部２０２は、検索部２０１により検索された撮影済み動画像を取得する。
　ステップＳ２２において、飛行データ推定部２１１は、検索部２０１からの撮影済み動画像に基づいて、撮影済み動画像が撮影されたＵＡＶの飛行ルートを含む飛行データを推定する。
　ステップＳ２３において、撮影特徴抽出部２２１は、飛行データ推定部２１１により推定された推定飛行データから、撮影済み画像の撮影特徴パラメータを抽出する。
　ステップＳ２４において、飛行データ生成モデル２２２は、撮影特徴抽出部２２１により抽出された撮影特徴パラメータを、ユーザにより入力された撮影意図・撮影環境に適用することで、飛行制御データを生成する。このとき、撮影特徴抽出部２２１により抽出された撮影特徴パラメータは、ユーザにより調整された上で、飛行データ生成モデル２２２に入力されてもよい。
　このようにして事前に生成された飛行制御データにより、ＵＡＶ２０４の飛行が制御されたり、ＵＡＶ２０４に搭載されているカメラからの撮影が制御されたりする。
　なお、ＵＡＶ２０４の飛行や、ＵＡＶ２０４からの撮影により得られた実飛行データや動画像、さらには、ユーザにより入力された撮影意図や撮影環境は、撮影特徴抽出部２２１や飛行データ生成モデル２２２の学習に用いることができる。
　以上の処理によれば、撮影済み動画像に基づいて推定された飛行データから人に可解な撮影特徴パラメータが抽出され、その撮影特徴パラメータがユーザの撮影意図や撮影環境に適用されることで、飛行制御データが生成される。これにより、ユーザが解釈可能な飛行や撮影の特徴を調整するだけで、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
＜６．第３の実施形態（推定飛行データを用いた飛行データの生成（２））＞
　図８は、本開示に係る第３の実施形態の移動体制御システムの構成例を示すブロック図である。
　図８の移動体制御システムにおいては、飛行データ生成部２０２が、図４の飛行データ推定部２１１に加えて、飛行データ生成モデル２３１を有している。
　飛行データ生成モデル２３１は、飛行データ推定部２１１により推定された飛行データ（推定飛行データ）を、ユーザにより入力された撮影意図や撮影環境に適応させることで、飛行制御データを生成する。
　ここでは、クライアント端末１１０において、ユーザの操作により、例えば撮影意図や撮影環境を表すテキストが入力されたり、撮影意図や撮影環境がＧＵＩを用いて選択されたりすることで、飛行制御データが生成される。
　飛行データ生成モデル２３１は、推定飛行データ、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　次に、図９のフローチャートを参照して、図８の飛行データ生成部２０２による飛行データ生成処理の流れについて説明する。
　ステップＳ３１において、飛行データ生成部２０２は、検索部２０１により検索された撮影済み動画像を取得する。
　ステップＳ３２において、飛行データ推定部２１１は、検索部２０１からの撮影済み動画像に基づいて、撮影済み動画像が撮影されたＵＡＶの飛行ルートを含む飛行データを推定する。
　ステップＳ３３において、飛行データ生成モデル２３１は、飛行データ推定部２１１により推定された推定飛行データを、ユーザにより入力された撮影意図や撮影環境に適応させることで、飛行制御データを生成する。
　このようにして事前に生成された飛行制御データにより、ＵＡＶ２０４の飛行が制御されたり、ＵＡＶ２０４に搭載されているカメラからの撮影が制御されたりする。
　なお、ＵＡＶ２０４の飛行や、ＵＡＶ２０４からの撮影により得られた実飛行データや動画像、さらには、ユーザにより入力された撮影意図や撮影環境は、飛行データ生成モデル２３１の学習に用いることができる。
　以上の処理によれば、撮影済み動画像に基づいて推定された飛行データがユーザの撮影意図や撮影環境に適応することで、飛行制御データが生成される。これにより、ユーザが、自身の撮影意図やＵＡＶ２０４を飛行させたい撮影環境を入力するだけで、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
　なお、上述した第２および第３の実施形態において、検索部２０１により検索された撮影済み画像が、実飛行データや撮影意図に対応付けられた動画像である場合、撮影済み動画像を基にした推定飛行データや撮影特徴パラメータは、実飛行データや撮影意図そのものとなる。この場合、飛行データ推定や撮影特徴パラメータ抽出をスキップすることができるとともに、飛行制御データ生成までの精度を向上させることができる。
＜７．第４の実施形態（動画像を直接用いた飛行データの生成（１））＞
　図１０は、本開示に係る第４の実施形態の移動体制御システムの構成例を示すブロック図である。
　図１０の移動体制御システムにおいては、飛行データ生成部２０２が、撮影特徴抽出部２４１と飛行データ生成モデル２４２を有している。
　撮影特徴抽出部２４１は、検索部２０１からの撮影済み動画像から直接、撮影特徴パラメータを抽出し、飛行データ生成モデル２４２に供給する。上述したように、撮影特徴パラメータは、動画像の撮影特徴を表す、人に可解なパラメータとされる。
　撮影特徴抽出部２４１は、例えば、ＵＡＶが実際に飛行することにより撮影された動画像を入力とし、その動画像の撮影特徴パラメータを出力とした学習を行うことで得られた機械学習モデルで構成される。
　飛行データ生成モデル２４２は、撮影特徴抽出部２４１により抽出された撮影特徴パラメータを、ユーザにより入力された撮影意図や撮影環境に適用することで、飛行制御データを生成する。
　ここでは、クライアント端末１１０において、ユーザの操作により、例えば撮影特徴がＧＵＩを用いて調整されることで、飛行制御データが生成される。
　飛行データ生成モデル２４２は、撮影特徴パラメータ、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　次に、図１１のフローチャートを参照して、図１０の飛行データ生成部２０２による飛行データ生成処理の流れについて説明する。
　ステップＳ４１において、飛行データ生成部２０２は、検索部２０１により検索された撮影済み動画像を取得する。
　ステップＳ４２において、撮影特徴抽出部２４１は、検索部２０１からの撮影済み動画像から撮影特徴パラメータを抽出する。
　ステップＳ４３において、飛行データ生成モデル２４２は、撮影特徴抽出部２４１により抽出された撮影特徴パラメータを、ユーザにより入力された撮影意図・撮影環境に適用することで、飛行制御データを生成する。
　このようにして事前に生成された飛行制御データにより、ＵＡＶ２０４の飛行が制御されたり、ＵＡＶ２０４に搭載されているカメラからの撮影が制御されたりする。
　なお、ＵＡＶ２０４の飛行や、ＵＡＶ２０４からの撮影により得られた実飛行データや動画像、さらには、ユーザにより入力された撮影意図や撮影環境は、撮影特徴抽出部２４１や飛行データ生成モデル２４２の学習に用いることができる。
　以上の処理によれば、撮影済み動画像から人に可解な撮影特徴パラメータが抽出され、その撮影特徴パラメータがユーザの撮影意図や撮影環境に適用されることで、飛行制御データが生成される。これにより、ユーザが解釈可能な飛行や撮影の特徴を調整するだけで、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
＜８．第５の実施形態（動画像を直接用いた飛行データの生成（２））＞
　図１２は、本開示に係る第５の実施形態の移動体制御システムの構成例を示すブロック図である。
　図１２の移動体制御システムにおいては、飛行データ生成部２０２が、飛行データ生成モデル２５１を有している。
　飛行データ生成モデル２５１は、検索部２０１からの撮影済み動画像に基づいて、ユーザにより入力された撮影意図や撮影環境に適応した飛行制御データを生成する。
　ここでは、クライアント端末１１０において、ユーザの操作により、例えば撮影意図や撮影環境を表すテキストが入力されたり、撮影意図や撮影環境がＧＵＩを用いて選択されたりすることで、飛行制御データが生成される。
　飛行データ生成モデル２５１は、動画像、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　動画像に基づいた飛行データの解析には、例えば、ＳｆＭ（Structure from Motion）による動画像からのカメラ位置の軌跡の推定技術を適用することができる。
　次に、図１３のフローチャートを参照して、図１２の飛行データ生成部２０２による飛行データ生成処理の流れについて説明する。
　ステップＳ５１において、飛行データ生成部２０２は、検索部２０１により検索された撮影済み動画像を取得する。
　ステップＳ５２において、飛行データ生成モデル２５１は、検索部２０１からの撮影済み動画像に基づいて、ユーザにより入力された撮影意図や撮影環境に適応した飛行制御データを生成する。
　このようにして事前に生成された飛行制御データにより、ＵＡＶ２０４の飛行が制御されたり、ＵＡＶ２０４に搭載されているカメラからの撮影が制御されたりする。
　なお、ＵＡＶ２０４の飛行や、ＵＡＶ２０４からの撮影により得られた実飛行データや動画像、さらには、ユーザにより入力された撮影意図や撮影環境は、飛行データ生成モデル２５１の学習に用いることができる。
　以上の処理によれば、撮影済み動画像に基づいて、ユーザの撮影意図や撮影環境に適応した飛行制御データが生成される。これにより、ユーザが、自身の撮影意図やＵＡＶ２０４を飛行させたい撮影環境を入力するだけで、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
＜９．第６の実施形態（動画像を用いない飛行データの生成）＞
　図１４は、本開示に係る第６の実施形態の移動体制御システムの構成例を示すブロック図である。
　図１４の移動体制御システムにおいては、飛行データ生成部２０２が、飛行データ生成モデル２６１を有している。また、飛行データ生成部２０２には、検索部２０１からの撮影済み動画像ではなく、例えば、クライアント端末１１０において、ユーザにより指定された撮影特徴パラメータが入力される。
　飛行データ生成モデル２６１は、ユーザにより指定された撮影特徴パラメータを、ユーザにより入力された撮影意図や撮影環境に適用することで、飛行制御データを生成する。
　ここでは、クライアント端末１１０において、ユーザの操作により、例えば撮影意図や撮影環境を表すテキストが入力されたり、撮影意図や撮影環境がＧＵＩを用いて選択されたりすることで、飛行制御データが生成される。
　飛行データ生成モデル２６１は、撮影特徴パラメータ、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　以上の構成によれば、元となる動画像を用意しなくとも、ユーザの撮影意図や撮影環境に適応した飛行制御データを生成することが可能となる。特にこの場合、ユーザは、ＵＡＶの想定外の動きを発見するなど、より探索的に飛行制御データの生成を楽しむことができるようになる。
　上述した実施形態は、事前に飛行制御データを生成し、確認や修正を繰り返すことで、飛行の開始から終了までの飛行プラン（シナリオ）を作り上げるケースに適用することができる。しかしながら、事前に用意された飛行プランでは、予定を超えた長時間の撮影やや、不測の事態の発生などに対応することができない。
　そこで、以下においては、ＵＡＶの飛行制御を逐次実行することで、状況が続く限り撮影を継続できる実施形態について説明する。
＜10．第７の実施形態（動画像を直接用いた飛行制御（１））＞
　図１５は、本開示に係る第７の実施形態の移動体制御システムの構成例を示すブロック図である。
　図１５の移動体制御システムは、検索部３０１、撮影特徴抽出部３０２、飛行制御部３０３、駆動部３０４、およびカメラ３０５から構成される。図１５に示される各構成もまた、図３を参照して説明した移動体制御システム１００により実現され得る。
　検索部３０１は、図３のクライアント端末１１０により実現され得る。
　検索部３０１は、ユーザの操作に応じて、他のＵＡＶから撮影された撮影済み動画像の検索を行い、検索された撮影済み動画像を、撮影特徴抽出部３０２に供給する。
　撮影特徴抽出部３０２は、図３のサーバ１３０により実現され得る。
　撮影特徴抽出部３０２は、検索部３０１からの撮影済み動画像から直接、撮影特徴パラメータを抽出し、飛行制御部３０３に供給する。上述したように、撮影特徴パラメータは、動画像の撮影特徴を表す、人に可解なパラメータとされる。
　飛行制御部３０３、駆動部３０４、およびカメラ３０５は、図３の移動体１７０（ＵＡＶ）により実現され得る。
　飛行制御部３０３は、図３の駆動部１７５に対応する駆動部３０４と、図３のカメラ１７３に対応するカメラ３０５を制御することで、ＵＡＶの飛行とＵＡＶからの撮影を制御する。飛行制御部３０３は、あらかじめＵＡＶにインストールされた飛行データ生成モデル３１１を有している。
　飛行データ生成モデル３１１は、撮影特徴抽出部３０２により抽出された撮影特徴パラメータを、ユーザにより入力された撮影意図や撮影環境に適用することで、飛行制御データを逐次生成する。このとき、撮影特徴抽出部３０２により抽出された撮影特徴パラメータは、ユーザにより調整された上で、飛行データ生成モデル３１１に入力されてもよい。
　ここでは、クライアント端末１１０またはコントローラ１５０において、ユーザの操作により、例えば撮影特徴がＧＵＩを用いて調整されることで、飛行制御データが生成される。なお、撮影特徴パラメータは、飛行データ生成モデル３１１とともに、あらかじめＵＡＶにインストールされていてもよい。
　飛行データ生成モデル３１１は、撮影特徴パラメータ、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　次に、図１６のフローチャートを参照して、図１５の飛行制御部３０３による飛行制御処理の流れについて説明する。図１６の処理は、例えば、コントローラ１５０から移動体１７０（ＵＡＶ）に対して、飛行開始が指示されることで開始され、飛行終了が指示されるまで繰り返される。
　ステップＳ１１１において、飛行制御部３０３は、サーバ１３０から撮影特徴パラメータを取得する。
　ステップＳ１１２において、飛行データ生成モデル３１１は、取得された撮影特徴パラメータを、ユーザにより入力された撮影意図・撮影環境に適用することで、飛行制御データを生成する。
　このようにして逐次生成される飛行制御データにより、ＵＡＶの飛行が制御されたり、ＵＡＶに搭載されているカメラからの撮影が制御されたりする。
　以上の処理によれば、撮影済み動画像から抽出された、人に可解な撮影特徴パラメータがユーザの撮影意図や撮影環境に適用されることで、飛行制御データが逐次生成され、飛行が制御される。これにより、ユーザが解釈可能な飛行や撮影の特徴を調整するだけで、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
＜11．第８の実施形態（動画像を直接用いた飛行制御（２））＞
　図１７は、本開示に係る第８の実施形態の移動体制御システムの構成例を示すブロック図である。
　図１７の移動体制御システムにおいては、撮影特徴抽出部３０２が設けられず、飛行制御部３０３が、飛行データ生成モデル３２１を有している。
　検索部３０１は、ユーザの操作に応じて、他のＵＡＶから撮影された撮影済み動画像の検索を行い、検索された撮影済み動画像を、サーバ１３０を介して、飛行制御部３０３に供給する。
　飛行データ生成モデル３２１は、検索部３０１からの撮影済み動画像に基づいて、ユーザにより入力された撮影意図や撮影環境に適応した飛行制御データを生成する。
　ここでは、クライアント端末１１０またはコントローラ１５０において、ユーザの操作により、例えば撮影意図や撮影環境を表すテキストが入力されたり、撮影意図や撮影環境がＧＵＩを用いて選択されたりすることで、飛行制御データが生成される。
　飛行データ生成モデル３２１は、動画像、撮影意図、および撮影環境を入力とし、それらを条件としてＵＡＶが実際に飛行することで得られた実飛行データを出力とした学習を行うことで得られた機械学習モデルで構成される。
　次に、図１８のフローチャートを参照して、図１７の飛行制御部３０３による飛行制御処理の流れについて説明する。図１８の処理は、例えば、コントローラ１５０から移動体１７０（ＵＡＶ）に対して、飛行開始が指示されることで開始され、飛行終了が指示されるまで繰り返される。
　ステップＳ１２１において、飛行制御部３０３は、検索部３０１から撮影済み画像を取得する。
　ステップＳ１２２において、飛行データ生成モデル３２１は、検索部２０１からの撮影済み動画像に基づいて、ユーザにより入力された撮影意図や撮影環境に適応した飛行制御データを生成する。
　このようにして逐次生成される飛行制御データにより、ＵＡＶの飛行が制御されたり、ＵＡＶに搭載されているカメラからの撮影が制御されたりする。
　以上の処理によれば、撮影済み動画像に基づいて、ユーザの撮影意図や撮影環境に適応した飛行制御データが逐次生成され、飛行が制御される。これにより、ユーザが、自身の撮影意図やＵＡＶを飛行させたい撮影環境を入力するだけで、意図した通りの飛行を簡単に実現することができ、ひいては、ユーザの所望の動画像をより簡易に撮影することが可能となる。
　以上においては、事前に飛行制御データを生成する実施形態（飛行プランの事前作成）と、逐次飛行制御データを生成する実施形態（飛行制御の逐次実行）について説明したが、これらが組み合わされるようにしてもよい。
　例えば、飛行プランの事前作成により、飛行ルート上の経由点（座標）をあらかじめマニュアルで指定し、経由点同士の間においては、飛行制御の逐次実行により、撮影意図が反映された飛行を実現できるようにする。
　また、飛行プランの事前作成により、経由点をループするような飛行ルートを設定することで、意図した通りの飛行を実現しつつ、飛行制御の逐次実行により、撮影意図が反映された飛行を実現できるようにする。
　さらに、飛行プランの事前作成により、ある環境に対して生成された飛行制御データを、幾何的な編集により切り貼り、部分的な逆再生や端点接続などすることで、同じ飛行を長時間繰り返すことができるようにしてもよい。
＜12．本開示に係る技術が適用され得る事例＞
　以下においては、本開示に係る技術が適用され得る事例について説明する。
（第１の事例）
　図１９は、本開示に係る技術が適用され得る第１の事例について説明する図である。
　図１９上段には、経路Ｒ５１０に沿って飛行した移動体（ＵＡＶ）から撮影された撮影済み動画像Ｖ５１０が示されている。撮影済み動画像Ｖ５１０は、注目被写体である家の屋根をかすめて飛行するＵＡＶから撮影された動画像とされる。
　図１９下段には、撮影済み動画像Ｖ５１０に基づいて生成された飛行制御データにより飛行したＵＡＶから撮影された、ユーザの所望する動画像Ｖ５２０が示されている。動画像Ｖ５２０は、降下しながら注目被写体である鉄塔の横をかすめて飛行するＵＡＶから撮影された動画像とされる。
　撮影済み動画像Ｖ５１０と動画像Ｖ５２０とでは、遠くから注目被写体に近づきながら降下し、注目被写体の近くを通り過ぎていく経路と、注目被写体の近くを通り過ぎるまでは、注目被写体を画角内に収め続ける構図が共通している。これは、例えば撮影済み動画像Ｖ５１０から直接的または間接的に抽出された撮影特徴パラメータによって実現され得る。
　一方で、撮影済み動画像Ｖ５１０と動画像Ｖ５２０とでは、注目被写体とその大きさ（高さ）が異なる上、これに伴い経路のスケールが異なることから、経路全体の距離と飛行速度が異なる。これは、例えば撮影済み動画像Ｖ５１０から直接的または間接的に抽出された撮影特徴パラメータが、ユーザの撮影意図に適用されることによって実現され得る。
　このとき、撮影済み動画像Ｖ５１０において注目被写体となる対象物が選択され、動画像Ｖ５２０の撮影開始時に、動画像Ｖ５２０において注目被写体とする対象物（注視点ｗｐ）がユーザに指定される必要がある。
　図１９の事例は、事前に生成された飛行制御データによりＵＡＶの飛行や撮影が制御される第１乃至第６のいずれかの実施形態の移動体制御システムにより実現可能となる。
（第２の事例）
　図２０は、本開示に係る技術が適用され得る第２の事例について説明する図である。
　図２０上段には、図１９と同様、経路Ｒ５１０に沿って飛行した移動体（ＵＡＶ）から撮影された撮影済み動画像Ｖ５１０が示されている。
　図２０下段には、撮影済み動画像Ｖ５１０に基づいて生成された飛行制御データにより飛行したＵＡＶの経路Ｒ５３０が示されている。経路Ｒ５３０に沿った飛行により撮影された動画像は、屋内において注目被写体である人物の上をかすめて飛行するＵＡＶから撮影された動画像とされる。
　撮影済み動画像Ｖ５１０と経路Ｒ５３０に沿った飛行により撮影された動画像とでは、遠くから注目被写体に近づきながら降下し、注目被写体の近くを通り過ぎていく経路と、注目被写体の近くを通り過ぎるまでは、注目被写体を画角内に収め続ける構図が共通している。これは、例えば撮影済み動画像Ｖ５１０から直接的または間接的に抽出された撮影特徴パラメータによって実現され得る。
　一方で、撮影済み動画像Ｖ５１０と経路Ｒ５３０に沿った飛行により撮影された動画像とでは、注目被写体とその大きさ（高さ）が異なる上、これに伴い経路のスケールが異なることから、経路全体の距離と飛行速度が異なる。さらに、経路Ｒ５３０は、屋内での飛行であることから、環境の構造に成約が生じる。これは、例えば撮影済み動画像Ｖ５１０から直接的または間接的に抽出された撮影特徴パラメータが、ユーザの撮影意図と撮影環境に適用されることによって実現され得る。
　図２０の事例もまた、事前に生成された飛行制御データによりＵＡＶの飛行や撮影が制御される第１乃至第６のいずれかの実施形態の移動体制御システムにより実現可能となる。
（第３の事例）
　図２１は、本開示に係る技術が適用され得る第３の事例について説明する図である。
　図２１上段には、経路Ｒ６１０に沿って飛行した移動体（ＵＡＶ）から撮影された撮影済み動画像Ｖ６１０が示されている。撮影済み動画像Ｖ６１０は、注目被写体である建物（ビル）を撮影しながらその周囲を飛行するＵＡＶから撮影された動画像とされる。
　図２１下段には、撮影済み動画像Ｖ６１０に基づいて生成された飛行制御データにより飛行したＵＡＶの経路Ｒ６２０と、その経路Ｒ６２０に沿った飛行により撮影された、ユーザの所望する動画像Ｖ６２０が示されている。動画像Ｖ６２０は、注目被写体である１本の木を撮影しながら、その周囲の他の木々を避けて飛行するＵＡＶから撮影された動画像とされる。
　撮影済み動画像Ｖ６１０と動画像Ｖ６２０とでは、注目被写体の周囲を旋回する経路（経路Ｒ６１０，Ｒ６２０）と、旋回している間注目被写体を画角内に収め続ける構図が共通している。これは、例えば撮影済み動画像Ｖ６１０から直接的または間接的に抽出された撮影特徴パラメータによって実現され得る。
　一方で、撮影済み動画像Ｖ６１０と動画像Ｖ６２０とでは、注目被写体とその大きさが異なる上、これに伴い経路のスケールが異なることから、経路全体の距離と飛行速度が異なる。さらに、経路Ｒ６２０は、他の木々を避けての飛行であることから、環境の構造に成約が生じる。これは、例えば撮影済み動画像Ｖ６１０から直接的または間接的に抽出された撮影特徴パラメータが、ユーザの撮影意図と撮影環境に適用されることによって実現され得る。ここでは、環境の構造（木と木の間隔）に応じて、経路Ｒ６２０が変更されるようにしてもよい。
　図２１の事例もまた、事前に生成された飛行制御データによりＵＡＶの飛行や撮影が制御される第１乃至第６のいずれかの実施形態の移動体制御システムにより実現可能となる。
（第４の事例）
　図２２は、本開示に係る技術が適用され得る第４の事例について説明する図である。
　図２２左には、夏山でサイクリングをしている人物に並走飛行している移動体（ＵＡＶ）から撮影された撮影済み動画像Ｖ７１０の１カットが示されている。
　図２２右には、撮影済み動画像Ｖ７１０に基づいた飛行制御により、冬山でスキーをしている人物に並走飛行しているＵＡＶから撮影された動画像Ｖ７２０の１カットが示されている。
　撮影済み動画像Ｖ７１０と動画像Ｖ７２０とでは、画面内の光源（太陽）の位置（太陽が画面上方に位置している点）と、画面内の注目被写体である人物のスケール感、位置、および姿勢（人物が画面下方で横向きに移動している点）が共通している。さらに、撮影済み動画像Ｖ７１０と動画像Ｖ７２０とでは、地面とカメラの位置関係（ＵＡＶが地面近くを低空飛行している点）と、画面における背景の割合（画面上半分が背景である点）が共通している。これは、例えば撮影済み動画像Ｖ７１０から直接的または間接的に抽出された撮影特徴パラメータによって実現され得る。
　一方で、撮影済み動画像Ｖ７１０と動画像Ｖ７２０とでは、注目被写体である人物の移動方向（傾斜を上っているか、下っているか）、環境の季節や場所、背景の様子、障害物の有無が異なる。また、撮影済み動画像Ｖ７１０と動画像Ｖ７２０とで、注目被写体の数が異なる可能性もある。これは、例えば撮影済み動画像Ｖ７１０から直接的または間接的に抽出された撮影特徴パラメータが、ユーザの撮影意図と撮影環境に適用されることによって実現され得る。
　図２２の事例は、動画像Ｖ７２０において、撮影済み動画像Ｖ７１０とは移動方向が異なる注目被写体を追跡する必要があることから、逐次生成される飛行制御データによりＵＡＶの飛行や撮影が制御される第７または第８の実施形態の移動体制御システムにより実現可能となる。
（第５の事例）
　図２３は、本開示に係る技術が適用され得る第５の事例について説明する図である。
　図２３左には、障害物などのない開放空間で、人物の胸から上を撮影（バストショット）しながらその人物の周囲を旋回している移動体（ＵＡＶ）の経路Ｒ８１０が示されている。
　図２３右には、障害物Ｂ２０がある空間で、経路Ｒ８１０に沿った飛行により撮影された撮影済み動画像に基づいて生成された飛行制御データにより飛行したＵＡＶの経路Ｒ８２０が示されている。
　経路Ｒ８１０での撮影と、経路Ｒ８２０での撮影とでは、動画像における注目被写体である人物の映り方（バストショットである点）が共通している。これは、例えば経路Ｒ８１０での撮影済み動画像から直接的または間接的に抽出された撮影特徴パラメータによって実現され得る。
　一方で、経路Ｒ８２０での撮影では障害物Ｂ２０があることから、経路Ｒ８２０は、経路Ｒ８２０とは異なり、障害物Ｂ２０を避けるような経路となる。これは、例えば撮影済み動画像Ｖ８１０から直接的または間接的に抽出された撮影特徴パラメータが、ユーザの撮影意図と撮影環境に適用されることによって実現され得る。
　特に、障害物Ｂ２０は、人物の正面付近にあることから、経路Ｒ８２０での撮影は、人物の上半身をきれいに撮影したいという撮影意図が活かされるような撮影となる。
　なお、図２４に示されるように、人物の背面付近に障害物Ｂ３０がある場合、障害物Ｂ３０が映り込むような経路Ｒ８３０で、動画像が撮影されてもよい。経路Ｒ８３０での撮影は、障害物Ｂ３０の多少の映り込みを許容しつつも、人物の上半身をきれいに撮影したいという撮影意図が活かされるような撮影となる。
　このように、環境に障害物が存在する場合には、単に障害物を避けるだけでなく、撮影意図を活かしつつ障害物を避けるような経路が設定され得る。
　図２３および図２４の事例は、事前に生成された飛行制御データによりＵＡＶの飛行や撮影が制御される第１乃至第６のいずれかの実施形態の移動体制御システムにより実現可能となる。
＜13．撮影意図（撮影特徴パラメータ）の例＞
　ユーザの撮影意図に適用される撮影特徴パラメータの例について説明する。ここでは、撮影特徴パラメータと撮影意図とは、同義であるものとする。撮影意図には、時間を考慮しない（時間経過によらず一定な）撮影意図と、時間を考慮する（時間結果によって変化し得る）撮影意図とがある。
Ａ．時間を考慮しない撮影意図の例
（１）画面内の被写体の位置
　カメラ前方の被写体を画面内に捉える際の構図であり、例えば、被写体を画面中央に捉える日の丸構図が挙げられる。被写体の中心が画面内のどの座標位置にあるかがパラメータとして設定される。被写体の中心が三分割法で区分される領域のうちのどの領域に位置するかがパラメータとして設定されてもよい。
（２）画面内の光源の位置
　例えば、図２５に示されるように、カメラＣＡＭ、被写体ＳＢ、太陽や照明などの光源ＬＳのなす水平面での角度θがパラメータとして設定される。
　図２５左には、９０°＜θ＜２７０°の例が示されており、被写体ＳＢへの光の当たり方としては逆光となる。図２５右には、０°＜θ＜９０°（２７０°＜θ＜３６０°）の例が示されており、被写体ＳＢへの光の当たり方としては順光となる。なお、図示はしないが、９０°＜θ＜１８０°の場合、光源ＬＳは、画面内の左側に位置し、１８０°＜θ＜２７０°の場合、光源ＬＳは、画面内の右側に位置するようになる。
　角度θではなく、順光や逆光などの光の当たり方や、光源ＬＳの画面内の位置（右側か左側か）がユーザにより指定されてもよい。
（３）人物のスケール感および姿勢
　人物のスケール感としては、例えば人間の骨格のどこまでが映っているかがパラメータとして設定される。具体的には、顔だけ映っている場合には、フェイスアップ撮影となり、顔から胸や腰まで映っている場合には、バストアップ撮影となる。また、顔から足先まで映っている場合には、全身撮影となる。
（４）地面とカメラの位置関係
　図２６に示されるように、カメラＣＡＭと地面との鉛直方向の距離ｄがパラメータとして設定される。特に、距離ｄが小さく設定されることで、疾走感のある動画像を撮影することができる。
（５）画面における背景の割合
　画面における背景の割合は、単眼深度推定技術を用いて被写体の深度を判定することで抽出される被写体より奥の領域の、画面全体（画素全体）に占める割合αとして求められる。その割合αがパラメータとして設定される。
（６）人物の映り方
　人物の上半身をきれいに撮影したいという撮影意図であり、あおり構図であるのか、俯瞰構図であるのかが設定される。具体的には、図２６に示される、被写体ＳＢに対するカメラＣＡＭの姿勢βがパラメータとして設定される。
（７）カメラの幾何学的な姿勢
　カメラの向きとして、三次元座標系における水平方向の角度φ１と垂直方向の角度φ２が設定されてもよい。角度φ１，φ２ではなく、見上げる角度、見下ろす角度、真下などがユーザにより指定されてもよい。カメラの向きは、他のパラメータにより間接的に設定されるようにもできる。
（８）画面内の被写体のサイズ
　図２７に示されるように、画面に対する被写体のサイズとして、被写体が検出される検出枠の縦幅ｈと横幅ｗが設定されてもよい。縦幅ｈや横幅ｗではなく、大・中・小などのサイズレベルがユーザにより指定されてもよい。また、（１）において上述した、画面内の被写体の位置は、図２７に示される検出枠の中心座標（ｘ，ｙ）により設定されてもよいし、画面内でプリセットされた位置がユーザにより指定されてもよい。
（９）画面全体の揺れ
　画面全体の揺れとして、Dense Optical Flowによる動き推定技術を用いて、周波数ν（Ｈｚ）と揺れ幅ｓ（pixel）が設定されてもよい。周波数νと揺れ幅ｓではなく、歩き、走り、列車、自動車、オフロードカーなど、揺れのプリセットが用意され、ユーザにより指定されてもよい。
Ｂ．時間を考慮する撮影意図の例
（１０）ズームイン／ズームアウト
　ズーム率がパラメータとして設定される。ズーム率は、例えば、３５ｍｍ換算の焦点距離ｘ（ｍｍ）が毎秒あたり±ｙ（ｍｍ）変動することや、撮影開始時の動画像から被写体の大きさが相対的に毎秒ｚ％変動することなどで定義され得る。
（１１）素早く移動する被写体に対する追従性
　ジャンプや走り始めなどの被写体の動きにどの程度追従するかは、パン・チルトにおけるカメラの最高角速度や最高角加速度、並進運動におけるカメラの最高速度や最高加速度として設定される。
（１２）動的な障害物との関係
　動きのある障害物が映らないように避けるのか、障害物が被写体に隠れること（オクルージョン）を許容するのかが、選択的に設定されてもよい。例えば、オクルージョンが最小となる経路を算出したのち、障害物周辺の禁止領域を設定し、設定された禁止領域にあわせて障害物を避ける方向に経路を歪曲させることで、障害物が映らないような経路を設定することができる。
（１３）カメラワークの速度
　例えば、重要度の高いシーンではゆっくりとしたカメラワークが設定され、重要度の低いシーンでは素早いカメラワークが設定されてもよい。
（１４）被写体の動きとの同期
　例えば、被写体である人物が音楽にあわせてダンスをしている場合に、その音楽のリズムにあわせてカメラワークや移動が制御されるように設定されてもよい。
（１５）被写体との位置関係の変化
　被写体との位置関係の変化として、三次元空間での立体的なカメラワークが設定されてもよい。
　例えば、被写体に回り込むようにして撮影するシーンでは、カメラ（移動体）の左右の旋回、上昇／下降、角速度などが設定される。被写体の前を横切るようにして撮影するシーンでは、カメラ（移動体）の左右の旋回、上昇／下降、速度などが設定される。被写体に近接したり遠ざかったりして撮影するシーンでは、カメラ（移動体）の被写体との最接近距離、上昇／下降、角速度などが設定される。
　被写体の移動に追従したり、並走したりして撮影するシーンでは、被写体との位置関係として、図２８に示されるように、カメラＣＡＭと被写体ＳＢとの距離ｒと、被写体ＳＢの移動方向の角度θが設定される。ここではさらに、（１１）で上述したカメラの最高角速度や最高角加速度、最高速度や最高加速度が設定されてもよい。
＜14．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ９０１，ＲＯＭ（Read Only Memory）９０２，ＲＡＭ（Random Access Memory）９０３は、バス９０４により相互に接続されている。
　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、およびドライブ９１０が接続されている。
　入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、ＲＡＭ９０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ＲＯＭ９０２や記憶部９０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
　データ処理装置が、
　第１の移動体から撮影された第１の動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成する
　データ処理方法。
（２）
　前記第１の動画像に基づいて事前に生成された前記制御データに基づいて、前記第２の移動体の移動、および、前記第２の移動体からの撮影の少なくともいずれかが制御される
　（１）に記載のデータ処理方法。
（３）
　前記第１の動画像に基づいて、前記第１の移動体の前記移動経路を含む移動データを推定し、
　推定された前記移動データを編集することで、前記制御データを生成する
　（２）に記載のデータ処理方法。
（４）
　前記第２の移動体から撮影される第２の動画像についてのユーザの撮影意図および撮影環境の少なくともいずれかが反映された前記制御データを生成する
　（２）に記載のデータ処理方法。
（５）
　前記制御データは、前記撮影意図および前記撮影環境の少なくともいずれかを入力とした機械学習モデルにより出力される
　（４）に記載のデータ処理方法。
（６）
　前記撮影意図は、前記第２の動画像の構図および画角の少なくともいずれかを含む
　（４）または（５）に記載のデータ処理方法。
（７）
　前記撮影環境は、前記第２の移動体の周辺にある撮影対象または撮影可能な対象の幾何学的な形状を含む
　（６）に記載のデータ処理方法。
（８）
　前記第１の動画像に基づいて、前記第１の移動体の前記移動経路を含む移動データを推定し、
　推定された前記移動データから、前記第１の動画像の撮影特徴パラメータを抽出し、
　抽出された前記撮影特徴パラメータを、前記撮影意図適用することで、前記制御データを生成する
　（４）乃至（７）のいずれかに記載のデータ処理方法。
（９）
　前記第１の動画像に基づいて、前記第１の移動体の前記移動経路を含む移動データを推定し、
　推定された前記移動データを、前記撮影環境に適応させることで、前記制御データを生成する
　（４）乃至（７）のいずれかに記載のデータ処理方法。
（１０）
　前記第１の動画像から撮影特徴パラメータを抽出し、
　抽出された前記撮影特徴パラメータを、前記撮影意図に適用することで、前記制御データを生成する
　（４）乃至（７）のいずれかに記載のデータ処理方法。
（１１）
　前記第１の動画像に基づいて、前記撮影環境に適応した前記制御データを生成する
　（４）乃至（７）のいずれかに記載のデータ処理方法。
（１２）
　前記第１の動画像に基づいて逐次生成される前記制御データに基づいて、前記第２の移動体の移動、および、前記第２の移動体からの撮影の少なくともいずれかが制御される
　（１）に記載のデータ処理方法。
（１３）
　前記第２の移動体から撮影される第２の動画像についてのユーザの撮影意図および撮影環境の少なくともいずれかが反映された前記制御データを生成する
　（１２）に記載のデータ処理方法。
（１４）
　前記制御データは、前記撮影意図および前記撮影環境の少なくともいずれかを入力とした機械学習モデルにより出力される
　（１３）に記載のデータ処理方法。
（１５）
　前記撮影意図は、前記第２の動画像の構図および画角の少なくともいずれかを含む
　（１３）または（１４）に記載のデータ処理方法。
（１６）
　前記第１の動画像から抽出された前記撮影特徴パラメータを、前記撮影意図に適用することで、前記制御データを生成する
　（１３）乃至（１５）のいずれかに記載のデータ処理方法。
（１７）
　前記第１の動画像に基づいて、前記撮影環境に適応した前記制御データを生成する
　（１３）乃至（１５）のいずれかに記載のデータ処理方法。
（１８）
　第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ生成部
　を備えるデータ処理装置。
（１９）
　コンピュータに、
　第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成する
　処理を実行させるためのプログラム。
（２０）
　第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ処理装置と、
　前記制御データに基づいて移動する前記第２の移動体と
　を含む移動体制御システム。
　１　移動体制御システム，　１０　データ処理装置，　１１　データ生成部，　２０　移動体，　２０Ｃ　カメラ，　１００　移動体制御システム，　１１０　クライアント端末，　１３０　サーバ，　１５０　コントローラ，　１７０　移動体，　２０１　検索部，　２０２　飛行データ生成部，　２０３　シミュレーション部，　２０４　ＵＡＶ，　３０１　検索部，　３０２　撮影特徴抽出部，　３０３　飛行制御部，　３０４　駆動部，　３０５　カメラ

Claims (20)

  1. 　データ処理装置が、
    　第１の移動体から撮影された第１の動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成する
    　データ処理方法。
  2. 　前記第１の動画像に基づいて事前に生成された前記制御データに基づいて、前記第２の移動体の移動、および、前記第２の移動体からの撮影の少なくともいずれかが制御される
    　請求項１に記載のデータ処理方法。
  3. 　前記第１の動画像に基づいて、前記第１の移動体の前記移動経路を含む移動データを推定し、
    　推定された前記移動データを編集することで、前記制御データを生成する
    　請求項２に記載のデータ処理方法。
  4. 　前記第２の移動体から撮影される第２の動画像についてのユーザの撮影意図および撮影環境の少なくともいずれかが反映された前記制御データを生成する
    　請求項２に記載のデータ処理方法。
  5. 　前記制御データは、前記撮影意図および前記撮影環境の少なくともいずれかを入力とした機械学習モデルにより出力される
    　請求項４に記載のデータ処理方法。
  6. 　前記撮影意図は、前記第２の動画像の構図および画角の少なくともいずれかを含む
    　請求項４に記載のデータ処理方法。
  7. 　前記撮影環境は、前記第２の移動体の周辺にある撮影対象または撮影可能な対象の幾何学的な形状を含む
    　請求項６に記載のデータ処理方法。
  8. 　前記第１の動画像に基づいて、前記第１の移動体の前記移動経路を含む移動データを推定し、
    　推定された前記移動データから、前記第１の動画像の撮影特徴パラメータを抽出し、
    　抽出された前記撮影特徴パラメータを、前記撮影意図に適用することで、前記制御データを生成する
    　請求項４に記載のデータ処理方法。
  9. 　前記第１の動画像に基づいて、前記第１の移動体の前記移動経路を含む移動データを推定し、
    　推定された前記移動データを、前記撮影環境に適応させることで、前記制御データを生成する
    　請求項４に記載のデータ処理方法。
  10. 　前記第１の動画像から撮影特徴パラメータを抽出し、
    　抽出された前記撮影特徴パラメータを、前記撮影意図に適用することで、前記制御データを生成する
    　請求項４に記載のデータ処理方法。
  11. 　前記第１の動画像に基づいて、前記撮影環境に適応した前記制御データを生成する
    　請求項４に記載のデータ処理方法。
  12. 　前記第１の動画像に基づいて逐次生成される前記制御データに基づいて、前記第２の移動体の移動、および、前記第２の移動体からの撮影の少なくともいずれかが制御される
    　請求項１に記載のデータ処理方法。
  13. 　前記第２の移動体から撮影される第２の動画像についてのユーザの撮影意図および撮影環境の少なくともいずれかが反映された前記制御データを生成する
    　請求項１２に記載のデータ処理方法。
  14. 　前記制御データは、前記撮影意図および前記撮影環境の少なくともいずれかを入力とした機械学習モデルにより出力される
    　請求項１３に記載のデータ処理方法。
  15. 　前記撮影意図は、前記第２の動画像の構図および画角の少なくともいずれかを含む
    　請求項１３に記載のデータ処理方法。
  16. 　前記第１の動画像から抽出された前記撮影特徴パラメータを、前記撮影意図に適用することで、前記制御データを生成する
    　請求項１３に記載のデータ処理方法。
  17. 　前記第１の動画像に基づいて、前記撮影環境に適応した前記制御データを生成する
    　請求項１３に記載のデータ処理方法。
  18. 　第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ生成部
    　を備えるデータ処理装置。
  19. 　コンピュータに、
    　第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成する
    　処理を実行させるためのプログラム。
  20. 　第１の移動体から撮影された動画像に基づいて、第２の移動体の移動を制御するための、前記第１の移動体の移動経路に対応した制御データを生成するデータ処理装置と、
    　前記制御データに基づいて移動する前記第２の移動体と
    　を含む移動体制御システム。
PCT/JP2023/009499 2022-03-29 2023-03-13 データ処理方法、データ処理装置、プログラム、および移動体制御システム WO2023189455A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-053271 2022-03-29
JP2022053271 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023189455A1 true WO2023189455A1 (ja) 2023-10-05

Family

ID=88200846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009499 WO2023189455A1 (ja) 2022-03-29 2023-03-13 データ処理方法、データ処理装置、プログラム、および移動体制御システム

Country Status (1)

Country Link
WO (1) WO2023189455A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283913A (ja) * 2001-03-29 2002-10-03 Denso Corp 車両周辺表示装置、プログラムおよび記録媒体
JP2020098567A (ja) * 2018-10-12 2020-06-25 オーロラ フライト サイエンシズ コーポレーション 適応検知・回避システム
JP2021012721A (ja) * 2014-04-25 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体、撮像システム、および飛行体
JP2021168022A (ja) * 2020-04-09 2021-10-21 株式会社ファーロスター 自動管制システム、自動管制方法、及び自動管制装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283913A (ja) * 2001-03-29 2002-10-03 Denso Corp 車両周辺表示装置、プログラムおよび記録媒体
JP2021012721A (ja) * 2014-04-25 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体、撮像システム、および飛行体
JP2020098567A (ja) * 2018-10-12 2020-06-25 オーロラ フライト サイエンシズ コーポレーション 適応検知・回避システム
JP2021168022A (ja) * 2020-04-09 2021-10-21 株式会社ファーロスター 自動管制システム、自動管制方法、及び自動管制装置

Similar Documents

Publication Publication Date Title
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US20210072745A1 (en) Systems and methods for uav flight control
US20210065400A1 (en) Selective processing of sensor data
US20210116944A1 (en) Systems and methods for uav path planning and control
US11797009B2 (en) Unmanned aerial image capture platform
US10816967B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US10831186B2 (en) System for authoring, executing, and distributing unmanned aerial vehicle flight-behavior profiles
CN111527463A (zh) 用于多目标跟踪的方法和系统
WO2022141956A1 (zh) 飞行控制方法、视频编辑方法、装置、无人机及存储介质
KR20190068955A (ko) 무인 항공기의 비행 시뮬레이션 장치 및 이를 이용한 무인 항공기 비행 시뮬레이션 시스템
US11328612B2 (en) System, method, and apparatus for drone positioning control
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
WO2023189455A1 (ja) データ処理方法、データ処理装置、プログラム、および移動体制御システム
WO2023223933A1 (ja) 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779477

Country of ref document: EP

Kind code of ref document: A1