WO2021014752A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2021014752A1
WO2021014752A1 PCT/JP2020/021124 JP2020021124W WO2021014752A1 WO 2021014752 A1 WO2021014752 A1 WO 2021014752A1 JP 2020021124 W JP2020021124 W JP 2020021124W WO 2021014752 A1 WO2021014752 A1 WO 2021014752A1
Authority
WO
WIPO (PCT)
Prior art keywords
composition
information processing
map
moving
shape
Prior art date
Application number
PCT/JP2020/021124
Other languages
English (en)
French (fr)
Inventor
政彦 豊吉
航平 漆戸
竜太 佐藤
琢人 元山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080050674.6A priority Critical patent/CN114096929A/zh
Priority to US17/626,495 priority patent/US20220283584A1/en
Priority to JP2021534568A priority patent/JPWO2021014752A1/ja
Publication of WO2021014752A1 publication Critical patent/WO2021014752A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This technology relates to information processing devices, information processing methods, and information processing programs.
  • Patent Document 1 a technique of presenting an optimum composition according to the scene or subject to be shot by the user has been proposed.
  • Patent Document 1 The technique described in Patent Document 1 is for normal shooting in which the position of the camera is fixed, and optimization of composition in shooting with a camera mounted on an autonomous moving body is an unsolved problem.
  • This technology was made in view of these points, and provides information processing devices, information processing methods, and information processing programs that can determine a movement route for a moving object to take a picture with a desired composition while autonomously moving.
  • the purpose is to provide.
  • the first technique is a map creation unit that creates a map of a moving range that is a range to be photographed while a moving body equipped with an imaging device is moving, and extracts a shape existing in the map.
  • It is an information processing device including a shape extraction unit for setting a shape, a composition setting unit for setting the composition of an image to be captured by an imaging device, and a route determining unit for determining a moving route in a moving range of a moving body based on the shape and composition. ..
  • the second technique is to create a map of the moving range, which is the range to be photographed while the moving body equipped with the imaging device is moving, extract the shape existing in the map, and compose the image to be captured by the imaging device.
  • This is an information processing method that is set and determines the movement path in the movement range of the moving body based on the shape and composition.
  • the third technique is to create a map of the moving range, which is the range to be photographed while the moving body equipped with the imaging device is moving, extract the shape existing in the map, and compose the image to be captured by the imaging device. It is an information processing program that causes a computer to execute an information processing method that is set and determines a movement route in a movement range of a moving body based on a shape and composition.
  • FIG. 16A is an example of a semantic map
  • FIG. 16B is an example of a composition.
  • FIG. 16A is an example of a semantic map
  • FIG. 16B is an example of a composition.
  • FIG. 16B is a diagram showing a state in which a semantic map and a composition are superimposed. It is explanatory drawing of the modification of setting the composition for each waypoint.
  • Embodiment> [1-1. Configuration of shooting system 10] [1-2. Configuration of mobile 100] [1-3. Configuration of image pickup device 200] [1-4. Configuration of terminal device 300 and information processing device 400] [1-5. Processing by information processing device 400] [1-5-1. Whole processing] [1-5-2. Semantic map creation process] [1-5-3. Movement route determination process] ⁇ 2. Modification example>
  • the photographing system 10 includes a moving body 100, an imaging device 200, and a terminal device 300 having a function as an information processing device 400.
  • the mobile body 100 is an electric small aircraft (unmanned aerial vehicle) called a drone.
  • the image pickup apparatus 200 is mounted on the moving body 100 via the gimbal 500, and autonomously shoots with a preset composition during the autonomous movement of the moving body 100 to acquire a still image / moving image.
  • the terminal device 300 is a computer such as a smartphone used by a user who uses the photographing system 10 on the ground, and the information processing device 400 operating in the terminal device 300 sets a composition in photographing and creates a moving route of the moving body 100. It is something to do.
  • the mobile body 100 and the image pickup device 200 can communicate with each other by a wired or wireless connection. Further, the terminal device 300, the mobile body 100, and the image pickup device 200 can communicate with each other by wireless connection.
  • FIG. 2A is an external plan view of the moving body 100
  • FIG. 2B is an external front view of the moving body 100.
  • the airframe is composed of, for example, a cylindrical or square tubular body portion 1 as a central portion, and support shafts 2a to 2f fixed to the upper portion of the body portion 1.
  • the body portion 1 has a hexagonal tubular shape, and six support shafts 2a to 2f extend radially from the center of the body portion 1 at equiangular intervals.
  • the body portion 1 and the support shafts 2a to 2f are made of a lightweight and strong material.
  • each component of the machine body including the body portion 1 and the support shafts 2a to 2f are designed so that the center of gravity thereof is on the vertical line passing through the center of the support shafts 2a to 2f.
  • a circuit unit 5 and a battery 6 are provided in the body portion 1 so that the center of gravity is on the vertical line.
  • the number of rotor blades and motors is set to 6. However, it may have a configuration having four rotor blades and a motor, or a configuration having eight or more rotor blades and a motor.
  • Motors 3a to 3f as drive sources for rotary blades are attached to the tips of the support shafts 2a to 2f, respectively.
  • Rotor blades 4a to 4f are attached to the rotating shafts of the motors 3a to 3f.
  • a circuit unit 5 including a UAV control unit 101 for controlling each motor is attached to a central portion where the support shafts 2a to 2f intersect.
  • the motor 3a and the rotary blade 4a and the motor 3d and the rotary blade 4d form a pair.
  • (motor 3b, rotor 4b) and (motor 3e, rotor 4e) form a pair
  • (motor 3c, rotor 4c) and (motor 3f, rotor 4f) form a pair. ..
  • a battery 6 as a power source is arranged on the bottom surface in the body portion 1.
  • the battery 6 includes, for example, a lithium ion secondary battery and a battery control circuit that controls charging and discharging.
  • the battery 6 is detachably attached to the inside of the body portion 1.
  • a small electric vehicle controls the output of the motor to enable desired navigation. For example, in the state of hovering stationary in the air, the tilt is detected using the gyro sensor mounted on the aircraft, the motor output on the lower side of the aircraft is increased, and the motor output on the upper side is decreased. By doing so, the aircraft is kept horizontal. Further, when moving forward, the motor output in the traveling direction is decreased and the motor output in the opposite direction is increased to take a forward leaning posture and generate a propulsive force in the traveling direction. In the attitude control and propulsion control of such an electric small aircraft, the installation position of the battery 6 as described above can balance the stability of the airframe and the ease of control.
  • FIG. 3 is a block diagram showing the configuration of the moving body 100.
  • the moving body 100 includes a UAV (Unmanned aerial vehicle) control unit 101, a communication unit 102, a self-position estimation unit 103, a three-dimensional distance measuring unit 104, a gimbal control unit 105, a sensor unit 106, a battery 6, and motors 3a to 3f. It is configured to prepare.
  • UAV Unmanned aerial vehicle
  • the support shaft, rotary blade, and the like described in the appearance configuration of the moving body 100 described above will be omitted.
  • the UAV control unit 101, the communication unit 102, the self-position estimation unit 103, the three-dimensional distance measuring unit 104, the gimbal control unit 105, and the sensor unit 106 are included in the circuit unit 5 shown in the external view of the moving body 100 of FIG. It is assumed that there is.
  • the UAV control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. A program or the like that is read and operated by the CPU is stored in the ROM. The RAM is used as the work memory of the CPU. The CPU controls the entire mobile body 100 and each part by executing various processes according to the program stored in the ROM and issuing commands. Further, the UAV control unit 101 controls the flight of the moving body 100 by controlling the outputs of the motors 3a to 3f.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the communication unit 102 is various communication terminals or communication modules for transmitting / receiving data to / from the terminal device 300 and the image pickup device 200.
  • Communication with the terminal device 300 is wireless LAN (Local Area Network), WAN (Wide Area Network), WiFi (Wireless Fidelity), 4G (4th generation mobile communication system), 5G (4th generation mobile communication system), Bluetooth. (Registered trademark), ZigBee (registered trademark) and other wireless communications.
  • the communication with the image pickup apparatus 200 may be a wired communication such as a USB (Universal Serial Bus) communication in addition to the wireless communication.
  • the mobile body 100 receives the movement route information created by the information processing device 400 of the terminal device 300 at the communication unit, and autonomously moves according to the movement route to perform photographing.
  • the self-position estimation unit 103 performs a process of estimating the current position of the moving body 100 based on various sensor information acquired by the sensor unit 106.
  • the three-dimensional distance measuring unit 104 performs three-dimensional distance measuring processing based on various sensor information acquired by the sensor unit 106.
  • the gimbal control unit 105 is a processing unit that controls the operation of the gimbal 500 for rotatably mounting the image pickup device 200 on the moving body 100.
  • the orientation of the image pickup apparatus 200 can be freely adjusted by controlling the rotation of the axis of the gimbal 500 with the gimbal control unit 105. As a result, the orientation of the image pickup apparatus 200 can be adjusted according to the set composition for shooting.
  • the sensor unit 106 is a sensor capable of measuring the distance of a stereo camera, LiDAR (Laser Imaging Detection and Ringing), or the like.
  • a stereo camera is a type of distance sensor, and is a stereo camera with two left and right cameras that apply the principle of triangulation when a human looks at an object.
  • Parallax data can be generated using image data taken with a stereo camera, and the distance between the camera (lens) and the target surface can be measured.
  • LiDAR measures scattered light with respect to laser irradiation that emits pulsed light, and analyzes the distance to an object at a long distance and the properties of the object.
  • the sensor information acquired by the sensor unit 106 is supplied to the self-position estimation unit 103 and the three-dimensional distance measuring unit 104 of the moving body 100.
  • the sensor unit 106 may include a GPS (Global Positioning System) module and an IMU (Inertial Measurement Unit) module.
  • the GPS module acquires the current position (latitude / longitude information) of the moving body 100 and supplies it to the UAV control unit 101, the self-position estimation unit 103, and the like.
  • the IMU module is an inertial measurement unit, and by obtaining three-dimensional angular velocity and acceleration by an acceleration sensor, an angular velocity sensor, a gyro sensor, etc. in two or three axial directions, the moving body 100 is tilted and turned. The angular velocity and the angular velocity around the Y-axis direction are detected and supplied to the UAV control unit 101 and the like.
  • the sensor unit 106 may include an altimeter, a directional meter, and the like.
  • the altimeter measures the altitude at which the moving body 100 is located and supplies altitude data to the UAV control unit 101, and includes a barometric altimeter, a radio altimeter, and the like.
  • the directional meter detects the traveling direction of the moving body 100 by using the action of a magnet and supplies it to the UAV control unit 101 or the like.
  • the image pickup device 200 is mounted on the lower part of the moving body 100 via the gimbal 500.
  • the gimbal 500 is a kind of turntable for rotating an object (imaging device 200 in the present embodiment) supported by, for example, two or three axes.
  • the image pickup apparatus 200 is mounted on the bottom surface of the body portion 1 of the moving body 100 so as to be suspended via the gimbal 500.
  • the image pickup apparatus 200 can take an image by pointing the lens in any of the 360-degree horizontal to vertical directions. This makes it possible to shoot with the set composition.
  • the operation of the gimbal 500 is controlled by the gimbal control unit 105.
  • the configuration of the image pickup apparatus 200 will be described with reference to the block diagram of FIG.
  • the image pickup device 200 includes a control unit 201, an optical image pickup system 202, a lens drive driver 203, an image sensor 204, an image signal processing unit 205, an image memory 206, a storage unit 207, and a communication unit 208.
  • the optical image pickup system 202 is composed of an image pickup lens for concentrating light from a subject on the image pickup element 204, a drive mechanism for moving the image pickup lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. There is. These are driven based on the control signals from the control unit 201 of the image pickup apparatus 200 and the lens drive driver 203.
  • the optical image of the subject obtained through the optical image pickup system 202 is imaged on the image pickup device 204 included in the image pickup apparatus 200.
  • the lens drive driver 203 is composed of, for example, a microcomputer or the like, and by moving the image pickup lens by a predetermined amount along the optical axis direction under the control of the control unit 201, autofocus is performed so as to focus on the target subject. Further, according to the control from the control unit 201, the operation of the drive mechanism, the shutter mechanism, the iris mechanism, etc. of the optical imaging system 202 is controlled. As a result, the exposure time (shutter speed) is adjusted, the aperture value (F value) and the like are adjusted.
  • the image sensor 204 photoelectrically converts the incident light from the subject into an amount of electric charge, and outputs a pixel signal. Then, the image sensor 204 outputs the pixel signal to the image signal processing unit 205.
  • a CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image signal processing unit 205 is a sample hold for maintaining a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing with respect to the image pickup signal output from the image sensor 204, AGC (Auto Gain Control). ) Processing, A / D (Analog / Digital) conversion, etc. are performed to create an image signal.
  • the image memory 206 is a volatile memory, for example, a buffer memory composed of a DRAM (Dynamic Random Access Memory).
  • the image memory 206 temporarily stores image data that has been subjected to predetermined processing by the image signal processing unit 205.
  • the storage unit 207 is a large-capacity storage medium such as a hard disk, a USB flash memory, or an SD memory card.
  • the captured image is stored in a compressed state or an uncompressed state based on a standard such as JPEG (Joint Photographic Experts Group).
  • JPEG Joint Photographic Experts Group
  • EXIF Exchangeable Image File Format
  • additional information such as information about the saved image, imaging position information indicating the imaging position, and imaging time is also saved in association with the image.
  • the communication unit 208 is various communication terminals or communication modules for transmitting / receiving data to / from the mobile body 100 and the terminal device 300.
  • the communication may be either wired communication such as USB communication or wireless communication such as wireless LAN, WAN, WiFi, 4G, 5G, Bluetooth (registered trademark), ZigBee (registered trademark).
  • the terminal device 300 is a computer such as a smartphone, and has a function as an information processing device 400.
  • the terminal device 300 may be any device other than a smartphone as long as it can have a function as an information processing device 400 such as a personal computer, a tablet terminal, and a server device.
  • the configuration of the terminal device 300 will be described with reference to FIG.
  • the terminal device 300 includes a control unit 301, a storage unit 302, a communication unit 303, an input unit 304, a display unit 305, and an information processing device 400.
  • the control unit 301 is composed of a CPU, RAM, ROM, and the like.
  • the CPU controls the entire terminal device 300 and each part by issuing commands by executing various processes according to the program stored in the ROM.
  • the storage unit 302 is a large-capacity storage medium such as a hard disk or a flash memory. Various applications and data used in the terminal device 300 are stored in the storage unit 302.
  • the communication unit 303 is a communication module for transmitting and receiving data and various information to and from the mobile body 100 and the image pickup device 200.
  • the communication is any wireless communication such as wireless LAN, WAN, WiFi, 4G, 5G, Bluetooth (registered trademark), ZigBee (registered trademark) that can communicate with the remote mobile body 100 and the image pickup device 200. It may be a method.
  • the input unit 304 is for the user to input various inputs such as input for composition setting and input for waypoint setting and input of instructions.
  • various inputs such as input for composition setting and input for waypoint setting and input of instructions.
  • a control signal corresponding to the input is generated and supplied to the control unit 301.
  • the control unit 301 performs various processes corresponding to the control signal.
  • the input unit 304 may be a touch panel, a touch screen integrated with a monitor, voice input by voice recognition, or the like.
  • the display unit 305 is a display device such as a display that displays images / videos, GUI (Graphical User Interface), and the like.
  • the display unit 305 displays a semantic map creation range setting UI, a waypoint input UI, a movement route presentation UI, and the like.
  • the terminal device 300 may include a speaker or the like that outputs sound as an output means other than the display unit 305.
  • the information processing device 400 sets a composition so that the moving body 100 and the imaging device 200 can perform autonomous movement and autonomous photographing with a designated composition, and performs a process of determining a movement route.
  • the information processing apparatus 400 includes a map creation unit 401, a shape extraction unit 402, a composition setting unit 403, a waypoint setting unit 404, and a route determination unit 405.
  • the map creation unit 401 creates a semantic map. Semantic is translated as "meaningful, semantic, semantic, semantic", and a semantic map is meant to identify or identify objects that exist in the map. It is a map containing the information of the above and the information of the meaningful object and the boundary line between the objects.
  • Map creation unit 401 creates a semantic map for the range set on the two-dimensional map data.
  • the range in which this semantic map is created is the range in which the moving body 100 including the imaging device 200 takes a picture while moving, and corresponds to the "moving range" in the claims.
  • the shape extraction unit 402 performs a process of extracting a specific shape (straight line, curve, etc.) from the semantic map.
  • the shape extraction unit 402 extracts the shape by, for example, Hough transform.
  • the shape information indicating the extracted shape is supplied to the routing unit 405.
  • the Hough transform is a method of extracting a shape that is a predetermined template such as a straight line or a circle with an angle from an image.
  • the composition setting unit 403 performs a process of setting the composition of the image to be captured by the image pickup apparatus 200.
  • a first composition method a plurality of composition data are held in advance, displayed on the display unit 305 of the terminal device 300 and presented to the user, and the composition selected by the user is used as a composition for shooting.
  • Various compositions to be held in the composition setting unit 403 in advance include, for example, the Hinomaru composition, which has been widely used for photography, a two-division composition, a three-division composition, a diagonal composition, a symmetry composition, a radiation composition, and a triangular composition. There is something.
  • the drawing UI is displayed on the display unit 305 of the terminal device 300, the user draws a line indicating the composition by the drawing tool, and the figure represented by the line is used as the composition.
  • the route determination unit 405 proposes to the user the optimum composition for shooting. This uses the shape information extracted by the shape extraction unit 402 to compare the extracted shape with a plurality of composition data held in advance, presents the user with a composition having a high degree of similarity, and proposes the composition to the user. It is a method of setting what is decided as a composition.
  • the waypoint setting unit 404 sets the waypoints that constitute the movement path of the moving body 100.
  • the waypoint is a passing point of the moving body 100 for determining a moving route indicating how the moving body 100 moves. Since multiple waypoints are used to determine the movement route, a plurality of waypoints are set, and if there are a plurality of waypoints, the number is not limited to a specific number.
  • two-dimensional map data is displayed on the display unit 305 of the terminal device 300, and a point designated by the user on the map is set as a waypoint.
  • Waypoints may be set on a semantic map, or may be set on two-dimensional map data indicating a semantic map creation range. Further, waypoints may be specified on a map obtained by converting a semantic map into a two-dimensional bird's-eye view.
  • the route determination unit 405 determines the route to be moved for taking a picture by the image pickup apparatus 200 in the composition in which the moving body 100 is set within the semantic map creation range.
  • the movement route includes one global movement route that passes through all the waypoints set within the semantic map creation range, and a local movement route that is a movement route between each waypoint.
  • the terminal device 300 and the information processing device 400 are configured as described above.
  • the information processing device 400 is realized by executing a program, and the program may be installed in the terminal device 300 in advance, or may be distributed by download, storage medium, or the like so that the user can install it by himself / herself. Good. Further, the information processing device 400 may be realized not only by a program but also by combining a dedicated device, a circuit, or the like by hardware having the function.
  • FIG. 7 is a flowchart showing the overall flow of the information processing device 400.
  • the map creation unit 401 creates a semantic map.
  • the semantic map of FIG. 8B is represented in grayscale, and the values shown for each region classified by lightness in the figure indicate the range of grayscale gradation in that region.
  • the semantic map of FIG. 8B also includes information on meanings in the map, such as roads, trees, and the sky. The details of creating the semantic map will be described later with reference to the flowchart of FIG.
  • the created semantic map is supplied to the shape extraction unit 402.
  • step S102 the shape extraction unit 402 extracts a predetermined shape (straight line, curve, etc.) from the semantic map.
  • the shape is extracted as shown in FIG. 9 by, for example, Hough transform.
  • the extracted shape information is supplied to the routing unit 405.
  • step S103 the composition setting unit 403 sets the composition for shooting.
  • the composition information set by the composition setting unit 403 is supplied to the route determination unit 405.
  • step S104 the waypoint setting unit 404 sets the waypoint for determining the movement route.
  • step S105 the route determination unit 405 determines the movement route.
  • the details of the movement route determination will be described later with reference to the flowchart of FIG.
  • the composition setting of step S103 and the waypoint setting of step S104 may be performed prior to the creation of the semantic map in step S101 and the shape extraction in step S102, and steps S101 to S101 to the route determination in step S105 regardless of the order. It suffices if step S104 is completed.
  • the information on the moving path determined in this way is supplied to the UAV control unit 101 of the moving body 100, and the UAV control unit 101 of the moving body 100 controls to autonomously move the moving body 100 to the moving path, and the image pickup apparatus. 200 takes a picture with the composition set on the movement path.
  • step S201 the range for creating the semantic map is determined.
  • This semantic map creation range is set based on the range specified by the user on the two-dimensional map data.
  • the user encloses the range for creating a semantic map on the two-dimensional map data associated with the latitude / longitude information displayed on the display unit 305 of the terminal device 300 with a rectangular frame. Specified by. Then, the information of the designated range is supplied to the map creation unit 401, and the designated range is set as the range for creating the semantic map. After setting the semantic map creation range, it is preferable to display the semantic map creation range in the entire display unit 305 as shown in FIG. 11B in order to make it easier for the user to specify waypoints in the semantic map creation range.
  • the semantic map creation range is not limited to a rectangular shape, but may be a triangular shape, a circular shape, or a free shape that is not a specific shape.
  • the map creation range may be determined by the user by designating the range for the three-dimensional map data.
  • step S202 the destination to be reached by moving the moving body 100 in order to make observations for creating the semantic map by the sensor unit 106 in the semantic map creation range is set.
  • This destination is set on the boundary between the observed area that has been observed by the mobile body 100 and the unobserved area that has not been observed yet.
  • step S203 the operation of the moving body 100 is controlled to move to the destination.
  • step S204 three feature points are identified by a known three-dimensional shape measurement technique using a sensor unit 106 (stereo camera or the like) included in the moving body 100, and a mesh is stretched between the three points. ..
  • the semantic map is created by using the mesh.
  • the semantic map can be created not only by using a mesh but also by using voxels, for example.
  • Semantic segmentation is a process of labeling the meaning of each pixel that constitutes an image with respect to each pixel.
  • step S205 based on the result of semantic segmentation, a two-dimensional semantic label is projected onto the three-dimensional shape, and on the three-dimensional semantic map, what category is the mesh stretched in step S203 (? It is decided by voting whether it belongs to a road, a building, etc.).
  • step S207 it is determined whether or not there is an unobserved area within the semantic map creation range. If there is an unobserved area, the process proceeds to step S202, and a new destination is set in step S202. Then, by repeating steps S202 to S207 until there are no unobserved areas, a semantic map of the entire semantic map creation range can be created.
  • the map creation unit 401 creates a semantic map.
  • the movement route is composed of a global movement route and a local movement route.
  • the global movement route is a route from the start point to the end point of the movement of the moving body 100 set to pass through all the waypoints, and the local movement route is a movement route set for each waypoint. ..
  • the local movement route is connected to form a global movement route.
  • the waypoint setting unit 404 sets the waypoint within the semantic map creation range based on the input from the user.
  • the waypoint indicates a specific position on the movement path of the moving body 100.
  • the waypoints set based on the user's input may be represented by the above points on the two-dimensional map data indicating the semantic map creation range as shown in FIG. 13A. This allows the user to easily see where the waypoints are.
  • a plurality of waypoints are set on the semantic map creation range.
  • the waypoints may be specified on the semantic map, or may be specified on the map obtained by converting the semantic map into a two-dimensional bird's-eye view.
  • the route determination unit 405 sets a movement route from the reference waypoint to the nearest waypoint.
  • the first reference waypoint is the position where the moving body 100 starts moving, and is set based on the input from the user.
  • the route determination unit 405 may set a waypoint as the first reference by a predetermined algorithm or the like.
  • step S303 it is determined in step S303 whether or not the movement route is set so as to pass through all the waypoints. If all the waypoints have not been passed, the process proceeds to step S304 (No in step S303).
  • step S304 the nearest waypoint for which the movement route was set in step S302 is set as the reference waypoint for the next route to be set. Then, the process proceeds to step S302, and a movement route from the reference waypoint newly set in step S304 to the nearest waypoint is set.
  • step S401 two waypoints for determining a local movement route are determined from all the waypoints.
  • the two waypoints that determine the local movement route may be automatically determined in the order of input from the user or the waypoints corresponding to the end points of the global movement route.
  • the route determination unit 405 sets a plurality of temporary movement routes between the two waypoints.
  • a method of determining a temporary movement route there are known techniques and algorithms for movement of robots, autonomous vehicles, autonomous mobile bodies, etc., such as those for efficient ones and those for finding an optimum route, and these are appropriately used. It can be used properly. These known techniques are roughly divided into two, one in which all possible routes are evaluated, and the other in which a plurality of routes are tentatively placed at random and selected from them.
  • step S403 the position and orientation of the moving body 100 on the temporary moving path are input.
  • the cost at the position and posture of the input moving body 100 is calculated.
  • step S404 the cost is calculated along the temporary movement route for one of the plurality of temporary movement routes.
  • the cost is the value obtained by normalizing the distance of the temporary movement route itself, the value obtained by normalizing the distance from the obstacle, and the value obtained by normalizing the similarity with the composition. It is calculated as a result.
  • the movement route with the lowest cost is the optimum movement route for the moving body 100, and is finally included in the global movement route. Details of cost calculation will be described later.
  • step S405 it is determined in step S405 whether or not the costs have been calculated for all the temporary movement routes. If the costs have not been calculated for all the temporary movement routes, the process proceeds to step S403 (No in step S405), and steps S403 to S405 are repeated until the costs are calculated for all the temporary movement routes.
  • the process proceeds to step S406, and the temporary movement route having the lowest cost among all the temporary movement routes is determined as the movement route to be included in the route plan.
  • the lowest cost, optimal travel route is one with a short distance between the routes themselves and a high degree of similarity in composition with the semantic map.
  • the process of FIG. 15 calculates the cost for each temporary movement route before the actual shooting, and determines the temporary movement route having the lowest cost from the plurality of temporary movement routes as the optimum local movement route.
  • step S501 the position and posture of the moving body 100 when shooting is performed with the set composition for one of the temporary moving paths among the plurality of temporary moving paths.
  • step S502 the position and orientation of the image pickup apparatus 200 when shooting is performed with the set composition for one temporary movement path are obtained.
  • the position and orientation of the image pickup apparatus 200 may be obtained as the position and orientation of the gimbal 500.
  • step S503 it is assumed that the image pickup device 200 can take a picture from the semantic map based on the position and posture of the moving body 100 calculated in step S501 and the position and posture of the image pickup device 200 calculated in step S502.
  • what kind of image can be taken in the three-dimensional space when the image is taken by the image pickup device 200 provided on the moving body 100 in the three-dimensional semantic map is represented in two dimensions, and the semantic map is displayed in the image pickup device 200. It can be said that it is a process of converting into a photographed image that can be assumed to be photographed by, that is, a process of projecting a semantic map onto a two-dimensional image as a photographed image.
  • step S503 does not actually take a picture with the image pickup apparatus 200, but the process in the information processing apparatus 400 is used to obtain a semantic map, position information and attitude information of the moving body 100, and position information and attitude information of the image pickup apparatus 200. It is calculated based on.
  • Costcompk which is the difference between the line segments constituting the set composition and the shapes (straight lines, curves, etc.) extracted in the semantic map, which is the cost related to the semantic map and the composition, is calculated by the following equation 1.
  • the difference shown in FIG. 17 is calculated as the cost between the shape extracted in the semantic map as shown in FIG. 16A and the line segment constituting the composition set as shown in FIG. 16B.
  • FIG. 17 shows a state in which the semantic map and the composition are superimposed.
  • the difference between the shape extracted in the semantic map and the line segments constituting the composition is 0, and when the difference is 0, an image that matches the composition can be taken.
  • it is difficult to make the difference so it is necessary to make the difference as small as possible (reduce the cost) in order to take an image close to the set composition. Therefore, it is necessary to adjust so that the difference between the line segment constituting the composition and the shape in the nearest semantic map is minimized.
  • the cost path which is the cost of the temporary movement route, is calculated by the following equation 2.
  • Equations 1 and 2 are as follows.
  • step S505 it is determined whether or not the calculated cost is equal to or less than a predetermined threshold value. Since it is desirable that the cost is low, if the cost is less than or equal to the threshold value, the process proceeds to step S506 (Yes in step S505), and it is determined that the temporary movement route is the optimum local movement route.
  • step S507 No in step S505
  • the process proceeds to step S507 (No in step S505), and it is determined that the temporary movement route is not the optimum local movement route because the cost is large.
  • the moving body 100 determines all the routes for performing imaging. Then, the information processing device 400 transmits the information of the determined movement route to the moving body 100.
  • the UAV control unit 101 of the mobile body 100 that has received the movement route information controls the operation of the mobile body 100 according to the movement route information, and the gimbal control unit 105 further controls the operation of the gimbal 500, whereby the moving body 100 and the imaging device It is possible to shoot a specified composition by autonomous shooting by 200. Further, by displaying the created movement route on the display unit 305 of the terminal device 300 and presenting it to the user, the user can grasp what kind of movement route the moving body 100 moves and takes a picture. ..
  • the drone as the moving body 100 is not limited to the one provided with the rotary wing as described in the embodiment, and may be a so-called fixed wing type.
  • the mobile body 100 of the present technology is not limited to a drone, and may be an automobile, a ship, a robot, or the like that automatically moves without being controlled by a person.
  • the posture of the moving body 100 and the posture of the image pickup device 200 are equal.
  • the image may be taken with the composition set by adjusting the inclination of the moving body 100.
  • the moving body 100 and the imaging device 200 are configured as separate devices, but the moving body 100 and the imaging device 200 may be configured as an integrated device.
  • any device such as a digital camera, a smartphone, a mobile phone, a portable game machine, a laptop computer, a tablet terminal, etc., which has an image pickup function and can be mounted on the mobile body 100, is used. May be good.
  • the image pickup apparatus 200 may include an input unit 304, a display unit 305, and the like. Further, the image pickup device 200 may be used alone as the image pickup device 200 when it is not connected to the moving body 100.
  • the three-dimensional map data used for creating the semantic map may be acquired from an external server or cloud, or data that is open to the public on the Internet may be used.
  • the semantic map may be created not by the drone but by a car, a robot, or a ship equipped with the sensor unit 106, or by walking of a user who possesses the sensor device.
  • the information processing device 400 may be provided on the mobile body 100 instead of the terminal device 300.
  • composition setting if there is a text input or voice input such as "I want to shoot with a focus on humans”, analyze it and set the composition (for example, the Hinomaru composition centered on people) or You may be able to make suggestions.
  • the information of the subject obtained from the semantic map and the shooting conditions such as exposure may be adjusted according to the composition. For example, the exposure of the subject that can be seen to be empty is changed.
  • one composition is set and the movement route for shooting with that composition is determined, but as shown in FIG. 18, it differs for each local movement route (for each waypoint) and for each arbitrary position. You may be able to set the composition.
  • the composition shown in FIG. 18 is merely an example, and is not limited to that composition.
  • the composition setting unit 403 may refer to the captured moving image or still image, extract the composition from the reference moving image / still image, and automatically set the same composition as the moving image or still image.
  • the present technology can also have the following configurations.
  • a map creation unit that creates a map of the moving range, which is the range in which a moving object equipped with an image pickup device moves and shoots.
  • a shape extraction unit that extracts shapes existing in the map
  • a composition setting unit that sets the composition of the image to be captured by the image pickup device
  • An information processing device including a route determining unit that determines a moving route in the moving range of the moving body based on the shape and the composition.
  • the route determining unit determines a global movement route which is a movement route passing through all of a plurality of waypoints set in the movement range.
  • the information processing apparatus determines a local movement route, which is a movement route between the waypoints, based on the composition and the cost calculated for the movement route.
  • the route determination unit sets a plurality of temporary movement routes between the plurality of waypoints, calculates the cost for each of the plurality of temporary movement routes, and uses the low cost temporary movement route as the local movement route.
  • the information processing apparatus according to (4).
  • (6) The information processing apparatus according to (4), wherein the cost is based on the difference between the shape extracted in the map by the shape extraction unit and the line segment constituting the composition.
  • composition data similar to the shape extracted in the map by the shape extraction unit is presented to the user, and the composition data determined by the input of the user is set as the composition.
  • Processing equipment (13) The information processing device according to any one of (1) to (12), wherein the composition setting unit determines the composition based on the shape extracted in the map.
  • the composition can be set for each waypoint.
  • the shape extraction unit extracts the shape existing in the map by Hough transform.
  • the shapes existing in the map are extracted and Set the composition of the image to be taken by the image pickup device, An information processing method for determining a movement path in the movement range of the moving body based on the shape and the composition.
  • (17) Create a map of the moving range, which is the range in which the moving object equipped with the image pickup device shoots while moving.
  • the shapes existing in the map are extracted and Set the composition of the image to be taken by the image pickup device,
  • An information processing program that causes a computer to execute an information processing method for determining a movement path in the movement range of the moving body based on the shape and the composition.

Abstract

撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成するマップ作成部と、マップ内に存在する形状を抽出する形状抽出部と、撮像装置で撮影する画像の構図を設定する構図設定部と、形状と構図に基づいて移動体の移動範囲における移動経路を決定する経路決定部とを備える情報処理装置である。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本技術は、情報処理装置、情報処理方法、情報処理プログラムに関する。
　従来からカメラによる撮影の技術においては、ユーザが撮影しようとするシーンや被写体などに合わせて最適な構図を提示する技術が提案されている（特許文献１）。
　また近年、ドローンなどの自律移動体が普及し、その自律移動体にカメラを搭載して撮影を行う方法も普及しつつある。
特開２０１１－１３５５２７号公報
　特許文献１に記載の技術はカメラの位置が固定された通常の撮影におけるものであり、自律移動する自律移動体に搭載されたカメラでの撮影における構図の最適化は未解決の課題である。
　本技術はこのような点に鑑みなされたものであり、移動体が自律移動しながら所望の構図で撮影するための移動経路を決定することができる情報処理装置、情報処理方法、情報処理プログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成するマップ作成部と、マップ内に存在する形状を抽出する形状抽出部と、撮像装置で撮影する画像の構図を設定する構図設定部と、形状と構図に基づいて移動体の移動範囲における移動経路を決定する経路決定部とを備える情報処理装置である。
　また、第２の技術は、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、マップ内に存在する形状を抽出し、撮像装置で撮影する画像の構図を設定し、形状と構図に基づいて移動体の移動範囲における移動経路を決定する情報処理方法である。
　また、第３の技術は、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、マップ内に存在する形状を抽出し、撮像装置で撮影する画像の構図を設定し、形状と構図に基づいて移動体の移動範囲における移動経路を決定する情報処理方法をコンピュータに実行させる情報処理プログラムである。
撮影システム１０の構成を示す全体図である。 移動体１００の構成を示す外観図である。 移動体１００の構成を示すブロック図である。 撮像装置２００の構成を示すブロック図である。 端末装置３００の構成を示すブロック図である。 情報処理装置４００の構成を示すブロック図である。 移動経路決定の全体フローを示すフローチャートである。 セマンティックマップの例を示す図である。 セマンティックマップからの形状抽出の説明図である。 セマンティックマップ作成処理を示すフローチャートである。 マップ作成範囲の設定の説明図である。 移動経路決定処理を示すフローチャートである。 ウェイポイント設定の説明図である。 局所的移動経路決定処理を示すフローチャートである。 移動経路についてのコスト算出処理を示すフローチャートである。 コスト算出の説明図であり、図１６Ａはセマンティックマップの例であり、図１６Ｂは構図の例である。 コスト算出の説明図であり、セマンティックマップと構図を重ね合わせた状態を示す図である。 ウェイポイント間ごとに構図を設定する変形例の説明図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．撮影システム１０の構成］
［１－２．移動体１００の構成］
［１－３．撮像装置２００の構成］
［１－４．端末装置３００および情報処理装置４００の構成］
［１－５．情報処理装置４００による処理］
［１－５－１．全体処理］
［１－５－２．セマンティックマップ作成処理］
［１－５－３．移動経路決定処理］
＜２．変形例＞
＜１．実施の形態＞
［１－１．撮影システム１０の構成］
　まず図１を参照して撮影システム１０の構成について説明する。撮影システム１０は、移動体１００、撮像装置２００、情報処理装置４００としての機能を有する端末装置３００とから構成されている。
　本実施の形態において移動体１００はドローンと称される電動小型飛行体（無人航空機）である。撮像装置２００はジンバル５００を介して移動体１００に搭載され、移動体１００の自律移動中に予め設定された構図で自律撮影を行って静止画／動画を取得するものである。
　端末装置３００は地上において撮影システム１０を利用するユーザが使用するスマートフォンなどのコンピュータであり、端末装置３００において動作する情報処理装置４００が撮影における構図の設定や移動体１００の移動経路の作成などを行うものである。
　移動体１００と撮像装置２００は有線または無線接続により通信可能となっている。また、端末装置３００と移動体１００および撮像装置２００は無線接続により通信可能となっている。
［１－２．移動体１００の構成］
　図２および図３を参照して移動体１００の構成について説明する。図２Ａは移動体１００の外観平面図であり、図２Ｂは移動体１００の外観正面図である。中心部としての例えば円筒状または角筒状の胴体部１と、胴体部１の上部に固定された支持軸２ａ～２ｆとから機体が構成される。一例として、胴体部１が６角筒状とされ、胴体部１の中心から６本の支持軸２ａ～２ｆが等角間隔で放射状に延びるようになされている。胴体部１および支持軸２ａ～２ｆは、軽量で強度の高い材料から構成されている。
　さらに、胴体部１および支持軸２ａ～２ｆからなる機体は、その重心が支持軸２ａ～２ｆの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部１内に回路ユニット５およびバッテリ６が設けられている。
　図２の例では、回転翼およびモータの数が６個とされている。しかしながら、４個の回転翼およびモータを有する構成、或いは８個以上の回転翼およびモータを有する構成でもよい。
　支持軸２ａ～２ｆの先端部には、回転翼の駆動源としてのモータ３ａ～３ｆがそれぞれ取り付けられている。モータ３ａ～３ｆの回転軸に回転翼４ａ～４ｆが取り付けられている。各モータを制御するためのＵＡＶ制御部１０１などを含む回路ユニット５が支持軸２ａ～２ｆが交わる中心部に取り付けられている。
　モータ３ａおよび回転翼４ａと、モータ３ｄおよび回転翼４ｄとが対を構成する。同様に、（モータ３ｂ，回転翼４ｂ）と（モータ３ｅ，回転翼４ｅ）とが対を構成し、（モータ３ｃ，回転翼４ｃ）と（モータ３ｆ，回転翼４ｆ）とが対を構成する。
　胴体部１内に底面に動力源としてのバッテリ６が配置されている。バッテリ６は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ６は、胴体部１の内部に着脱自在に取り付けられている。バッテリ６の重心と機体の重心とを一致させることによって、重心の安定性が増加する。
　一般的にドローンと称される電動小型飛行体は、モータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のモータ出力を増加させ、上がった側のモータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のモータ出力を低下、逆方向のモータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ６の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。
　図３は、移動体１００の構成を示すブロック図である。移動体１００は、ＵＡＶ（Unmanned aerial vehicle）制御部１０１、通信部１０２、自己位置推定部１０３、３次元測距部１０４、ジンバル制御部１０５、センサ部１０６、バッテリ６、モータ３ａ～３ｆ、を備えて構成されている。なお、上述の移動体１００の外観構成で説明した支持軸、回転翼などは省略する。ＵＡＶ制御部１０１、通信部１０２、自己位置推定部１０３、３次元測距部１０４、ジンバル制御部１０５、センサ部１０６は図２の移動体１００の外観図に示される回路ユニット５に含まれているものとする。
　ＵＡＶ制御部１０１はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、移動体１００全体および各部を制御する。また、ＵＡＶ制御部１０１は、モータ３ａ～３ｆの出力を制御することにより移動体１００の飛行を制御するものである。
　通信部１０２は、端末装置３００および撮像装置２００とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、端末装置３００とは無線ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、ＷｉＦｉ（Wireless Fidelity）、４Ｇ（第４世代移動通信システム）、５Ｇ（第４世代移動通信システム）、Bluetooth（登録商標）、ZigBee（登録商標）などの無線通信で行われる。また、撮像装置２００との通信は無線通信のほか、ＵＳＢ（Universal Serial Bus）通信などの有線通信でもよい。移動体１００は端末装置３００の情報処理装置４００が作成した移動経路情報を通信部で受信してその移動経路に従って自律移動して撮影を行う。
　自己位置推定部１０３は、センサ部１０６で取得した各種センサ情報に基づいて移動体１００の現在位置を推定する処理を行うものである。
　３次元測距部１０４は、センサ部１０６で取得した各種センサ情報に基づいて３次元の測距処理を行うものである。
　ジンバル制御部１０５は、移動体１００に撮像装置２００を回転自在に装着させるためのジンバル５００の動作を制御する処理部である。ジンバル制御部１０５でジンバル５００の軸の回転を制御することにより撮像装置２００の向きを自在に調整することができる。これにより、設定された構図に合わせて撮像装置２００の向きを調整して撮影を行うことができる。
　センサ部１０６は、ステレオカメラ、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）などの距離を測定することができるセンサである。ステレオカメラは、距離センサの一種で、人間が物を見るときの三角測量の原理を応用した左右２台のカメラによるステレオ方式カメラである。ステレオカメラで撮影した画像データを用いて視差データを生成し、カメラ（レンズ）と対象表面までの距離を測定することができる。ＬｉＤＡＲはパルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析するものである。センサ部１０６が取得したセンサ情報を移動体１００の自己位置推定部１０３と３次元測距部１０４に供給される。
　またセンサ部１０６はＧＰＳ（Global Positioning System）モジュール、ＩＭＵ（Inertial Measurement Unit）モジュールを含んでいてもよい。ＧＰＳモジュールは、移動体１００の現在位置（緯度経度情報）を取得してＵＡＶ制御部１０１、自己位置推定部１０３などに供給するものである。ＩＭＵモジュールは、慣性計測装置であり、２軸または３軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサなどによって、３次元の角速度と加速度を求めることにより、移動体１００の姿勢、傾き、旋回時の角速度やＹ軸方向周りの角速度など検出してＵＡＶ制御部１０１などに供給する。
　さらにセンサ部１０６は高度計、方位計などを含んでいてもよい。高度計は、移動体１００が位置する高度を計測して高度データをＵＡＶ制御部１０１に供給するものであり、気圧高度計、電波高度計などがある。方位計は磁石の作用を用いて移動体１００の進行方角を検出してＵＡＶ制御部１０１などに供給するものである。
　本実施の形態においては、移動体１００の下部にジンバル５００を介して撮像装置２００が搭載されている。ジンバル５００とは、例えば２軸または３軸の軸で支持する物体（本実施の形態では撮像装置２００）を回転させる回転台の一種である。
［１－３．撮像装置２００の構成］
　撮像装置２００は、図２Ｂに示すように移動体１００の胴体部１の底面にジンバル５００を介して吊り下げられるように搭載されている。撮像装置２００はジンバル５００の駆動により３６０度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮像することが可能となっている。これにより、設定した構図での撮影が可能となっている。なお、ジンバル５００の動作制御はジンバル制御部１０５により行われる。
　図４のブロック図を参照して撮像装置２００の構成について説明する。撮像装置２００は、制御部２０１、光学撮像系２０２、レンズ駆動ドライバ２０３、撮像素子２０４、画像信号処理部２０５、画像メモリ２０６、記憶部２０７、通信部２０８を備えて構成されている。
　光学撮像系２０２は、被写体からの光を撮像素子２０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置２００の制御部２０１、レンズ駆動ドライバ２０３からの制御信号に基づいて駆動される。光学撮像系２０２を介して得られた被写体の光画像は、撮像装置２００が備える撮像素子２０４上に結像される。
　レンズ駆動ドライバ２０３は、例えばマイコンなどにより構成され、制御部２０１の制御に従い撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部２０１からの制御に従い、光学撮像系２０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
　撮像素子２０４は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子２０４は画素信号を画像信号処理部２０５に出力する。撮像素子２０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
　画像信号処理部２０５は撮像素子２０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。
　画像メモリ２０６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ２０６は画像信号処理部２０５によって所定の処理が施された画像データを一時的に蓄えておくものである。
　記憶部２０７は、例えば、ハードディスク、ＵＳＢフラッシュメモリ、ＳＤメモリカードなどの大容量記憶媒体である。撮像された画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
　通信部２０８は、移動体１００および端末装置３００とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、ＵＳＢ通信などの有線通信や、無線ＬＡＮ、ＷＡＮ、ＷｉＦｉ、４Ｇ、５Ｇ、Bluetooth（登録商標）、ZigBee（登録商標）などの無線通信のどちらであってもよい。
［１－４．端末装置３００および情報処理装置４００の構成］
　端末装置３００はスマートフォンなどコンピュータであり、情報処理装置４００としての機能を備える。なお、端末装置３００はスマートフォン以外にもパーソナルコンピュータ、タブレット端末、サーバ装置など情報処理装置４００としての機能を備える事が可能である装置であればどのようなものでもよい。
　図５を参照して端末装置３００の構成について説明する。端末装置３００は制御部３０１、記憶部３０２、通信部３０３、入力部３０４、表示部３０５、情報処理装置４００を備えて構成されている。
　制御部３０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置３００の全体および各部の制御を行う。
　記憶部３０２は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部３０２には端末装置３００で使用する各種アプリケーションやデータなどが格納されている。
　通信部３０３は、移動体１００および撮像装置２００とデータや各種情報の送受信を行なうための通信モジュールである。通信は、離れた移動体１００および撮像装置２００と通信することができる無線ＬＡＮ、ＷＡＮ、ＷｉＦｉ、４Ｇ、５Ｇ、Bluetooth（登録商標）、ZigBee（登録商標）などの無線通信であればどのような方法でもよい。
　入力部３０４は、ユーザが構図設定のための入力、ウェイポイント設定のための入力など各種入力および指示の入力などを行うためのものである。入力部３０４に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部３０１に供給される。そして、制御部３０１はその制御信号に対応した各種処理を行う。入力部３０４は物理ボタンの他、タッチパネル、モニタと一体に構成されたタッチスクリーン、音声認識による音声入力などでもよい。
　表示部３０５は、画像／映像、ＧＵＩ（Graphical User Interface）などを表示するディスプレイなどの表示デバイスである。本実施の形態において表示部３０５にはセマンティックマップ作成範囲設定用ＵＩ、ウェイポイント入力用ＵＩ、移動経路提示用ＵＩなどが表示される。なお、端末装置３００は表示部３０５以外の出力手段として音声を出力するスピーカなどを備えていてもよい。
　次に情報処理装置４００の構成について説明する。情報処理装置４００は移動体１００と撮像装置２００により指定の構図で自律移動および自律撮影を行うことができるように構図を設定し、移動経路を決定する処理を行うものである。図６に示すように情報処理装置４００はマップ作成部４０１、形状抽出部４０２、構図設定部４０３、ウェイポイント設定部４０４、経路決定部４０５を備えて構成されている。
　マップ作成部４０１はセマンティックマップを作成するものである。セマンティック（semantic）とは、「意味の、語義の、意味論の、意味的な」という訳されるものであり、セマンティックマップとはマップ中に存在するオブジェクトを識別したり特定したりする意味としての情報と、意味を有するオブジェクトとオブジェクトの境界線の情報を含むマップである。
　マップ作成部４０１は２次元の地図データ上に設定される範囲についてセマンティックマップを作成する。このセマンティックマップが作成される範囲は撮像装置２００を備える移動体１００が移動しながら撮影する範囲であり、特許請求の範囲の「移動範囲」に相当するものである。
　形状抽出部４０２はセマンティックマップから特定の形状（直線、曲線など）を抽出する処理を行うものである。形状抽出部４０２は例えばHough変換により形状の抽出を行う。抽出した形状を示す形状情報は経路決定部４０５に供給される。Hough変換は、角度を持った直線、円など予め定めたテンプレートである形状を画像から抽出する手法である。
　構図設定部４０３は、撮像装置２００で撮影する画像の構図を設定する処理を行うものである。構図の第１の設定方法としては、予め複数の構図データを保持しておき、それを端末装置３００の表示部３０５に表示してユーザに提示し、ユーザから選択された構図を撮影用の構図として設定する、という方法がある。構図設定部４０３に予め保持させておく構図としては、例えば従来から写真撮影に広く用いられている日の丸構図、２分割構図、３分割構図、対角構図、シンメトリー構図、放射線構図、三角構図など様々なものがある。
　また第２の方法として、既存の構図ではなくユーザの描画入力により構図を設定する方法がある。例えば、端末装置３００の表示部３０５に描画用ＵＩを表示させ、描画ツールによりユーザが構図を示す線を描き、その線で表される図形を構図とする。
　さらに第３の方法としては、経路決定部４０５がユーザに撮影に最適な構図を提案する、という方法である。これは形状抽出部４０２が抽出した形状の情報を利用して、抽出された形状と予め保持している複数の構図データを比較して類似度が高い構図をユーザに提示して提案し、ユーザが決定したものを構図として設定するという方法である。
　ウェイポイント設定部４０４は、移動体１００の移動経路を構成するウェイポイントを設定するものである。ウェイポイントとは、移動体１００がどのように移動するかを示す移動経路を決定するための移動体１００の通過地点である。ウェイポイントは移動経路を決定するためのものであるため複数設定され、複数でさえあればその数は特定の数に限定されるものではない。例えば端末装置３００の表示部３０５に２次元地図データを表示し、その地図上にユーザから指定された地点をウェイポイントとして設定する。ウェイポイントはセマンティックマップ上に設定してもよいし、セマンティックマップ作成範囲を示す２次元の地図データ上に設定してもよい。さらに、セマンティックマップを２次元の鳥瞰図に変換したマップ上にウェイポイントを指定できるようにしてもよい。
　経路決定部４０５は、セマンティックマップ作成範囲内において移動体１００が設定された構図で撮像装置２００による撮影を行うために移動する経路を決定するものである。移動経路にはセマンティックマップ作成範囲内において設定された全てのウェイポイントを通過する一つの大域的移動経路と、各ウェイポイント間の移動経路である局所的移動経路がある。
　端末装置３００と情報処理装置４００は以上のようにして構成されている。なお、情報処理装置４００はプログラムの実行により実現され、そのプログラムは予め端末装置３００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。さらに、情報処理装置４００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
［１－５．情報処理装置４００による処理］
［１－５－１．全体処理］
　次に情報処理装置４００における全体処理について説明する。図７は情報処理装置４００による全体フローを示すフローチャートである。まずステップＳ１０１でマップ作成部４０１によりセマンティックマップを作成する。セマンティックマップは例えば元画像が図８Ａに示すものである場合、図８Ｂに示すようなものとして作成される。図８Ｂのセマンティックマップはグレースケールで表したものであり、図中において明度で分類された領域ごとに示した値はその領域のグレースケールの階調の範囲を示すものである。図８Ｂのセマンティックマップには例えば、道路、木、空などマップ中における意味の情報も含まれている。セマンティックマップ作成の詳細は図１０のフローチャートを参照して後述する。作成されたセマンティックマップは形状抽出部４０２に供給される。
　次にステップＳ１０２で形状抽出部４０２がセマンティックマップ中から所定の形状（直線、曲線など）を抽出する。形状は例えばHough変換により図９に示すように抽出される。抽出された形状の情報は経路決定部４０５に供給される。
　次にステップＳ１０３で構図設定部４０３により撮影のための構図を設定する。構図設定部４０３により設定された構図の情報は経路決定部４０５に供給される。
　次にステップＳ１０４でウェイポイント設定部４０４により移動経路決定のためのウェイポイントを設定する。
　次にステップＳ１０５で経路決定部４０５により移動経路を決定する。移動経路決定の詳細については図１２のフローチャートを参照して後述する。なお、ステップＳ１０１のセマンティックマップ作成およびステップＳ１０２の形状抽出より先にステップＳ１０３の構図設定およびステップＳ１０４のウェイポイント設定を行っていてもよく、順序に関わらずステップＳ１０５の経路決定までにステップＳ１０１乃至ステップＳ１０４が完了していればよい。
　このようにして決定された移動経路の情報は移動体１００のＵＡＶ制御部１０１に供給され、移動体１００のＵＡＶ制御部１０１が移動経路に移動体１００を自律移動させるよう制御を行い、撮像装置２００が移動経路上において設定された構図で撮影を行う。
［１－５－２．セマンティックマップ作成処理］
　まず図１０のフローチャートを参照して図７のステップＳ１０１におけるセマンティックマップ作成処理について説明する。
　まず、ステップＳ２０１でセマンティックマップを作成する範囲を決定する。このセマンティックマップ作成範囲は２次元の地図データ上においてユーザにより指定された範囲に基づいて設定される。
　例えば図１１Ａに示すように端末装置３００の表示部３０５に表示された、緯度経度情報と対応づけられた２次元の地図データ上においてユーザはセマンティックマップを作成する範囲を矩形状の枠で囲うことにより指定する。そしてこの指定された範囲の情報がマップ作成部４０１に供給され、指定された範囲がセマンティックマップを作成する範囲として設定される。セマンティックマップ作成範囲を設定した後は、セマンティックマップ作成範囲においてユーザがウェイポイントを指定しやすくするために、図１１Ｂに示すようにセマンティックマップ作成範囲を表示部３０５全域に表示するとよい。
　なお、セマンティックマップ作成範囲は矩形状に限られず、三角形状、円形状の他、特定の形状ではない自由形状でもよい。なお、マップ作成範囲は３次元の地図データに対してユーザが範囲を指定して決定されてもよい。
　次にステップＳ２０２で、セマンティックマップ作成範囲においてセンサ部１０６によるセマンティックマップ作成用の観測を行うために移動体１００を移動させて到達させる目的地を設定する。この目的地は移動体１００による観測が済んだ観測済エリアと、まだ観測が行われていない未観測エリアの境界上に設定する。
　次にステップＳ２０３で移動体１００の動作を制御して目的地まで移動させる。次にステップＳ２０４で、移動体１００が備えているセンサ部１０６（ステレオカメラ等）を用いた公知の３次元形状測定技術で３点の特徴点を特定し、その３点の間にメッシュを張る。このように本実施の形態ではセマンティックマップをメッシュを用いて作成する。なお、セマンティックマップはメッシュだけでなく例えばボクセルを用いて作成することも可能である。
　次にステップＳ２０４でセマンティックセグメンテーションを行う。セマンティックセグメンテーションとは画像を構成する画素の１つ１つに対して、その画素が示す意味をラベル付けする処理である。
　次にステップＳ２０５で、セマンティックセグメンテーションの結果に基づいて、３次元形状に対して２次元のセマンティックのラベルを投影して３次元のセマンティックマップ上において、ステップＳ２０３で張ったメッシュがどのようなカテゴリ（道路、建築物など）に属するものであるかを投票により決定する。
　次にステップＳ２０７でセマンティックマップ作成範囲内に未観測エリアがあるか否かが判定される。未観測エリアがある場合処理はステップＳ２０２に進み、ステップＳ２０２で新たな目的地が設定される。そして未観測エリアがなくなるまでステップＳ２０２乃至ステップＳ２０７を繰り返すことによりセマンティックマップ作成範囲全体のセマンティックマップを作成することができる。
　以上のようにしてマップ作成部４０１によるセマンティックマップの作成が行われる。
［１－５－３．移動経路決定処理］
　次に図１２のフローチャートを参照して図７のフローチャートのステップＳ１０３における移動経路決定処理について説明する。移動経路は大域的移動経路と局所的移動経路とから構成されている。大域的移動経路とは全てのウェイポイントを通過するように設定される移動体１００の移動の始点から終点までの経路であり、局所的移動経路はウェイポイント間ごとに設定される移動経路である。局所的移動経路が連なって大域的移動経路が構成されることとなる。
　まずステップＳ３０１でユーザからの入力に基づいてウェイポイント設定部４０４がセマンティックマップ作成範囲内にウェイポイントを設定する。ウェイポイントとは移動体１００の移動経路上の特定の位置を示すものである。例えば、ユーザの入力に基づいて設定されたウェイポイントは図１３Ａに示すようにセマンティックマップ作成範囲を示す２次元の地図データ上に上の点で表すようにするとよい。これによりユーザはウェイポイントがどこであるかを容易に確認することができる。図１３Ａに示すようにウェイポイントは、セマンティックマップ作成範囲上に複数設定される。なお、ウェイポイントはセマンティックマップ上に指定できるようにしてもよいし、セマンティックマップを２次元の鳥瞰図に変換したマップ上に指定できるようにしてもよい。
　次にステップＳ３０２で経路決定部４０５は基準とするウェイポイントから最寄りのウェイポイントまでの移動経路を設定する。最初の基準となるウェイポイントは移動体１００が移動を開始する位置であり、ユーザからの入力に基づいて設定される。なお、所定のアルゴリズム等により経路決定部４０５が最初の基準となるウェイポイントを設定してもよい。
　次にステップＳ３０３で全てのウェイポイントを通過するように移動経路を設定したか否かが判定される。全てのウェイポイントを通過していない場合処理はステップＳ３０４に進む（ステップＳ３０３のＮｏ）。
　次にステップＳ３０４で、ステップＳ３０２で移動経路が設定された最寄りのウェイポイントを次に設定する経路の基準となるウェイポイントに設定する。そして処理はステップＳ３０２に進み、ステップＳ３０４で新たに設定された基準ウェイポイントから最寄りのウェイポイントまでの移動経路を設定する。
　このステップＳ３０２乃至ステップＳ３０４を繰り返すことにより図１３Ｂに示すように全てのウェイポイントを経由する大域的移動経路を設定することができる。このように大域的移動経路は全てのウェイポイントを通過するように作成される。
　次に図１４のフローチャートを参照して２つのウェイポイント間における移動経路である局所的移動経路を設定する処理について説明する。
　まずステップＳ４０１で全てのウェイポイントの中から局所的移動経路を決定する２つのウェイポイントを決定する。局所的移動経路を決定する２つのウェイポイントはユーザからの入力や大域的移動経路の始点から終点に対応するウェイポイントの順に自動的に決定するようにしてもよい。
　次にステップＳ４０２で、経路決定部４０５は２つのウェイポイント間における複数の仮の移動経路を設定する。仮の移動経路の決め方としては、効率的なもの、最適な経路を求めるためのもの等、ロボット、自律車両、自律移動体などの移動についての公知の技術、公知のアルゴリズムがあり、それらを適宜使い分けることができる。それら公知の技術には大きく分けて、考えられる経路を全て評価するもの、ランダムに経路を複数仮に置いてその中から選択するものの２つがある。
　次にステップＳ４０３で、仮の移動経路上における移動体１００の位置および姿勢を入力する。以下の処理ではこの入力した移動体１００の位置および姿勢におけるコストが算出される。
　次にステップＳ４０４で、複数の仮移動経路のうちの１つの仮移動経路について、その仮移動経路に沿ってコストを算出する。コストとは、仮移動経路自体の距離を正規化して得られる値と、障害物からの距離を正規化した値と、構図との類似度を正規化した値とをそれぞれ重み付けして足し合わせた結果算出されるものである。コストが最も低い移動経路が移動体１００にとって最適な移動経路であり、最終的に大域的移動経路に含まれるものとなる。コスト算出の詳細は後述する。
　次にステップＳ４０５で全ての仮移動経路についてコストを算出したか否かが判定される。全ての仮移動経路についてコストを算出していない場合、処理はステップＳ４０３に進み（ステップＳ４０５のＮｏ）、全ての仮移動経路についてコストを算出するまで全てステップＳ４０３乃至ステップＳ４０５が繰り返される。
　そして全ての仮移動経路についてコストを算出した場合処理はステップＳ４０６に進み、全ての仮移動経路の中から最もコストが低い仮移動経路を経路計画に含める移動経路として決定する。コストが最も低く、最適な移動経路とは経路自体の距離が短く、セマンティックマップと構図の類似度が高い移動経路である。
　次に図１５のフローチャートを参照して仮移動経路についてのコストの算出を説明する。図１５の処理は本番撮影の前に、仮移動経路ごとのコストを算出して複数の仮移動経路の中から最もコストが低い仮移動経路を最適な局所的移動経路として決定するものである。
　まずステップＳ５０１で、複数の仮移動経路の中の一の仮移動経路について、設定された構図で撮影を行うとする場合の移動体１００の位置と姿勢を求める。
　次にステップＳ５０２で、一の仮移動経路について、設定された構図で撮影を行うとする場合の撮像装置２００の位置と姿勢を求める。なお、撮像装置２００の位置および姿勢はジンバル５００の位置および姿勢として求めるようにしてもよい。
　次にステップＳ５０３で、ステップＳ５０１で算出した移動体１００の位置および姿勢と、ステップＳ５０２で算出した撮像装置２００の位置および姿勢に基づいてセマンティックマップから撮像装置２００で撮影できると想定される撮影画像を取得する。この処理は、３次元のセマンティックマップにおいて移動体１００に設けられた撮像装置２００で撮影したときに３次元空間上ではどのような画像が撮れるかを２次元上に表し、セマンティックマップを撮像装置２００で撮影できるであろうと想定できる撮影画像に変換する処理、すなわち、セマンティックマップを撮影画像としての２次元画像に投影する処理ともいえる。
　仮移動経路の途中で、移動体１００が特定の位置と姿勢であり、かつ、移動体１００に設けられた撮像装置２００が特定の位置と姿勢である場合に撮影されることが予想される２次元画像を３次元のマップと照らし合わせて算出する。このステップＳ５０３の処理は実際に撮像装置２００で撮影をするわけではなく、情報処理装置４００内の処理でセマンティックマップ、移動体１００の位置情報および姿勢情報、撮像装置２００の位置情報および姿勢情報に基づいて算出するものである。
　次にステップＳ５０４での仮移動経路のコストを算出する。設定された構図を構成する線分とセマンティックマップにおいて抽出された形状（直線、曲線など）との差である、セマンティックマップと構図に関するコストであるｃｏｓｔcomp kは下記の式１で算出される。
　例えば図１６Ａに示すようにセマンティックマップにおいて抽出された形状と、図１６Ｂに示すように設定された構図を構成する線分とでは、図１７に示す差がコストとして算出される。図１７はセマンティックマップと構図を重ね合わせた状態である。セマンティックマップにおいて抽出された形状と構図を構成する線分の差は０であることが理想であり差が０の場合、構図と合致した画像の撮影を行うことができる。しかし実際は差を０にするのは難しいため、設定された構図に近い画像を撮影するためには差をなるべく小さくする（コストを小さくする）必要がある。よって、構図を構成する線分とそれに最寄りのセマンティックマップ中の形状との差が最も小さくなるように調整する必要がある。
［式１］
Figure JPOXMLDOC01-appb-I000001
　そして、仮移動経路のコストであるｃｏｓｔｐａｔｈは下記の式２で算出される。
［式２］
Figure JPOXMLDOC01-appb-I000002
式１、式２において用いられている変数は下記のとおりである。
構図に含まれている線分の数：ｎ
Hough変換で検出されたｌ番目の直線：ａｌ＋ｂｌ＋ｃｌ＝０
ｉ番目の線分上の任意点：（ｘｉ,yｉ）
ある経路上の位置および姿勢ｋから得られるコスト：ｃｏｓｔｃｏｍｐ k
経路上の位置および姿勢の数：ｐ
目的地（ウェイポイント）との距離から得られるコスト：ｃｏｓｔｄｉｓｔ
障害物との距離から得られるコスト：ｃｏｓｔｏｂｓ
重み：ｗ１, ｗ２, ｗ３
　次にステップＳ５０５で、算出したコストが所定の閾値以下であるか否かが判定される。コストは低いことが望ましいため、コストが閾値以下である場合処理はステップＳ５０６に進み（ステップＳ５０５のＹｅｓ）、仮移動経路が最適な局所的移動経路であると決定する。
　なお、コストが閾値以下である仮移動経路が複数ある場合、その中から最もコストが低い仮移動経路を最適な局所的移動経路として決定するとよい。
　一方、コストが閾値以下ではない場合、処理はステップＳ５０７に進み（ステップＳ５０５のＮｏ）、コストが大きいとして仮移動経路は最適な局所的移動経路ではないと決定する。
　このようにして各ウェイポイント間の局所的移動経路の全てを決定することができる。大域的移動経路は複数の局所的移動経路から構成されているため、全ての局所的移動経路が決定すると移動体１００が撮影を行うための経路の全てを決定したことになる。そして情報処理装置４００は決定した移動経路の情報を移動体１００に送信する。移動経路情報を受信した移動体１００のＵＡＶ制御部１０１は移動経路情報に従い移動体１００の動作を制御し、さらにジンバル制御部１０５がジンバル５００の動作を制御することにより、移動体１００と撮像装置２００による自律撮影で指定の構図の撮影を行うことができる。また、作成された移動経路を端末装置３００の表示部３０５に表示してユーザに提示することによりユーザはどのような移動経路で移動体１００が移動して撮影を行うかを把握することができる。
　本技術によれば、ドローンなどの移動体１００を使った撮影において従来は必要であった高度な技術を有するオペレータは必要ない。
＜２．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　移動体１００としてのドローンは実施の形態で説明したような回転翼を備えるものに限られず、いわゆる固定翼型であってもよい。
　本技術の移動体１００はドローンに限られず、人の操縦を受けずに自動で移動する自動車、船舶、ロボットなどであってもよい。
　撮像装置２００がジンバル５００としての機能を有するカメラマウントを介して移動体１００に搭載されておらず、一定の状態に固定されて搭載されている場合、移動体１００の姿勢と撮像装置２００の姿勢は等しくなる。この場合、移動体１００の傾きを調整することにより設定された構図で撮影を行うようにしてもよい。
　実施の形態では、移動体１００と撮像装置２００とを別個の装置として構成したが、移動体１００と撮像装置２００とを一体の装置として構成してもよい。
　撮像装置２００としては、デジタルカメラ、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など、撮像機能を備え、移動体１００に搭載させることができる機器であればどのようなものを用いてもよい。
　撮像装置２００は入力部３０４、表示部３０５などを備えていてもよい。また、撮像装置２００は移動体１００と接続しない場合には単体で撮像装置２００として使用できるものであってもよい。
　また、セマンティックマップ作成に用いる３次元のマップデータは、外部のサーバやクラウドから取得してもよいし、インターネット上において一般に公開されているデータを用いてもよい。
　また、セマンティックマップの作成はドローンではなくセンサ部１０６を搭載した自動車、ロボット、船舶で行い、またはセンサ装置を所持するユーザの歩行で行ってもよい。
　情報処理装置４００は端末装置３００ではなく移動体１００に設けられていてもよい。
　また、構図の設定において、例えば「人間を中心に撮影したい」というようなテキスト入力または音声入力があった場合、それを解析して構図（例えば、人を中心にした日の丸構図など）を設定または提案できるようにしてもよい。
　また、セマンティックマップで得られる被写体の情報と、構図に合わせて露光などの撮影条件の調整を行うようにしてもよい。例えば、被写体のうち、空であることがわかる範囲は露光を変えるなど、である。
　実施の形態では構図を一つ設定してその構図で撮影を行うための移動経路を決定したが、図１８に示すように局所的移動経路ごと（ウェイポイント間ごと）や任意の位置ごとに異なる構図を設定できるようにしてもよい。なお図１８に示す構図はあくまで一例であり、その構図に限定されるものではない。
　構図設定部４０３は、撮影済みの動画や静止画を参考にし、その参考動画／静止画から構図を抽出し、自動的にその動画や静止画と同様の構図を設定するようにしてもよい。
　本技術は以下のような構成も取ることができる。
（１）
　撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成するマップ作成部と、
　前記マップ内に存在する形状を抽出する形状抽出部と、
　前記撮像装置で撮影する画像の構図を設定する構図設定部と、
　前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する経路決定部と
を備える情報処理装置。
（２）
　前記マップはセマンティックマップである（１）に記載の情報処理装置。
（３）
　前記経路決定部は、前記移動範囲において設定された複数のウェイポイントの全てを通過する移動経路である大域的移動経路を決定する（１）または（２）に記載の情報処理装置。
（４）
　前記経路決定部は、前記構図と前記移動経路について算出するコストに基づいて前記ウェイポイント間の移動経路である局所的移動経路を決定する（３）に記載の情報処理装置。
（５）
　前記経路決定部は、複数の前記ウェイポイント間それぞれにおいて複数の仮移動経路を設定し、複数の前記仮移動経路それぞれについて前記コストを算出し、コストが低い前記仮移動経路を前記局所的移動経路として決定する（４）に記載の情報処理装置。
（６）
　前記コストは、前記形状抽出部により前記マップにおいて抽出された形状と、前記構図を構成する線分との差に基づくものである（４）に記載の情報処理装置。
（７）
　前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでの距離に基づくものである（４）に記載の情報処理装置。
（８）
　前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでにおける障害物との距離に基づくものである（４）に記載の情報処理装置。
（９）
　前記構図設定部は、ユーザからの入力に基づいて前記構図を設定する（１）から（８）のいずれかに記載の情報処理装置。
（１０）
　予め定めた複数の構図データから前記ユーザの入力により選択されたものを前記構図として設定する
請求項９に記載の情報処理装置。
（１１）
　前記ユーザからの描画により入力された図形を前記構図として設定する
請求項９に記載の情報処理装置。
（１２）
　前記形状抽出部により前記マップにおいて抽出された形状と類似している構図データを前記ユーザに提示し、前記ユーザの入力により決定された前記構図データを前記構図として設定する
請求項９に記載の情報処理装置。
（１３）
　前記構図設定部は、前記マップにおいて抽出された前記形状に基づいて前記構図を決定する（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
　前記構図は前記ウェイポイント間ごとに設定可能である（３）に記載の情報処理装置。
（１５）
　前記形状抽出部は、Hough変換により前記マップ内に存在する前記形状を抽出する（１）から（１３）のいずれかに記載の情報処理装置。
（１６）
　撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、
　前記マップ内に存在する形状を抽出し、
　前記撮像装置で撮影する画像の構図を設定し、
　前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する情報処理方法。
（１７）
　撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、
　前記マップ内に存在する形状を抽出し、
　前記撮像装置で撮影する画像の構図を設定し、
　前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する情報処理方法をコンピュータに実行させる情報処理プログラム。
１００・・・移動体
２００・・・撮像装置
４００・・・情報処理装置
４０１・・・マップ作成部
４０２・・・形状抽出部
４０３・・・構図設定部
４０５・・・経路決定部

Claims (17)

  1. 　撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成するマップ作成部と、
    　前記マップ内に存在する形状を抽出する形状抽出部と、
    　前記撮像装置で撮影する画像の構図を設定する構図設定部と、
    　前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する経路決定部と
    を備える
    情報処理装置。
  2. 　前記マップはセマンティックマップである
    請求項１に記載の情報処理装置。
  3. 　前記経路決定部は、前記移動範囲において設定された複数のウェイポイントの全てを通過する移動経路である大域的移動経路を決定する
    請求項１に記載の情報処理装置。
  4. 　前記経路決定部は、前記構図と前記移動経路について算出するコストに基づいて前記ウェイポイント間の移動経路である局所的移動経路を決定する
    請求項３に記載の情報処理装置。
  5. 　前記経路決定部は、複数の前記ウェイポイント間それぞれにおいて複数の仮移動経路を設定し、複数の前記仮移動経路それぞれについて前記コストを算出し、コストが低い前記仮移動経路を前記局所的移動経路として決定する
    請求項４に記載の情報処理装置。
  6. 　前記コストは、前記形状抽出部により前記マップにおいて抽出された形状と、前記構図を構成する線分との差に基づくものである
    請求項４に記載の情報処理装置。
  7. 　前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでの距離に基づくものである
    請求項４に記載の情報処理装置。
  8. 　前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでにおける障害物との距離に基づくものである
    請求項４に記載の情報処理装置。
  9. 　前記構図設定部は、ユーザからの入力に基づいて前記構図を設定する
    請求項１に記載の情報処理装置。
  10. 　予め定めた複数の構図データから前記ユーザの入力により選択されたものを前記構図として設定する
    請求項９に記載の情報処理装置。
  11. 　前記ユーザからの描画により入力された図形を前記構図として設定する
    請求項９に記載の情報処理装置。
  12. 　前記形状抽出部により前記マップにおいて抽出された形状と類似している構図データを前記ユーザに提示し、前記ユーザの入力により決定された前記構図データを前記構図として設定する
    請求項９に記載の情報処理装置。
  13. 　前記構図設定部は、前記マップにおいて抽出された前記形状に基づいて前記構図を決定する
    請求項１に記載の情報処理装置。
  14. 　前記構図は前記ウェイポイント間ごとに設定可能である
    請求項３に記載の情報処理装置。
  15. 　前記形状抽出部は、Hough変換により前記マップ内に存在する前記形状を抽出する
    請求項１に記載の情報処理装置。
  16. 　撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、
    　前記マップ内に存在する形状を抽出し、
    　前記撮像装置で撮影する画像の構図を設定し、
    　前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する
    情報処理方法。
  17. 　撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、
    　前記マップ内に存在する形状を抽出し、
    　前記撮像装置で撮影する画像の構図を設定し、
    　前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2020/021124 2019-07-19 2020-05-28 情報処理装置、情報処理方法、情報処理プログラム WO2021014752A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080050674.6A CN114096929A (zh) 2019-07-19 2020-05-28 信息处理设备、信息处理方法和信息处理程序
US17/626,495 US20220283584A1 (en) 2019-07-19 2020-05-28 Information processing device, information processing method, and information processing program
JP2021534568A JPWO2021014752A1 (ja) 2019-07-19 2020-05-28

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-133622 2019-07-19
JP2019133622 2019-07-19

Publications (1)

Publication Number Publication Date
WO2021014752A1 true WO2021014752A1 (ja) 2021-01-28

Family

ID=74194143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021124 WO2021014752A1 (ja) 2019-07-19 2020-05-28 情報処理装置、情報処理方法、情報処理プログラム

Country Status (4)

Country Link
US (1) US20220283584A1 (ja)
JP (1) JPWO2021014752A1 (ja)
CN (1) CN114096929A (ja)
WO (1) WO2021014752A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212465A (ja) * 2015-04-28 2016-12-15 株式会社ニコン 電子機器および撮像システム
US20170293297A1 (en) * 2016-04-07 2017-10-12 Samsung Electronics Co., Ltd. Electronic apparatus and operating method thereof
JP2017211909A (ja) * 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2018078371A (ja) * 2016-11-07 2018-05-17 オリンパス株式会社 移動撮影装置、移動撮影指示装置、撮影機器及び移動撮影システム
JP2018201119A (ja) * 2017-05-26 2018-12-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
US20220157179A1 (en) * 2019-03-06 2022-05-19 Sony Group Corporation Action control device and action control method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212465A (ja) * 2015-04-28 2016-12-15 株式会社ニコン 電子機器および撮像システム
US20170293297A1 (en) * 2016-04-07 2017-10-12 Samsung Electronics Co., Ltd. Electronic apparatus and operating method thereof
JP2017211909A (ja) * 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2018078371A (ja) * 2016-11-07 2018-05-17 オリンパス株式会社 移動撮影装置、移動撮影指示装置、撮影機器及び移動撮影システム
JP2018201119A (ja) * 2017-05-26 2018-12-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JPWO2021014752A1 (ja) 2021-01-28
US20220283584A1 (en) 2022-09-08
CN114096929A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US11649052B2 (en) System and method for providing autonomous photography and videography
US20210065400A1 (en) Selective processing of sensor data
US10645300B2 (en) Methods and apparatus for image processing
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
US10599149B2 (en) Salient feature based vehicle positioning
EP3397554B1 (en) System and method for utilization of multiple-camera network to capture static and/or motion scenes
US11288824B2 (en) Processing images to obtain environmental information
EP3420428B1 (en) Systems and methods for visual target tracking
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2020036163A (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
JP2018201119A (ja) モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
WO2021059684A1 (ja) 情報処理システム、情報処理方法、情報処理プログラム
JP2021064951A (ja) システム、方法、装置、および非一時的コンピュータ読取可能媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20843291

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534568

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20843291

Country of ref document: EP

Kind code of ref document: A1