WO2021079778A1 - 移動体、情報処理方法、プログラム及び情報処理システム - Google Patents

移動体、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
WO2021079778A1
WO2021079778A1 PCT/JP2020/038505 JP2020038505W WO2021079778A1 WO 2021079778 A1 WO2021079778 A1 WO 2021079778A1 JP 2020038505 W JP2020038505 W JP 2020038505W WO 2021079778 A1 WO2021079778 A1 WO 2021079778A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
obstacle
information processing
control unit
unit
Prior art date
Application number
PCT/JP2020/038505
Other languages
English (en)
French (fr)
Inventor
駿 李
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021554291A priority Critical patent/JPWO2021079778A1/ja
Priority to US17/769,840 priority patent/US20220413518A1/en
Publication of WO2021079778A1 publication Critical patent/WO2021079778A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Definitions

  • This technology relates to mobiles, information processing methods, programs and information processing systems.
  • Patent Document 1 a technique for stably avoiding obstacles is adopted.
  • drone aircraft need to detect obstacles in order to prevent their own failure.
  • the obstacle is a transparent object such as a window glass or a mirror, or a small object that is difficult to recognize
  • the drone aircraft detects such an obstacle by ordinary obstacle detection using a ToF or a stereo camera. It is difficult to do so and may collide with obstacles during flight.
  • the moving body has a control unit.
  • the control unit controls the behavior of the moving body based on the estimation result of estimating whether or not there is an obstacle that hinders the movement of the moving body from the image captured by the imaging unit.
  • the control unit may decelerate or stop the moving body when it is estimated that the obstacle is present.
  • control unit may execute a process of closely examining whether or not the obstacle actually exists.
  • the control unit may move the moving body to a position where the detection unit can detect the distance.
  • the control unit may cause the detection unit to measure the distance a plurality of times while moving the moving body.
  • control unit may land or stop the moving body or generate a movement route of the moving body to avoid the obstacle.
  • the control unit applies the image to the learner generated by applying the learning data to the machine learning algorithm, and based on the estimation result of estimating whether or not the obstacle exists.
  • the behavior of the moving body may be controlled.
  • the moving body may be a flying body.
  • the obstacle may be a transparent or translucent object.
  • the information processing system includes an information processing device and a mobile body.
  • the information processing device estimates from the image captured by the imaging unit whether or not there is an obstacle that hinders the movement of the moving body.
  • the mobile body controls the behavior of the mobile body based on the estimation result.
  • the information processing device may estimate whether or not the obstacle exists by applying the image to the learning device generated by applying the learning data to the machine learning algorithm.
  • the information processing device may be a server.
  • the information processing method is The behavior of the moving body is controlled based on the estimation result of estimating whether or not there is an obstacle that hinders the movement of the moving body from the image captured by the imaging unit.
  • the program according to one form of the present technology causes the mobile body to perform the following steps.
  • FIG. 1 is a diagram showing a configuration example of the information processing system 1 of the present embodiment
  • FIG. 2 is a block diagram showing a configuration example of the information processing system 1.
  • the information processing system 1 includes a drone machine 10 and an information processing device 20.
  • the drone machine 10 and the information processing device 20 are connected to each other so as to be able to communicate with each other via the network N.
  • the network N may be the Internet, a mobile communication network, a local area network, or the like, or may be a network in which these plurality of types of networks are combined.
  • the drone body 10 includes a control unit 11, a storage unit 12, a sensor 13, a camera 14, and a communication unit 15.
  • the drone body 10 is an example of a "mobile body” within the scope of claims.
  • the control unit 11 controls the entire operation of the drone machine 10 or a part thereof according to the program stored in the storage unit 12.
  • the storage unit 12 stores sensor data output from the sensor 13, image data acquired from the camera 14, and the like.
  • the control unit 11 functionally includes an acquisition unit 16, an operation control unit 17, and an obstacle presence inspection unit 18.
  • the acquisition unit 16 acquires the sensor data detected by the sensor 13 and the image data captured by the camera 14.
  • the motion control unit 17 controls the speed of the drone body 10 and the sensor 13 based on the judgment of the obstacle presence estimation unit 211 or the obstacle presence inspection unit 18.
  • the obstacle existence inspection unit 18 determines whether or not the obstacle really exists after the drone body 10 is controlled by the operation control unit 214.
  • the obstacle in the present embodiment is, for example, a transparent or translucent transparent object such as a window glass, or an unrecognizable object such as a fine net or an electric wire, and the same applies to the following description.
  • the sensor 13 includes a distance measuring sensor such as a sonar, a radar, or a rider, a GPS sensor that measures the position information of the drone body 10, and the like.
  • the sensor 13 is an example of a "detection unit" in the claims.
  • the communication unit 15 communicates with the information processing device 20 via the network N.
  • the communication unit 15 functions as a communication interface for the drone body 10.
  • the camera 14 actually uses various members such as an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) and a lens for controlling the image formation of a subject image on the image sensor. It is a device that captures a space and generates an captured image.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the camera 14 may capture a still image or may capture a moving image.
  • the camera 14 is connected to the main body of the drone body 10 via a drive mechanism (not shown) such as a 3-axis gimbal.
  • the information processing device 20 includes a communication unit 23, a control unit 21, and a storage unit 22.
  • the information processing device 20 is typically a server device, but is not limited to this, and may be any other computer such as a PC.
  • the information processing device 20 may be a control control device that gives instructions to the drone body 10 and executes flight control to guide the drone aircraft 10.
  • the communication unit 23 communicates with the drone machine 10 via the network N.
  • the communication unit 23 functions as a communication interface of the information processing device 20.
  • the control unit 21 controls the entire operation of the information processing device 20 or a part thereof according to the program stored in the storage unit 22.
  • the control unit 21 corresponds to the "control unit" in the claims.
  • the control unit 21 functionally has an obstacle presence estimation unit 211.
  • the obstacle existence estimation unit 211 determines whether or not there is an obstacle that hinders the flight of the drone aircraft 10 in the real space where the drone aircraft 10 exists.
  • FIG. 3 is a block diagram showing a hardware configuration example of the drone machine 10 and the information processing device 20.
  • the drone machine 10 and the information processing device 20 may be realized by the information processing device 100 shown in FIG.
  • the information processing device 100 has a CPU (Central Processing unit) 101, a ROM (Read Only Memory) 102, and a RAM (Random Access Memory) 103.
  • the control units 11 and 21 may be the CPU 101.
  • the information processing device 100 may have a host bus 104, a bridge 105, an external bus 106, an interface 107, an input device 108, an output device 109, a storage device 110, a drive 111, a connection port 112, and a communication device 113. ..
  • the information processing device 100 may have a configuration including an image pickup device 114 and a sensor 115. Further, the information processing apparatus 100 replaces or together with the CPU 101 for processing such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a GPU (Graphics Processing Unit). It may have a circuit.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • GPU Graphics Processing Unit
  • the CPU 101 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 100 according to various programs recorded in the ROM 102, the RAM 103, the storage device 110, or the removable recording medium 30.
  • the storage units 12 and 22 may be the ROM 102, the RAM 103, the storage device 110, or the removable recording medium 30.
  • the ROM 102 stores programs and calculation parameters used by the CPU 101.
  • the RAM 103 primarily stores a program used in the execution of the CPU 101, parameters that are appropriately changed in the execution, and the like.
  • the CPU 101, ROM 102, and RAM 103 are connected to each other by a host bus 104 composed of an internal bus such as a CPU bus. Further, the host bus 104 is connected to an external bus 106 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 105.
  • a PCI Peripheral Component Interconnect / Interface
  • the input device 108 is a device operated by a user, such as a mouse, keyboard, touch panel, buttons, switches, and levers.
  • the input device 108 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 40 such as a mobile phone corresponding to the operation of the information processing device 100.
  • the input device 108 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 101. By operating the input device 108, the user inputs various data to the information processing device 100 and instructs the processing operation.
  • the output device 109 is composed of a device capable of notifying the user of the acquired information using sensations such as sight, hearing, and touch.
  • the output device 109 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or a headphone, or a vibrator.
  • a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display
  • an audio output device such as a speaker or a headphone, or a vibrator.
  • the output device 109 outputs the result obtained by the processing of the information processing device 100 as a video such as a text or an image, a voice such as voice or sound, or a vibration.
  • the storage device 110 is a data storage device configured as an example of the storage unit of the information processing device 100.
  • the storage device 110 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 110 stores, for example, a program executed by the CPU 101, various data, various data acquired from the outside, and the like.
  • the drive 111 is a reader / writer for a removable recording medium 30 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing device 100.
  • the drive 111 reads the information recorded on the mounted removable recording medium 30 and outputs the information to the RAM 103. Further, the drive 111 writes a record on the removable recording medium 30 mounted on the drive 111.
  • connection port 112 is a port for connecting the device to the information processing device 100.
  • the connection port 112 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • connection port 112 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 113 is, for example, a communication interface composed of a communication device for connecting to the network N.
  • the communication device 113 may be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, WUSB (Wireless USB), LTE (Long Term Evolution), or the like.
  • the communication device 113 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 113 transmits and receives signals and the like to and from the Internet and other communication devices using a predetermined protocol such as TCP / IP.
  • the network N connected to the communication device 113 is a network connected by radio, and may include, for example, the Internet, infrared communication, radio wave communication, short-range wireless communication, satellite communication, and the like.
  • the communication units 15 and 23 may be the communication device 113.
  • the image pickup device 114 is a device that captures an image of the real space and generates an captured image.
  • the camera 14 corresponds to the image pickup apparatus 114.
  • the sensor 115 is, for example, various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, a pressure sensor, or a sound sensor (microphone).
  • various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, a pressure sensor, or a sound sensor (microphone).
  • the sensor 115 acquires information on the state of the information processing device 100 itself, such as the posture of the housing of the information processing device 100, and information on the surrounding environment of the information processing device 100, such as brightness and noise around the information processing device 100. To do. Further, the sensor 115 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device. The sensor 13 corresponds to the sensor 115.
  • GPS Global Positioning System
  • Each of the above-mentioned components may be configured by using a general-purpose member, or may be composed of a member specialized in the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
  • FIG. 4 is a flowchart showing a typical operation flow of the information processing system 1. Hereinafter, the operation of the information processing system 1 will be described with reference to FIG. 4 as appropriate.
  • the obstacle presence estimation unit 211 corresponds between the image data captured by the camera 14 at a predetermined frame rate (for example, several tens of fps) and the action result of the drone machine 10 when the image data is captured. Acquire the attached data (hereinafter, learning data) from the user. At this time, the user transmits the learning data as an error report to the information processing apparatus 20 via, for example, an arbitrary device (not shown), and the learning data is stored in the storage unit 22.
  • a predetermined frame rate for example, several tens of fps
  • the above-mentioned action result refers to, for example, an action in which the drone machine 10 collides with an obstacle existing in the real space and crashes, or the drone machine 10 suddenly stops in front of the obstacle.
  • FIG. 5 is a flowchart showing the details of step S102. Hereinafter, step S102 will be described with reference to FIG. 5 as appropriate.
  • the information processing device 20 of the present embodiment is an information processing device that uses a so-called specialized AI (Artificial Intelligence) that substitutes for the intellectual work of the user.
  • FIG. 6 is a diagram simply showing a processing procedure of a general specialized AI.
  • Specialized AI is a mechanism that, as a large framework, obtains a result by applying arbitrary input data to a trained model constructed by incorporating learning data into an algorithm that functions as a learning program. ..
  • the obstacle presence estimation unit 211 reads out the learning data stored in the storage unit 22 (step S1021). This learning data corresponds to the "learning data" in FIG.
  • the obstacle presence estimation unit 211 generates a learning device by applying the learning data read from the storage unit 22 to a preset algorithm.
  • the above-mentioned algorithm corresponds to the "algorithm" in FIG. 6, and is, for example, a machine learning algorithm.
  • the type of machine learning algorithm is not particularly limited, and is, for example, RNN (Recurrent Neural Network), CNN (Convolutional Neural Network), GAN (Generative Adversarial Network), or MLP (MLP).
  • An algorithm using a neural network such as Multilayer Perceptron may be used, and other supervised learning methods (boostering method, SVM (Support Vector Machine) method, SVR method (Support Vector Regression) method, etc.), It may be an arbitrary algorithm that executes an unsupervised learning method, a semi-supervised learning method, an enhanced learning method, or the like.
  • MLP and CNN which is an extension thereof, are typically adopted as an algorithm used for constructing a learning device.
  • MLP is a kind of neural network, and it is known that any nonlinear function can be approximated by a three-layer neural network if there are an infinite number of neurons in the hidden layer H, and it is customarily a three-layer neural network. There are many. Therefore, in the present embodiment, the case where the MLP is a three-layer neural network will be described as an example.
  • the obstacle presence estimation unit 211 acquires the connection weight of the three-layer neural network stored in the storage unit 22 (step S1022), and applies this connection weight to the sigmoid function to generate a learner. Specifically, if the input stimulus to the i-th neuron Ii in the input layer I is xi and the connection weight between Ii and the j-th neuron in the hidden layer H is ⁇ Iji, the output zj of the hidden layer H is, for example. , It is represented by the following formula (1).
  • sigmoid is a sigmoid function and is expressed by the following equation (2).
  • a 1, it is a standard sigmoid function.
  • the output signal yk of the kth neuron in the output layer O is represented by, for example, the following equation (3).
  • the sigmoid function of the output layer O is omitted.
  • the notation for each element using ⁇ in the equations (1) and (3) is expressed more concisely by applying the sigmoid function for each dimension.
  • W I, W H is an internal parameter of a three-layer neural network (weights).
  • the obstacle presence estimation unit 211 executes a process of updating the learning device until the output error is minimized (step S1023). Specifically, the obstacle presence estimation unit 211 is obtained by using the image data for constructing the learning data and the action result as an input signal and a teacher signal (teacher data), respectively, and applying the input signal to the equation (4). error between the output signal and the teacher signal updates the internal parameters W I, W H until convergence. The obstacle presence estimation unit 211 outputs the internal parameters WI (min) and WH (min) that minimize the error to the storage unit 22 (step S1024).
  • the obstacle presence estimation unit 211 reads out the internal parameters WI (min) and WH (min) stored in the storage unit 22, and applies these to the equation (4) so that the learning device 221 is stored in the storage unit 22. To build.
  • the learner 221 corresponds to the "trained model" of FIG.
  • FIG. 7 is a flowchart showing the details of step S103. Hereinafter, step S103 will be described with reference to FIG. 7 as appropriate.
  • the obstacle presence estimation unit 211 acquires an image captured at a predetermined frame rate (for example, several tens of fps) from the camera 14 (step S1031). This image corresponds to the "input data" in FIG.
  • the obstacle presence estimation unit 211 estimates whether or not an obstacle exists in the image by applying the learner 221 to the image acquired in the previous step S1031 (step S1032). This estimation result is output to the operation control unit 17.
  • the estimation result corresponds to the "result" of FIG.
  • the motion control unit 17 decelerates the drone aircraft 10 in flight.
  • an instruction to stop is output, and the operation control unit 17 executes this instruction (step S1034).
  • the drone aircraft 10 stops or decelerates regardless of whether or not an obstacle actually exists, so that a collision between the obstacle and the drone aircraft 10 is avoided.
  • step S1035 the obstacle presence inspection unit 18 examines whether or not the obstacle presumed to exist in the previous step S1032 really exists.
  • step S1035 some application examples of step S1035 will be described.
  • FIG. 8 is a conceptual diagram showing the drone aircraft 10 and the obstacle together
  • FIG. 9 is a graph plotting the existence probability of the obstacle according to the distance between the drone aircraft 10 and the obstacle.
  • the obstacle existence inspection unit 18 outputs an instruction to move the drone aircraft 10 to a position D away from the obstacle by a predetermined distance D to the operation control unit 17.
  • the operation control unit 17 executes this instruction.
  • the predetermined distance D is a distance at which the sensor 13 can measure the distance between the drone body 10 and the obstacle.
  • the obstacle presence inspection unit 18 outputs an instruction to measure the distance between the drone machine 10 and the obstacle a plurality of times while bringing the drone machine 10 close to the obstacle, and the sensor 13 outputs this instruction to the sensor 13. Execute the instruction.
  • FIG. 9 it can be seen that the smaller the distance between the drone body 10 and the obstacle, the higher the probability of existence of the obstacle.
  • FIG. 10 is a conceptual diagram showing the drone aircraft 10 and obstacles together
  • FIG. 11 is a graph in which the existence probabilities of obstacles are plotted according to the moving distance of the drone aircraft 10.
  • the obstacle existence inspection unit 18 outputs an instruction to move the drone aircraft 10 to a position D away from the obstacle by a predetermined distance D to the operation control unit 17.
  • the operation control unit 17 executes this instruction.
  • the obstacle presence inspection unit 18 outputs an instruction to move the drone aircraft 10 to the motion control unit 17 while maintaining the predetermined distance D after approaching the drone aircraft 10 to the predetermined distance D, and outputs the instruction to move the drone aircraft 10 to the motion control unit 17. 17 executes this instruction.
  • the obstacle presence inspection unit 18 outputs an instruction to measure the distance between the drone body 10 and the obstacle a plurality of times to the sensor 13, and the sensor 13 executes this instruction.
  • FIG. 11 it can be seen that the existence probability of obstacles increases as the moving distance of the drone aircraft 10 increases.
  • the obstacle presence estimation unit 211 estimates that there is no obstacle in the image captured in the previous step S1031 (NO in step S1033)
  • the obstacle presence estimation unit 211 outputs an instruction to continue the flight to the motion control unit 17.
  • the motion control unit 17 executes this instruction.
  • the motion control unit 17 determines that the obstacle actually exists in the previous step S1035, specifically, the obstacle is measured a plurality of times in the distance between the drone machine 10 and the obstacle.
  • the existence probability of the drone exceeds the predetermined thresholds L1 and L3, the drone aircraft 10 is landed or stopped.
  • a movement path for avoiding obstacles is generated, and flight control according to this movement path is executed (step S1036). As a result, the collision between the drone body 10 and the obstacle is surely avoided.
  • the motion control unit 17 specifically measures the distance between the drone body 10 and the obstacle a plurality of times.
  • the existence probability of the drone is less than the predetermined threshold values L2 and L4, the control imposed on the drone aircraft 10 in the previous step S1034 is released.
  • the drone machine 10 when it is estimated that an obstacle exists by applying the image captured by the camera 14 to the learning device 221, the drone machine 10 is decelerated or stopped, but the present invention is not limited to this.
  • the drone machine 10 may be decelerated or stopped by recognizing an obstacle in the image according to a predetermined algorithm for recognizing an object.
  • the drone aircraft 10 when examining the presence or absence of an obstacle in the previous step S1035, the drone aircraft 10 is brought close to the obstacle and the distance between the drone aircraft 10 and the obstacle is detected a plurality of times.
  • the drone body 10 may be rotated with or instead of such an operation so that the sensor 13 or the camera 14 faces the obstacle.
  • the present technology may be applied to a moving body other than a flying body (for example, a robot), and its use is not particularly limited.
  • a flying body for example, a robot
  • airframes include aircraft, unmanned aerial vehicles, unmanned helicopters, and the like.
  • the description has been made on the premise that the drone body 10 flies outdoors, but the present invention is not limited to this, and the present technology may be applied to, for example, a moving body moving indoors.
  • the moving body including a control unit that controls the behavior of the moving body based on an estimation result of estimating whether or not there is an obstacle that hinders the movement of the moving body from an image captured by the imaging unit.
  • the control unit is a moving body that decelerates or stops the moving body when it is estimated that the obstacle is present.
  • the control unit is a mobile body that executes a process of examining whether or not the obstacle actually exists when it is estimated that the obstacle exists.
  • the above-mentioned moving body is a moving body which is a flying body.
  • the obstacle is a moving object that is a transparent or translucent object.
  • An information processing device that estimates whether or not there is an obstacle that hinders the movement of the moving object from the image captured by the image pickup unit.
  • the information processing device is an information processing system that estimates whether or not an obstacle exists by applying the image to a learning device generated by applying learning data to a machine learning algorithm.
  • the information processing device is an information processing system that is a server.
  • An information processing method that controls the behavior of the moving body based on an estimation result that estimates whether or not there is an obstacle that hinders the movement of the moving body from the image captured by the imaging unit.
  • a program that causes the moving body to perform a step of controlling the behavior of the moving body based on an estimation result that estimates whether or not there is an obstacle that hinders the movement of the moving body from the image captured by the imaging unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

認識が困難な物体を精査するための行動を行うことによって、障害物と移動体との衝突を回避することができる技術を提案する。本技術の移動体は、制御部を有する。上記制御部は、撮像部により撮像された画像から上記移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づき、上記移動体の行動を制御する。

Description

移動体、情報処理方法、プログラム及び情報処理システム
　本技術は、移動体、情報処理方法、プログラム及び情報処理システムに関する。
　近年、例えば景色を空撮する場合にドローン機体等の移動体を活用することが提案されている。このような移動体においては、障害物を安定的に回避する技術が採用される（例えば、特許文献１）。
特開２００５－３１６７５９号公報
　一般的に、ドローン機体は、自身の故障を防ぐために、障害物を検出する必要がある。しかしながら、障害物が窓ガラスや鏡などの透明物体や、認識が困難な細かい物体である場合、ドローン機体は、ＴｏＦやステレオカメラを利用する通常の障害物検出ではこのような障害物を検出することが困難であり、飛行中に障害物に衝突してしまうおそれがある。
　そこで、本開示では、障害物と移動体との衝突を回避することができる技術を提案する。
　上記課題を解決するため、本技術の一形態に係る移動体は、制御部を有する。
　上記制御部は、撮像部により撮像された画像から上記移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づき、上記移動体の行動を制御する。
　上記制御部は、上記障害物が存在すると推定された場合に、上記移動体を減速又は停止させてもよい。
　上記制御部は、上記障害物が存在すると推定された場合に、上記障害物が実在するか否かを精査する処理を実行してもよい。
　上記障害物と上記移動体との間の距離を検出する検出部をさらに具備し、
　上記制御部は、上記距離を上記検出部が検出できる位置に上記移動体を移動させてもよい。
　上記障害物と上記移動体との間の距離を検出する検出部をさらに具備し、
　上記制御部は、上記移動体を移動させながら、上記検出部に上記距離を複数回測定させてもよい。
　上記制御部は、上記障害物が実在すると判定した場合に、上記移動体を着陸若しくは停止させる、または、上記障害物を回避する上記移動体の移動経路を生成してもよい。
　上記制御部は、学習データを機械学習アルゴリズムに適用することにより生成された学習器に対して上記画像を適用することにより上記障害物が存在するか否かが推定された推定結果に基づいて、上記移動体の行動を制御してもよい。
　上記移動体は、飛行体であってもよい。
　上記障害物は、透明又は透光性を有する物体であってもよい。
　上記課題を解決するため、本技術の一形態に係る情報処理システムは、情報処理装置と、移動体とを有する。
　上記情報処理装置は、撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かを推定する。
　上記移動体は、上記推定結果に基づき、上記移動体の行動を制御する。
　上記情報処理装置は、学習データを機械学習アルゴリズムに適用することにより生成された学習器に対して上記画像を適用することによって、上記障害物が存在するか否かを推定してもよい。
　上記情報処理装置は、サーバであってもよい。
　上記課題を解決するため、本技術の一形態に係る情報処理方法は、
　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づいて、上記移動体の行動を制御する
　上記課題を解決するため、本技術の一形態に係るプログラムは、移動体に以下のステップを実行させる。
　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づいて、上記移動体の行動を制御するステップ。
本技術の情報処理システムの構成例を示す図である。 上記情報処理システムの構成例を示すブロック図である。 ドローン機体及び情報処理装置のハードウェア構成例を示すブロック図である。 上記情報処理システムの典型的な動作の流れを示すフローチャートである。 上記動作の一工程を詳細に示すフローチャートである。 一般的な特化型ＡＩの処理手順を簡略的に示す図である。 上記動作の一工程を詳細に示すフローチャートである。 ドローン機体と障害物とを併記して示す概念図である。 ドローン機体と障害物との間の距離に応じて障害物の存在確率をプロットしたグラフである。 ドローン機体と障害物とを併記して示す概念図である。 ドローン機体の移動距離に応じて障害物の存在確率をプロットしたグラフである。
　以下、図面を参照しながら、本技術の実施形態を説明する。
　＜情報処理システムの構成＞
　図１は、本実施形態の情報処理システム１の構成例を示す図であり、図２は情報処理システム１の構成例を示すブロック図である。情報処理システム１は、図１に示すように、ドローン機体１０と、情報処理装置２０とを有する。
　ドローン機体１０と情報処理装置２０は、ネットワークＮを介して相互に通信可能に接続されている。ネットワークＮは、インターネットや移動体通信網、あるいはローカルエリアネットワーク等であってもよく、これら複数種類のネットワークが組み合わされたネットワークであってもよい。
　［ドローン機体］
　ドローン機体１０は、図２に示すように、制御部１１と、記憶部１２と、センサ１３と、カメラ１４と、通信部１５とを有する。ドローン機体１０は、特許請求の範囲の「移動体」の一例である。
　制御部１１は、記憶部１２に格納されたプログラムに従って、ドローン機体１０の動作全般またはその一部を制御する。記憶部１２は、センサ１３から出力されたセンサデータや、カメラ１４から取得した画像データなどを記憶する。
　制御部１１は、機能的に、取得部１６と、動作制御部１７と、障害物存在精査部１８とを有する。
　取得部１６は、センサ１３により検出されたセンサデータや、カメラ１４により撮像された画像データを取得する。動作制御部１７は、障害物存在推定部２１１又は障害物存在精査部１８の判断に基づき、ドローン機体１０の速度やセンサ１３を制御する。
　障害物存在精査部１８は、ドローン機体１０が動作制御部２１４により制御された後、本当に障害物が実在するか否かを判断する。本実施形態における障害物とは、例えば、窓ガラスなどの透明又は透光性を有する透明物体や、細かな網又は電線などの認識不可物体であり、以下の説明でも同様である。
　センサ１３は、ソナー、レーダー又はライダーなどの測距センサや、ドローン機体１０の位置情報を測定するＧＰＳセンサなどを含む。センサ１３は、特許請求の範囲の「検出部」の一例である。
　通信部１５は、ネットワークＮを介して、情報処理装置２０と通信を行う。通信部１５は、ドローン機体１０の通信インターフェースとして機能する。
　カメラ１４は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。
　カメラ１４は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。カメラ１４は、例えば、３軸ジンバルなどの駆動機構（図示略）を介してドローン機体１０の本体に接続される。
　［情報処理装置］
　情報処理装置２０は、図２に示すように、通信部２３と、制御部２１と、記憶部２２とを有する。情報処理装置２０は、典型的にはサーバ装置であるがこれに限られず、ＰＣ等の他の任意のコンピュータであってもよい。
　あるいは、情報処理装置２０は、ドローン機体１０に指示を与え、誘導する飛行管制を実行する管制制御装置であってもよい。
　通信部２３は、ネットワークＮを介してドローン機体１０と通信を行う。通信部２３は、情報処理装置２０の通信インターフェースとして機能する。
　制御部２１は、記憶部２２に格納されたプログラムに従って、情報処理装置２０の動作全般またはその一部を制御する。制御部２１は、特許請求の範囲の「制御部」に対応する。
　制御部２１は、機能的に、障害物存在推定部２１１を有する。障害物存在推定部２１１は、ドローン機体１０が存在する実空間内において、ドローン機体１０の飛行を妨げる障害物が存在するか否かを判断する。
　［ハードウェア構成］
　図３は、ドローン機体１０及び情報処理装置２０のハードウェア構成例を示すブロック図である。ドローン機体１０及び情報処理装置２０は、図３に示す情報処理装置１００により実現されてもよい。
　情報処理装置１００は、ＣＰＵ（Central Processing unit）１０１、ＲＯＭ（Read Only Memory）１０２、およびＲＡＭ（Random Access Memory）１０３を有する。制御部１１，２１は、ＣＰＵ１０１であってもよい。
　情報処理装置１００は、ホストバス１０４、ブリッジ１０５、外部バス１０６、インターフェース１０７、入力装置１０８、出力装置１０９、ストレージ装置１１０、ドライブ１１１、接続ポート１１２、通信装置１１３を有する構成であってもよい。
　また、情報処理装置１００は、撮像装置１１４およびセンサ１１５を有する構成であってもよい。さらに、情報処理装置１００は、ＣＰＵ１０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）またはＧＰＵ（Graphics Processing Unit）などの処理回路を有してもよい。
　ＣＰＵ１０１は、演算処理装置および制御装置として機能し、ＲＯＭ１０２、ＲＡＭ１０３、ストレージ装置１１０、またはリムーバブル記録媒体３０に記録された各種プログラムに従って、情報処理装置１００内の動作全般またはその一部を制御する。記憶部１２，２２は、ＲＯＭ１０２、ＲＡＭ１０３、ストレージ装置１１０又はリムーバブル記録媒体３０であってもよい。
　ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。
　ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、ＣＰＵバスなどの内部バスにより構成されるホストバス１０４により相互に接続されている。さらに、ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス１０６に接続されている。
　入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置１０８は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話などの外部接続機器４０であってもよい。
　入力装置１０８は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ１０１に出力する入力制御回路を含む。ユーザは、この入力装置１０８を操作することによって、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置１０９は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置１０９は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカー又はヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。
　出力装置１０９は、情報処理装置１００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置１１０は、情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置１１０は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置１１０は、例えばＣＰＵ１０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ１１１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３０のためのリーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１１１は、装着されているリムーバブル記録媒体３０に記録されている情報を読み出して、ＲＡＭ１０３に出力する。また、ドライブ１１１は、装着されているリムーバブル記録媒体３０に記録を書き込む。
　接続ポート１１２は、機器を情報処理装置１００に接続するためのポートである。接続ポート１１２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。
　また、接続ポート１１２は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート１１２に外部接続機器４０を接続することで、情報処理装置１００と外部接続機器４０との間で各種のデータが交換されうる。
　通信装置１１３は、例えば、ネットワークＮに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置１１３は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、ＷＵＳＢ（Wireless USB）用またはＬＴＥ（Long Term Evolution）用の通信カードなどでありうる。また、通信装置１１３は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。
　通信装置１１３は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置１１３に接続されるネットワークＮは、無線によって接続されたネットワークであり、例えば、インターネット、赤外線通信、ラジオ波通信、近距離無線通信または衛星通信などを含みうる。通信部１５，２３は、通信装置１１３であってもよい。
　撮像装置１１４は、実空間を撮像し、撮像画像を生成する装置である。カメラ１４は、撮像装置１１４に対応する。
　センサ１１５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。
　センサ１１５は、例えば情報処理装置１００の筐体の姿勢など、情報処理装置１００自体の状態に関する情報や、情報処理装置１００の周辺の明るさや騒音など、情報処理装置１００の周辺環境に関する情報を取得する。また、センサ１１５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。センサ１３は、センサ１１５に対応する。
　以上、情報処理システム１の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化した部材により構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　＜情報処理システムの動作＞
　図４は、情報処理システム１の典型的な動作の流れを示すフローチャートである。以下、情報処理システム１の動作について、図４を適宜参照しながら説明する。
　［ステップＳ１０１：学習データ収集］
　先ず、障害物存在推定部２１１は、カメラ１４により所定のフレームレート（例えば、数十ｆｐｓ）で撮像された画像データと、当該画像データが撮像された際のドローン機体１０の行動結果とが対応づけられたデータ（以下、学習データ）をユーザから取得する。この際、ユーザは、例えば、任意のデバイス（図示略）を介して、学習データをエラーレポートとして情報処理装置２０に送信し、記憶部２２に学習データが記憶される。
　ここで、上述の行動結果とは、例えば、ドローン機体１０が実空間内に存在する障害物に衝突してクラッシュしたり、ドローン機体１０が障害物の前で急停止したりする行動を指し、以下の説明でも同様である。
　［ステップＳ１０２：機械学習］
　図５は、ステップＳ１０２の詳細を示すフローチャートである。以下、ステップＳ１０２について、図５を適宜参照しながら説明する。
　本実施形態の情報処理装置２０は、ユーザの知的作業を代替する、所謂特化型ＡＩ（Artificial Intelligence）を利用する情報処理装置である。図６は、一般的な特化型ＡＩの処理手順を簡略的に示す図である。
　特化型ＡＩは、大きな枠組みとして、学習用プログラムとして機能するアルゴリズムに学習データを組み込むことにより構築された学習済みモデル対して、任意の入力データを適用することにより結果物が得られる仕組みである。
　障害物存在推定部２１１は、記憶部２２に記憶されている学習データを読み出す（ステップＳ１０２１）。この学習データは、図６の「学習データ」に相当する。
　次いで、障害物存在推定部２１１は、予め設定されているアルゴリズムに記憶部２２から読み出した学習データを適用することによって学習器を生成する。なお、上述したアルゴリズムとは、図６の「アルゴリズム」に相当し、例えば機械学習アルゴリズムである。
　機械学習アルゴリズムの種類としては特に限定されず、例えばＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、ＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）又はＭＬＰ（Multilayer Perceptron：多層パーセプトロン）等のニューラルネットワークを用いたアルゴリズムであってもよく、その他、教師あり学習法（ブースティング法、ＳＶＭ（Support Vector Machine）法、ＳＶＲ法（Support Vector Regression）法等）、教師なし学習法、半教師あり学習法、強化学習法等を実行する任意のアルゴリズムであってもよい。
　本実施形態では、学習器の構築に利用されるアルゴリズムとして、典型的にはＭＬＰとその拡張であるＣＮＮが採用される。
　ＭＬＰは、ニューラルネットワークの一種であり、隠れ層Ｈのニューロンが無限個あれば、三層ニューラルネットワークによってあらゆる非線形関数を近似できることが知られており、慣例的にも三層ニューラルネットワークである場合が多い。従って、本実施形態おいては、ＭＬＰが三層ニューラルネットワークである場合を例に挙げて説明する。
　障害物存在推定部２１１は、記憶部２２に記憶されている、三層ニューラルネットワークの結合重みを取得し（ステップＳ１０２２）、この結合重みをシグモイド関数に適用することによって、学習器を生成する。具体的には、入力層Ｉにおけるｉ番目のニューロンＩｉへの入力刺激をｘｉとして、Ｉｉと隠れ層Ｈのｊ番目のニューロンの結合重みをθＩｊｉとおくと、隠れ層Ｈの出力ｚｊは、例えば、下記式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　sigmoidはシグモイド関数であり、下記式（２）で表される。ａ＝１のときは、標準シ
グモイド関数である。
Figure JPOXMLDOC01-appb-M000002
　同様に、出力層Ｏにおけるｋ番目のニューロンの出力信号ｙｋは、例えば、下記式（３）で表される。なお、出力層Ｏの出力空間を実数値全体にとる場合、出力層Ｏのシグモイド関数は省略される。
Figure JPOXMLDOC01-appb-M000003
　ここで、式（１），（３）におけるΣを用いた要素毎の表記は次元毎にシグモイド関数を適用することによってより簡潔に表現される。具体的には、入力信号、隠れ層信号、出力信号をそれぞれベクトル表記してｘ，ｙ，ｚとし、入力信号にかかる結合重みと、隠れ層出力にかかる結合重みをそれぞれＷＩ＝［θＩｊｉ］，ＷＨ＝［θＨｋｊ］とすると、出力信号ｙ，即ち、学習器は下記式（４）で表される。ＷＩ，ＷＨは、三層ニューラルネットワークの内部パラメータ（重み）である。
Figure JPOXMLDOC01-appb-M000004
　本実施形態のステップＳ１０２では、典型的には教師あり学習が採用されるため、障害物存在推定部２１１は、出力誤差が最小となるまで学習器を更新する処理を実行する（ステップＳ１０２３）。具体的には、障害物存在推定部２１１は、学習データを構築する画像データと行動結果をそれぞれ入力信号、教師信号（教師データ）とし、入力信号を式（４）に適用することにより得られた出力信号と教師信号との誤差が収束するまで内部パラメータＷＩ，ＷＨを更新する。障害物存在推定部２１１は、当該誤差が最小となる内部パラメータＷＩ(min），ＷＨ(min)を記憶部２２に出力する（ステップＳ１０２４）。
　障害物存在推定部２１１は、記憶部２２に記憶されている内部パラメータＷＩ(min），ＷＨ(min)を読み出し、これらを式（４）に適用することによって記憶部２２に学習器２２１を構築する。学習器２２１は、図６の「学習済みモデル」に相当する。
　［ステップＳ１０３：行動制御］
　図７は、ステップＳ１０３の詳細を示すフローチャートである。以下、ステップＳ１０３について、図７を適宜参照しながら説明する。
　障害物存在推定部２１１は、所定のフレームレート（例えば、数十ｆｐｓ）で撮像された画像をカメラ１４から取得する（ステップＳ１０３１）。この画像は、図６の「入力データ」に相当する。
　次に、障害物存在推定部２１１は、学習器２２１を、先のステップＳ１０３１において取得した画像に適用することによって、当該画像中に障害物が存在するか否かを推定し（ステップＳ１０３２）、この推定結果を動作制御部１７に出力する。推定結果は、図６の「結果物」に相当する。
　ここで、障害物存在推定部２１１は、先のステップＳ１０３１において撮像された画像中に障害物が存在すると推定した場合（ステップＳ１０３３のＹＥＳ）、動作制御部１７に飛行中のドローン機体１０を減速又は停止させる指示を出力し、動作制御部１７がこの指示を実行する（ステップＳ１０３４）。これにより、実際に障害物が存在するか否かに関わらずドローン機体１０が停止又は減速するので、障害物とドローン機体１０との衝突が回避される。
　次に、障害物存在精査部１８は、先のステップＳ１０３２において存在すると推定された障害物が本当に実在するか否かを精査する（ステップＳ１０３５）。以下、ステップＳ１０３５の適用例を幾つか説明する。
　・適用例１
　図８はドローン機体１０と障害物とを併記して示す概念図であり、図９はドローン機体１０と障害物との間の距離に応じて障害物の存在確率をプロットしたグラフである。障害物存在精査部１８は、先のステップＳ１０３２において障害物が存在すると推定された場合、当該障害物から所定距離Ｄ離れた位置にドローン機体１０を移動させる指示を動作制御部１７に出力し、動作制御部１７がこの指示を実行する。所定距離Ｄとは、センサ１３がドローン機体１０と障害物との間の距離を測定できる距離である。
　この際、障害物存在精査部１８は、ドローン機体１０を障害物に接近させながら、ドローン機体１０と障害物との間の距離を複数回測定する指示をセンサ１３に出力し、センサ１３がこの指示を実行する。なお、図９によれば、ドローン機体１０と障害物との間の距離が小さくなるほど障害物の存在確率が向上することがわかる。
　・適用例２
　図１０はドローン機体１０と障害物とを併記して示す概念図であり、図１１はドローン機体１０の移動距離に応じて障害物の存在確率をプロットしたグラフである。障害物存在精査部１８は、先のステップＳ１０３２において障害物が存在すると推定された場合、当該障害物から所定距離Ｄ離れた位置にドローン機体１０を移動させる指示を動作制御部１７に出力し、動作制御部１７がこの指示を実行する。
　次に、障害物存在精査部１８は、ドローン機体１０を所定距離Ｄまで接近させた後、所定距離Ｄを維持しつつドローン機体１０を移動させる指示を動作制御部１７に出力し、動作制御部１７がこの指示を実行する。
　この際、障害物存在精査部１８は、ドローン機体１０と障害物との間の距離を複数回測定する指示をセンサ１３に出力し、センサ１３がこの指示を実行する。なお、図１１によれば、ドローン機体１０の移動距離が増えるほど、障害物の存在確率が向上することがわかる。
　一方、障害物存在推定部２１１は、先のステップＳ１０３１において撮像された画像中に障害物が存在しないと推定した場合（ステップＳ１０３３のＮＯ）、動作制御部１７に飛行を継続させる指示を出力し、動作制御部１７がこの指示を実行する。
　続いて、動作制御部１７は、先のステップＳ１０３５において障害物が実在すると判定された場合、具体的には、ドローン機体１０と障害物との間の距離が複数回測定される上で障害物の存在確率が所定の閾値Ｌ１，Ｌ３を超えた場合、ドローン機体１０を着陸又は停止させる。あるいは、障害物を回避する移動経路を生成し、この移動経路に従った飛行制御を実行する（ステップＳ１０３６）。これにより、ドローン機体１０と障害物との衝突が確実に回避される。
　一方、動作制御部１７は、先のステップＳ１０３５において障害物が実在しないと判定された場合、具体的には、ドローン機体１０と障害物との間の距離が複数回測定される上で障害物の存在確率が所定の閾値Ｌ２，Ｌ４を下まわった場合、ドローン機体１０に対して先のステップＳ１０３４において課せられた制御を解除する。
　＜変形例＞
　以上、本技術の実施形態について説明したが、本技術は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。
　例えば、上記実施形態では、学習器２２１にカメラ１４により撮像された画像を適用することによって障害物が存在すると推定された場合に、ドローン機体１０を減速又は停止させるがこれに限られず、特定の物体を認識する所定のアルゴリズムに従って画像中の障害物を認識することにより、ドローン機体１０を減速又は停止させてもよい。
　さらに、上記実施形態では、先のステップＳ１０３５において障害物の存在の有無を精査する際に、障害物にドローン機体１０を近づけ、ドローン機体１０と障害物との間の距離を複数回検出するがこれに限られず、このような動作と共に又はこれに代えて、センサ１３又はカメラ１４が障害物の方を向くようにドローン機体１０を回転させてもよい。
　＜補足＞
　本技術は、飛行体以外の他の移動体（例えばロボット等）に適用されてもよく、その用途は特に限定されない。なお、飛行体には、ドローン機体の他に、航空機、無人飛行機及び無人ヘリコプター等が含まれる。さらに、上記実施形態では、ドローン機体１０が屋外を飛行することを前提に説明したがこれに限られず、本技術は例えば屋内を移動する移動体に適用されてもよい。
　さらに、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　以上、添付図面を参照しながら本技術の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本技術の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本技術の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成もとることができる。
　（１）
　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づき、上記移動体の行動を制御する制御部
　を具備する上記移動体。
　（２）
　上記（１）に記載の移動体であって、
　上記制御部は、上記障害物が存在すると推定された場合に、上記移動体を減速又は停止させる
　移動体。
　（３）
　上記（１）又は（２）に記載の移動体であって、
　上記制御部は、上記障害物が存在すると推定された場合に、上記障害物が実在するか否かを精査する処理を実行する
　移動体。
　（４）
　上記（３）に記載の移動体であって、
　上記障害物と上記移動体との間の距離を検出する検出部をさらに具備し、
　上記制御部は、上記距離を上記検出部が検出できる位置に上記移動体を移動させる
　移動体。
　（５）
　上記（３）又は（４）に記載の移動体であって、
　上記障害物と上記移動体との間の距離を検出する検出部をさらに具備し、
　上記制御部は、上記移動体を移動させながら、上記検出部に上記距離を複数回測定させる
　移動体。
　（６）
　上記（３）から（５）のいずれか１つに記載の移動体であって、
　上記制御部は、上記障害物が実在すると判定した場合に、上記移動体を着陸若しくは停止させる、または、上記障害物を回避する上記移動体の移動経路を生成する
　移動体。
　（７）
　上記（１）から（６）のいずれか１つに記載の移動体であって、
　上記制御部は、学習データを機械学習アルゴリズムに適用することにより生成された学習器に対して上記画像を適用することにより上記障害物が存在するか否かが推定された推定結果に基づいて、上記移動体の行動を制御する
　移動体。
　（８）
　上記（１）から（７）のいずれか１つに記載の移動体であって、
　上記移動体は、飛行体である
　移動体。
　（９）
　上記（１）から（８）のいずれか１つに記載の移動体であって、
　上記障害物は、透明又は透光性を有する物体である
　移動体。
　（１０）
　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かを推定する情報処理装置と、
　上記推定結果に基づき、上記移動体の行動を制御する上記移動体と
　を具備する情報処理システム。
　（１１）
　上記（１０）に記載の情報処理システムであって、
　上記情報処理装置は、学習データを機械学習アルゴリズムに適用することにより生成された学習器に対して上記画像を適用することによって、上記障害物が存在するか否かを推定する
　情報処理システム。
　（１２）
　上記（１０）又は（１１）に記載の情報処理システムであって、
　上記情報処理装置は、サーバである
　情報処理システム。
　（１３）
　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づいて、上記移動体の行動を制御する
　情報処理方法。
　（１４）
　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づいて、上記移動体の行動を制御するステップ
　を上記移動体に実行させるプログラム。
　情報処理システム・・・１
　ドローン機体・・・１０
　情報処理装置・・・２０
　制御部・・・１１，２１

Claims (14)

  1. 　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づき、前記移動体の行動を制御する制御部
    　を具備する前記移動体。
  2. 　請求項１に記載の移動体であって、
    　前記制御部は、前記障害物が存在すると推定された場合に、前記移動体を減速又は停止させる
    　移動体。
  3. 　請求項１に記載の移動体であって、
    　前記制御部は、前記障害物が存在すると推定された場合に、前記障害物が実在するか否かを精査する処理を実行する
    　移動体。
  4. 　請求項３に記載の移動体であって、
    　前記障害物と前記移動体との間の距離を検出する検出部をさらに具備し、
    　前記制御部は、前記距離を前記検出部が検出できる位置に前記移動体を移動させる
    　移動体。
  5. 　請求項３に記載の移動体であって、
    　前記障害物と前記移動体との間の距離を検出する検出部をさらに具備し、
    　前記制御部は、前記移動体を移動させながら、前記検出部に前記距離を複数回測定させる
    　移動体。
  6. 　請求項３に記載の移動体であって、
    　前記制御部は、前記障害物が実在すると判定した場合に、前記移動体を着陸若しくは停止させる、または、前記障害物を回避する前記移動体の移動経路を生成する
    　移動体。
  7. 　請求項１に記載の移動体であって、
    　前記制御部は、学習データを機械学習アルゴリズムに適用することにより生成された学習器に対して前記画像を適用することにより前記障害物が存在するか否かが推定された推定結果に基づいて、前記移動体の行動を制御する
    　移動体。
  8. 　請求項１に記載の移動体であって、
    　前記移動体は、飛行体である
    　移動体。
  9. 　請求項１に記載の移動体であって、
    　前記障害物は、透明又は透光性を有する物体である
    　移動体。
  10. 　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かを推定する情報処理装置と、
    　前記推定結果に基づき、前記移動体の行動を制御する前記移動体と
    　を具備する情報処理システム。
  11. 　請求項１０に記載の情報処理システムであって、
    　前記情報処理装置は、学習データを機械学習アルゴリズムに適用することにより生成された学習器に対して前記画像を適用することによって、前記障害物が存在するか否かを推定する
    　情報処理システム。
  12. 　請求項１０に記載の情報処理システムであって、
    　前記情報処理装置は、サーバである
    　情報処理システム。
  13. 　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づいて、前記移動体の行動を制御する
    　情報処理方法。
  14. 　撮像部により撮像された画像から移動体の移動を妨げる障害物が存在するか否かが推定された推定結果に基づいて、前記移動体の行動を制御するステップ
    　を前記移動体に実行させるプログラム。
PCT/JP2020/038505 2019-10-24 2020-10-12 移動体、情報処理方法、プログラム及び情報処理システム WO2021079778A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021554291A JPWO2021079778A1 (ja) 2019-10-24 2020-10-12
US17/769,840 US20220413518A1 (en) 2019-10-24 2020-10-12 Movable object, information processing method, program, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-193263 2019-10-24
JP2019193263 2019-10-24

Publications (1)

Publication Number Publication Date
WO2021079778A1 true WO2021079778A1 (ja) 2021-04-29

Family

ID=75619310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038505 WO2021079778A1 (ja) 2019-10-24 2020-10-12 移動体、情報処理方法、プログラム及び情報処理システム

Country Status (3)

Country Link
US (1) US20220413518A1 (ja)
JP (1) JPWO2021079778A1 (ja)
WO (1) WO2021079778A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144846A1 (en) * 2017-02-02 2018-08-09 Brain Corporation Systems and methods for assisting a robotic apparatus
JP2018133749A (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP2019053501A (ja) * 2017-09-14 2019-04-04 Kddi株式会社 飛行装置、管理装置、飛行管理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US11010910B2 (en) * 2015-12-18 2021-05-18 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
US11237572B2 (en) * 2018-12-27 2022-02-01 Intel Corporation Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
US10937325B2 (en) * 2018-12-27 2021-03-02 Intel Corporation Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof
US11030766B2 (en) * 2019-03-25 2021-06-08 Dishcraft Robotics, Inc. Automated manipulation of transparent vessels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144846A1 (en) * 2017-02-02 2018-08-09 Brain Corporation Systems and methods for assisting a robotic apparatus
JP2018133749A (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム
JP2019053501A (ja) * 2017-09-14 2019-04-04 Kddi株式会社 飛行装置、管理装置、飛行管理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2021079778A1 (ja) 2021-04-29
US20220413518A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US11989861B2 (en) Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
US11126833B2 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
US10339913B2 (en) Context-based cancellation and amplification of acoustical signals in acoustical environments
KR102280803B1 (ko) 로봇 및 그의 구동 방법
WO2021095351A1 (ja) 監視装置、監視方法、及びプログラム
US11769508B2 (en) Artificial intelligence apparatus
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
US11664044B2 (en) Sound event detection learning
WO2021039100A1 (ja) 移動体、情報処理装置、情報処理方法及びプログラム
WO2021079778A1 (ja) 移動体、情報処理方法、プログラム及び情報処理システム
US20220262265A1 (en) Information processing apparatus, information processing method, and program
US11322134B2 (en) Artificial intelligence device and operating method thereof
US11260536B1 (en) Simulation of emotional state of an interactive device
KR20200140723A (ko) 무인기 추적 방법 및 장치
WO2020235210A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11372473B2 (en) Information processing apparatus and information processing method
KR102247911B1 (ko) 인공 지능 로봇 및 인공 지능 서버
US11997445B2 (en) Systems and methods for live conversation using hearing devices
US20220309343A1 (en) Always-on local action controller for low power, battery-operated autonomous intelligent devices
US20210392427A1 (en) Systems and Methods for Live Conversation Using Hearing Devices
US10832040B2 (en) Cognitive rendering of inputs in virtual reality environments
JP7452543B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
EP4290450A1 (en) Inference device, inference method, and program
US11990113B2 (en) Drone noise cancellation using sound beams
WO2021024627A1 (ja) 情報処理装置、移動体、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554291

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879720

Country of ref document: EP

Kind code of ref document: A1