WO2020121665A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2020121665A1 WO2020121665A1 PCT/JP2019/042194 JP2019042194W WO2020121665A1 WO 2020121665 A1 WO2020121665 A1 WO 2020121665A1 JP 2019042194 W JP2019042194 W JP 2019042194W WO 2020121665 A1 WO2020121665 A1 WO 2020121665A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- flight
- behavior
- learning
- period
- flying object
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 13
- 230000006399 behavior Effects 0.000 claims abstract description 100
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 claims description 8
- 230000002950 deficient Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 abstract description 39
- 238000004891 communication Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Definitions
- the present invention relates to a technique for machine learning the control of an air vehicle.
- Patent Document 1 discloses a technique for landing an unmanned air vehicle with high accuracy.
- the present invention has an object to perform learning based on a relationship suitable for the learning when learning the relationship between the operation on the flying object and the behavior of the flying object according to the operation.
- the present invention determines a learning unit that learns about a relationship between a flight operation of a flight vehicle and a behavior of the flight vehicle according to the flight operation, and a flight of the flight vehicle as a target of the learning. And a determination unit that determines whether or not the flight satisfies the conditions, and the learning unit determines that the flight does not satisfy the conditions during the period when the flight is determined to satisfy the conditions.
- an information processing device characterized in that the learning is performed by reducing the weight for the relationship between the operation and the behavior of the flying object as compared with the above period.
- the flight satisfying the conditions is a low-visibility flight in which visibility from the operator to the flying object is lower than a predetermined level, and the determining unit determines whether the flight of the flying object is the low-visibility flight.
- the learning unit in the period determined to be the low visibility flight, compared to the period determined to be not the low visibility flight, to the relationship between the operation and the behavior of the aircraft.
- the learning may be performed by reducing the weight.
- the flight satisfying the condition is an abnormally-occurring flight in which an abnormality has occurred in the flight vehicle
- the determination unit determines whether or not the flight of the flight vehicle is the abnormality-occurring flight
- the learning unit In the period determined to be the abnormal flight, the learning is performed by reducing the weight for the relationship between the maneuver and the behavior of the flying object as compared with the period determined not to be the abnormal flight. You may do it.
- the flight satisfying the condition is a signal-deficient flight that is performed in a state where a radio signal for controlling the flying object is missing, and the determining unit determines that the flight of the flying object is the signal-deficient flight.
- the learning unit in the period determined to be the signal-deficient flight, compared to the period determined to be not the signal-deficient flight, the behavior of the maneuver and the aircraft The learning may be performed by reducing the weight for the relationship.
- the learning unit is a period during which it is determined that the flight satisfies the conditions, and further, in a specific period in which the behavior of the flying vehicle is excessive or insufficient compared to the operation of the flying vehicle, the specific period
- the learning may be performed by reducing the weight for the relationship between the maneuver and the behavior of the flying object compared to the non-period.
- the learning unit is a period determined to be a flight satisfying the conditions, and further, in a specific period different from the expected behavior of the aircraft by a threshold value or more, compared to a period that is not the specific period.
- the learning may be performed by reducing the weight on the relationship between the operation and the behavior of the flying object.
- the threshold may differ depending on the pilot's control skill.
- the learning unit is a period determined to be a flight satisfying the conditions, and in a specific period in which the external environment during flight of the flying object is a predetermined environment, as compared with a period that is not the specific period.
- the learning may be performed by reducing the weight on the relationship between the control and the behavior of the flying object.
- the present invention when learning about the relationship between the operation on the flying object and the behavior of the flying object according to the operation, learning based on the relationship suitable for the learning can be performed.
- FIG. 3 is a diagram showing a hardware configuration of an air vehicle 10.
- 3 is a diagram showing a hardware configuration of a server device 20.
- FIG. 3 is a diagram showing a hardware configuration of a control device 30.
- FIG. It is a figure which shows an example of a functional structure of the flight system 1.
- 6 is a flowchart showing an example of the operation of the server device 20.
- FIG. 1 is a diagram showing an example of the configuration of the flight system 1.
- the flight system 1 includes, for example, an unmanned air vehicle 10 called a drone, a server device 20 that functions as an example of an information processing apparatus according to the present invention, and a pilot that functions as a remote controller for a pilot to operate the air vehicle 10.
- the device 30 and the network 2 that communicatively connects these devices are provided.
- the network 2 is, for example, a wireless communication network such as LTE (Long Term Evolution), and includes a wireless base station (not shown) and its host device.
- LTE Long Term Evolution
- the air vehicle 10 receives a signal according to a pilot operation performed by the pilot using the pilot device 30 via the network 2, and controls its own flight according to the signal.
- a signal according to a pilot operation performed by the pilot using the pilot device 30 via the network 2, and controls its own flight according to the signal.
- the flight device 10 is operated by using a wireless signal from the control device 30 via the network 2 will be described.
- a radio signal that directly reaches the flight device 10 from the control device 30 without the network 2. You may make it operate
- the server device 20 performs machine learning on the relationship between the content of the operation on the air vehicle 10 and the behavior of the air vehicle 10 according to the content of the operation, and generates a learning model for automatically operating the air vehicle 10.
- the server device 20 performs machine learning only in an environment and conditions suitable for realizing automatic piloting.
- FIG. 2 is a diagram showing a hardware configuration of the flying vehicle 10.
- the air vehicle 10 physically includes a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a flight device 1007, a sensor 1008, a positioning device 1009, and a bus connecting these. It is configured as a computer device. Each of these devices operates by electric power supplied from a battery (not shown). In the following description, the word “device” can be read as a circuit, a device, a unit, or the like.
- the hardware configuration of the flying object 10 may be configured to include one or a plurality of each device illustrated in the drawings, or may be configured not to include some devices.
- Each function in the flying vehicle 10 causes a predetermined software (program) to be loaded on hardware such as the processor 1001 and the memory 1002, so that the processor 1001 performs an operation to control communication by the communication device 1004 and the memory 1002. Also, it is realized by controlling at least one of reading and writing of data in the storage 1003.
- a predetermined software program
- the processor 1001 performs an operation to control communication by the communication device 1004 and the memory 1002. Also, it is realized by controlling at least one of reading and writing of data in the storage 1003.
- the processor 1001 operates an operating system to control the entire computer, for example.
- the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, a register, and the like. Further, for example, a baseband signal processing unit, a call processing unit, etc. may be realized by the processor 1001.
- CPU central processing unit
- a baseband signal processing unit, a call processing unit, etc. may be realized by the processor 1001.
- the processor 1001 reads a program (program code), software module, data, etc. from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
- a program program that causes a computer to execute at least part of the operations described below is used.
- the functional blocks of the flying vehicle 10 may be realized by a control program stored in the memory 1002 and operating in the processor 1001.
- Various types of processing may be executed by one processor 1001, but may be executed simultaneously or sequentially by two or more processors 1001.
- the processor 1001 may be implemented by one or more chips.
- the program may be transmitted from the network 2 to the air vehicle 10 via an electric communication line.
- the memory 1002 is a computer-readable recording medium, and is composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), and the like. May be done.
- the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
- the memory 1002 may store an executable program (program code), a software module, etc. for executing the method according to the present embodiment.
- the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disc drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disc). At least one of a (registered trademark) disk, a smart card, a flash memory (for example, a card, a stick, and a key drive), a floppy (registered trademark) disk, a magnetic strip, or the like.
- the storage 1003 may be called an auxiliary storage device.
- the storage 1003 stores, for example, identification information of the flying body 10 (referred to as flying body identification information).
- the communication device 1004 is hardware (transmission/reception device) for performing communication between computers via at least one of a wired network and a wireless network, and is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
- the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, a joystick, a ball controller, etc.) that receives an input from the outside.
- the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside.
- the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
- the flight device 1007 is a mechanism for flying the flying body 10 in the air, and includes, for example, a propeller, a motor for driving the propeller, and a driving mechanism.
- the sensor 1008 detects the state of the flying object 10, for example.
- the sensor 1008 is, for example, a temperature sensor, a rotation speed sensor that detects the rotation speed of a motor, a sensor (for example, a battery power remaining amount sensor) that detects a value related to some input/output such as current/voltage, a gyro sensor, an acceleration sensor, It includes a sensor group such as an atmospheric pressure (altitude) sensor, a magnetic (direction) sensor, and an ultrasonic sensor.
- the positioning device 1009 measures the three-dimensional position of the flying object 10.
- the positioning device 1009 is, for example, a GPS (Global Positioning System) receiver, and measures the position of the flying body 10 based on GPS signals received from a plurality of satellites.
- GPS Global Positioning System
- the behavior of the flying object 10 is specified by the above-described sensor 1008 and positioning device 1009.
- Each device such as the processor 1001 and the memory 1002 is connected by a bus for communicating information.
- the bus may be configured by using a single bus or may be configured by using different buses for each device.
- the aircraft 10 is configured to include hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array).
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- PLD Programmable Logic Device
- FPGA Field Programmable Gate Array
- a part or all of each functional block may be realized by the hardware.
- the processor 1001 may be implemented using at least one of these hardware.
- FIG. 3 is a diagram showing a hardware configuration of the server device 20.
- the server device 20 is physically configured as a computer device including a processor 2001, a memory 2002, a storage 2003, a communication device 2004, an input device 2005, an output device 2006, and a bus connecting these.
- Each function in the server device 20 causes the processor 2001 to perform calculation by causing hardware such as the processor 2001 and the memory 2002 to read predetermined software (program), control communication by the communication device 2004, and the memory 2002. And by controlling at least one of reading and writing of data in the storage 2003.
- predetermined software program
- the processor 2001, the memory 2002, the storage 2003, the communication device 2004, the input device 2005, the output device 2006, and the bus connecting them are the processor 1001, the memory 1002, the storage 1003, the communication device 1004, and the input device 1005 described for the aircraft 10. Since the output device 1006 and the bus connecting them are the same in terms of hardware, description thereof is omitted.
- FIG. 4 is a diagram showing a hardware configuration of the control device 30.
- the control device 30 is physically configured as a computer device including a processor 3001, a memory 3002, a storage 3003, a communication device 3004, an input device 3005, an output device 3006, and a bus connecting these.
- Each function in the control device 30 causes the processor 3001 to perform calculation by loading predetermined software (program) on hardware such as the processor 3001 and the memory 3002 to control communication by the communication device 3004 and the memory 3002. Also, it is realized by controlling at least one of reading and writing of data in the storage 3003.
- predetermined software program
- the processor 3001, the memory 3002, the storage 3003, the communication device 3004, the input device 3005, the output device 3006, and the bus connecting them are the processor 1001, the memory 1002, the storage 1003, the communication device 1004, and the input device 1005 described for the aircraft 10. Since the output device 1006 and the bus connecting them are the same in terms of hardware, description thereof is omitted.
- FIG. 5 is a diagram showing an example of the functional configuration of the flight system 1.
- the control detection unit 31 detects the content input to the input device 3005 by the operator, that is, the control content, generates information indicating the detection result (referred to as control information), and transmits it via the network 2. Is transmitted to the server device 20.
- the flight control information includes a time stamp indicating the current date and time, flight body identification information of the flight body 10 to be operated, and operation details such as the type, amount, and direction of operation.
- the flight body identification information of the flight body 10 to be operated is input to the operation device 30 by the operator or the like before the start of operation of the flight body 10, for example.
- the behavior detection unit 11 detects the behavior of the air vehicle 10, generates information indicating the detection result (called behavior information), and transmits the information to the server device 20 via the network 2.
- behavior information includes a time stamp indicating the current date and time, and flight body identification information stored in the storage 1003 of the flight vehicle 10, as well as the position of the flight vehicle 10 (including latitude, longitude, and altitude), flight direction, and flight. It includes information indicating the behavior of the air vehicle 10, which can be specified by the sensor 1008 and the positioning device 1009 such as velocity and flight acceleration.
- their timing processing is synchronized.
- time stamps can identify the correspondence between the control information and the behavior information, that is, how the aircraft 10 behaves in response to the control by the operator. That is, when the time stamp included in the behavior information exists in a period immediately after the time stamp included in the operation information, the aircraft 10 behaves as indicated by the operation information according to the operation information. It turns out that.
- the acquisition unit 21 acquires, via the network 2, the steering information and the behavior information generated by the steering detection unit 31 and the behavior detection unit 11, respectively.
- the determination unit 22 determines whether or not the flight of the flying object 10 is a flight that satisfies the conditions determined as not subject to machine learning.
- the flight satisfying the conditions determined as not subject to machine learning is, for example, flight in an environment in which the visibility of the aircraft 10 from the operator is lower than a predetermined level (hereinafter referred to as low visibility flight). ..
- the operator may look at the body of the flying body 10 while directly watching it (referred to as “visual manipulating”). There is a case where an imaged image captured by a camera mounted on the vehicle is displayed on the control device 30 and the user operates the vehicle while visually recognizing the captured image (referred to as “non-visual control”).
- the off-visual control is less visible from the operator to the flying vehicle 10 than the visual control, and as a result, even the same operator can control the skill and control efficiency or flight stability. Considered inferior. Therefore, it can be said that such an out-of-visual control is not suitable for realizing highly accurate and stable automatic control by machine learning.
- the learning unit 23 performs machine learning on the relationship between the operation content of the air vehicle 10 and the behavior of the air vehicle 10 according to the operation content, and generates a learning model.
- the learning unit 23 in the period that is determined to be a flight that satisfies the conditions determined to be excluded from the above-described machine learning, compared to the period that is determined to be a flight that does not satisfy the conditions, Machine learning is performed by reducing the weight on the relationship between the content of control and the behavior of the flying object 10. That is, the learning unit 23 reduces the weight on the relationship between the content of the maneuver and the behavior of the air vehicle 10 in the period determined to be low visibility flight compared to the period determined to be not low visibility flight. Machine learning.
- the degree of reflection in the learning model is smaller in the relationship between the maneuver and the behavior of the flying object 10 in the low visibility flight than in the flight in which the flying is not the low visibility flight.
- the storage unit 24 stores the learning model generated by the learning unit 23. This learning model is used when the aircraft 10 is automatically piloted via the network 2, for example.
- the server device 20 is described as the main body of processing, specifically, the processor 2001, the memory 2002, and the like are loaded with predetermined software (program) on the hardware so that the processor 2001 Means that the processing is executed by controlling the communication by the communication device 2004 and the reading and/or writing of data in the memory 2002 and the storage 2003.
- predetermined software program
- the acquisition unit 21 of the server device 20 acquires the control information generated by the control detection unit 31 of the control device 30 and the behavior information generated by the behavior detection unit 11 of the aircraft 10 via the network 2. (Step S11). At this time, the acquisition unit 21 does not need to acquire the steering information generated by the steering detection unit 31 and the behavior information generated by the behavior detection unit 11 at the same timing, but may acquire the steering information at different timings.
- the acquisition unit 21 may or may not acquire the maneuvering information generated by the maneuvering detector 31 each time it is generated. Similarly, the acquisition unit 21 may or may not acquire the behavior information generated by the behavior detection unit 11 each time the behavior information is generated.
- the acquisition unit 21 may request and acquire the steering information generated by the steering detection unit 31 and the behavior information generated by the behavior detection unit 11 at arbitrary timings. Then, the acquisition unit 21 obtains the same flight body identification information and the flight information and the behavior information including the time stamp groups that are close to each other from the obtained plurality of the flight information and the behavior information as one set of the flight control device 30 and the flight vehicle. It is stored as a group of information regarding one flight by 10.
- the time stamp groups that are close to each other are time stamp groups such that the time interval between a certain time stamp and the time stamp closest in time is within a threshold value.
- the determination unit 22 of the server device 20 targets a group of information relating to one flight by a certain set of the control device 30 and the flying body 10, and based on the control information and the behavior information included in the information group, the flight.
- step S12 it is determined whether low visibility flight is included. Specifically, when the distance between the flying body 10 and the control device 30 is equal to or greater than the threshold value, the determination unit 22 determines that the flight is low visual recognition, and the distance between the flying body 10 and the control device 30 is less than the threshold value. In the case of, it is determined that the flight is not low visibility.
- the position of the air vehicle 10 can be specified by the position included in the behavior information.
- the position of the control device 30 is, for example, a positioning method based on a received electric field strength when the control device 30 receives a radio signal from a radio base station of the network 2 existing around the control device 30 (a so-called base station positioning method). ).
- the control device 30 includes a positioning device such as GPS, the position obtained by the positioning device may be included in the control information and transmitted to the server device 20.
- the control information and the behavior information included in the period in which the low-visibility flight is performed, and the low-visibility flight are The control information and the behavior information included in the period when the operation is not performed will be identified.
- the learning unit 23 of the server device 20 performs machine learning on the relationship between the operation content of the flying object 10 and the behavior of the flying object 10 according to the operation content (step S13). Specifically, the learning unit 23 performs an arbitrary behavior by performing machine learning using a regression analysis method in which the behavior information is the explanatory variable among the corresponding steering information and the behavior information and the steering information is the objective variable. A learning model for specifying the content of the maneuver to obtain is generated. At this time, the learning unit 23, regarding the maneuvering information and the behavior information included in the period determined to be low visibility flight, compared to the maneuvering information and the behavior information included in the period determined to be not low visibility flight, Machine learning is performed by reducing the weight (contribution rate) for the relationship between the control information and the behavior information.
- the learning unit 23 sets the number of pieces of information used for machine learning in the maneuvering information and behavior information included in the period determined to be low visibility flight to the maneuvering information included in the period determined to be not low visibility flight. Also, the number of pieces of behavior information used for machine learning may be reduced. In this case, for example, the learning unit 23 may limit the operation information and the behavior information included in the period determined to be low-visibility flight to information of a certain specific type to be used for machine learning, or all information. An example is conceivable in which only a predetermined number of pieces of information (a proportion of less than 100 when the total number of pieces of information is 100) is used for machine learning.
- the learning unit 23 may not perform machine learning on the steering information and the behavior information included in the period determined to be low visibility flight, that is, may set the weight for the relationship between the steering information and the behavior information to zero. .. In this case, the learning unit 23 will perform machine learning based on only the maneuvering information and the behavior information included in the period when it is determined that the flight is not low visibility flight.
- the storage unit 24 of the server device 20 stores the learning model generated by the learning unit 23 (step S14).
- This learning model is used to automatically pilot the air vehicle 10 via the network 2, for example. That is, by inputting information indicating an arbitrary behavior to this learning model, it is possible to obtain information indicating the content of the operation for obtaining the behavior.
- the determination unit 22 determines whether or not the flight is low visibility based on the distance between the flying object 10 and the control device 30, but this determination method is not limited to the example of the embodiment.
- the determination unit 22 refers to the positions of the aircraft 10 and the control device 30 and a map database that covers various facilities and topography, and determines that the height between the flight device 10 and the control device 30 is equal to or higher than a threshold value. If there is an obstacle, it may be determined that the flight is low visibility, and if there is no such obstacle, it may be determined that the flight is not low visibility.
- the determination unit 22 determines whether or not the operation is performed. May be acquired via the network 2 to determine whether or not the flight is low visibility.
- the control device 30 activates a camera for out-of-sight control, and the determination unit 22 determines whether the activation is performed from the control device 30 to the network 2. Alternatively, it may be acquired via the route to determine whether or not the flight is low visibility.
- a temporal proximity relationship between the time stamp included in the operation information and the time stamp included in the operation information is not limited to this example.
- a control identifier for identifying the operation of the control is issued so as to be included in the control information to be transmitted to the server device 20, while the control device 30 controls the aircraft 10.
- the flying body 10 includes the operation identifier for the flight control itself and the behavior information when the flight control is performed according to the operation identifier.
- the behavior detection unit 11 of the aircraft 10 transmits the behavior information including the control identifier to the server device 20. By doing so, it becomes possible for the server device 20 to specify how the aircraft 10 behaved in response to the operation by the operator.
- one of the low visibility flights may include a flight in a state where the amount of light in the flight space is less than a threshold value (for example, nighttime or a heavy rain or cloudy state).
- the determination unit 12 determines whether or not the flight airspace of the flying object 10 is at night based on the current time specified by a timer (not shown) and the light amount specified by a light amount sensor (not shown). You can Further, the determination unit 12 determines whether or not the flight space of the flying object 10 is heavy rain or cloudy, based on the light amount specified by a light amount sensor (not shown) and information provided from a weather database (not shown). You may do it.
- the flight that is not suitable as a target for machine learning may include a flight when an abnormality occurs in the flying object 10 (referred to as an abnormal flight). It is conceivable that the abnormal flight may not be in the intended operation as compared with the flight when no abnormality occurs in the flying vehicle 10. Therefore, it can be said that maneuvering when performing such abnormal flight is not suitable for realizing highly accurate and stable automatic maneuvering by machine learning. Therefore, when the air vehicle 10 detects the occurrence of some abnormality by the sensor 1008, the content of the abnormality is included in the behavior information and transmitted to the server device 20. The determination unit 12 of the server device 20 determines whether or not the flight is an abnormality occurrence flight according to the abnormality content included in the behavior information. The learning unit 13 reduces the weight on the relationship between the content of the operation and the behavior of the flying object 10 in the period determined to be the abnormal flight and compared to the period determined not to be the abnormal flight, and reduces the machine weight. Learn.
- a flight that is not suitable as a target for machine learning may include a flight in which the degree to which a radio signal for flight control from the control device 30 to the flying body 10 is missing is a threshold value or more (referred to as a signal-missing flight).
- This signal-missing flight may occur when the wireless communication environment in the control device 30 or the air vehicle 10 deteriorates.
- the behavior of the flying vehicle 10 may not be as intended, as compared with the flight in which the degree of the wireless signal for flight control from the control device 30 to the flying vehicle 10 being missing is less than a threshold value. It is thought that there is nature.
- the control device 30 or the flying body 10 includes the missing degree in the control information or the behavior information and transmits it to the server device 20.
- the determination unit 12 of the server device 20 determines whether or not the flight is a signal-missing flight according to the degree of this missing.
- the learning unit 13 reduces the weight on the relationship between the content of the operation and the behavior of the flying object 10 in the period determined to be the signal-missing flight to be less than that in the period determined to be the signal-missing flight. Learn.
- a condition that is not suitable as a target for further machine learning may be added to the low-visibility flight, the abnormal occurrence flight, or the signal-missing flight described above.
- a case where a wind gust blows on the flying body 10 and the flying body 10 behaves unintentionally suddenly may be added as an unsuitable condition for machine learning.
- the behavior when the flying object 10 is affected by an external environment other than the control, such as a gust of wind, has a weak relationship with the control by the operator. Therefore, the relationship between the control and the behavior at this time is low It is considered to be unsuitable for machine learning even more than the relationship between maneuver and behavior in flight, abnormal flight, or signal-loss flight.
- the determination unit 12 further compares the behavior of the flying vehicle 10 with the behavior expected for the operation of the flying vehicle 10 in the period when it is determined that the flight is low visibility flight, abnormal flight, or signal missing flight.
- the deviation is equal to or more than the threshold value, that is, it is determined whether or not the behavior of the flying object 10 is excessive or insufficient compared to the operation.
- the learning unit 13 compares the details of the operation and the flying object 10 with respect to the non-specific period. Machine learning is performed by reducing the weight for the relationship with the behavior.
- Modification 7 In Modification Example 5, the behavior of the flying vehicle 10 is excessive as compared with the operation in order to identify a case where a gust of wind blows against the flying vehicle 10 and causes the flying vehicle 10 to behave unexpectedly. Although it is determined whether or not the amount is too small, the determination may be made as follows. When the flight schedule of the air vehicle 10 is predetermined and the future behavior of the air vehicle 10 can be precisely specified to a certain level or more, the determination unit 12 determines that the behavior of the air vehicle 10 is the scheduled behavior. May determine a period that is different from the threshold value as the specific period.
- the learning unit 13 controls the behavior and the behavior of the flying vehicle 10 in a specific period different from the expected behavior of the flying vehicle 10 by a threshold value or more, as compared with the non-specific period.
- Machine learning is performed by reducing the weight for the relationship with.
- the threshold for determining a period different from the expected behavior of the flying object 10 as the specific period may be variable according to a predetermined condition. For example, this threshold value may be changed according to the degree of operation skill of the operator.
- the pilot's driving skill level is input to the pilot controller 30 by the pilot or the like and notified to the server device 20, or the server device 20 holds the pilot skill level of each pilot as a database in advance. If the pilot has a high level of skill, that is, if the pilot is good, the pilot is considered to be suitable for learning.Therefore, the threshold is increased to make the learning target wider, and if the pilot has low mastery, that is, the pilot is not good. Since it is considered that the maneuvering is not suitable for learning, an example in which the above threshold value is reduced can be considered.
- the external environment during flight such as constant strong winds, rain, or snow, is a condition that is not suitable as a target for further machine learning with respect to the above-mentioned low visibility flight, abnormal flight, or signal missing flight. May be used.
- the behavior of the flying object 10 when it is affected by an external environment such as strong wind, rainfall, or snowfall has a weak relationship with the pilot's operation. Therefore, the relationship between the operation and the operation at this time is low visibility flight, It is considered to be unsuitable for machine learning, even more than the relationship between operation and behavior in abnormal flight or flight with missing signals.
- the determination unit 12 further determines whether or not the external environment during flight of the flying object 10 is a predetermined environment during the period when it is determined that the flight is low-visibility flight, abnormal flight, or signal-missing flight.
- the external environment at this time is specified based on the information acquired by the server device 20 from a weather database (not shown), an anemometer, a rainfall/snowfall detector, or the like.
- the learning unit 13 is in a period in which it is determined that there is low-visibility flight, abnormally-occurring flight, or signal-missing flight, and the external environment during flight of the flying object 10 is a predetermined environment (specific period).
- the machine learning is performed by reducing the weight on the relationship between the content of the operation and the behavior of the flying object 10 as compared with the period other than the specific period.
- the functions of the server device 20 may be distributed and provided by a plurality of devices. Further, the aircraft 10 or the control device 30 may substitute at least a part of the function of the server device 20 (information processing device). Further, in the above-described embodiment, the method of measuring the position of the flying object 10 is not limited to the method using GPS. The position of the air vehicle 10 may be measured by a method that does not use GPS.
- each functional block may be realized by using one device physically or logically coupled, or directly or indirectly (for example, two or more devices physically or logically separated). , Wired, wireless, etc.) and may be implemented using these multiple devices.
- the functional blocks may be realized by combining the one device or the plurality of devices with software.
- Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, observation, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc., but not limited to these.
- functional blocks (components) that function transmission are called a transmission control unit (transmitting unit) and a transmitter (transmitter).
- the implementation method is not particularly limited.
- the server, the client, and the like according to the embodiment of the present disclosure may function as a computer that performs the processing of the present disclosure.
- LTE Long Term Evolution
- LTE-A Long Term Evolution-Advanced
- SUPER 3G IMT-Advanced
- 4G 4th generation mobile communication system
- 5G 5th generation mobile communication
- FRA Full Radio Access
- NR new Radio
- W-CDMA registered trademark
- GSM registered trademark
- CDMA2000 Code Division Multiple Access 2000
- UMB Universal Mobile Broadband
- IEEE 802.11 Wi-Fi (registered trademark)
- IEEE 802.16 WiMAX (registered trademark)
- IEEE 802.20 UWB (Ultra-WideBand
- Bluetooth registered trademark
- It may be applied to at least one of the next-generation systems. Further, a plurality of systems may be combined and applied (for example, a combination of at least one of LTE and LTE-A and 5G).
- Information that has been input and output may be stored in a specific location (for example, memory), or may be managed using a management table. Information that is input/output may be overwritten, updated, or added. The output information and the like may be deleted. The input information and the like may be transmitted to another device.
- the determination may be performed based on a value represented by 1 bit (whether 0 or 1), may be performed based on a Boolean value (Boolean: true or false), or may be compared by a numerical value (for example, a predetermined value). (Comparison with the value).
- the notification of the predetermined information (for example, the notification of “being X”) is not limited to the explicit notification, but is performed implicitly (for example, the notification of the predetermined information is not performed). Good.
- the present disclosure has been described in detail above, it is obvious to those skilled in the art that the present disclosure is not limited to the embodiments described in the present disclosure. The present disclosure can be implemented as modified and changed modes without departing from the spirit and scope of the present disclosure defined by the description of the claims. Therefore, the description of the present disclosure is for the purpose of exemplification, and does not have any restrictive meaning to the present disclosure.
- Software whether called software, firmware, middleware, microcode, hardware description language, or any other name, instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules.
- Application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc. should be construed broadly.
- software, instructions, information, etc. may be sent and received via a transmission medium.
- the software uses a website using at least one of wired technology (coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.), When sent from a server, or other remote source, at least one of these wired and wireless technologies is included within the definition of transmission medium.
- wired technology coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL), etc.
- wireless technology infrared, microwave, etc.
- Information, signals, etc. described in this disclosure may be represented using any of a variety of different technologies.
- data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description include voltage, current, electromagnetic waves, magnetic fields or magnetic particles, optical fields or photons, or any of these. May be represented by a combination of
- information, parameters, etc. described in the present disclosure may be represented by using an absolute value, may be represented by using a relative value from a predetermined value, or by using other corresponding information. May be represented.
- the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both "based only on” and “based at least on.”
- the term “A and B are different” may mean “A and B are different from each other”.
- the term may mean that “A and B are different from C”.
- the terms “remove”, “coupled” and the like may be construed as “different” as well.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Manufacturing & Machinery (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
サーバ装置20は、飛行体10に対する操縦の内容とその操縦の内容に応じた飛行体10の挙動との関係について機械学習を行って、飛行体10を自動操縦するための学習モデルを生成する。ただし、飛行体10を操縦するときの環境や条件には様々なものがあるため、精度が良く安定した自動操縦を実現するのに適さない環境や条件もある。そこで、サーバ装置は、自動操縦を実現するのに適した環境や条件においてのみ機械学習を行う。
Description
本発明は、飛行体の操縦を機械学習するための技術に関する。
ドローンと呼ばれる無人飛行体が普及しつつある。例えば特許文献1には、無人飛行体が精度良く着陸するための技術が開示されている。
この種の飛行体に対する操縦の内容とその操縦の内容に応じた飛行体の挙動との関係について機械学習を行うと、これによって得られた学習モデルを用いて飛行体の自動操縦を実現することが可能となる。
ただし、飛行体を操縦するときの環境や条件には様々なものがあるため、精度が良く安定した自動操縦を実現するのに適した環境や条件において機械学習を行うことが望ましい。
そこで、本発明は、飛行体に対する操縦とその操縦に応じた当該飛行体の挙動との関係について学習する場合に、その学習に適した関係に基づいた学習を行うことを目的とする。
上記課題を解決するため、本発明は、飛行体に対する操縦と当該操縦に応じた当該飛行体の挙動との関係について学習する学習部と、飛行体の飛行が、前記学習の対象外として決められた条件を満たす飛行であるか否かを判定する判定部とを備え、前記学習部は、前記条件を満たす飛行であると判定された期間においては、前記条件を満たさない飛行であると判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うことを特徴とする情報処理装置を提供する。
前記条件を満たす飛行は、操縦者から前記飛行体に対する視認性が所定のレベルより低い環境で飛行する低視認飛行であり、前記判定部は、飛行体の飛行が前記低視認飛行であるか否かを判定し、前記学習部は、前記低視認飛行であると判定された期間においては、前記低視認飛行でないと判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うようにしてもよい。
前記条件を満たす飛行は、飛行体において異常が発生した状態で飛行する異常発生飛行であり、前記判定部は、飛行体の飛行が前記異常発生飛行であるか否かを判定し、前記学習部は、前記異常発生飛行であると判定された期間においては、前記異常発生飛行でないと判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うようにしてもよい。
前記条件を満たす飛行は、前記飛行体に対して制御を行うための無線信号が欠損している状態で飛行する信号欠損飛行であり、前記判定部は、飛行体の飛行が前記信号欠損飛行であるか否かを判定し、前記学習部は、前記信号欠損飛行であると判定された期間においては、前記信号欠損飛行でないと判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うようにしてもよい。
前記学習部は、前記条件を満たす飛行であると判定された期間であって、さらに前記飛行体の挙動が当該飛行体に対する操縦に比して過大又は過少となる特定期間においては、当該特定期間でない期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うようにしてもよい。
前記学習部は、前記条件を満たす飛行であると判定された期間であって、さらに前記飛行体の挙動が予定されている挙動とは閾値以上異なる特定期間においては、当該特定期間でない期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うするようにしてもよい。
前記閾値は、操縦者の操縦熟練度に応じて異なっていてもよい。
前記学習部は、前記条件を満たす飛行であると判定された期間であって、さらに前記飛行体の飛行時の外部環境が所定の環境である特定期間においては、当該特定期間でない期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行うようにしてもよい。
本発明によれば、飛行体に対する操縦とその操縦に応じた当該飛行体の挙動との関係について学習する場合に、その学習に適した関係に基づいた学習を行うことができる。
[構成]
図1は、飛行システム1の構成の一例を示す図である。飛行システム1は、例えばドローンと呼ばれる無人の飛行体10と、本発明に係る情報処理装置の一例として機能するサーバ装置20と、操縦者が飛行体10を操縦するためのリモートコントローラとして機能する操縦装置30と、これらを通信可能に接続するネットワーク2とを備える。ネットワーク2は、例えばLTE(Long Term Evolution)等の無線通信網であり、図示せぬ無線基地局やその上位装置を含んでいる。
図1は、飛行システム1の構成の一例を示す図である。飛行システム1は、例えばドローンと呼ばれる無人の飛行体10と、本発明に係る情報処理装置の一例として機能するサーバ装置20と、操縦者が飛行体10を操縦するためのリモートコントローラとして機能する操縦装置30と、これらを通信可能に接続するネットワーク2とを備える。ネットワーク2は、例えばLTE(Long Term Evolution)等の無線通信網であり、図示せぬ無線基地局やその上位装置を含んでいる。
飛行体10は、操縦者が操縦装置30を用いて行う操縦操作に応じた信号をネットワーク2経由で受け取り、その信号に応じて自身の飛行を制御する。本実施形態では、操縦装置30からネットワーク2を介した無線信号を用いて飛行体10を操縦する例で説明するが、操縦装置30からネットワーク2を介さずに飛行体10に直接到達する無線信号を用いて飛行体10を操縦するようにしてもよい。
サーバ装置20は、飛行体10に対する操縦の内容とその操縦の内容に応じた飛行体10の挙動との関係について機械学習を行って、飛行体10を自動操縦するための学習モデルを生成する。ただし、飛行体10を操縦するときの環境や条件には様々なものがあるため、精度が良く安定した自動操縦を実現するのに適さない環境や条件もある。そこで、サーバ装置20は、自動操縦を実現するのに適した環境や条件においてのみ機械学習を行う。
図2は、飛行体10のハードウェア構成を示す図である。飛行体10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、飛行装置1007、センサ1008、測位装置1009及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。これらの各装置は図示せぬ電池から供給される電力によって動作する。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。飛行体10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
飛行体10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。また、例えばベースバンド信号処理部や呼処理部などがプロセッサ1001によって実現されてもよい。
プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。飛行体10の機能ブロックは、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよい。各種の処理は、1つのプロセッサ1001によって実行されてもよいが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワーク2から飛行体10に送信されてもよい。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本実施形態に係る方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。ストレージ1003は、例えば飛行体10の識別情報(飛行体識別情報という)を記憶する。
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ、ジョイスティック、ボールコントローラなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
飛行装置1007は、飛行体10を空中で飛行させるための機構であり、例えばプロペラや、そのプロペラを駆動するためのモータ及び駆動機構を含む。
センサ1008は、例えば飛行体10の状態を検出する。センサ1008は、例えば温度センサ、モータの回転数を検知する回転数センサ、電流/電圧等の何らかの入力/出力に関する値を検出するセンサ(例えば電池の電力残量センサ)、ジャイロセンサ、加速度センサ、気圧(高度)センサ、磁気(方位)センサ、超音波センサ等のセンサ群を含む。
測位装置1009は、飛行体10の三次元の位置を測定する。測位装置1009は、例えばGPS(Global Positioning System)受信機であり、複数の衛星から受信したGPS信号に基づいて飛行体10の位置を測定する。
本実施形態では、上述したセンサ1008及び測位装置1009により、飛行体10の挙動が特定される。
プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
飛行体10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
図3は、サーバ装置20のハードウェア構成を示す図である。サーバ装置20は、物理的には、プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。サーバ装置20における各機能は、プロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ2001が演算を行い、通信装置2004による通信を制御したり、メモリ2002及びストレージ2003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。プロセッサ2001、メモリ2002、ストレージ2003、通信装置2004、入力装置2005、出力装置2006及びこれらを接続するバスは、飛行体10について説明したプロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。
図4は、操縦装置30のハードウェア構成を示す図である。操縦装置30は、物理的には、プロセッサ3001、メモリ3002、ストレージ3003、通信装置3004、入力装置3005、出力装置3006及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。操縦装置30における各機能は、プロセッサ3001、メモリ3002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ3001が演算を行い、通信装置3004による通信を制御したり、メモリ3002及びストレージ3003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。プロセッサ3001、メモリ3002、ストレージ3003、通信装置3004、入力装置3005、出力装置3006及びこれらを接続するバスは、飛行体10について説明したプロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。
図5は、飛行システム1の機能構成の一例を示す図である。操縦装置30において、操縦検出部31は、操縦者によって入力装置3005に入力された内容、つまり操縦の内容を検出し、その検出結果を示す情報(操縦情報という)を生成して、ネットワーク2経由でサーバ装置20に送信する。この操縦情報には、現在日時を示すタイムスタンプ及び操縦対象となる飛行体10の飛行体識別情報のほか、操縦の種類、量、方向等の操縦内容が含まれている。操縦対象となる飛行体10の飛行体識別情報は、例えば飛行体10の操縦開始までに操縦者等により操縦装置30に入力される。
飛行体10において、挙動検出部11は、飛行体10の挙動を検出し、その検出結果を示す情報(挙動情報という)を生成して、ネットワーク2経由でサーバ装置20に送信する。この挙動情報には、現在日時を示すタイムスタンプ及び飛行体10のストレージ1003に記憶されている飛行体識別情報のほか、飛行体10の位置(緯度、経度及び高度を含む)、飛行方向、飛行速度及び飛行加速度等のセンサ1008及び測位装置1009によって特定され得る、飛行体10の挙動を示す情報が含まれている。操縦検出部31が生成するタイムスタンプと挙動検出部11が生成するタイムスタンプについては、その計時処理が同期している。これらのタイムスタンプにより、操縦情報と挙動情報との対応関係、つまり操縦者による操縦に対して飛行体10がどのように挙動したかが特定され得る。つまり、操縦情報に含まれるタイムスタンプの直後に相当する期間に、挙動情報に含まれるタイムスタンプが存在する場合に、その操縦情報に応じて飛行体10がその挙動情報が示すような挙動をしたということになる。
サーバ装置20において、取得部21は、操縦検出部31及び挙動検出部11によってそれぞれ生成された操縦情報及び挙動情報をネットワーク2経由で取得する。
サーバ装置20において、判定部22は、飛行体10の飛行が、機械学習の対象外として決められた条件を満たす飛行であるか否かを判定する。ここで、機械学習の対象外として決められた条件を満たす飛行とは、例えば、操縦者から飛行体10に対する視認性が所定のレベルより低い環境での飛行(以下、低視認飛行という)である。飛行体10を操縦するときには、操縦者が飛行体10の姿を直接目視しながら操縦する場合と(目視操縦という)、操縦者が飛行体10の姿を直接目視せずに、例えば飛行体10に搭載されたカメラによって撮像された撮像画像を操縦装置30に表示させてその撮像画像を視認しながら操縦する場合(目視外操縦という)とがある。目視外操縦は、目視操縦に比べて、操縦者から飛行体10に対する視認性が低いから、その結果、同一の操縦者であっても操縦の巧拙や操縦の効率或いは飛行の安定性の点で劣ると考えられる。よって、このような目視外操縦は、精度が良く安定した自動操縦を機械学習で実現するのには適さない操縦と言える。
サーバ装置20において、学習部23は、飛行体10に対する操縦の内容とその操縦の内容に応じた飛行体10の挙動との関係について機械学習を行って、学習モデルを生成する。このとき、学習部23は、上述した機械学習の対象外として決められた条件を満たす飛行であると判定された期間においては、その条件を満たさない飛行であると判定された期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。つまり、学習部23は、低視認飛行であると判定された期間においては、低視認飛行でないと判定された期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。これにより、低視認飛行における操縦及び飛行体10の挙動の関係は、低視認飛行ではない飛行における操縦及び飛行体10の挙動の関係に比べて、学習モデルにおいて反映度が小さいものとなる。
サーバ装置20において、格納部24は、学習部23により生成された学習モデルを格納する。この学習モデルは、例えばネットワーク2経由で飛行体10を自動操縦するときに用いられる。
[動作]
次に、サーバ装置20の動作について説明する。なお、以下の説明において、サーバ装置20を処理の主体として記載する場合には、具体的にはプロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ2001が演算を行い、通信装置2004による通信や、メモリ2002及びストレージ2003におけるデータの読み出し及び/又は書き込みを制御することにより、処理が実行されることを意味する。飛行体10及び操縦装置30についても同様である。
次に、サーバ装置20の動作について説明する。なお、以下の説明において、サーバ装置20を処理の主体として記載する場合には、具体的にはプロセッサ2001、メモリ2002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ2001が演算を行い、通信装置2004による通信や、メモリ2002及びストレージ2003におけるデータの読み出し及び/又は書き込みを制御することにより、処理が実行されることを意味する。飛行体10及び操縦装置30についても同様である。
図6において、サーバ装置20の取得部21は、操縦装置30の操縦検出部31よって生成された操縦情報及び飛行体10の挙動検出部11によって生成された挙動情報を、ネットワーク2経由で取得する(ステップS11)。このとき、取得部21は、操縦検出部31によって生成された操縦情報と挙動検出部11によって生成された挙動情報とを同じタイミングで取得する必要はなく、それぞれ異なるタイミングで取得してもよい。また、取得部21は、操縦検出部31によって生成された操縦情報をその生成のたびに取得してもよいし、そうでなくてもよい。同様に、取得部21は、挙動検出部11によって生成された挙動情報をその生成のたびに取得してもよいし、そうでなくてもよい。また、取得部21は、操縦検出部31によって生成された操縦情報と、挙動検出部11によって生成された挙動情報とを、それぞれ任意のタイミングで要求して取得してもよい。そして、取得部21は、取得した複数の操縦情報及び挙動情報のうち、同一の飛行体識別情報及び互いに近接するタイムスタンプ群を含む操縦情報及び挙動情報を、1組の操縦装置30及び飛行体10による1回の飛行に関する情報群として記憶する。互いに近接するタイムスタンプ群とは、或るタイムスタンプと時間的に最も近いタイムスタンプとの時間間隔が閾値以内となるような、タイムスタンプ群のことである。
サーバ装置20の判定部22は、或る1組の操縦装置30及び飛行体10による1回の飛行に関する情報群を対象として、その情報群に含まれる操縦情報及び挙動情報に基づいて、その飛行において低視認飛行が含まれているか否かを判定する(ステップS12)。具体的には、判定部22は、飛行体10及び操縦装置30間の距離が閾値以上の場合には、低視認飛行であると判定し、飛行体10及び操縦装置30間の距離が閾値未満の場合には、低視認飛行ではないと判定する。
飛行体10の位置は、挙動情報に含まれる位置によって特定され得る。操縦装置30の位置は、例えば操縦装置30の周辺に存在するネットワーク2の無線基地局からの無線信号を操縦装置30が受信したときの受信電界強度に基づく測位手法(いわゆる基地局測位と呼ばれる手法)によって特定され得る。また、操縦装置30がGPS等の測位装置を備えている場合は、その測位装置によって得られた位置を操縦情報に含めてサーバ装置20に送信すればよい。このような判定により、或る1組の操縦装置30及び飛行体10による1回の飛行に関する情報群において、低視認飛行が行われた期間に含まれる操縦情報及び挙動情報と、低視認飛行が行われていない期間に含まれる操縦情報及び挙動情報とが識別されることになる。
次に、サーバ装置20の学習部23は、飛行体10に対する操縦の内容とその操縦の内容に応じた飛行体10の挙動との関係について、機械学習を行う(ステップS13)。具体的には、学習部23は、対応する操縦情報及び挙動情報のうち、挙動情報を説明変数として操縦情報を目的変数とした回帰分析手法を用いた機械学習を行うことで、任意の挙動を得るための操縦の内容を特定するための学習モデルを生成する。このとき、学習部23は、低視認飛行であると判定された期間に含まれる操縦情報及び挙動情報については、低視認飛行でないと判定された期間に含まれる操縦情報及び挙動情報に比べて、操縦情報と挙動情報との関係に対する重み(寄与率)を小さくして機械学習を行う。
このときの重みを小さくする手法としては、次のような例が考えられる。例えば、学習部23は、低視認飛行であると判定された期間に含まれる操縦情報及び挙動情報のうち機械学習に用いる情報の数を、低視認飛行でないと判定された期間に含まれる操縦情報及び挙動情報のうち機械学習に用いる情報の数よりも減らすようにしてもよい。この場合、例えば学習部23は、低視認飛行であると判定された期間に含まれる操縦情報及び挙動情報のうち、機械学習に用いるものとして或る特定の種類の情報に限定するとか、全情報数のうち所定の割合(全情報数を100としたときの100未満の割合)にあたる数の情報のみを機械学習に用いるといった例が考えられる。また、学習部23は、低視認飛行であると判定された期間に含まれる操縦情報及び挙動情報については機械学習を行わない、つまり、操縦情報と挙動情報との関係に対する重みをゼロとしてもよい。この場合、学習部23は、低視認飛行でないと判定された期間に含まれる操縦情報及び挙動情報のみに基づいて機械学習を行うことになる。
次に、サーバ装置20の格納部24は、学習部23により生成された学習モデルを格納する(ステップS14)。この学習モデルは、例えばネットワーク2経由で飛行体10を自動操縦するのに用いられる。つまり、この学習モデルに対して、任意の挙動を示す情報を入力することで、その挙動を得るための操縦の内容を示す情報を得ることができる。
以上説明した実施形態によれば、飛行体10に対する操縦の内容とその操縦の内容に応じた飛行体10の挙動と関係について機械学習する場合に、その機械学習に適した関係を抽出して機械学習を行うことが可能となる。
[変形例]
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
[変形例1]
実施形態において、判定部22は、飛行体10及び操縦装置30間の距離に基づいて低視認飛行であるか否かを判定していたが、この判定方法は実施形態の例に限定されない。例えば、判定部22は、飛行体10及び操縦装置30の位置と、各種の施設や地形を網羅した地図データベースとを参照し、飛行体10と操縦装置30との間に閾値以上の高さの障害物がある場合は低視認飛行であると判定し、そのような障害物がなければ低視認飛行ではないと判定するようにしてもよい。また、操縦者が目視外操縦といった低視認飛行を行う場合には、操縦者自身が操縦装置30を用いて明示的な操作を行うようにし、判定部22は、その操作の有無を操縦装置30からネットワーク2経由で取得して、低視認飛行であるか否かを判定するようにしてもよい。また、操縦者が目視外操縦といった低視認飛行を行う場合には、操縦装置30において目視外操縦用のカメラを起動するようにし、判定部22は、その起動の有無を操縦装置30からネットワーク2経由で取得して、低視認飛行であるか否かを判定するようにしてもよい。
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
[変形例1]
実施形態において、判定部22は、飛行体10及び操縦装置30間の距離に基づいて低視認飛行であるか否かを判定していたが、この判定方法は実施形態の例に限定されない。例えば、判定部22は、飛行体10及び操縦装置30の位置と、各種の施設や地形を網羅した地図データベースとを参照し、飛行体10と操縦装置30との間に閾値以上の高さの障害物がある場合は低視認飛行であると判定し、そのような障害物がなければ低視認飛行ではないと判定するようにしてもよい。また、操縦者が目視外操縦といった低視認飛行を行う場合には、操縦者自身が操縦装置30を用いて明示的な操作を行うようにし、判定部22は、その操作の有無を操縦装置30からネットワーク2経由で取得して、低視認飛行であるか否かを判定するようにしてもよい。また、操縦者が目視外操縦といった低視認飛行を行う場合には、操縦装置30において目視外操縦用のカメラを起動するようにし、判定部22は、その起動の有無を操縦装置30からネットワーク2経由で取得して、低視認飛行であるか否かを判定するようにしてもよい。
[変形例2]
実施形態においては、操縦者による操縦に対して飛行体10がどのように挙動したかを特定するために、操縦情報に含まれるタイムスタンプと挙動情報に含まれるタイムスタンプとの時間的な近接関係を参照していたが、この特定のための方法はこの例に限らない。例えば、操縦装置30において操縦が行われるたびに、その操縦の操作を識別する操縦識別子を発行して、サーバ装置20に送信する操縦情報に含めるようにする一方、操縦装置30から飛行体10に対する飛行制御の指示に対してこの操縦識別子を含めておく。飛行体10は自身の飛行制御のための処理の履歴に、この操縦識別子とその操縦識別子に応じた飛行制御を行ったときの挙動情報を含めるようにする。そして、飛行体10の挙動検出部11は、この挙動情報にこの操縦識別子を含めてサーバ装置20に送信する。このようにすれば、サーバ装置20において、操縦者による操縦に対して飛行体10がどのように挙動したかを特定することが可能となる。
実施形態においては、操縦者による操縦に対して飛行体10がどのように挙動したかを特定するために、操縦情報に含まれるタイムスタンプと挙動情報に含まれるタイムスタンプとの時間的な近接関係を参照していたが、この特定のための方法はこの例に限らない。例えば、操縦装置30において操縦が行われるたびに、その操縦の操作を識別する操縦識別子を発行して、サーバ装置20に送信する操縦情報に含めるようにする一方、操縦装置30から飛行体10に対する飛行制御の指示に対してこの操縦識別子を含めておく。飛行体10は自身の飛行制御のための処理の履歴に、この操縦識別子とその操縦識別子に応じた飛行制御を行ったときの挙動情報を含めるようにする。そして、飛行体10の挙動検出部11は、この挙動情報にこの操縦識別子を含めてサーバ装置20に送信する。このようにすれば、サーバ装置20において、操縦者による操縦に対して飛行体10がどのように挙動したかを特定することが可能となる。
[変形例3]
機械学習の対象として適さない飛行は、実施形態で説明した目視外操縦による飛行のほかに様々なものが考えられる。例えば、低視認飛行の1つとして、飛行空間における光量が閾値未満の状態(例えば夜間や、激しい雨又は曇の状態)における飛行を含めてもよい。この場合、判定部12は、図示せぬタイマにより特定される現在時刻や図示せぬ光量センサにより特定される光量に基づいて、飛行体10の飛行空域が夜間であるか否かを判定するようにしてもよい。また、判定部12は、図示せぬ光量センサにより特定される光量や図示せぬ気象データベースから提供され情報に基づいて、飛行体10の飛行空間が激しい雨又は曇りであるか否かを判定するようにしてもよい。
機械学習の対象として適さない飛行は、実施形態で説明した目視外操縦による飛行のほかに様々なものが考えられる。例えば、低視認飛行の1つとして、飛行空間における光量が閾値未満の状態(例えば夜間や、激しい雨又は曇の状態)における飛行を含めてもよい。この場合、判定部12は、図示せぬタイマにより特定される現在時刻や図示せぬ光量センサにより特定される光量に基づいて、飛行体10の飛行空域が夜間であるか否かを判定するようにしてもよい。また、判定部12は、図示せぬ光量センサにより特定される光量や図示せぬ気象データベースから提供され情報に基づいて、飛行体10の飛行空間が激しい雨又は曇りであるか否かを判定するようにしてもよい。
[変形例4]
機械学習の対象として適さない飛行として、飛行体10に異常が発生したときの飛行(異常発生飛行という)を含めてもよい。異常発生飛行は、飛行体10に異常が発生していないときの飛行に比べて、飛行体10の挙動が意図した操縦どおりにはならない可能性があると考えられる。よって、このような異常発生飛行を行うときの操縦は、精度が良く安定した自動操縦を機械学習で実現するのには適さない操縦と言える。そこで、飛行体10はセンサ1008によってなんらかの異常の発生を検知すると、その異常内容を挙動情報に含めてサーバ装置20に送信する。サーバ装置20の判定部12は、挙動情報に含まれる異常内容に応じて異常発生飛行であるか否かを判定する。学習部13は、異常発生飛行であると判定された期間においては、異常発生飛行でないと判定された期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
機械学習の対象として適さない飛行として、飛行体10に異常が発生したときの飛行(異常発生飛行という)を含めてもよい。異常発生飛行は、飛行体10に異常が発生していないときの飛行に比べて、飛行体10の挙動が意図した操縦どおりにはならない可能性があると考えられる。よって、このような異常発生飛行を行うときの操縦は、精度が良く安定した自動操縦を機械学習で実現するのには適さない操縦と言える。そこで、飛行体10はセンサ1008によってなんらかの異常の発生を検知すると、その異常内容を挙動情報に含めてサーバ装置20に送信する。サーバ装置20の判定部12は、挙動情報に含まれる異常内容に応じて異常発生飛行であるか否かを判定する。学習部13は、異常発生飛行であると判定された期間においては、異常発生飛行でないと判定された期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
[変形例5]
機械学習の対象として適さない飛行として、操縦装置30から飛行体10に対する飛行制御のための無線信号が欠落している度合いが閾値以上となる飛行(信号欠落飛行という)を含めてもよい。この信号欠落飛行は、操縦装置30又は飛行体10における無線通信環境が悪化したときに発生し得る。信号欠落飛行は、操縦装置30から飛行体10に対する飛行制御のための無線信号が欠落している度合いが閾値未満となる飛行に比べて、飛行体10の挙動が意図した操縦どおりにはならない可能性があると考えられる。よって、このような信号欠落飛行を行うときの操縦は、精度が良く安定した自動操縦を機械学習で実現するのには適さない操縦と言える。そこで、操縦装置30又は飛行体10は既知の手法を用いて無線信号の欠落度合いが閾値以上となると、その欠落度合いを操縦情報又は挙動情報に含めてサーバ装置20に送信する。サーバ装置20の判定部12は、この欠落度合いに応じて信号欠落飛行であるか否かを判定する。学習部13は、信号欠落飛行であると判定された期間においては、信号欠落飛行でないと判定された期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
機械学習の対象として適さない飛行として、操縦装置30から飛行体10に対する飛行制御のための無線信号が欠落している度合いが閾値以上となる飛行(信号欠落飛行という)を含めてもよい。この信号欠落飛行は、操縦装置30又は飛行体10における無線通信環境が悪化したときに発生し得る。信号欠落飛行は、操縦装置30から飛行体10に対する飛行制御のための無線信号が欠落している度合いが閾値未満となる飛行に比べて、飛行体10の挙動が意図した操縦どおりにはならない可能性があると考えられる。よって、このような信号欠落飛行を行うときの操縦は、精度が良く安定した自動操縦を機械学習で実現するのには適さない操縦と言える。そこで、操縦装置30又は飛行体10は既知の手法を用いて無線信号の欠落度合いが閾値以上となると、その欠落度合いを操縦情報又は挙動情報に含めてサーバ装置20に送信する。サーバ装置20の判定部12は、この欠落度合いに応じて信号欠落飛行であるか否かを判定する。学習部13は、信号欠落飛行であると判定された期間においては、信号欠落飛行でないと判定された期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
[変形例6]
上述した低視認飛行、異常発生飛行又は信号欠落飛行に対して、さらなる機械学習の対象として適さない条件を追加するようにしてもよい。例えば飛行体10に対して突風が吹いて飛行体10が意図しないような突然の挙動をしたような場合を、機械学習の対象として適さない条件として追加してもよい。飛行体10が突風のような、操縦以外の外的環境に影響されたときの挙動は、操縦者の操縦との関係が希薄になるから、このときの操縦と挙動との関係は、低視認飛行、異常発生飛行又は信号欠落飛行における操縦と挙動との関係よりもさらに、機械学習をするのには適さないと考えられる。そこで、判定部12は、低視認飛行、異常発生飛行又は信号欠落飛行であると判定した期間において、さらに飛行体10の挙動が当該飛行体10に対する操縦に対して予想される挙動に比して閾値以上乖離している場合、つまり飛行体10の挙動が操縦に比して過大又は過少となっているか否かを判定する。学習部13は、このような、飛行体10の挙動が操縦に比して過大又は過少となる期間(特定期間という)においては、特定期間でない期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
上述した低視認飛行、異常発生飛行又は信号欠落飛行に対して、さらなる機械学習の対象として適さない条件を追加するようにしてもよい。例えば飛行体10に対して突風が吹いて飛行体10が意図しないような突然の挙動をしたような場合を、機械学習の対象として適さない条件として追加してもよい。飛行体10が突風のような、操縦以外の外的環境に影響されたときの挙動は、操縦者の操縦との関係が希薄になるから、このときの操縦と挙動との関係は、低視認飛行、異常発生飛行又は信号欠落飛行における操縦と挙動との関係よりもさらに、機械学習をするのには適さないと考えられる。そこで、判定部12は、低視認飛行、異常発生飛行又は信号欠落飛行であると判定した期間において、さらに飛行体10の挙動が当該飛行体10に対する操縦に対して予想される挙動に比して閾値以上乖離している場合、つまり飛行体10の挙動が操縦に比して過大又は過少となっているか否かを判定する。学習部13は、このような、飛行体10の挙動が操縦に比して過大又は過少となる期間(特定期間という)においては、特定期間でない期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
[変形例7]
上記変形例5では、飛行体10に対して突風が吹いて飛行体10が意図しないような突然の挙動をしたような場合を特定するべく、飛行体10の挙動が操縦に比して過大又は過少となっているか否かを判定していたが、次のように判定を行ってもよい。飛行体10の飛行予定が予め決められていて、飛行体10の将来の挙動が或るレベル以上に精緻に特定可能な場合、判定部12は、飛行体10の挙動が予定されている挙動とは閾値以上異なる期間を特定期間として判定してもよい。この場合、学習部13は、このような、飛行体10の挙動が予定されている挙動とは閾値以上異なる特定期間においては、特定期間でない期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
上記変形例5では、飛行体10に対して突風が吹いて飛行体10が意図しないような突然の挙動をしたような場合を特定するべく、飛行体10の挙動が操縦に比して過大又は過少となっているか否かを判定していたが、次のように判定を行ってもよい。飛行体10の飛行予定が予め決められていて、飛行体10の将来の挙動が或るレベル以上に精緻に特定可能な場合、判定部12は、飛行体10の挙動が予定されている挙動とは閾値以上異なる期間を特定期間として判定してもよい。この場合、学習部13は、このような、飛行体10の挙動が予定されている挙動とは閾値以上異なる特定期間においては、特定期間でない期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
上記のように飛行体10の挙動が予定されている挙動とは異なる期間を特定期間として判定するときの閾値を、所定の条件に応じて可変にしてもよい。例えばこの閾値を、操縦者の操縦熟練度に応じて異ならせてもよい。操縦者の操縦熟練度は、操縦者等が操縦装置30に対して入力してサーバ装置20に通知するとか、予めサーバ装置20がこの操縦者ごとの操縦熟練度をデータベースとして保持しておく。操縦熟練度が高い、つまり操縦が上手い場合はその操縦は学習に適したものと考えられるため、学習対象をより広くするべく上記閾値を大きくし、操縦熟練度が低い、つまり操縦が上手くない場合はその操縦は学習に適さないものと考えられるため上記閾値を小さくする例が考えられる。
[変形例8]
上述した低視認飛行、異常発生飛行又は信号欠落飛行に対して、さらなる機械学習の対象として適さない条件として、恒常的に強風が吹いているとか降雨又は降雪があるなどの、飛行時の外部環境に関する条件を用いてもよい。飛行体10が強風、降雨又は降雪等の外部環境に影響されたときの挙動は、操縦者の操縦との関係が希薄になるから、このときの操縦と挙動との関係は、低視認飛行、異常発生飛行又は信号欠落飛行における操縦と挙動との関係よりもさらに、機械学習をするのには適さないと考えられる。この場合、判定部12は、低視認飛行、異常発生飛行又は信号欠落飛行であると判定した期間において、さらに飛行体10の飛行時の外部環境が所定の環境であるか否かを判定する。この時の外部環境は、サーバ装置20が図示せぬ気象データベースや、風速計、降雨/降雪検知計等から取得した情報に基づいて特定される。学習部13は、低視認飛行、異常発生飛行又は信号欠落飛行あると判定された期間であって、さらに飛行体10の飛行時の外部環境が所定の環境である期間(特定期間という)においては、特定期間でない期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
上述した低視認飛行、異常発生飛行又は信号欠落飛行に対して、さらなる機械学習の対象として適さない条件として、恒常的に強風が吹いているとか降雨又は降雪があるなどの、飛行時の外部環境に関する条件を用いてもよい。飛行体10が強風、降雨又は降雪等の外部環境に影響されたときの挙動は、操縦者の操縦との関係が希薄になるから、このときの操縦と挙動との関係は、低視認飛行、異常発生飛行又は信号欠落飛行における操縦と挙動との関係よりもさらに、機械学習をするのには適さないと考えられる。この場合、判定部12は、低視認飛行、異常発生飛行又は信号欠落飛行であると判定した期間において、さらに飛行体10の飛行時の外部環境が所定の環境であるか否かを判定する。この時の外部環境は、サーバ装置20が図示せぬ気象データベースや、風速計、降雨/降雪検知計等から取得した情報に基づいて特定される。学習部13は、低視認飛行、異常発生飛行又は信号欠落飛行あると判定された期間であって、さらに飛行体10の飛行時の外部環境が所定の環境である期間(特定期間という)においては、特定期間でない期間に比べて、操縦の内容と飛行体10の挙動との関係に対する重みを小さくして機械学習を行う。
[変形例9]
サーバ装置20(情報処理装置)の機能は複数の装置によって分散して備えられていてもよい。また、飛行体10又は操縦装置30が、サーバ装置20(情報処理装置)の機能の少なくとも一部を代替してもよい。また、上述した実施形態において、飛行体10の位置を測定する方法は、GPSを用いた方法に限定されない。GPSを用いない方法により、飛行体10の位置が測定されてもよい。
サーバ装置20(情報処理装置)の機能は複数の装置によって分散して備えられていてもよい。また、飛行体10又は操縦装置30が、サーバ装置20(情報処理装置)の機能の少なくとも一部を代替してもよい。また、上述した実施形態において、飛行体10の位置を測定する方法は、GPSを用いた方法に限定されない。GPSを用いない方法により、飛行体10の位置が測定されてもよい。
[その他の変形例]
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信制御部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
例えば、本開示の一実施の形態におけるサーバ、クライアントなどは、本開示の処理を行うコンピュータとして機能してもよい。
本開示において説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、FRA(Future Radio Access)、NR(new Radio)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTE及びLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
1:飛行システム、10:飛行体、11:挙動検知部、1001:プロセッサ、1002:メモリ、1003:ストレージ、1004:通信装置、1005:入力装置、1006:出力装置、1007:飛行装置、1008:センサ、1009:測位装置、20:サーバ装置、21:取得部、22:判定部、23:学習部、24:格納部、2001:プロセッサ、2002:メモリ、2003:ストレージ、2004:通信装置、2005:入力装置、2006:出力装置、30:操縦装置、31:操縦検出部、3001:プロセッサ、3002:メモリ、3003:ストレージ、3004:通信装置、3005:入力装置、3006:出力装置。
Claims (8)
- 飛行体に対する操縦と当該操縦に応じた当該飛行体の挙動との関係について学習する学習部と、
飛行体の飛行が、前記学習の対象外として決められた条件を満たす飛行であるか否かを判定する判定部とを備え、
前記学習部は、前記条件を満たす飛行であると判定された期間においては、前記条件を満たさない飛行であると判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする情報処理装置。 - 前記条件を満たす飛行は、操縦者から前記飛行体に対する視認性が所定のレベルより低い環境で飛行する低視認飛行であり、
前記判定部は、飛行体の飛行が前記低視認飛行であるか否かを判定し、
前記学習部は、前記低視認飛行であると判定された期間においては、前記低視認飛行でないと判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする請求項1記載の情報処理装置。 - 前記条件を満たす飛行は、飛行体において異常が発生した状態で飛行する異常発生飛行であり、
前記判定部は、飛行体の飛行が前記異常発生飛行であるか否かを判定し、
前記学習部は、前記異常発生飛行であると判定された期間においては、前記異常発生飛行でないと判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする請求項1記載の情報処理装置。 - 前記条件を満たす飛行は、前記飛行体に対して制御を行うための無線信号が欠損している状態で飛行する信号欠損飛行であり、
前記判定部は、飛行体の飛行が前記信号欠損飛行であるか否かを判定し、
前記学習部は、前記信号欠損飛行であると判定された期間においては、前記信号欠損飛行でないと判定された期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする請求項1記載の情報処理装置。 - 前記学習部は、前記条件を満たす飛行であると判定された期間であって、さらに前記飛行体の挙動が当該飛行体に対する操縦に比して過大又は過少となる特定期間においては、当該特定期間でない期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする請求項1~4のいずれか1項に記載の情報処理装置。 - 前記学習部は、前記条件を満たす飛行であると判定された期間であって、さらに前記飛行体の挙動が予定されている挙動とは閾値以上異なる特定期間においては、当該特定期間でない期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする請求項1~4のいずれか1項に記載の情報処理装置。 - 前記閾値は、操縦者の操縦熟練度に応じて異なる
ことを特徴とする請求項6に記載の情報処理装置。 - 前記学習部は、前記条件を満たす飛行であると判定された期間であって、さらに前記飛行体の飛行時の外部環境が所定の環境である特定期間においては、当該特定期間でない期間に比べて、前記操縦と前記飛行体の挙動との関係に対する重みを小さくして前記学習を行う
ことを特徴とする請求項1~4のいずれか1項に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/283,166 US20220004922A1 (en) | 2018-12-14 | 2019-10-28 | Information processing apparatus |
JP2020559787A JP7079345B2 (ja) | 2018-12-14 | 2019-10-28 | 情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018234332 | 2018-12-14 | ||
JP2018-234332 | 2018-12-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020121665A1 true WO2020121665A1 (ja) | 2020-06-18 |
Family
ID=71075772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/042194 WO2020121665A1 (ja) | 2018-12-14 | 2019-10-28 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220004922A1 (ja) |
JP (1) | JP7079345B2 (ja) |
WO (1) | WO2020121665A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113407716A (zh) * | 2021-05-14 | 2021-09-17 | 桂林电子科技大学 | 一种基于众包的人类行为文本数据集的构造以及处理方法 |
KR20230076355A (ko) * | 2021-11-24 | 2023-05-31 | 단국대학교 산학협력단 | 비행 정보 학습을 이용한 무인 비행체의 3차원 비행 경로 추천 시스템 및 방법 |
JP7453466B2 (ja) | 2020-07-07 | 2024-03-19 | ノースロップ グラマン システムズ コーポレーション | 機械学習アルゴリズムの挙動を評価するためのシステムおよび方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08108899A (ja) * | 1994-10-13 | 1996-04-30 | Fujitsu Ltd | 航空機自動着陸装置 |
CN102289714A (zh) * | 2011-06-02 | 2011-12-21 | 北京航空航天大学 | 一种基于行为模型的小型无人旋翼机自主起降控制方法 |
JP2016101774A (ja) * | 2014-11-27 | 2016-06-02 | みこらった株式会社 | 浮揚移動台 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019165588A1 (zh) * | 2018-02-28 | 2019-09-06 | 深圳市大疆创新科技有限公司 | 无人机的教学方法和无人机的遥控器 |
-
2019
- 2019-10-28 US US17/283,166 patent/US20220004922A1/en active Pending
- 2019-10-28 JP JP2020559787A patent/JP7079345B2/ja active Active
- 2019-10-28 WO PCT/JP2019/042194 patent/WO2020121665A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08108899A (ja) * | 1994-10-13 | 1996-04-30 | Fujitsu Ltd | 航空機自動着陸装置 |
CN102289714A (zh) * | 2011-06-02 | 2011-12-21 | 北京航空航天大学 | 一种基于行为模型的小型无人旋翼机自主起降控制方法 |
JP2016101774A (ja) * | 2014-11-27 | 2016-06-02 | みこらった株式会社 | 浮揚移動台 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7453466B2 (ja) | 2020-07-07 | 2024-03-19 | ノースロップ グラマン システムズ コーポレーション | 機械学習アルゴリズムの挙動を評価するためのシステムおよび方法 |
CN113407716A (zh) * | 2021-05-14 | 2021-09-17 | 桂林电子科技大学 | 一种基于众包的人类行为文本数据集的构造以及处理方法 |
CN113407716B (zh) * | 2021-05-14 | 2022-08-19 | 桂林电子科技大学 | 一种基于众包的人类行为文本数据集的构造以及处理方法 |
KR20230076355A (ko) * | 2021-11-24 | 2023-05-31 | 단국대학교 산학협력단 | 비행 정보 학습을 이용한 무인 비행체의 3차원 비행 경로 추천 시스템 및 방법 |
KR102658791B1 (ko) | 2021-11-24 | 2024-04-19 | 단국대학교 산학협력단 | 비행 정보 학습을 이용한 무인 비행체의 3차원 비행 경로 추천 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20220004922A1 (en) | 2022-01-06 |
JP7079345B2 (ja) | 2022-06-01 |
JPWO2020121665A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020121665A1 (ja) | 情報処理装置 | |
US10997237B2 (en) | Acoustic monitoring system | |
US11827352B2 (en) | Visual observer for unmanned aerial vehicles | |
US11196479B2 (en) | System, management device, and aircraft | |
WO2020230371A1 (ja) | 制御装置、プログラム及び制御方法 | |
WO2020189493A1 (ja) | 情報処理装置及び情報処理方法 | |
US20200278673A1 (en) | Information processing apparatus and flight control system | |
JP7157823B2 (ja) | 情報処理装置 | |
US11167846B2 (en) | Information processing apparatus | |
US11459117B1 (en) | Drone-based cameras to detect wind direction for landing | |
WO2021014699A1 (ja) | 情報処理装置 | |
JP2021135942A (ja) | 制御装置、プログラム、及びシステム | |
US20200110424A1 (en) | Geofencing of unmanned aerial vehicles | |
US11794900B2 (en) | Information processing apparatus | |
US20220238026A1 (en) | Information processing apparatus and information processing method | |
JP2020198024A (ja) | 遠隔管制システムおよび遠隔管制方法 | |
US20220234731A1 (en) | Information processing apparatus and information processing method | |
US20210129988A1 (en) | Sending apparatus and program | |
KR102289743B1 (ko) | 복수의 무인항공기를 이용한 목표를 탐색하기 위한 장치 및 이를 위한 방법 | |
JP7285927B2 (ja) | 制御装置 | |
KR102266467B1 (ko) | 검출 확률을 기초로 무인항공기를 이용한 목표를 탐색하기 위한 장치 및 이를 위한 방법 | |
US11978349B2 (en) | Control device, program, and control method | |
US11580468B2 (en) | Information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19895817 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020559787 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19895817 Country of ref document: EP Kind code of ref document: A1 |