WO2019163264A1 - 飛行体及び飛行体の制御方法 - Google Patents

飛行体及び飛行体の制御方法 Download PDF

Info

Publication number
WO2019163264A1
WO2019163264A1 PCT/JP2018/045756 JP2018045756W WO2019163264A1 WO 2019163264 A1 WO2019163264 A1 WO 2019163264A1 JP 2018045756 W JP2018045756 W JP 2018045756W WO 2019163264 A1 WO2019163264 A1 WO 2019163264A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
unit
situation
presentation
Prior art date
Application number
PCT/JP2018/045756
Other languages
English (en)
French (fr)
Inventor
中井　幹夫
祐介 工藤
邦在 鳥居
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/969,493 priority Critical patent/US20200401139A1/en
Publication of WO2019163264A1 publication Critical patent/WO2019163264A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/02—Arrangements or adaptations of signal or lighting devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • the present disclosure relates to an aircraft and a method for controlling the aircraft.
  • Patent Document 1 describes that the operation of an unmanned flying apparatus is controlled based on identification information indicated by an image captured by an imaging apparatus mounted on the unmanned flying apparatus.
  • Some conventional unmanned flight devices such as a drone as described in Patent Document 1 can be operated by a communication device (such as a remote controller) linked in advance.
  • a communication device such as a remote controller
  • such a method cannot be applied to an unmanned aerial vehicle that flies autonomously without receiving a human instruction, since the communication partner is not determined.
  • a person on the ground does not know what communication means or application can be used to communicate with any unmanned flying device that autonomously flies over the sky.
  • speech recognition exists as a method generally used when an autonomous control component such as a robot interacts with a person.
  • an autonomous control component such as a robot interacts with a person.
  • the sound information has a poor S / N ratio due to sound attenuation due to a long distance, noise due to propulsion equipment such as a propeller, etc. Difficult to use.
  • the person on the ground and the unmanned flight apparatus are separated from each other in distance, it is impossible to directly operate the unmanned flight apparatus using a touch panel or the like.
  • Patent Document 1 proposes to control an unmanned flight apparatus by displaying a video for identifying control contents from the ground.
  • this method only one-way information transmission from a person on the ground can be performed.
  • Patent Document 1 since only control based on a specific rule using a specific device can be performed, a person without knowledge directly communicates with a drone flying over the sky. It is difficult.
  • an image presentation unit that presents an image for requesting an action to a person, and a situation recognition unit that recognizes the situation, the image presentation unit is configured to recognize the situation recognized by the situation recognition unit.
  • An aircraft is provided that presents the image based on
  • it is possible to provide a control of a flying object that includes presenting an image for requesting an action to a person and recognizing a situation, and presenting the image based on the recognized situation A method is provided.
  • This embodiment is simple and instant between, for example, an unmanned aerial vehicle (flying body) 1000 that flies autonomously without receiving an instruction from a specific pilot on the ground and a person 20 on the ground. It is possible to transmit and exchange information.
  • the unmanned aerial vehicle 1000 is one that flies completely autonomously, one that is controlled by the cloud, etc., and a scene where such an unmanned aerial vehicle 1000 is flying over the sky.
  • the term “ground” includes not only the ground but also elements such as natural objects and buildings.
  • the unmanned flying device 1000 in flight which is completely autonomous or controlled by the cloud, cannot be instructed instantaneously by a remote controller (including a smartphone). This is due to the fact that the person on the ground is not the owner of the unmanned aerial vehicle 1000, so that the unmanned aerial vehicle 1000 is not paired with the remote controller. Also, even if the owner company of the unmanned flying device 1000 prepares an application that can be operated from the ground, the person to whom the flying unmanned flying device 1000 belongs cannot be known. It is difficult to do.
  • the unmanned flying apparatus 1000 provides the information necessary for interaction with the person 20 by projecting an image on the ground from the unmanned flying apparatus 1000 that autonomously flies over the sky by a projector, a laser, or the like. To do.
  • the person 20 on the ground reacts to the unmanned flight apparatus 1000 by taking action based on the projected image.
  • the unmanned flight apparatus 1000 provides information necessary for the exchange with the person 20, thereby enabling bidirectional information exchange between the person 20 and the unmanned flight apparatus 1000.
  • the image when projecting an image, based on information such as the position, line of sight, and terrain of the person 20, the image is projected at a location and timing that are easy for the person 20 to visually recognize.
  • the “image” includes a display object displayed on the ground by a projector, a laser, or the like, or a display object displayed on the ground by another method. All forms of display objects that can be recognized are included.
  • FIG. 1 is a schematic diagram for explaining an outline of the present disclosure.
  • a circular figure 10 is projected from an unmanned flying device (moving body) 1000 flying in the air to a person 20 on the ground.
  • the unmanned aerial vehicle 1000 presents information 12 indicating an instruction to enter the projected circular figure 10 when the person 20 has a request for the unmanned aerial vehicle 1000.
  • an image showing information 12 that “please enter the following circle (for X seconds or more)” is projected.
  • the unmanned flying device 1000 recognizes whether or not the person 20 has entered the circular figure 10 based on a captured image such as a camera.
  • the information presented from the unmanned aerial vehicle 1000 can be changed as appropriate according to, for example, the flight area or stationary state of the unmanned aerial vehicle 1000. For example, in the information 12 shown in FIG. 1, the word “more than X seconds” may not be displayed.
  • FIG. 2 shows that the unmanned flying device 1000 communicates with the unmanned flying device 1000 and a smartphone or other communication device operated by the person 20 by projecting a QR code (registered trademark) or other character string or image.
  • QR code registered trademark
  • FIG. 2 shows that the unmanned flying device 1000 communicates with the unmanned flying device 1000 and a smartphone or other communication device operated by the person 20 by projecting a QR code (registered trademark) or other character string or image.
  • QR code registered trademark
  • FIG. 2 shows that the unmanned flying device 1000 communicates with the unmanned flying device 1000 and a smartphone or other communication device operated by the person 20 by projecting a QR code (registered trademark) or other character string or image.
  • It is a schematic diagram which shows the example which has shown the information 14 for establishing.
  • the person 20 on the ground can establish communication with the unmanned aerial vehicle 1000 by reading the QR code (registered trademark) of the information 14 with a communication device held by the person. After the communication is established, the communication with the unmanned flight apparatus
  • FIG. 3 is a flowchart showing an outline of processing for performing exchanges between the unmanned flight apparatus 1000 and the person 20.
  • FIG. 4 is a schematic diagram showing a hardware configuration of the unmanned flight apparatus 1000.
  • FIG. 5 is a schematic diagram showing a software configuration of the unmanned flight apparatus 1000.
  • the unmanned flight apparatus 1000 includes an input / output unit 100, a processing unit 120, and a battery 130 as a hardware configuration.
  • the input / output unit 100 includes a person / terrain recognition sensor 102, a thrust generation unit 104 for flight, a GPS 106, a projection direction control actuator 108, a communication modem 110, and a projector / laser projector (image presentation unit) 112.
  • the processing unit 120 includes a processor 122, a memory 124, a GPU 126, and a storage 128.
  • a projector or a laser projector is illustrated as an image presentation part which shows an image from the unmanned flight apparatus 1000 to the ground, an image presentation part is not limited to these.
  • the person / terrain recognition sensor 102 is composed of a camera such as an infrared (IR) stereo camera, for example, and images the ground. In the following description, it is assumed that the person / terrain recognition sensor 102 includes a camera. However, the person / terrain recognition sensor 102 may include a ToF sensor, a LIDAR, or the like.
  • IR infrared
  • the flight thrust generator 104 is composed of a propeller and a motor that drives the propeller. Note that the flight thrust generation unit 104 may generate thrust with a configuration other than a propeller and a motor.
  • the GPS 106 acquires the position information of the unmanned aerial vehicle 1000 using a global positioning system (Global Positioning System).
  • the projection direction control actuator 108 controls the projection direction of the projector / laser projector 112.
  • the communication modem 110 is a communication device that communicates with a communication device held by the person 20.
  • the unmanned flight apparatus 1000 has a processing unit 200 as a software configuration.
  • the processing unit 200 includes an input image processing unit 202, a situation recognition unit 204, a projection plan unit 206, a timer 208, a projection location determination unit (presentation location determination unit) 210, an output image generation unit 212, a flight control unit 214, and a projection direction control. Unit (presentation direction control unit) 216.
  • the components of the processing unit 200 illustrated in FIG. 5 can be configured by the processor 122 of the processing unit 120 having a hardware configuration and software (program) for causing the processor 122 to function.
  • the program can be stored in the memory 124 or the storage 128 of the processing unit 120.
  • step S ⁇ b> 10 some kind of trigger occurs that causes an interaction between the unmanned flight apparatus 1000 and the person 20 on the ground.
  • the assumed trigger include the following.
  • the unmanned aerial vehicle 1000 can always present information to the ground regardless of the trigger.
  • ⁇ Timing by timer (specified time, regular) -Random timing has arrived-A person on the ground is recognized Note that recognition of a person includes recognition of a predetermined action (gesture) of the person and recognition of a predetermined action of the person. ⁇ Recognized a specific situation occurring on the ground ⁇ A person irradiates light with a specific light emission pattern or wavelength from the ground to an unmanned aerial vehicle
  • the situation recognition unit 204 can recognize various information such as the position of the object on the ground and the distance to the object on the ground based on the result of the image recognition. For example, the situation recognition unit 204 recognizes whether or not a trigger has occurred by comparing a template image corresponding to each trigger held in advance with image information recognized by the person / terrain recognition sensor 102. be able to. More specifically, the situation recognition unit 204 determines whether or not the recognition result matches a condition of each trigger held in advance, and recognizes the occurrence of the trigger when the two match.
  • the situation recognition unit 204 displays the situation such as whether the person 20 or the object is in a range of specific coordinates (relative coordinates from the unmanned flight apparatus 1000), whether the person 20 is making a specific gesture, It is possible to determine whether or not the trigger generation condition is met by performing multiple recognition using a detector that utilizes existing technology such as recognition.
  • a trigger When triggering timing arrival by a timer or random timing arrival, a trigger can be generated based on time information obtained from the timer 208.
  • the timing for generating the trigger can also be determined according to the function and purpose of the unmanned aerial vehicle 1000, not limited to the above example.
  • FIG. 6 is a flowchart showing the flow of this process.
  • a person who is an information projection target is determined (step S20 in FIG. 6). For example, when the trigger is that the person 20 makes a predetermined gesture, the person 20 is set as a projection target. In addition, when a trigger is generated by a timer or the like, the specific person 20 may not be a target to be projected. In this case, for example, the projection target can be determined by a method such as projecting directly under the unmanned flight apparatus 1000, projecting to the center position of a plurality of people, projecting to an empty space, and the like.
  • the projection planning unit 206 determines the person 20 to be projected based on the result recognized by the situation recognition unit 204.
  • a specific projection location is next determined (step S22 in FIG. 6).
  • the projection location determination unit 210 determines the projection location according to the position of the person 20 to be projected determined in step S20 and the recognition result of the surrounding situation.
  • the situation recognition unit 204 recognizes image information recognized by the person / terrain recognition sensor 102, thereby recognizing a sunlit area, a shaded area, a ground structure (building, wall, roof, etc.), etc. Can do. If the circular figure 10 and the information 12 and 14 are projected on a bright ground or the like, it may be difficult for the person 20 on the ground to see.
  • the projection place determination unit 210 creates a circular figure in a dark place such as a shade that is easy for the person 20 to see, based on the positions of the sunlit area, the shaded area, the structure on the ground, and the like recognized by the situation recognition unit 204. 10.
  • the projection position is determined so that the information 12 and 14 are projected.
  • the unmanned flight apparatus 1000 determines where to project information based on the face direction of the person 20, the direction of the line of sight, and the like.
  • the situation recognition unit 204 recognizes the direction of the face of the person 20 and the direction of the line of sight from the image processing result processed by the input image processing unit 202.
  • a known method can be used as appropriate for recognizing the face direction and the line-of-sight direction based on image processing.
  • the projection location determination unit 210 determines a location that the person 20 is looking at as a projection location based on the face direction, the line-of-sight direction, and the like of the person 20. Further, the projection location determination unit 210 projects the center positions, empty spaces, etc. of the plurality of people 20 on the ground based on the result of the situation recognition unit 204 recognizing a plurality of people on the ground, structures such as buildings, and terrain. It can be determined as a position.
  • the projection location may be, for example, a wall or a ceiling other than the ground.
  • a judgment logic of a projection place it is also possible to use a method of simply scoring various judgment elements or an advanced judgment logic using machine learning or the like.
  • the projection location is determined by the projection location determination unit 210 based on the information recognized by the situation recognition unit 204.
  • FIG. 7 is a schematic diagram showing how the unmanned flight apparatus 1000 moves.
  • FIG. 7 the case where it projects on the shade 30 near the person 20 is shown.
  • the unmanned flight apparatus 1000 since the roof 40 exists, if the unmanned flight apparatus 1000 is located at the position P ⁇ b> 1, it cannot be projected onto the shade 30. For this reason, it is necessary for the unmanned flight apparatus 1000 to move to a position P2 (right side of P1) appropriate for projection.
  • the unmanned flight apparatus 1000 is moved by the flight control unit 214 controlling the flight thrust generation unit 104.
  • the flight control unit 214 controls the flight thrust generation unit 104 based on the distance to the projection location and the position of the projection location, and based on the position information obtained from the GPS 106.
  • Control of the projection position, projection angle, projection distance, and the like by the projector / laser projector 112 is performed by the projection direction control unit 216 controlling the projection direction control actuator 108.
  • the projection direction control unit 216 controls the projection direction control actuator 108 so that the projector / laser projector 112 presents an image at the projection location.
  • the projection planning unit 206 determines the projection content according to the function and purpose of the unmanned flight apparatus 1000 (step S26 in FIG. 6). If the trigger to be projected is the action of the person 20 (a gesture such as raising the right hand), the content along the action is projected. The following can be considered as examples of the information of the projection content.
  • step S28 in FIG. 6 corrections such as focus and keystone correction according to the projection angle and projection distance are performed (step S28 in FIG. 6), and projection is performed by the projector / laser projector 112 provided in the unmanned aerial vehicle 1000. Start (step S30 in FIG. 6).
  • the output image generation unit 212 generates an image such as the projected circular figure 10, information 12, and 14 based on the projection content determined by the projection planning unit 206, and sends the generated image to the projector / laser projector 112. Thereby, the projection content generated by the output image generation unit 212 is projected onto the ground by the projector / laser projector 112.
  • the process of FIG. 6 ends.
  • the person 20 on the ground performs a reaction based on the projected information.
  • the following examples can be considered as reaction types.
  • the situation recognition unit 204 recognizes the reaction of the person 20 based on the image information recognized by the person / terrain recognition sensor 102. -Move to a specific location-Take a specific pose-Make a specific gesture-Point to a specific location-Read QR code (registered trademark), images, character strings, etc. with a communication device such as a smartphone
  • the reaction performed by the person 20 is recognized by the situation recognition unit 204 based on information recognized by the person / terrain recognition sensor 102 of the unmanned flight apparatus 1000.
  • a person on the ground reads information 14 such as a QR code (registered trademark), an image, and a character string with a communication device such as a smartphone
  • a reaction is acquired by the communication modem 110 and recognized by the situation recognition unit 204.
  • the reaction is recognized by recognizing the position, posture, and movement of the person 20 by the projector / laser projector 112 or by receiving wireless communication.
  • the situation recognition unit 204 also functions as a reaction recognition unit that recognizes reactions.
  • step S12 there may be a case where multiple exchanges are required between step S12 and step S14.
  • the unmanned flight apparatus 1000 presents information 12 regarding options such as “Which is A or B to be executed?”, Or “Are you sure you want to do C?” This is the case when the procedure information 12 is presented. In such a case, the process returns from step S14 to the projection process in step S12 again.
  • step S16 the unmanned flight apparatus 1000 takes a specific action in response to a reaction from a person on the ground.
  • the content of the action depends on the function and purpose of the unmanned flight apparatus 1000, but the following examples are conceivable.
  • ⁇ Go down to or land on the target person 20
  • Start recording and shooting of the camera ⁇ Recognize the position or posture of the target person 20 by the person / terrain recognition sensor 102 Performs wireless communication and emergency communication with people 20 on the ground (ambulance, firefighting, etc.) ⁇ Do nothing (return to the original autonomous flight, so-called cancellation)
  • the unmanned flight apparatus 1000 When the unmanned flight apparatus 1000 performs the above-described action of “getting down to the target person or landing”, it can move to the following action, for example.
  • Receive packages ⁇ Buy and sell products ⁇ Distribute advertising flyers
  • the present embodiment it is possible to easily and immediately perform an exchange that does not require prior knowledge between the unmanned flying device 1000 that operates autonomously and the person 20 on the ground. It becomes possible. Thereby, for example, when it is desired to ask the unmanned flying device 1000 flying over the head of the person 20 at a certain timing for an instant, the instruction is given without depending on the owner or manufacturer of the unmanned flying device 1000. And exchanges such as requests.
  • an image presentation unit for presenting an image for requesting an action to a person;
  • a situation recognition unit that recognizes the situation;
  • the said image presentation part is a flying body which presents the said image based on the said situation which the said situation recognition part recognized.
  • a projection planning unit that determines a target person to present the image based on the situation recognized by the situation recognition unit;
  • the flying object according to (1) wherein the image presentation unit presents the image to the target person.
  • the projection planning unit determines the target person based on a gesture of the target person.
  • a presentation place determination unit that determines a place to present the image based on the situation recognized by the situation recognition unit, The flying object according to any one of (1) to (6), wherein the image presentation unit presents the image toward the place determined by the presentation place determination unit.
  • the presentation place determination unit determines a shaded area as a place to present the image based on the situation recognized by the situation recognition unit.
  • a thrust generator for flight that generates thrust for flight;
  • the flying body according to any one of (1) to (8), further including a flight control unit that controls the flight thrust generation unit based on the situation recognized by the situation recognition unit.
  • the flying object according to any one of (1) to (12), further including a reaction recognition unit that recognizes a reaction performed by the person on the ground according to the image presented on the ground.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】空中を飛行する任意の飛行体に対して地上の人が意思疎通をできるようにする。 【解決手段】本開示によれば、人物にアクションを要求するための画像を提示する画像提示部と、状況を認識する状況認識部と、を備え、前記画像提示部は、前記状況認識部が認識した前記状況に基づいて前記画像を提示する、飛行体が提供される。この構成により、空中を飛行する任意の飛行体に対して地上の人が意思疎通をすることが可能となる。

Description

飛行体及び飛行体の制御方法
　本開示は、飛行体及び飛行体の制御方法に関する。
　従来、例えば下記の特許文献１には、無人飛行装置に搭載された撮像装置によって撮像された画像が示す識別情報に基づき、無人飛行装置の動作を制御することが記載されている。
特開２０１７－１４０８９９号公報
　上記特許文献１に記載されているような従来のドローンなどの無人飛行装置は、予め紐づけられた通信機器（リモートコントローラ等）により操作が行えるものがある。しかし、このような方法は、人の指示を受けずに自律して飛行している無人飛行装置に対しては、通信相手が確定していないため、適用することができない。地上にいる人は、自律して上空を飛び交う任意の無人飛行装置に対し、どのような通信手段、アプリケーションを用いればやりとりができるのかがわからない状況となる。
　また、ロボット等の自律制御部品が人とのやりとりを行う際に一般的に使用される方法として、音声認識が存在する。しかし、この方法は、上空を飛行する無人飛行装置を想定すると、距離が遠いことによる音声の減衰や、プロペラ等の推進機器による騒音等に起因して、音声情報のＳ／Ｎ比が悪く、使用することが困難である。当然のことながら、地上の人と無人飛行装置とは距離的に離れているため、タッチパネル等による直接的な無人飛行装置の操作は不可能である。
　上記特許文献１に記載された技術は、地上から制御内容の識別のための映像を表示することで、無人飛行装置の制御を行うことを提案している。しかしながら、この方法では、地上の人からの一方的な情報伝達しか行うことができない。更に、上記特許文献１に記載された技術では、特定の装置を用いた、特定のルールに基づく制御しか行うことができないため、上空を飛び交うドローンに対して知識のない人が直接やりとりを行うことは困難である。
　そこで、空中を飛行する任意の飛行体との間で地上の人が意思疎通をできるようにすることが求められていた。
　本開示によれば、人物にアクションを要求するための画像を提示する画像提示部と、状況を認識する状況認識部と、を備え、前記画像提示部は、前記状況認識部が認識した前記状況に基づいて前記画像を提示する、飛行体が提供される。
　また、本開示によれば、人物にアクションを要求するための画像を提示することと、状況を認識することと、を備え、認識した前記状況に基づいて前記画像を提示する、飛行体の制御方法が提供される。
　以上説明したように本開示によれば、空中を飛行する任意の飛行体に対して地上の人が意思疎通をできるようにすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の概要を説明するための模式図である。 無人飛行装置が、人が操作するスマートフォンやその他の通信機器と無人飛行装置との通信を確立するための情報を提供している例を示す模式図である。 無人飛行装置と人とのやり取りを行うための処理の概略を示すフローチャートである。 無人飛行装置のハードウェア構成を示す模式図である。 無人飛行装置のソフトウェア構成を示す模式図である。 地面に円図形、情報を投射させるための処理の流れを示すフローチャートである。 無人飛行装置が移動する様子を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の概要
　２．無人飛行装置の具体的構成例
　３．無人飛行装置で行われる具体的処理
　１．本開示の概要
　本実施形態は、例えば、地上の特定の操縦者からの指示を受けることなく自律して飛行する無人飛行装置（飛行体）１０００と、地上の人２０の間で、簡易かつ即座に情報の伝達、やり取りを行うことを可能とするものである。例えば、無人飛行装置１０００として、完全自律型で飛行するもの、クラウドによる制御が行われているもの等を想定し、このような無人飛行装置１０００が上空を飛び交っている場面等を想定する。なお、地上とは、地面の他、自然物、建物などの要素上を含むものとする。
　完全自律型や、クラウドによる制御が行われている飛行中の無人飛行装置１０００に対しては、リモートコントローラ（スマートフォン等を含む）による瞬時の指示ができないことが想定される。これは、そもそも地上の人が無人飛行装置１０００の持ち主ではないため、無人飛行装置１０００とリモートコントローラとのペアリングがなされていないことに起因する。また、無人飛行装置１０００のオーナー企業等が地上から操作可能なアプリケーションなどを用意していたとしても、飛行してきた無人飛行装置１０００の帰属先が判らないため、地上の人がアプリケーションのインストールを瞬時に行うことは困難である。
　このため、本実施形態では、上空を自律飛行する無人飛行装置１０００から、プロジェクターやレーザー等により地面に映像を投射することで、人２０とのやりとりに必要な情報を無人飛行装置１０００が自ら提供する。地上にいる人２０は、投射された画像をもとに行動を起こすことで、無人飛行装置１０００に対するリアクションを行う。ここで、無人飛行装置から人に対して一方的な情報伝達を行う場合は、人が起点となる情報提供を行うことができず、また人との情報のやり取りを行うことができない。本実施形態では、無人飛行装置１０００が人２０とのやり取りに必要な情報を提供することで、人２０と無人飛行装置１０００との間で双方向の情報のやり取りを可能とする。更に、画像を投影する際には、人２０の位置や視線、地形などの情報に基づき、人２０が視認しやすい場所やタイミングに投影することで、人２０と無人飛行装置１０００との間の双方向の情報のやり取りを最適に行う。なお、本実施形態において、「画像」とは、プロジェクターやレーザー等により地面に表示した表示物、又は、その他の方法により地面に表示した表示物を含むものであり、人またがカメラなどの装置が認識できる表示物の全ての態様を含むものとする。
　具体的なユースケースとしては、例えば以下のような例を想定する。
・目の前を飛んでいる無人飛行装置１０００に荷物の配送を頼みたい
・移動販売用の無人飛行装置１０００から商品を購入したい
・無人飛行装置１０００から広告用のビラやティッシュなどを受け取りたい
・無人飛行装置１０００に対し、観光先で上空から記念の動画撮影を依頼したい
・緊急時の救急や警察、消防などへの連絡を無人飛行装置１０００にしてほしい
　図１は、本開示の概要を説明するための模式図である。図１に示す例では、空中を飛行する無人飛行装置（移動体）１０００から地上の人２０に対し、円図形１０を投射している。無人飛行装置１０００は、人２０が無人飛行装置１０００に対して用件のある場合に、投射した円図形１０の中に入るよう指示を示す情報１２を提示する。図１に示す例では、「御用の方は以下のサークルの中に（Ｘ秒以上）入ってください」という情報１２を示す映像を投射している。
　この映像の投射に対し、人２０が円図形１０の中に入ったかどうかを、無人飛行装置１０００がカメラ等の撮像画像により認識する。無人飛行装置１０００から提示する情報は、例えば無人飛行装置１０００の飛行地域や静止状態などに応じて適宜変更することができる。例えば、図１に示す情報１２において、「Ｘ秒以上」という文言は表示しなくても構わない。
　また、本実施形態では、「〇〇の場合は、ここのサークルに入って右手を挙げてください。△△の場合は、左手を挙げてください」のような、人２０のジェスチャーとの組み合わせによって複数の選択肢の決定を促すパターンも想定する。
　図２は、無人飛行装置１０００が、ＱＲコード（登録商標）、もしくはその他の文字列や画像を投射することによって、人２０が操作するスマートフォンやその他の通信機器と無人飛行装置１０００との通信を確立するための情報１４を提示している例を示す模式図である。地上の人２０は、自らが保持する通信機器で情報１４のＱＲコード（登録商標）を読み取ることで、無人飛行装置１０００との通信を確立することができる。通信確立後は、通信機器内のアプリケーション等を用いて無人飛行装置１０００とのやり取りを行うことになる。
　２．無人飛行装置の具体的構成例
　図３は、無人飛行装置１０００と人２０とのやり取りを行うための処理の概略を示すフローチャートである。また、図４は、無人飛行装置１０００のハードウェア構成を示す模式図である。また、図５は、無人飛行装置１０００のソフトウェア構成を示す模式図である。
　図４に示すように、無人飛行装置１０００は、ハードウェア構成として、入出力部１００、処理部１２０、バッテリ１３０を有する。入出力部１００は、人物・地形認識センサ１０２、飛行用推力発生部１０４、ＧＰＳ１０６、投射方向制御用アクチュエータ１０８、通信モデム１１０、プロジェクター／レーザー投射機（画像提示部）１１２を有する。また、処理部１２０は、プロセッサ１２２、メモリ１２４、ＧＰＵ１２６、ストレージ１２８を有する。なお、無人飛行装置１０００から地上へ画像を提示する画像提示部として、プロジェクターまたはレーザー投射機を例示するが、画像提示部はこれらに限定されるものではない。
　人物・地形認識センサ１０２は、例えば赤外線（ＩＲ）ステレオカメラ等のカメラから構成され、地上を撮像する。なお、以下では人物・地形認識センサ１０２がカメラから構成されるものとして説明するが、人物・地形認識センサ１０２は、ＴｏＦセンサ、ＬＩＤＡＲ等から構成されても良い。
　飛行用推力発生部１０４は、プロペラとプロペラを駆動するモータ等から構成される。なお、飛行用推力発生部１０４は、プロペラ、モータ以外の構成により推力を発生するものであっても良い。ＧＰＳ１０６は、グローバル・ポジショニング・システム（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を用いて無人飛行装置１０００の位置情報を取得する。投射方向制御用アクチュエータ１０８は、プロジェクター／レーザー投射機１１２の投射方向を制御する。通信モデム１１０は、人２０が保持する通信機器と通信を行う通信装置である。
　また、図５に示すように、無人飛行装置１０００は、ソフトウェア構成として、処理部２００を有する。処理部２００は、入力画像処理部２０２、状況認識部２０４、投影計画部２０６、タイマー２０８、投影場所決定部（提示場所決定部）２１０、出力画像生成部２１２、飛行制御部２１４、投射方向制御部（提示方向制御部）２１６を有する。なお、図５に示す処理部２００の構成要素は、ハードウェア構成の処理部１２０のプロセッサ１２２と、プロセッサ１２２を機能させるためのソフトウェア（プログラム）によって構成することができる。また、そのプログラムは、処理部１２０のメモリ１２４またはストレージ１２８に格納されることができる。
　３．無人飛行装置で行われる具体的処理
　以下では、図３及び図６のフローチャートに基づいて、図４及び図５を参照しながら、無人飛行装置１０００で行われる具体的な処理について説明する。図３に示すように、先ず、ステップＳ１０において、無人飛行装置１０００と地上の人２０との間のインタラクションが生じる何らかのトリガーが発生する。想定するトリガーとしては、例えば以下のものが挙げられる。なお、無人飛行装置１０００は、トリガーによらず、情報を地上へ常時提示することもできる。
・タイマーによるタイミング到来（指定時刻、定期的）
・ランダムなタイミングが到来
・地上の人を認識した
　なお、人の認識には、人の所定の動作（ジェスチャー）の認識、人の所定の行為の認識が含まれる。
・地上に発生している所定の状況を認識した
・地上から人が特定の発光パターンまたは波長の光を無人飛行装置に照射した
　これらのトリガーは、人物・地形認識センサ１０２が認識した画像情報を入力画像処理部２０２が処理し、その結果を状況認識部２０４が認識することによって無人飛行装置１０００側に認識される。状況認識部２０４は、画像認識の結果に基づいて、地上の物体の位置、地上の物体までの距離など、様々な情報を認識することができる。状況認識部２０４は、例えば予め保持する各トリガーに対応するテンプレートの画像と、人物・地形認識センサ１０２が認識した画像情報、とを比較することで、トリガーが発生しているか否かを認識することができる。より具体的には、状況認識部２０４は、認識結果が予め保持する各トリガーの条件に一致するかどうかを判断し、両者が一致している場合にトリガーの発生を認識する。例えば、状況認識部２０４は、人２０または物が特定の座標（無人飛行装置１０００からの相対座標）の範囲に入っているか、人２０が特定のジェスチャーをしているか、等の状況を、画像認識等の既存技術を活用した検出器等によって複合的に認識することで、トリガー発生条件に一致しているか否かを判断することができる。
　タイマーによるタイミング到来、ランダムなタイミング到来をトリガーとする場合、タイマー２０８から得られる時刻情報に基づいてトリガーを生じさせることができる。なお、上記のような例に限らず、無人飛行装置１０００の機能や目的に応じて、トリガーを発生させるタイミングを決定することもできる。
　ステップＳ１０で投射させるトリガーが発生すると、次のステップＳ１２では、無人飛行装置１０００から地面に円図形１０、情報１２，１４を投射させるための処理が実行される。図６は、この処理の流れを示すフローチャートである。
　先ず、ステップＳ１０で発生したトリガーに基づき、情報の投射対象となる人を決定する（図６のステップＳ２０）。例えば、人２０が所定のジェスチャーをしたことがトリガーとなっている場合は、その人２０を投射対象にする。また、タイマー等でトリガーが発生した場合などについては、特定の人２０を投射対象のターゲットとしない場合もある。その場合は、例えば、無人飛行装置１０００の真下に投射する、複数の人の中心位置に投射する、空きスペースに投射する、などの方法で投射対象を決定することができる。投射対象となる人２０の決定は、状況認識部２０４が認識した結果等に基づいて、投影計画部２０６が決定する。
　投射対象となる人が決定すると、次に具体的な投射場所を決定する（図６のステップＳ２２）。投射場所決定部２１０は、ステップＳ２０で決定した投射対象となる人２０の位置と、周囲の状況の認識結果に応じて、投射場所を決定する。状況認識部２０４は、人物・地形認識センサ１０２が認識した画像情報を認識することで、地面の日向の領域、日陰の領域、地上の構造物（建物、壁、屋根など）等を認識することができる。円図形１０、情報１２，１４は、明るい地面などに投射されると地上の人２０から見えにくくなる場合がある。このため、投射場所決定部２１０は、状況認識部２０４が認識した地面の日向の領域、日陰の領域、地上の構造物などの位置に基づいて、人２０が見易い日陰などの暗い場所に円図形１０、情報１２，１４の投射を行うように投射位置を決定する。
　また、無人飛行装置１０００は、人２０の顔の向き、視線の向きなどに基づいて、どこに情報を投射するかを決定する。その際、状況認識部２０４は、入力画像処理部２０２が処理した画像処理結果から、人２０の顔の向き、視線の向きを認識する。なお、画像処理に基づく顔の向き、視線の向きの認識は、公知の手法を適宜用いることができる。投射場所決定部２１０は、人２０の顔の向き、視線の向きなどに基づいて、人２０が見ている場所を投射場所として決定する。また、投射場所決定部２１０は、状況認識部２０４が地上の複数の人、建物などの構造物や地形を認識した結果に基づいて、地上における複数の人２０の中心位置、空きスペースなどを投射位置として決定することができる。
　投射場所は、地面の他、例えば壁や天井などであっても良い。また、投射場所の判断ロジックとして、各種判断要素を単純にスコアリングする手法や、機械学習などを用いた高度な判断ロジックを用いることも可能である。
　以上のようにして、投影場所の決定は、状況認識部２０４が認識した情報に基づいて、投影場所決定部２１０によって決定される。
　投射場所が決定すると、その場所に投射するために適切な場所に無人飛行装置１０００が移動する（図６のステップＳ２４）。図７は、無人飛行装置１０００が移動する様子を示す模式図である。図７では、人２０の近くにある日陰３０に投射する場合を示している。この例の場合、屋根４０が存在するため、無人飛行装置１０００が位置Ｐ１に位置すると、日陰３０に投射を行うことができない。このため、無人飛行装置１０００が、投射するのに適切な位置Ｐ２（Ｐ１よりも右側）へ移動する必要がある。
　一方、無人飛行装置１０００が元々位置Ｐ２に位置している場合は、無人飛行装置１０００が移動することなく、プロジェクター／レーザー投射機１１２による投射位置、投射角度、投射距離等を制御することで、日陰３０に投射を行うことが可能である。
　無人飛行装置１０００を移動する際には、プロジェクター／レーザー投射機１１２の投射方向、投射角度を制御する投射方向制御用アクチュエータ１０８の動作や制約などの条件（投射角度や投射距離）を考慮する。投射角度等の制御により、無人飛行装置１０００の移動を最小限にすることができる。
　無人飛行装置１０００の移動は、飛行制御部２１４が飛行用推力発生部１０４を制御することによって行う。飛行制御部２１４は、投射場所までの距離および投射場所の位置に基づいて、またＧＰＳ１０６から得られる位置情報に基づいて、飛行用推力発生部１０４を制御する。また、プロジェクター／レーザー投射機１１２による投射位置、投射角度、投射距離等の制御は、投射方向制御部２１６が投射方向制御用アクチュエータ１０８を制御することによって行われる。投射方向制御部２１６は、プロジェクター／レーザー投射機１１２が投射場所に画像を提示するように投射方向制御用アクチュエータ１０８を制御する。
　また、投影計画部２０６は、無人飛行装置１０００の機能や目的に沿って、投射内容を決定する（図６のステップＳ２６）。投射するトリガーが人２０の行動（右手を挙げた、等のジェスチャ）の場合は、その行動に沿った内容を投射することになる。投射内容の情報の例としては、以下のようなものが考えられる。
　人２０のアクションに基づいて人２０とやり取りを行うための情報１２
・「〇〇の場合は右手を挙げてください。」
・「〇〇の場合は下のサークルの中にＸ秒以上入ってください。」
・「〇〇の場合は無人飛行装置の影を踏んでください。」
　人が所持している通信機器（スマートフォン等）との通信を確立するための情報１４
・「スマートフォンの〇〇アプリで以下のＱＲコード（登録商標）を読み取ってください。」
・「スマートフォンで以下の文字列・画像を読み取ってください」
　投射場所や投射内容が決定すると、投射角度や投射距離などに応じたフォーカスや台形補正などの補正を行い（図６のステップＳ２８）、無人飛行装置１０００が備えるプロジェクター／レーザー投射機１１２によって投射を開始する（図６のステップＳ３０）。
　この際、出力画像生成部２１２は、投影計画部２０６が決定した投射内容に基づいて、投射する円図形１０、情報１２，１４などの画像を生成し、プロジェクター／レーザー投射機１１２へ送る。これにより、出力画像生成部２１２が生成した投射内容が、プロジェクター／レーザー投射機１１２により地面に投射される。以上により図６の処理が終了する。
　その後は、図３の処理に戻る。図３のステップＳ１４では、投射された情報に基づき、地上にいる人２０がリアクションを行うことになる。リアクションの種類としては、以下のような例が考えられる。人２０のリアクションは、人物・地形認識センサ１０２が認識した画像情報に基づいて、状況認識部２０４が認識する。
・特定の場所に移動する
・特定のポーズをとる
・特定のジェスチャーをする
・ある場所を指差す
・スマートフォン等の通信機器でＱＲコード（登録商標）や画像、文字列等を読み取る
　人２０が行ったリアクションは、無人飛行装置１０００の人物・地形認識センサ１０２が認識した情報に基づき、状況認識部２０４によって認識される。また、地上の人がスマートフォン等の通信機器でＱＲコード（登録商標）や画像、文字列等の情報１４を読み取った場合は、リアクションが通信モデム１１０で取得され、状況認識部２０４によって認識される。つまり、プロジェクター／レーザー投射機１１２により人２０の位置や姿勢、動きを認識することで、または無線通信を受信することで、リアクションの認識が行われる。状況認識部２０４は、リアクションを認識するリアクション認識部としても機能する。
　このリアクションの内容によっては、ステップＳ１２とステップＳ１４の間で複数回のやり取りが必要となる場合がある。例えば、無人飛行装置１０００から「ＡとＢのどちらを実行しますか？」というような、選択肢に関する情報１２を提示した場合や、「Ｃを行ってよろしいでしょうか？」というような再確認の手順の情報１２を提示した場合などが該当する。そのような場合、ステップＳ１４からステップＳ１２の投射の処理に再度戻ることになる。
　ステップＳ１４の後はステップＳ１６へ進む。ステップＳ１６では、地上の人からのリアクションに応じて、無人飛行装置１０００が具体的なアクションをとることになる。アクションの内容としては、無人飛行装置１０００の機能や目的によるが、以下のような例が考えられる。
・対象の人２０のところへ降りていく、もしくは着陸する
・特定の場所へ移動する
・カメラの録画、撮影を開始する
・人物・地形認識センサ１０２による対象の人２０の位置または姿勢の認識
・地上の人２０との間で無線通信を行う
・緊急連絡を行う（救急車や消防など）
・何もしない（元の自律飛行に戻る。所謂キャンセル）
　無人飛行装置１０００は、上記の「対象の人のところへ降りていく、もしくは着陸する」のアクションを行った場合、その後、例えば以下のようなアクションに移ることができる。
・荷物を受け取る
・商品の売買
・広告用チラシ等を配る
　以上説明したように本実施形態によれば、自律して動作する無人飛行装置１０００と、地上にいる人２０との間で、予備知識の必要のないやり取りを、簡易にかつ即座に行うことが可能となる。これにより、例えば、あるタイミングで人２０の頭上を飛行する無人飛行装置１０００に、瞬時に何かを依頼したい場合などに、その無人飛行装置１０００の所有者やメーカー等に依存することなく、指示や依頼等のやり取りを行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　人物にアクションを要求するための画像を提示する画像提示部と、
　状況を認識する状況認識部と、
　を備え、
　前記画像提示部は、前記状況認識部が認識した前記状況に基づいて前記画像を提示する、飛行体。
（２）　前記状況認識部が認識した前記状況に基づいて、前記画像を提示する対象人物を定める投影計画部を備え、
　前記画像提示部は、前記対象人物に向けて前記画像を提示する、前記（１）に記載の飛行体。
（３）　前記投影計画部は、前記対象人物のジェスチャーに基づいて前記対象人物を決定する、前記（２）に記載の飛行体。
（４）　前記投影計画部は、前記状況認識部が認識した前記状況に基づいて、前記画像の内容を定める、前記（２）又は（３）に記載の飛行体。
（５）　前記投影計画部は、前記対象人物のジェスチャーに基づいて前記画像の内容を決定する、前記（４）に記載の飛行体。
（６）　前記画像提示部は、前記ジェスチャーをトリガーとして前記画像を提示する、前記（３）～（５）のいずれかに記載の飛行体。
（７）　前記状況認識部が認識した前記状況に基づいて前記画像を提示する場所を決定する提示場所決定部を備え、
　前記画像提示部は、前記提示場所決定部が決定した場所に向けて前記画像を提示する、前記（１）～（６）のいずれかに記載の飛行体。
（８）　前記提示場所決定部は、前記状況認識部が認識した前記状況に基づいて、前記画像を提示する場所として日陰の領域を決定する、前記（７）に記載の飛行体。
（９）　飛行のための推力を発生させる飛行用推力発生部と、
　前記状況認識部が認識した前記状況に基づいて前記飛行用推力発生部を制御する飛行制御部を備える、前記（１）～（８）のいずれかに記載の飛行体。
（１０）　前記画像提示部による前記画像の提示の方向を制御する提示方向制御部を備える、前記（１）～（９）のいずれかに記載の飛行体。
（１１）　前記画像生成部は、地上の前記人物に所定の動作を要求するための前記画像を生成する、前記（１）～（１０）のいずれかに記載の飛行体。
（１２）　前記画像生成部は、地上の前記人物との間で通信を確立するための前記画像を生成する、前記（１）～（１１）のいずれかに記載の飛行体。
（１３）　地上に提示した前記画像に応じて地上の前記人物が行ったリアクションを認識するリアクション認識部を備える、前記（１）～（１２）のいずれかに記載の飛行体。
（１５）　人物にアクションを要求するための画像を提示することと、
　状況を認識することと、
　を備え、
　認識した前記状況に基づいて前記画像を提示する、飛行体の制御方法。
　１０００　飛行体
　１０４　　飛行用推力発生部
　１１２　　プロジェクター／レーザー投射機
　２０４　　状況認識部
　２０６　　投影計画部
　２１０　　投影場所決定部
　２１２　　出力画像生成部
　２１４　　飛行制御部
　２１６　　投射方向制御部

Claims (14)

  1. 　人物にアクションを要求するための画像を提示する画像提示部と、
    　状況を認識する状況認識部と、
    　を備え、
    　前記画像提示部は、前記状況認識部が認識した前記状況に基づいて前記画像を提示する、飛行体。
  2. 　前記状況認識部が認識した前記状況に基づいて、前記画像を提示する対象人物を定める投影計画部を備え、
    　前記画像提示部は、前記対象人物に向けて前記画像を提示する、請求項１に記載の飛行体。
  3. 　前記投影計画部は、前記対象人物のジェスチャーに基づいて前記対象人物を決定する、請求項２に記載の飛行体。
  4. 　前記投影計画部は、前記状況認識部が認識した前記状況に基づいて、前記画像の内容を定める、請求項２に記載の飛行体。
  5. 　前記投影計画部は、前記対象人物のジェスチャーに基づいて前記画像の内容を決定する、請求項４に記載の飛行体。
  6. 　前記画像提示部は、前記ジェスチャーをトリガーとして前記画像を提示する、請求項３に記載の飛行体。
  7. 　前記状況認識部が認識した前記状況に基づいて前記画像を提示する場所を決定する提示場所決定部を備え、
    　前記画像提示部は、前記提示場所決定部が決定した場所に向けて前記画像を提示する、請求項１に記載の飛行体。
  8. 　前記提示場所決定部は、前記状況認識部が認識した前記状況に基づいて、前記画像を提示する場所として日陰の領域を決定する、請求項７に記載の飛行体。
  9. 　飛行のための推力を発生させる飛行用推力発生部と、
    　前記状況認識部が認識した前記状況に基づいて前記飛行用推力発生部を制御する飛行制御部を備える、請求項１に記載の飛行体。
  10. 　前記画像提示部による前記画像の提示の方向を制御する提示方向制御部を備える、請求項１に記載の飛行体。
  11. 　前記画像を生成する画像生成部を備え、
    　前記画像生成部は、地上の前記人物に所定の動作を要求するための前記画像を生成する、請求項１に記載の飛行体。
  12. 　前記画像生成部は、地上の前記人物との間で通信を確立するための前記画像を生成する、請求項１１に記載の飛行体。
  13. 　地上に提示した前記画像に応じて地上の前記人物が行ったリアクションを認識するリアクション認識部を備える、請求項１に記載の飛行体。
  14. 　人物にアクションを要求するための画像を提示することと、
    　状況を認識することと、
    　を備え、
    　認識した前記状況に基づいて前記画像を提示する、飛行体の制御方法。
PCT/JP2018/045756 2018-02-20 2018-12-12 飛行体及び飛行体の制御方法 WO2019163264A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/969,493 US20200401139A1 (en) 2018-02-20 2018-12-12 Flying vehicle and method of controlling flying vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-027880 2018-02-20
JP2018027880 2018-02-20

Publications (1)

Publication Number Publication Date
WO2019163264A1 true WO2019163264A1 (ja) 2019-08-29

Family

ID=67687549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045756 WO2019163264A1 (ja) 2018-02-20 2018-12-12 飛行体及び飛行体の制御方法

Country Status (2)

Country Link
US (1) US20200401139A1 (ja)
WO (1) WO2019163264A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11136140B2 (en) * 2020-02-21 2021-10-05 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Methods and apparatus to project aircraft zone indicators
US20220171412A1 (en) * 2020-11-30 2022-06-02 At&T Intellectual Property I, L.P. Autonomous aerial vehicle outdoor exercise companion
CN116749866A (zh) * 2023-08-22 2023-09-15 常州星宇车灯股份有限公司 一种飞行汽车垂直起降照明辅助系统及飞行汽车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338114A (ja) * 2004-05-24 2005-12-08 Seiko Epson Corp 自動移動型空中浮遊映像表示装置
US20160041628A1 (en) * 2014-07-30 2016-02-11 Pramod Kumar Verma Flying user interface
JP2016135625A (ja) * 2015-01-23 2016-07-28 みこらった株式会社 浮揚移動台
WO2017055080A1 (en) * 2015-09-28 2017-04-06 Koninklijke Philips N.V. System and method for supporting physical exercises
JP2017076084A (ja) * 2015-10-16 2017-04-20 株式会社プロドローン 情報伝達装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043157A1 (en) * 2006-08-15 2008-02-21 Jones Brad G Three dimensional projection system for the display of information
US8091822B2 (en) * 2007-06-20 2012-01-10 Boyce Mark A Aerial image projection system and method of utilizing same
JP5764988B2 (ja) * 2011-03-14 2015-08-19 株式会社リコー 表示装置、表示システム及びプログラム
US20140281855A1 (en) * 2013-03-14 2014-09-18 Research In Motion Limited Displaying information in a presentation mode
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
JP2015169952A (ja) * 2014-03-04 2015-09-28 セイコーエプソン株式会社 通信システム、撮像装置、プログラムおよび通信方法
US9336506B2 (en) * 2014-05-02 2016-05-10 Google Inc. Machine-readable delivery platform for automated package delivery
WO2016008165A1 (zh) * 2014-07-18 2016-01-21 深圳市大疆创新科技有限公司 一种基于飞行器的图像投影方法、装置及飞行器
US9405181B2 (en) * 2014-07-31 2016-08-02 Disney Enterprises, Inc. Projection assemblies for use with unmanned aerial vehicles
FR3034078B1 (fr) * 2015-03-27 2017-03-24 Airbus Helicopters Procede et dispositif pour signaler au sol un aeronef en vol, et aeronef muni de ce dispositif
US9944366B2 (en) * 2015-05-19 2018-04-17 Rujing Tang Unmanned aerial vehicle system and methods for use
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US10078808B1 (en) * 2015-09-21 2018-09-18 Amazon Technologies, Inc. On-demand designated delivery locator
US10301019B1 (en) * 2015-12-17 2019-05-28 Amazon Technologies, Inc. Source location determination
WO2017172932A1 (en) * 2016-03-30 2017-10-05 Culver Matthew Systems and methods for unmanned aerial vehicles
US9984579B1 (en) * 2016-06-28 2018-05-29 Amazon Technologies, Inc. Unmanned aerial vehicle approach notification
CN109690438A (zh) * 2016-07-07 2019-04-26 深圳市大疆创新科技有限公司 用于使用机器可读码控制可移动物体的方法和系统
US10395544B1 (en) * 2016-08-29 2019-08-27 Amazon Technologies, Inc. Electronic landing marker
US20180081375A1 (en) * 2016-09-20 2018-03-22 Wal-Mart Stores, Inc. Systems, Devices, and Methods for Providing Drone Assistance
US10802665B2 (en) * 2016-10-05 2020-10-13 Motorola Solutions, Inc. System and method for projecting graphical objects
US11053021B2 (en) * 2017-10-27 2021-07-06 Drone Delivery Canada Corp. Unmanned aerial vehicle and method for indicating a landing zone
US11435656B1 (en) * 2018-02-27 2022-09-06 Snap Inc. System and method for image projection mapping
US11032527B2 (en) * 2018-09-27 2021-06-08 Intel Corporation Unmanned aerial vehicle surface projection
JP2021154808A (ja) * 2020-03-26 2021-10-07 セイコーエプソン株式会社 無人航空機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338114A (ja) * 2004-05-24 2005-12-08 Seiko Epson Corp 自動移動型空中浮遊映像表示装置
US20160041628A1 (en) * 2014-07-30 2016-02-11 Pramod Kumar Verma Flying user interface
JP2016135625A (ja) * 2015-01-23 2016-07-28 みこらった株式会社 浮揚移動台
WO2017055080A1 (en) * 2015-09-28 2017-04-06 Koninklijke Philips N.V. System and method for supporting physical exercises
JP2017076084A (ja) * 2015-10-16 2017-04-20 株式会社プロドローン 情報伝達装置

Also Published As

Publication number Publication date
US20200401139A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
Cacace et al. A control architecture for multiple drones operated via multimodal interaction in search & rescue mission
JP2024150577A (ja) 人間とロボットの相互作用の拡張現実調整
WO2019163264A1 (ja) 飛行体及び飛行体の制御方法
US20170269594A1 (en) Controlling an Unmanned Aerial System
US11295132B2 (en) Method, a device for assisting driving, an unmanned device and a readable storage medium
US9662788B2 (en) Communication draw-in system, communication draw-in method, and communication draw-in program
US20160321503A1 (en) Property Preview Drone System and Method
WO2017150433A1 (ja) 無人航空機、無人航空機制御システム、飛行制御方法およびプログラム記憶媒体
WO2018103689A1 (zh) 无人机相对方位控制方法及装置
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200017050A1 (en) Ims-based fire risk factor notifying device and method in interior vehicle environment
KR20170090888A (ko) Hmd를 이용한 무인기 조종 장치
WO2023102911A1 (zh) 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质
KR20190106866A (ko) 로봇 및 로봇에 의해 안내 서비스를 제공하는 방법
WO2018230539A1 (ja) 案内システム
KR20160111670A (ko) 무인비행체의 비행 제어 시스템 및 방법
KR20190101142A (ko) 드론 시스템 및 드론 안전비행 제어 방법
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
KR101779255B1 (ko) 자동항법 및 정보전달 가능한 무인비행시스템
KR20210005417A (ko) 자율주행차량의 사고 정보 제공 시스템, 이를 위한 자율주행차량 장치
JP2020169010A (ja) 飛行体
CN114842056A (zh) 多机位第一机器视角追随方法、系统、装置及设备
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
WO2015107623A1 (ja) 管理システム及び位置特定方法
US20220297821A1 (en) Control device, control method, unmanned aircraft, information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP