WO2018185831A1 - 移動体、制御システム、制御方法及びプログラム - Google Patents

移動体、制御システム、制御方法及びプログラム Download PDF

Info

Publication number
WO2018185831A1
WO2018185831A1 PCT/JP2017/014084 JP2017014084W WO2018185831A1 WO 2018185831 A1 WO2018185831 A1 WO 2018185831A1 JP 2017014084 W JP2017014084 W JP 2017014084W WO 2018185831 A1 WO2018185831 A1 WO 2018185831A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation information
moving body
displayed
display object
mobile
Prior art date
Application number
PCT/JP2017/014084
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2019510528A priority Critical patent/JP6661143B2/ja
Priority to PCT/JP2017/014084 priority patent/WO2018185831A1/ja
Publication of WO2018185831A1 publication Critical patent/WO2018185831A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present invention relates to a mobile object, a control system, a control method, and a program.
  • Patent Document 1 discloses a system that wirelessly transmits a control command to a mobile body from a tablet operated by a user.
  • Patent Document 1 The mechanism described in Patent Document 1 is to remotely control a moving body in real time by an operator's operation, but in the future, even if a human does not bother to instruct in real time, the moving body will autonomously It is desired to control its own operation.
  • the moving body is a device that performs operations such as flying in a human living space, it is desirable for the human being around the moving body to easily understand how the moving body operates.
  • An object of the present invention is to provide a technology that allows a moving body to operate without remote control of the moving body in real time by an operator's operation and makes it easy for humans to understand what operation the moving body performs. It is to provide.
  • the present invention analyzes an image pickup unit that picks up a display object in which operation information indicating an operation performed by a moving object is displayed by at least one of a character, a symbol, or a figure that can be interpreted by humans, and the captured image And an operation execution unit that executes the operation indicated by the operation information.
  • the operation information may be an operation related to movement of the moving body.
  • the operation information may indicate an operation that the moving body performs on the surrounding environment.
  • the operation information indicates a condition and an operation to be performed when the condition is satisfied, and the operation execution unit determines whether the condition indicated by the operation information is satisfied, and the operation is performed when the condition is satisfied. You may make it perform the operation
  • the operation information may indicate restrictions on the operation of the mobile object.
  • the motion information may indicate a range of positions related to the motion of the moving body.
  • the operation executing unit may recognize a handwriting in the captured image and execute the operation according to the handwriting.
  • a plurality of pieces of operation information may be displayed in different colors on the display object, and the operation execution unit may execute an operation corresponding to a color for displaying each operation information in the captured image.
  • the present invention provides an imaging unit that images a display object in which operation information indicating an operation performed by a moving object is displayed by at least one of characters, symbols, or figures that can be interpreted by humans, and a captured image that is captured And a motion execution unit that causes the mobile body to perform the motion indicated by the motion information.
  • a program for analyzing the captured image and executing the operation indicated by the operation information is provided.
  • the moving body it is possible for the moving body to operate without remote control of the moving body in real time by an operator's operation, and it becomes easy for humans to understand what operation the moving body performs.
  • summary of the control system 1 which concerns on one Embodiment of this invention The figure which illustrates the hardware constitutions of the mobile body 20.
  • the figure which illustrates the display thing. 7 is a flowchart illustrating the operation of the moving body 20.
  • FIG. 1 is a diagram illustrating an overview of a control system 1 according to an embodiment of the present invention.
  • the control system 1 includes a plurality of display objects 10 and a moving body 20.
  • the moving body 20 is a device that can move and has an imaging function.
  • the moving body 20 is a flightable rotorcraft called a drone or a multicopter.
  • the display object 10 is arranged at a position for notifying the moving body 20 of an operation performed by the moving body 20.
  • the operation information indicating the operation performed by the moving body 20 is displayed by at least one of a character, a symbol, or a figure that can be interpreted by humans (that is, the meaning can be understood only by human eyes).
  • the operation information is handwritten on the medium, the operation information is printed on the medium, or the operation information is handwritten or printed with a sticker attached to the structure, Alternatively, it may be in any form such that the operation information is displayed by an optical display device.
  • FIG. 2 is a diagram illustrating a hardware configuration of the moving body 20.
  • the mobile unit 20 includes a CPU 201 (Central Processing Unit), a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an auxiliary storage device 204, a communication IF 205, a camera 206, a positioning device 207, a rotation mechanism 208, and a processing mechanism 209.
  • the CPU 201 is a processor that performs various calculations.
  • a RAM 203 is a volatile memory that functions as a work area when the CPU 201 executes a program.
  • the ROM 202 is a non-volatile memory that stores a program and data used for starting the mobile body 20, for example.
  • the auxiliary storage device 204 is a non-volatile storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores programs and data used in the mobile unit 20.
  • the moving body 20 functions as a computer device, and a function shown in FIG. 3 to be described later is realized.
  • the communication IF 205 performs communication via a network (not shown) when the mobile unit 20 performs data communication with an external device. This communication may be wireless communication or wired communication.
  • the camera 206 images, for example, a space below the moving body 20 and generates image data indicating the captured image.
  • the positioning device 207 is a GPS (Global Positioning System) unit, for example, and detects the position of the moving body 20.
  • the rotation mechanism 208 is a means for generating lift and propulsion in the moving body 20 and includes a propeller, a shaft, a motor, other drive mechanisms, and the like.
  • the processing mechanism 209 is a mechanism that performs a predetermined process. For example, if the operation performed by the moving body 20 is spraying agricultural chemicals, the processing mechanism 209 includes a tank that stores agricultural chemicals and a spraying device that sprays the agricultural chemicals.
  • FIG. 3 is a diagram illustrating a functional configuration of the moving body 20.
  • the moving body 20 includes an imaging unit 21 and an operation executing unit 22 including an image analyzing unit 221, a moving unit 222, and a processing unit 223.
  • the imaging unit 21 is realized by the camera 206
  • the image analysis unit 221 is realized by the CPU 201
  • the moving unit 222 is realized by the CPU 201
  • the processing unit 223 is the CPU 201 of the moving body 20, the camera 206, This is realized by the positioning device 207, the rotation mechanism 208, and the processing mechanism 209.
  • the imaging unit 21 is a unit that performs imaging. For example, the imaging unit 21 captures the display object 10 and generates captured image data indicating the captured image.
  • the image analysis unit 221 analyzes the captured image data by using image recognition technology or language processing technology such as OCR (Optical Character Recognition / Reader), and identifies the content of the operation information.
  • the movement unit 222 and the processing unit 223 perform an operation (for example, movement, agricultural chemical application, etc.) according to the specified operation information.
  • FIG. 4 is a diagram illustrating the display object 10.
  • the altitude and speed when the moving body 20 moves and the processing (still image shooting every second) performed while the moving body 20 is moving are displayed in characters, and the moving direction is indicated by an arrow. It is displayed with a symbol.
  • the moving body 20 reads the moving direction, altitude and speed, and processing performed during the movement from the display object 10, and executes these operations.
  • the direction in which the moving body 20 moves and the processing (moving shooting while moving) are both displayed in characters.
  • the direction in which the moving body 20 moves is indicated by an arrow symbol, processing (moving image shooting) performed during the movement is indicated by characters, and the position of the next display object 10 is further displayed.
  • the distance (100 m) is displayed in characters.
  • the moving body 20 reads the moving direction and the processing to be performed during the movement from the display object 10 and moves to the position of the next display object 10 while performing these operations, and moves by a specified distance. Then, the display object 10 is searched.
  • the process (package drop) performed by the moving body 20 at the position of the display object 10 is displayed in characters.
  • the moving body 20 reads the process from the display object 10 and executes this operation.
  • the process performed by the moving body 20 (pesticidal spraying) and the position range in which the movement is performed (within the range of a circle with a radius of 100 m centering on the position of the display object 10) are displayed in characters. ing.
  • the moving body 20 reads the processing and the position range from the display object 10 and executes an operation in the position range.
  • the process (pesticidal application) performed by the moving body 20 is displayed as characters, and the positional range in which the operation is performed is displayed as characters, symbols, and figures.
  • the operation restriction (prohibition of entry) for the moving body 20 is displayed in characters.
  • the moving body 20 reads the restriction of the operation from the display object 10 and changes the traveling direction up to that time.
  • the movement restriction (entry prohibited) with respect to the moving body 20 is displayed in characters, and the positional range of the restriction is displayed in characters, symbols, and graphics.
  • the restriction on the movement of the moving body 20 (that no agricultural chemicals are sprayed) and the positional range of the restriction are displayed in characters.
  • the moving body 20 reads the limitation of the operation from the display object 10 and stops the spraying of the agricultural chemical within the limited position range even if the agricultural chemical spraying has been performed until then.
  • the condition (a pest is generated in area A) and the action (agricultural chemical spraying) performed by the moving body 20 when the condition is satisfied are displayed in characters.
  • the position of the area A is stored in advance by the moving body 20, and the moving body 20 reads the condition and the operation from the display object 10 and executes the operation when the condition is satisfied.
  • the auxiliary storage device 204 of the moving body 20 stores conditions corresponding to the analysis result of the captured image.
  • the motion execution unit 22 of the moving body 20 analyzes the shape, color, size, and the like of the object included in the captured image using an image recognition technique, and the analysis result is stored in the auxiliary storage device 204 (pest occurrence symptoms). , Water deficiency symptom, fertilizer deficiency symptom, growth completion symptom, etc.). Then, when the analysis result matches the condition specified by the operation information, the operation execution unit 22 executes the operation specified by the operation information.
  • the condition (a pest is generated in the area A) and the action performed by the moving body 20 when the condition is satisfied are characters of a certain color ⁇ .
  • the condition (the presence of pests in area B) and the action performed by the moving body 20 when the condition is satisfied are displayed in different colors ⁇ . ing.
  • the operation information displayed with the characters of the color ⁇ has priority over the operation information displayed with the characters of the color ⁇ . Therefore, when the moving body 20 reads the conditions and operations from the display object 10 as described above, the state of pest occurrence is checked for the area A and the area B.
  • the state of the pest occurrence in the area B is determined. Regardless, first, the operation (agricultural chemical spraying) is performed for area A. On the other hand, when pests are not generated in area A and pests are generated in area B, or pests are generated in area A and pesticides in area A are still present even after spraying The moving body 20 performs the operation (pesticidal spraying) on the area B.
  • both the condition and the action to be performed by the moving body 20 when the condition is satisfied are displayed in characters.
  • the operation information may indicate an operation related to the movement of the moving body 20. Further, the operation information may indicate an operation (for example, imaging, baggage dropping, agrochemical spraying, etc.) performed by the moving body 20 on the surrounding environment.
  • the operation information indicates a condition and an operation to be performed when the condition is satisfied, and the operation execution unit 22 determines whether or not the condition indicated by the operation information is satisfied, and when the condition is satisfied, The operations shown may be performed.
  • the operation information may indicate a limitation on the operation of the moving body 20. Further, the motion information may indicate a range of positions related to the motion of the moving body 20. In addition, a plurality of pieces of operation information are displayed in different colors on the display object 10, and the operation execution unit 22 may execute an operation corresponding to a color for displaying each operation information in the captured image.
  • FIG. 6 is a flowchart illustrating the operation of the moving body 20.
  • the moving unit 222 of the moving body 20 drives the rotating mechanism 208 to take off from a predetermined base facility according to an instruction given in advance, and moves the moving body 20 (step S11).
  • This instruction includes position information indicating the position of the display object 10 to be imaged first by the moving body 20, and the moving unit 222 moves the moving body 20 using the position as a destination.
  • the moving unit 222 periodically detects the position of the moving body 20, and when the detected position matches the position indicated by the position information, the imaging unit 24 searches the display object 10 while performing imaging, The display object 10 found as a result is imaged (step S12).
  • the image analysis unit 25 analyzes the display object 10 included in the captured image (step S13) and determines an operation indicated by the operation information displayed on the display object 10 (step S14).
  • the operation executing unit 22 executes the determined operation (step S15). Thereafter, the processes in steps S12 to S15 are repeated until all the operations are completed (step S16; NO). When all the operations are finished (step S16; YES), the process of the moving body 20 is finished.
  • FIG. 7 is a diagram illustrating the relationship between the moving path of the moving body 20 and the display content of the display object.
  • a point that is a key point for example, a point that is a certain distance away from the display object 10 taken last time or until that point
  • the display object 10 is arranged at a point where the movement of the moving body 20 is changed, and the moving object 20 includes the operation information displayed on the display object 10 (in the example of FIG. 7, an arrow symbol indicating the movement direction). )
  • To operate (move in the example of FIG. 7).
  • the mobile object 20 can analyze the display object and operate autonomously only by arranging the display object 10 including the operation information for specifying the operation at various places. It becomes.
  • This motion information is not encoded information (such as a two-dimensional bar code) that cannot be interpreted by humans, but is displayed by at least one of human-interpretable characters, symbols, or graphics. It becomes easy to instruct the moving body 20 by entering or inputting information by itself.
  • the human being around the moving body 20 does not roughly understand how the moving body 20 operates, it is expected that a dangerous situation may occur due to an unexpected operation by the moving body 20 in some cases. Is done.
  • this embodiment since a person around the moving body 20 can easily understand what operation the moving body 20 performs by looking at the display object 10, the above-described danger The sex becomes smaller.
  • the operation executing unit 22 may recognize a handwriting in the captured image and execute an operation according to the handwriting. Specifically, the person who can give motion information to the moving body 20 is limited to one or more specific persons, and the handwriting characteristics of the person are stored in the auxiliary storage device 204. . The operation execution unit 22 recognizes a handwriting indicating operation information in the captured image, and executes the operation specified by the operation information when the handwriting matches that stored in the auxiliary storage device 204. On the other hand, when the handwriting indicating the operation information in the captured image does not match that stored in the auxiliary storage device 204, the operation execution unit 22 does not execute the operation specified by the operation information. In this way, it is possible to eliminate an illegal act such as an unauthorized third party instructing the moving body 20 to operate.
  • the display form of the operation information displayed on the display object 10 illustrated in FIG. 4 is merely an example, and what if the operation information is displayed by at least one of characters, symbols, or figures interpretable by humans? It may be anything.
  • the conditions included in the operation information may specify conditions related to the natural environment (for example, temperature, humidity, precipitation).
  • the moving body 20 acquires and acquires values (temperature, humidity, precipitation) related to the natural environment specified by these conditions from, for example, sensors provided on the moving body 20 itself or sensors installed on the ground or the like. When the value satisfies the above condition, the operation specified by the operation information is performed.
  • the moving body in the present invention is not limited to the moving body 20 that flies in the air like the rotary wing aircraft exemplified in the embodiment, and may be a moving body that moves on the ground or in water, for example.
  • the image analysis unit 221 may be realized by an external device (for example, a computer device capable of communicating with the mobile body 20) different from the mobile body 20.
  • the captured image data captured by the image capturing unit 21 is transmitted to the external device via the communication IF 205 of the moving body 20, and the display unit 10 included in the captured image is analyzed and displayed by the image analysis unit in the external device.
  • the motion indicated by the motion information displayed on the object 10 is determined, and the motion is notified to the moving body 20.
  • the operation executing unit 22 of the moving body 20 executes the notified operation.
  • the present invention can be grasped as an invention of a control system. That is, the control system of the present invention is imaged with an imaging unit that images a display object in which operation information indicating an operation performed by a moving object is displayed by at least one of characters, symbols, or figures interpretable by humans. An action execution unit that analyzes the captured image and causes the moving body to execute the action indicated by the action information.
  • the program executed by the CPU 201 may be provided by a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, or may be downloaded via a communication line such as the Internet. Further, these programs may not execute all the steps described in the embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

移動体２０は、移動可能で撮像機能を備えた装置であり、本実施形態では、ドローン又はマルチコプターと呼ばれる、飛行可能な回転翼機である。表示物１０は、移動体２０に対して動作を通知したい位置に配置されており、移動体２０が行う動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示されたものである。表示物１０においては、例えば、動作情報が手書きで媒体に記入されていたり、動作情報が媒体に印刷されていたり、動作情報が手書きないし印刷されたシールが構造物に貼付されていたり、或いは、動作情報が光学的な表示装置によって表示されている。移動体２０は表示物を撮像してその撮像結果を解析し、動作情報が示す動作を実行する。

Description

移動体、制御システム、制御方法及びプログラム
　本発明は、移動体、制御システム、制御方法及びプログラムに関する。
　ドローンと呼ばれる移動体を制御する仕組みとして、例えば特許文献１には、ユーザが操作するタブレットから移動体に対して制御コマンドを無線送信するシステムが開示されている。
特開２０１６－９４１８８号公報
　特許文献１に記載された仕組みは、操作者の操作によって移動体をリアルタイムに遠隔制御するものであるが、将来的には、人間がわざわざリアルタイムに指示しなくても、移動体が自律的に自身の動作を制御することが望まれている。また、移動体は人間の居住空間においても飛行などの動作を行う装置であるため、その移動体の周りにいる人間にとっては移動体がどのように動作するのかを理解しやすいほうが望ましい。
　本発明の目的は、操作者の操作によって移動体をリアルタイムに遠隔制御しなくても移動体が動作することが可能で且つ移動体がどのような動作を行うかを人間にとって理解しやすい技術を提供することにある。
課題を解決する手段
　本発明は、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、撮像された撮像画像を解析し、前記動作情報が示す動作を実行する動作実行部とを備えることを特徴とする移動体を提供する。     
　前記動作情報は、前記動作情報は、前記移動体の移動に関する動作を示すようにしてもよい。
　前記動作情報は、前記移動体が周囲の環境に対して行う動作を示すようにしてもよい。
　前記動作情報は、条件及び当該条件を満たした場合に行う動作を示し、前記動作実行部は、前記動作情報によって示される条件を満たすか否かを判断し、当該条件が満たされる場合に当該動作情報によって示される動作を行うようにしてもよい。
　前記動作情報は、前記移動体の動作の制限を示すようにしてもよい。
　前記動作情報は、前記移動体の動作に関する位置の範囲を示すようにしてもよい。
　前記動作実行部は、前記撮像画像において筆跡を認識し、当該筆跡に応じて前記動作を実行するようにしてもよい。
　前記表示物において複数の動作情報がそれぞれ異なる色で表示されており、前記動作実行部は、前記撮像画像における各動作情報を表示する色に応じた動作を実行するようにしてもよい。
　また、本発明は、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させる動作実行部とを備えることを特徴とする制御システムを提供する。
　また、本発明は、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、撮像された撮像画像を解析し、前記動作情報が示す動作を実行するステップとを備えることを特徴とする制御方法を提供する。
　また、本発明は、移動体が備えるコンピュータに、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、撮像された撮像画像を解析し、前記動作情報が示す動作を実行するステップとを実行させるためのプログラムを提供する。
　本発明によれば、操作者の操作によって移動体をリアルタイムに遠隔制御しなくても移動体が動作することが可能で且つ人間にとって移動体がどのような動作を行うかが理解しやすくなる。
本発明の一実施形態に係る制御システム１の概要を例示する図。 移動体２０のハードウェア構成を例示する図。 移動体２０の機能構成を例示する図。 表示物１０を例示する図。 表示物１０を例示する図。 移動体２０の動作を例示するフローチャート。 移動体２０の移動経路と表示物の表示内容との関係を例示する図。
１…制御システム、１０…表示物１０…移動体、２１…撮像部、２２…動作実行部、２２１…画像解析部、２２２…移動部、２２３…処理部、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…カメラ、２０７…測位装置、２０８…回転機構、２０９…処理機構。
１．構成
　図１は、本発明の一実施形態に係る制御システム１の概要を例示する図である。制御システム１は、複数の表示物１０と、移動体２０とを備えている。移動体２０は、移動可能で撮像機能を備えた装置であり、本実施形態では、ドローン又はマルチコプターと呼ばれる、飛行可能な回転翼機である。表示物１０は、移動体２０に対して、その移動体２０が行う動作を通知する位置に配置されている。この表示物１０には、移動体２０が行う動作を示す動作情報が人間の解釈可能な（つまり人間が見ただけで意味が分かる）文字、記号又は図形の少なくともいずれか１によって表示されている。その表示形態は、例えば、動作情報が手書きで媒体に記入されているとか、動作情報が媒体に印刷されているとか、動作情報が手書きないし印刷されたシールが構造物に貼付されているとか、或いは、動作情報が光学的な表示装置によって表示されているなど、どのような形態であってもよい。
　図２は、移動体２０のハードウェア構成を例示する図である。移動体２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、カメラ２０６、測位装置２０７、回転機構２０８及び処理機構２０９を有する。ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。ＲＯＭ２０２は、例えば移動体２０の起動に用いられるプログラムおよびデータを記憶した不揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、移動体２０において用いられるプログラムおよびデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより移動体２０はコンピュータ装置として機能し、後述する図３に示される機能が実現される。通信ＩＦ２０５は、移動体２０が外部装置とデータ通信を行う場合に、図示せぬネットワークを介した通信を行う。この通信は無線通信であってもよいし有線通信であってもよい。カメラ２０６は、例えば移動体２０の鉛直下方の空間を撮像し、撮像した画像を示す画像データを生成する。測位装置２０７は、例えばＧＰＳ（Global Positioning System）ユニットであり、移動体２０の位置を検出する。回転機構２０８は、移動体２０において揚力及び推進力を発生させる手段であり、プロペラ、シャフト、モータ、その他の駆動機構などを含む。処理機構２０９は決められた処理を行う機構であり、例えば移動体２０の行う動作が農薬散布であれば、農薬を貯留するタンクとその農薬を散布する散布装置などを含んでいる。
　図３は、移動体２０の機能構成を例示する図である。移動体２０は、撮像部２１と、画像解析部２２１、移動部２２２及び処理部２２３を含む動作実行部２２とを有する。撮像部２１はカメラ２０６によって実現され、画像解析部２２１はＣＰＵ２０１によって実現され、移動部２２２はＣＰＵ２０１、測位装置２０７及び回転機構２０８によって実現され、処理部２２３は移動体２０のＣＰＵ２０１、カメラ２０６、測位装置２０７、回転機構２０８及び処理機構２０９によって実現される。撮像部２１は、撮像を行う手段であり、例えば表示物１０を撮像してその撮像画像を示す撮像画像データを生成する。画像解析部２２１は例えばＯＣＲ（Optical Character Recognition/Reader）等の画像認識技術や言語処理技術を利用して、撮像画像データを解析して動作情報の内容を特定する。移動部２２２及び処理部２２３は、特定された動作情報に応じた動作（例えば移動や農薬散布など）を行う。
　図４は、表示物１０を例示する図である。図４（ａ）の例では、移動体２０が移動するときの高度及び速度と移動体２０が移動中に行う処理（１秒ごとに静止画撮影）とが文字で表示され、移動方向が矢印記号で表示されている。移動体２０はこのような表示物１０から、移動する方向、高度及び速度と、その移動中に行う処理とを読み取って、これら動作を実行する。
　図４（ｂ）の例では、移動体２０が移動する方向とその移動中に行う処理（移動しながら動作撮影）とがいずれも文字で表示されている。図４（ｃ）の例では、移動体２０が移動する方向が矢印記号で表示され、その移動中に行う処理（動画撮影）が文字で表示されており、さらに、次の表示物１０の位置までの距離（１００ｍ）が文字で表示されている。移動体２０はこのような表示物１０から、移動する方向とその移動中に行う処理とを読み取って、これら動作を実行しながら次の表示物１０の位置へと向かい、指定された距離だけ移動すると表示物１０を探索する。
　図４（ｄ）の例では、移動体２０が表示物１０の位置で行う処理（荷物投下）が文字で表示されている。移動体２０はこのような表示物１０から処理を読み取って、この動作を実行する。図４（ｅ）の例では、移動体２０が行う処理（農薬散布）とその動作を行う位置的範囲（表示物１０の位置を中心として半径１００ｍの円の範囲内）とが文字で表示されている。移動体２０はこのような表示物１０から処理と位置的範囲を読み取って、その位置的範囲において動作を実行する。図４（ｆ）の例では、移動体２０が行う処理（農薬散布）が文字で表示され、その動作を行う位置的範囲が文字、記号及び図形で表示されている。
　図５（ａ）の例では、移動体２０に対する動作の制限（進入禁止）が文字で表示されている。移動体２０はこのような表示物１０から動作の制限を読み取って、それまでの進行方向を変更する。図５（ｂ）の例では、移動体２０に対する動作の制限（進入禁止）が文字で表示され、その制限の位置的範囲が文字、記号及び図形で表示されている。図５（ｃ）の例では、移動体２０に対する動作の制限（農薬散布しないということ）及びその制限の位置的範囲が文字で表示されている。移動体２０はこのような表示物１０から動作の制限を読み取って、それまで農薬散布を行っていたとしても、制限の位置的範囲においては農薬散布を中止する。
　図５（ｄ）の例では、条件（エリアＡに害虫が発生していること）と、その条件を満たした場合に移動体２０が行う動作（農薬散布）とが文字で表示されている。エリアＡの位置は移動体２０が予め記憶しており、移動体２０はこのような表示物１０から条件及び動作を読み取って、その条件が満たされると、その動作を実行する。より具体的には、移動体２０の補助記憶装置２０４には、撮像画像の解析結果に相当する条件が記憶されている。例えば撮像画像に含まれるオブジェクト（植物の画像オブジェクト）の形状、色、大きさ等が所定の状態であれば害虫発生症状、水分不足症状、肥料不足症状、生育完了症状・・・であることなどが記憶されている。移動体２０の動作実行部２２は、撮像画像に含まれるオブジェクトの形状、色、大きさ等を画像認識技術により解析し、その解析結果が補助記憶装置２０４に記憶されている条件（害虫発生症状、水分不足症状、肥料不足症状、生育完了症状・・・）のいずれかに合致するか否かを判断する。そして、動作実行部２２は、解析結果が動作情報で指定された条件に合致する場合には、動作情報で指定された動作を実行する。
　図５（ｅ）の例では、条件（エリアＡに害虫が発生していること）と、その条件を満たした場合に移動体２０が行う動作（農薬散布）とが或る色αの文字で表示されており、また、条件（エリアＢに害虫が発生していること）と、その条件を満たした場合に移動体２０が行う動作（農薬散布）とが別の色βの文字で表示されている。ここで、色αの文字で表示された動作情報は、色βの文字で表示された動作情報よりも優先される。従って、移動体２０はこのような表示物１０から条件及び動作を読み取ると、エリアＡ及びエリアＢについて害虫発生状況を調べ、エリアＡに害虫が発生していれば、エリアＢの害虫発生状況に関わらず、まずエリアＡについて動作（農薬散布）を実行する。一方、エリアＡに害虫が発生しておらずエリアＢに害虫が発生している場合、又は、エリアＡに害虫が発生していてエリアＡの農薬散布してもなお農薬が余っている場合には、移動体２０はエリアＢについて動作（農薬散布）を実行する。
　図５（ｆ）の例では、条件と、その条件を満たした場合に移動体２０が行う動作を終了することがいずれも文字で表示されている。
　以上のように、動作情報は、移動体２０の移動に関する動作を示すようにしてもよい。また、動作情報は、移動体２０が周囲の環境に対して行う動作（例えば撮像、荷物投下、農薬散布など）を示すようにしてもよい。動作情報は、条件及び当該条件を満たした場合に行う動作を示し、動作実行部２２は、動作情報によって示される条件を満たすか否かを判断し、当該条件が満たされる場合に当該動作情報によって示される動作を行うようにしてもよい。また、動作情報は、移動体２０の動作の制限を示すようにしてもよい。また、動作情報は、移動体２０の動作に関する位置の範囲を示すようにしてもよい。また、表示物１０において複数の動作情報がそれぞれ異なる色で表示されており、動作実行部２２は、撮像画像における各動作情報を表示する色に応じた動作を実行するようにしてもよい。
２．動作
　図６は、移動体２０の動作を例示するフローチャートである。図５において、移動体２０の移動部２２２は、予め与えられた指示に従い、回転機構２０８を駆動して所定の基地施設から離陸し、移動体２０を移動させる（ステップＳ１１）。この指示には、移動体２０が最初に撮像するべき表示物１０の位置を示す位置情報が含まれており、移動部２２２はその位置を目的地として移動体２０を移動させる。
　移動部２２２は定期的に移動体２０の位置を検出しており、検出された位置が上記位置情報の示す位置に一致すると、撮像部２４が撮像を行いながら表示物１０を探索し、探索の結果発見した表示物１０の撮像を行う（ステップＳ１２）。
　画像解析部２５は、撮像された撮像画像に含まれる表示物１０を解析して（ステップＳ１３）、表示物１０に表示された動作情報によって示される動作を決定する（ステップＳ１４）。動作実行部２２は、決定された動作を実行する（ステップＳ１５）。以降、全ての動作が終了するまで（ステップＳ１６；ＮＯ）、ステップＳ１２～Ｓ１５の処理が繰り返される。全ての動作が終了すると（ステップＳ１６；ＹＥＳ）、移動体２０の処理は終了する。
　図７は、移動体２０の移動経路と表示物の表示内容との関係を例示する図である。図に示すように、スタート地点Ｓからゴール地点Ｇに至るまでの移動体２０の移動経路において、要所となる地点（例えば前回撮像した表示物１０から一定の距離だけ離れた地点とか、それまでの移動体２０の動作が変更される地点）には表示物１０が配置されており、移動体２０はこの表示物１０に表示された動作情報（図７の例では、移動方向を示す矢印記号）に従って、動作（図７の例では、移動）する。
　以上説明した本実施形態によれば、動作を特定するための動作情報を含む表示物１０を各所に配置するだけで、移動体２０がその表示物を解析して自律的に動作することが可能となる。この動作情報は、例えば人間が解釈できない符号化された情報（２次元バーコード等）ではなく、人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示されるから、例えば人間が動作情報を自ら記入ないし入力して移動体２０に動作を指示することが容易となる。また、移動体２０の周囲にいる人間は、その移動体２０のどのように動作するかをおおよそ把握していないと、場合によっては移動体２０による不意の動作によって危険な状況になることが予想される。これに対し、本実施形態では、移動体２０の周囲にいる人間は表示物１０を見ることで、その移動体２０がどのような動作を行うかを容易に理解できるから、上記のような危険性が小さくなる。
３．変形例
　本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
３－１．変形例１　
　動作実行部２２は、撮像画像において筆跡を認識し、当該筆跡に応じて動作を実行するようにしてもよい。具体的には、移動体２０に対して動作情報を与えることができる人間を１又は複数人の特定の人間に限定しておき、その人間の筆跡の特徴を補助記憶装置２０４に記憶させておく。動作実行部２２は、撮像画像において動作情報を示す筆跡を認識し、その筆跡が補助記憶装置２０４に記憶されているものと一致するときは、動作情報で指定された動作を実行する。一方、撮像画像において動作情報を示す筆跡が補助記憶装置２０４に記憶されているものと一致しないときは、動作実行部２２は、動作情報で指定された動作を実行しない。このようにすれば、権限の無い第３者が移動体２０に対して動作を指示する、というような不正行為を排除できる。
３－２．変形例２　
　図４に例示した表示物１０に表示される動作情報の表示形態は一例に過ぎず、動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示されていれば、どのようなものであってもよい。なお、動作情報に含まれる条件は、自然環境に関する条件（例えば温度、湿度、降水量）を指定するものであってもよい。この場合、移動体２０は、これらの条件によって指定された自然環境に関する値（温度、湿度、降水量）を例えば移動体２０自身が備えるセンサや地上等に設置されたセンサから取得し、取得した値が上記条件を充足すると、動作情報にて指定された動作を行うようにする。
３－３．変形例３
　本発明における移動体は、実施形態で例示した回転翼機のように空中を飛行する移動体２０に限定されず、例えば地面や水中を移動する移動体であってもよい。
３－４．変形例４
　図３で例示した機能構成の一部が移動体２０以外の装置に実装されていてもよい。例えば、画像解析部２２１が、移動体２０とは別の外部装置（例えば移動体２０と通信可能なコンピュータ装置）により実現されてもよい。この場合、撮像部２１が撮像した撮像画像データが移動体２０の通信ＩＦ２０５経由で外部装置に送信され、その外部装置において、画像解析部が撮像画像に含まれる表示物１０を解析して、表示物１０に表示された動作情報によって示される動作を決定し、その動作を移動体２０に通知する。この通知に応じて、移動体２０の動作実行部２２が通知された動作を実行する。このように、本発明を制御システムの発明として把握することも可能である。つまり、本発明の制御システムは、移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させる動作実行部とを備える。
　なお、ＣＰＵ２０１により実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、これらのプログラムは、実施形態で説明したすべてのステップを実行させるものでなくてもよい。

Claims (11)

  1. 　移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、
    　撮像された撮像画像を解析し、前記動作情報が示す動作を実行する動作実行部と
    　を備えることを特徴とする移動体。 
  2. 　前記動作情報は、前記移動体の移動に関する動作を示す
    　ことを特徴とする請求項１に記載の移動体。
  3. 　前記動作情報は、前記移動体が周囲の環境に対して行う動作を示す
    　ことを特徴とする請求項１又は２に記載の移動体。
  4. 　前記動作情報は、条件及び当該条件を満たした場合に行う動作を示し、
    　前記動作実行部は、前記動作情報によって示される条件を満たすか否かを判断し、当該条件が満たされる場合に当該動作情報によって示される動作を行う
    　ことを特徴とする請求項１～３のいずれか１項に記載の移動体。
  5. 　前記動作情報は、前記移動体の動作の制限を示す
    　ことを特徴とする請求項１～４のいずれか１項に記載の移動体。
  6. 　前記動作情報は、前記移動体の動作に関する位置の範囲を示す
    　ことを特徴とする請求項１～５のいずれか１項に記載の移動体。
  7. 　前記動作実行部は、前記撮像画像において筆跡を認識し、当該筆跡に応じて前記動作を実行する
    　ことを特徴とする請求項１～６のいずれか１項に記載の移動体。
  8. 　前記表示物において複数の動作情報がそれぞれ異なる色で表示されており、
    　前記動作実行部は、前記撮像画像における各動作情報を表示する色に応じた動作を実行する
    　ことを特徴とする請求項１～７のいずれか１項に記載の移動体。
  9. 　移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像する撮像部と、
    　撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させる動作実行部と
    　を備えることを特徴とする制御システム。
  10. 　移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、
    　撮像された撮像画像を解析し、前記動作情報が示す動作を移動体に実行させるステップと
    　を備えることを特徴とする制御方法。      
  11. 　移動体が備えるコンピュータに、
    　移動体によって行われる動作を示す動作情報が人間の解釈可能な文字、記号又は図形の少なくともいずれか１によって表示された表示物を撮像するステップと、
    　撮像された撮像画像を解析し、前記動作情報が示す動作を実行するステップと
    　を実行させるためのプログラム。
PCT/JP2017/014084 2017-04-04 2017-04-04 移動体、制御システム、制御方法及びプログラム WO2018185831A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019510528A JP6661143B2 (ja) 2017-04-04 2017-04-04 移動体、制御システム、制御方法及びプログラム
PCT/JP2017/014084 WO2018185831A1 (ja) 2017-04-04 2017-04-04 移動体、制御システム、制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/014084 WO2018185831A1 (ja) 2017-04-04 2017-04-04 移動体、制御システム、制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018185831A1 true WO2018185831A1 (ja) 2018-10-11

Family

ID=63713066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014084 WO2018185831A1 (ja) 2017-04-04 2017-04-04 移動体、制御システム、制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6661143B2 (ja)
WO (1) WO2018185831A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018185831A1 (ja) * 2017-04-04 2019-11-07 株式会社オプティム 移動体、制御システム、制御方法及びプログラム
JP2020163492A (ja) * 2019-03-28 2020-10-08 本田技研工業株式会社 動作領域制限方法、ロボット制御装置、及び報知体
WO2021245892A1 (ja) * 2020-06-04 2021-12-09 三菱電機株式会社 自動走行制御装置、自動走行制御システム、及び警告情報決定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184521A (ja) * 1997-12-24 1999-07-09 Mitsubishi Electric Corp 自動配車システム
JPH11272328A (ja) * 1998-03-25 1999-10-08 Nippon Signal Co Ltd:The 色標識，移動ロボットおよび移動ロボットの誘導方法
JP2000194417A (ja) * 1998-12-28 2000-07-14 Mitsubishi Electric Corp 自動配車システム
JP2010152426A (ja) * 2008-12-24 2010-07-08 Central Motor Co Ltd 自動搬送車及びその自動搬送車を使用する自動搬送車運行システム
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2013254336A (ja) * 2012-06-06 2013-12-19 Ntt Data Corp ノート、筆跡情報管理装置、筆跡情報管理方法、筆跡情報管理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07122827B2 (ja) * 1986-07-31 1995-12-25 株式会社ダイフク 光学誘導式移動車の誘導設備
JPH10129996A (ja) * 1996-10-29 1998-05-19 Ohbayashi Corp 自動搬送システム
JP2010061533A (ja) * 2008-09-05 2010-03-18 Fuji Heavy Ind Ltd 自律走行車の走行システム
JP5137092B2 (ja) * 2011-05-09 2013-02-06 日本輸送機株式会社 無人搬送システム
JP6663547B2 (ja) * 2014-06-30 2020-03-13 Ｃａｓｅ特許株式会社 車両制御装置
WO2018185831A1 (ja) * 2017-04-04 2018-10-11 株式会社オプティム 移動体、制御システム、制御方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184521A (ja) * 1997-12-24 1999-07-09 Mitsubishi Electric Corp 自動配車システム
JPH11272328A (ja) * 1998-03-25 1999-10-08 Nippon Signal Co Ltd:The 色標識，移動ロボットおよび移動ロボットの誘導方法
JP2000194417A (ja) * 1998-12-28 2000-07-14 Mitsubishi Electric Corp 自動配車システム
JP2010152426A (ja) * 2008-12-24 2010-07-08 Central Motor Co Ltd 自動搬送車及びその自動搬送車を使用する自動搬送車運行システム
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2013254336A (ja) * 2012-06-06 2013-12-19 Ntt Data Corp ノート、筆跡情報管理装置、筆跡情報管理方法、筆跡情報管理プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018185831A1 (ja) * 2017-04-04 2019-11-07 株式会社オプティム 移動体、制御システム、制御方法及びプログラム
JP2020163492A (ja) * 2019-03-28 2020-10-08 本田技研工業株式会社 動作領域制限方法、ロボット制御装置、及び報知体
JP7012040B2 (ja) 2019-03-28 2022-01-27 本田技研工業株式会社 動作領域制限方法、及びロボット制御装置
WO2021245892A1 (ja) * 2020-06-04 2021-12-09 三菱電機株式会社 自動走行制御装置、自動走行制御システム、及び警告情報決定方法
JPWO2021245892A1 (ja) * 2020-06-04 2021-12-09
JP7158628B2 (ja) 2020-06-04 2022-10-21 三菱電機株式会社 自動走行制御装置、自動走行制御システム、及び警告情報決定方法

Also Published As

Publication number Publication date
JPWO2018185831A1 (ja) 2019-11-07
JP6661143B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
CN108780325B (zh) 用于调整无人飞行器轨迹的系统和方法
CN107168352B (zh) 目标追踪系统及方法
WO2018185831A1 (ja) 移動体、制御システム、制御方法及びプログラム
WO2018027210A1 (en) Mobile platform eg drone / uav performing localization and mapping using video
Shoufan Continuous authentication of uav flight command data using behaviometrics
Saska et al. Formation control of unmanned micro aerial vehicles for straitened environments
EP3135108B1 (en) Biomimetic and zoosemiotic aerial vehicle guided by an automatic pilot device
Jung et al. Strategic cattle roundup using multiple quadrotor UAVs
JP2008120294A (ja) 飛行型情報処理装置
Tripicchio et al. Confined spaces industrial inspection with micro aerial vehicles and laser range finder localization
Suzuki Recent researches on innovative drone technologies in robotics field
CN109196438A (zh) 一种飞行控制方法、设备、飞行器、系统及存储介质
Martins et al. A computer vision based algorithm for obstacle avoidance
Ribeiro et al. Multi-robot systems for precision agriculture
US10752356B2 (en) Moving device, moving device control method, program, and moving device control system
US20180129208A1 (en) Method for flight control by how a device is thrown
KR102106893B1 (ko) 무인비행체의 비행 제어 시스템 및 방법
Olivares-Mendez et al. The NOAH project: Giving a chance to threatened species in Africa with UAVs
Rodriguez-Ramos et al. Autonomous aerial robot for high-speed search and intercept applications
US20220214700A1 (en) Control method and device, and storage medium
Wisniewski et al. Reinforcement Learning for Pan-Tilt-Zoom Camera Control, with Focus on Drone Tracking
JP6621942B2 (ja) 遠隔制御システム、遠隔制御方法、およびプログラム
KR102525912B1 (ko) 무인 비행체 및 그 제어 방법
Hamadi Autonomous Quadrotor Control Using Convolutional Neural Networks
Shriki et al. Drone autonomous landing on a moving Maritime platform using machine learning classifiers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17904383

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019510528

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17904383

Country of ref document: EP

Kind code of ref document: A1