JP7190699B2 - Flight system and landing control method - Google Patents

Flight system and landing control method Download PDF

Info

Publication number
JP7190699B2
JP7190699B2 JP2019049140A JP2019049140A JP7190699B2 JP 7190699 B2 JP7190699 B2 JP 7190699B2 JP 2019049140 A JP2019049140 A JP 2019049140A JP 2019049140 A JP2019049140 A JP 2019049140A JP 7190699 B2 JP7190699 B2 JP 7190699B2
Authority
JP
Japan
Prior art keywords
landing
unmanned aerial
aerial vehicle
image
takeoff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049140A
Other languages
Japanese (ja)
Other versions
JP2020149640A (en
Inventor
直樹 山内
和民 有本
研作 木下
憲昭 吉川
微 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TECHNO-ACCEL NETWORKS CORP.
Original Assignee
TECHNO-ACCEL NETWORKS CORP.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TECHNO-ACCEL NETWORKS CORP. filed Critical TECHNO-ACCEL NETWORKS CORP.
Priority to JP2019049140A priority Critical patent/JP7190699B2/en
Publication of JP2020149640A publication Critical patent/JP2020149640A/en
Application granted granted Critical
Publication of JP7190699B2 publication Critical patent/JP7190699B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、飛行システム及び着陸制御方法に関する。 The present invention relates to flight systems and landing control methods.

無人航空機(いわゆるドローン)は、近年、配送システム、監視システム、農薬散布等の農業支援などその応用範囲が飛躍的に広がっている。 In recent years, unmanned aerial vehicles (so-called drones) have dramatically expanded their range of applications, such as delivery systems, surveillance systems, and agricultural support such as pesticide spraying.

この無人航空機は、例えば無人航空機の位置や飛行状態等を検出するためのジャイロセンサ、速度センサ、航法センサ等から構成される機体センサ、安全な着陸を脅かす地上の脅威を捉える探知センサ、気象予報や他機の移動情報等を地上設備や他機から取得する通信部を有し、この機体センサ、探知センサ、通信部より得られる情報を元に着陸する(例えば特開2018-165870号公報参照)。 This unmanned aerial vehicle includes, for example, a body sensor consisting of a gyro sensor, a speed sensor, a navigation sensor, etc. for detecting the position and flight status of the unmanned aerial vehicle, detection sensors for detecting threats on the ground that threaten safe landing, weather forecasting, and so on. It has a communication unit that acquires the movement information of other aircraft and other aircraft from ground equipment and other aircraft, and lands based on the information obtained from this aircraft sensor, detection sensor, and communication unit (for example, see Japanese Patent Application Laid-Open No. 2018-165870 ).

例えば上記公報に記載の無人航空機では、上記センサ等から得られる情報により、地上に設定された複数の着陸候補地点から最も安全な着陸地点を選択し、安全に着陸することができる。 For example, the unmanned aerial vehicle described in the above publication can select the safest landing point from a plurality of candidate landing points set on the ground based on the information obtained from the sensors and the like, and land safely.

一方、近年は移動体、例えば自動車と連携したドローンの活用が注目されている。この移動体及びドローンを備える飛行システムでは、例えば自動車のルーフが離着陸台となり、飛行中のドローンをこの離着陸台に着陸させることが必要となる。この離着陸台は、一般に地上に設定される静止した着陸場所よりも面積が狭い。また、離着陸台そのものが移動を伴うため、その着陸環境が変化し易い。上記従来の無人航空機では、静止した着陸場所を前提とした着陸制御が行われているため、このような移動体に設けられた離着陸台への着陸制御は容易ではない。 On the other hand, in recent years, attention has been paid to the use of drones that are linked to mobile objects, such as automobiles. In a flight system including this moving body and a drone, for example, the roof of an automobile serves as a takeoff and landing pad, and it is necessary to land the drone during flight on this takeoff and landing pad. This take-off and landing pad is generally smaller in area than a stationary landing site set on the ground. In addition, since the takeoff/landing platform itself moves, the landing environment is likely to change. In the conventional unmanned aerial vehicle described above, landing control is performed assuming a stationary landing site, so landing control to a takeoff/landing platform provided on such a moving object is not easy.

さらに、移動体に設けられた離着陸台に着陸したドローンに対して、再飛行に備えて充電が行われる。この充電方法として、離着陸台に設けられた非接触充電システムが用いられるのが一般的である。このような非接触充電システムでは、離着陸台に設けられたコイルに対するドローンに設けられたコイルの相対位置が充電効率に大きく影響する。この充電効率を高めるため、ドローンを高い位置精度で着陸させることが求められている。 Furthermore, the drone that has landed on the takeoff/landing platform provided on the mobile body is charged in preparation for re-flight. As this charging method, a non-contact charging system provided on the takeoff/landing platform is generally used. In such a contactless charging system, the relative position of the coil provided on the drone with respect to the coil provided on the takeoff/landing pad greatly affects the charging efficiency. In order to improve this charging efficiency, it is required to land the drone with high positional accuracy.

特開2018-165870号公報JP 2018-165870 A

本発明は、上述のような事情に基づいてなされたものであり、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる飛行システム及び着陸制御方法の提供を目的とする。 SUMMARY OF THE INVENTION The present invention has been made based on the circumstances described above, and provides a flight system and landing control method capable of landing an unmanned aerial vehicle on a take-off/landing platform provided on a mobile body easily and with high positional accuracy. With the goal.

上記課題を解決するためになされた本発明の飛行システムは、無人航空機と、上記無人航空機が離着陸可能な離着陸台を有する移動体とを備え、上記離着陸台が、上空から識別可能な表示装置を有し、上記移動体が、着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、上記無人航空機が、カメラと、上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部とを有する。 A flight system of the present invention, which has been made to solve the above problems, includes an unmanned aerial vehicle and a mobile body having a takeoff and landing platform on which the unmanned aerial vehicle can take off and land, and the takeoff and landing platform has a display device that can be identified from the sky. wherein the moving object has a display control unit that displays an image including landing environment information on the display device, and the unmanned aerial vehicle displays the landing environment information of the image displayed on the display device with the camera. It has an image recognition unit that recognizes with a camera, and a landing control unit that performs landing control based on the landing environment information acquired by the image recognition unit.

当該飛行システムでは、移動体に設けられた離着陸台が上空から識別可能な表示装置を有し、着陸環境情報を含む画像を上記表示装置に表示する。このため、当該飛行システムでは、離着陸台の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。また、当該飛行システムでは、無人航空機は上記表示装置に表示された画像を上記カメラにより認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。このため、離着陸台の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機を容易に上記離着陸台へ着陸させることができる。さらに、当該飛行システムでは、移動体及び無人航空機間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該飛行システムは、無人航空機のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。 In this flight system, a takeoff/landing platform provided on a moving object has a display device that can be identified from above, and an image including landing environment information is displayed on the display device. Therefore, in the flight system, the image can be updated according to the change in the landing environment of the takeoff/landing platform, so the change in the landing environment can be easily followed. Further, in the flight system, the unmanned aerial vehicle recognizes the image displayed on the display device by the camera, and performs landing control using landing environment information obtained from the image. Therefore, the image updated according to changes in the landing environment of the takeoff/landing pad can be used accurately, so that the unmanned aerial vehicle can be easily landed on the takeoff/landing pad. In addition, such flight systems use images to communicate information between vehicles and unmanned aerial vehicles. Since image-based feedback control can be performed at a higher speed than wireless feedback control, the flight system enables fine-grained flight control of the unmanned aerial vehicle and improves landing position accuracy.

上記着陸環境情報が、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含むとよい。上記着陸環境情報として、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含めることで、移動体が移動することで変化し易い情報を無人航空機の着陸制御に利用することができるので、着陸制御がさらに容易となるうえに、着陸の位置精度をさらに高められる。 The landing environment information may include at least one of the position, altitude, wind speed and illuminance of the takeoff/landing platform, and the speed and direction of travel of the moving body. By including at least one of the position, altitude, wind speed and illuminance of the takeoff/landing platform, and the speed and direction of travel of the moving object as the landing environment information, information that is likely to change as the moving object moves. Since it can be used for the landing control of an unmanned aerial vehicle, the landing control becomes easier and the accuracy of the landing position can be further improved.

上記移動体が、複数の上記離着陸台を有し、それぞれの上記離着陸台の表示装置に着陸台識別子が表示されるとよい。このように複数の上記離着陸台を有する移動体にあっては、それぞれの上記離着陸台の表示装置に離着陸台識別子を表示することで、より確実に無人航空機の着陸誘導ができる。 It is preferable that the moving object has a plurality of takeoff/landing pads, and a landing pad identifier is displayed on a display device of each of the takeoff/landing pads. Thus, in a mobile object having a plurality of takeoff/landing pads, by displaying the takeoff/landing pad identifier on the display device of each of the takeoff/landing pads, the unmanned aerial vehicle can be guided to land more reliably.

上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報が実質的にリアルタイムで更新されるとよい。このように上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報を実質的にリアルタイムで更新することにより、さらに着陸の位置精度を高められる。 The landing environment information may be updated substantially in real time when the unmanned aerial vehicle lands using the image displayed by the display control unit. In this way, by updating the landing environment information substantially in real time when the unmanned aerial vehicle lands using the image displayed by the display control unit, the accuracy of the landing position can be further improved.

上記表示制御部が表示する画像が、二次元バーコードを含むとよい。二次元バーコードは、伝達できる情報量が多く、かつ仕様が公開され汎用性が高い。このように上記表示制御部が表示する画像に二次元バーコードを含めることで、移動体及び無人航空機間で同時に多くの情報を伝達できるうえに、市販の情報変換プログラム等を利用できるので、当該飛行システムの開発及び製造コストを低減できる。なお、本明細書で「二次元バーコード」とは、QRコード(登録商標)を指す。以降、「二次元バーコード」を単に「QRコード」ともいう。 The image displayed by the display control unit preferably includes a two-dimensional barcode. Two-dimensional barcodes can transmit a large amount of information, and their specifications are open to the public, making them highly versatile. By including a two-dimensional barcode in the image displayed by the display control unit in this way, a large amount of information can be transmitted simultaneously between the moving object and the unmanned aerial vehicle. Flight system development and manufacturing costs can be reduced. In this specification, the term "two-dimensional barcode" refers to a QR code (registered trademark). Hereinafter, the "two-dimensional bar code" is also simply referred to as "QR code".

上記課題を解決するためになされた本発明の着陸制御方法は、カメラを有する無人航空機を、移動体が有する離着陸台に着陸させる着陸制御方法であって、上記離着陸台が、上空から識別可能な表示装置を有し、上記無人航空機のカメラが上記離着陸台の表示装置の画像を認識できる位置まで上記移動体が上記無人航空機を誘導するステップと、上記誘導ステップ後に、着陸環境情報を含む画像を上記表示装置に上記移動体が表示するステップと、上記誘導ステップ後に、上記表示装置に表示された画像を上記カメラにより上記無人航空機が取得するステップと、上記画像取得ステップで取得した画像の着陸環境情報に基づいて、上記無人航空機が着陸制御を行うステップとを備える。 A landing control method of the present invention, which has been made to solve the above problems, is a landing control method for landing an unmanned aerial vehicle having a camera on a takeoff/landing platform of a mobile object, wherein the takeoff/landing platform is identifiable from the sky. a step of guiding the unmanned aerial vehicle to a position where a camera of the unmanned aerial vehicle can recognize the image of the display device of the takeoff/landing platform by the moving body; a step of displaying the moving object on the display device; a step of obtaining, by the camera, the image displayed on the display device by the unmanned aerial vehicle after the guiding step; and a landing environment of the image obtained in the image obtaining step. and performing landing control by the unmanned aerial vehicle based on the information.

当該着陸制御方法では、無人航空機のカメラが離着陸台の表示装置の画像を認識できる位置まで移動体が上記無人航空機を誘導した後、着陸環境情報を含む画像を上記表示装置に上記移動体が表示する。また、当該着陸制御方法では、無人航空機は上記表示装置に表示された画像をカメラにより認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。当該着陸制御方法では、離着陸台の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。このため、当該着陸制御方法では、離着陸台の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機を容易に上記離着陸台へ着陸させることができる。さらに、当該着陸制御方法では、移動体及び無人航空機間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該着陸制御方法を用いることで、無人航空機のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。 In the landing control method, after the moving body guides the unmanned aerial vehicle to a position where the camera of the unmanned aerial vehicle can recognize the image on the display device of the takeoff/landing pad, the moving body displays the image including the landing environment information on the display device. do. Further, in the landing control method, the unmanned aerial vehicle recognizes the image displayed on the display device with a camera, and performs landing control using landing environment information obtained from the image. With this landing control method, the image can be updated in accordance with changes in the landing environment of the takeoff/landing platform, so that changes in the landing environment can be easily followed. Therefore, in the landing control method, the image updated according to changes in the landing environment of the takeoff/landing pad can be used appropriately, so that the unmanned aerial vehicle can be easily landed on the takeoff/landing pad. Further, the landing control method uses images to convey information between the mobile object and the unmanned aerial vehicle. Feedback control using images can be performed at a higher speed than feedback control using radio, so by using the landing control method, detailed flight control of the unmanned aerial vehicle is possible, and the accuracy of the landing position can be improved.

ここで、「無人航空機」とは、人が搭乗せず、無線による遠隔操縦又は搭載コンピュータにあらかじめプログラムされたパターンで自律飛行をする航空機の総称であり、典型的には自律航法装置を備えた小型のマルチロータヘリコプタ(ドローン)を指す。また、「移動体」とは、陸地又は水上を自走可能な車両を指し、自動車、オートバイ、船舶等が含まれる。「上空」とは、地上の基準点から天頂となす角度が45度以内かつ基準点からの相対高度が5m以内の範囲を指すものとする。「実質的にリアルタイムで更新される」とは、所定の間隔をおいて更新作業を行う場合を含み、上記所定の間隔は、10分以下、好ましくは5分以下とされる。 Here, "unmanned aerial vehicle" is a general term for aircraft that fly autonomously by remote control by radio or patterns pre-programmed in the on-board computer without a human on board, typically equipped with an autonomous navigation device. A small multi-rotor helicopter (drone). A "moving body" refers to a vehicle capable of self-propelled on land or water, and includes automobiles, motorcycles, ships, and the like. The term “upper sky” refers to a range in which the angle between a reference point on the ground and the zenith is within 45 degrees and the relative altitude from the reference point is within 5 m. The phrase "substantially updated in real time" includes updating at predetermined intervals, and the predetermined interval is 10 minutes or less, preferably 5 minutes or less.

以上説明したように、本発明の飛行システム及び着陸制御方法は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる。 As described above, the flight system and landing control method of the present invention can land an unmanned aerial vehicle on a takeoff/landing platform provided on a mobile body easily and with high positional accuracy.

図1は、本発明の飛行システムの構成を示す模式図である。FIG. 1 is a schematic diagram showing the configuration of the flight system of the present invention. 図2は、図1の無人航空機の構成を示すブロック図である。2 is a block diagram showing the configuration of the unmanned aerial vehicle of FIG. 1. FIG. 図3は、図1の自動車の構成を示すブロック図である。FIG. 3 is a block diagram showing the configuration of the automobile of FIG. 図4は、図3の自動車が有する離着陸台の表示装置に表示される画像の一例である。FIG. 4 is an example of an image displayed on the display device of the take-off/landing platform of the automobile of FIG. 図5は、図1の飛行システムの着陸制御を示すシーケンス図である。FIG. 5 is a sequence diagram showing landing control of the flight system of FIG. 図6は、無人航空機のカメラの画像の倍率の算出を説明する説明図である。FIG. 6 is an explanatory diagram illustrating calculation of the magnification of the image of the camera of the unmanned aerial vehicle.

以下、本発明の一実施形態に係る飛行システム及び着陸制御方法について適宜図面を参照しつつ説明する。 Hereinafter, a flight system and a landing control method according to an embodiment of the present invention will be described with reference to the drawings as appropriate.

〔飛行システム〕
図1に示す飛行システムは、無人航空機1と、移動体である自動車2とを備える。無人航空機1は、また、自動車2は無人航空機1が離着陸可能な離着陸台3を有する。離着陸台3の設置位置は、無人航空機1が着陸可能であれば特に限定されず、図1に示すように自動車2のルーフや、荷台、ボンネット等適宜の位置とできる。また、離着陸台3の広さは、無人航空機1が着陸可能な大きさとされる。
[Flight system]
The flight system shown in FIG. 1 includes an unmanned aerial vehicle 1 and an automobile 2 that is a mobile object. The unmanned aerial vehicle 1 and the car 2 also have a takeoff/landing pad 3 on which the unmanned aerial vehicle 1 can take off and land. The installation position of the takeoff/landing platform 3 is not particularly limited as long as the unmanned aerial vehicle 1 can land thereon, and as shown in FIG. Also, the take-off/landing platform 3 has a size that allows the unmanned aerial vehicle 1 to land thereon.

当該飛行システムでは、無人航空機1が自動車2の離着陸台3に搭載されて目的地まで運搬される。目的地に到着後、無人航空機1は離着陸台3から離陸し、所定の位置まで移動する。所定の位置まで移動した無人航空機1Aは、所定の活動、例えば配送、監視、農薬散布等を行う。その間、自動車2は移動している。所定の活動を終えた無人航空機1Aは、移動後の自動車2Bまで移動し、その離着陸台3へ着陸する。図1で無人航空機1Bは、離着陸台3へ着陸した状態を表している。 In this flight system, an unmanned aerial vehicle 1 is mounted on a takeoff/landing platform 3 of an automobile 2 and transported to a destination. After arriving at the destination, the unmanned aerial vehicle 1 takes off from the takeoff/landing pad 3 and moves to a predetermined position. The unmanned aerial vehicle 1A that has moved to a predetermined position performs predetermined activities such as delivery, surveillance, and agricultural chemical spraying. Meanwhile, the car 2 is moving. The unmanned aerial vehicle 1A that has completed a predetermined activity moves to the vehicle 2B after movement and lands on the takeoff/landing pad 3 thereof. FIG. 1 shows a state in which the unmanned aerial vehicle 1B has landed on the takeoff/landing pad 3. As shown in FIG.

[無人航空機]
無人航空機1は、図2に示すように、記憶部11と、カメラ12と、画像認識部13と、センサ部14と、着陸制御部15と、機体制御用信号送受信部16と、映像データ用無線送受信部17と、通信制御部18とを備える。
[Unmanned aerial vehicles]
As shown in FIG. 2, the unmanned aerial vehicle 1 includes a storage unit 11, a camera 12, an image recognition unit 13, a sensor unit 14, a landing control unit 15, an aircraft control signal transmission/reception unit 16, and a video data A radio transmission/reception unit 17 and a communication control unit 18 are provided.

<記憶部>
記憶部11は、各種情報を一時的あるいは恒久的に記憶する。記憶部11は、例えば半導体メモリ、固定ディスク、リムーバルディスク等で構成される。
<Memory unit>
The storage unit 11 temporarily or permanently stores various types of information. The storage unit 11 is composed of, for example, a semiconductor memory, a fixed disk, a removable disk, or the like.

記憶部11が記憶する情報としては、例えば無人航空機1(自機)のID情報、着陸すべき自動車2のID情報などを挙げることができる。また、例えば画像認識部13が画像処理を行う際、記憶部11は、その処理データを一時記憶するために用いてもよい。 Examples of information stored in the storage unit 11 include ID information of the unmanned aerial vehicle 1 (own aircraft), ID information of the automobile 2 to be landed, and the like. Further, for example, when the image recognition unit 13 performs image processing, the storage unit 11 may be used to temporarily store the processed data.

<カメラ>
カメラ12は、図1に示すように、無人航空機1が着陸時に下方を撮像できるように設置されている。具体的な位置は特に限定されないが、例えば図1に示すように無人航空機1の胴体の下面にレンズが下方に向くように取り付けられている。
<Camera>
As shown in FIG. 1, the camera 12 is installed so that the unmanned aerial vehicle 1 can take an image below when it lands. Although the specific position is not particularly limited, for example, as shown in FIG.

カメラ12としては、無人航空機に搭載可能な公知のカメラを用いることができる。カメラ12は、例えば風景や地形の撮影、飛行時の周囲の監視等を行うカメラと共通としてもよい。 A known camera that can be mounted on an unmanned aerial vehicle can be used as the camera 12 . The camera 12 may be used in common with, for example, a camera for photographing landscapes and topography, monitoring the surroundings during flight, and the like.

カメラ12は、後述する離着陸台3の表示装置31に表示された着陸環境情報を含む画像を撮影することができる。撮影した画像は後述する通信制御部18を介して記憶部11に格納される。 The camera 12 can capture an image including landing environment information displayed on a display device 31 of the takeoff/landing platform 3, which will be described later. The captured image is stored in the storage unit 11 via the communication control unit 18, which will be described later.

<画像認識部>
画像認識部13は、表示装置31に表示された画像の着陸環境情報をカメラ12により認識する。この画像認識部13は、例えばCPU(Central Processing Unit)等の演算処理装置により構成することができる。上記演算処理装置として、DSP(Digital Signal Processor)等の画像処理専用のプロセッサを用いてもよい。
<Image recognition unit>
The image recognition unit 13 uses the camera 12 to recognize the landing environment information of the image displayed on the display device 31 . The image recognition unit 13 can be configured by an arithmetic processing unit such as a CPU (Central Processing Unit). A processor dedicated to image processing such as a DSP (Digital Signal Processor) may be used as the arithmetic processing device.

具体的には、画像認識部13は、記憶部11に格納されているカメラ12の撮影画像を後述する通信制御部18を介して読み出し、その画像に対して演算処理(いわゆる画像処理)を行うことで着陸環境情報を抽出する。抽出される着陸環境情報については、後述する。 Specifically, the image recognizing unit 13 reads an image captured by the camera 12 stored in the storage unit 11 via the communication control unit 18, which will be described later, and performs arithmetic processing (so-called image processing) on the image. to extract the landing environment information. The extracted landing environment information will be described later.

<センサ部>
センサ部14は、無人航空機1の位置や飛行状態等を検出するためのジャイロセンサ、速度センサ、航法センサ等の公知の機体センサを有する。
<Sensor part>
The sensor unit 14 has known body sensors such as a gyro sensor, a speed sensor, and a navigation sensor for detecting the position and flight state of the unmanned aerial vehicle 1 .

また、センサ部14は、無人航空機1の周辺の環境を測定する環境センサを備えてもよい。上記環境センサとしては、例えば無人航空機1から見た自動車2の相対運動(位置、速度や進行方向)を検出するセンサや、無人航空機1と離着陸台3との間の障害物等を検出するセンサを挙げることができる。無人航空機1は、離着陸台3に着陸するまでの間、離着陸台3とは高度差がある。特に高度差が大きい段階においては、地上にある離着陸台3とは風速や気流の方向が異なる。無人航空機1は飛行しているため、これら風速や気流により着陸のための飛行制御に誤差が生じ得るが、上記環境センサとして、自動車2の相対運動を検出する環境センサを備えることで、この誤差を補正し易くなる。また、障害物等を検出するセンサを備えることで、安全な着陸径路を探索し易くできる。 Moreover, the sensor unit 14 may include an environment sensor that measures the environment around the unmanned aerial vehicle 1 . Examples of the environmental sensors include sensors that detect the relative motion (position, speed, and direction of travel) of the vehicle 2 as seen from the unmanned aerial vehicle 1, and sensors that detect obstacles between the unmanned aerial vehicle 1 and the takeoff/landing pad 3. can be mentioned. The unmanned aerial vehicle 1 has an altitude difference from the takeoff/landing pad 3 until it lands on the takeoff/landing pad 3. - 特許庁Especially in the stage where the altitude difference is large, the wind speed and direction of the airflow are different from those of the takeoff/landing platform 3 on the ground. Since the unmanned aerial vehicle 1 is flying, these wind speeds and air currents can cause errors in flight control for landing. becomes easier to correct. In addition, by providing a sensor for detecting obstacles and the like, it becomes easier to search for a safe landing route.

<着陸制御部>
着陸制御部15は、画像認識部13、センサ部14、及び後述する機体制御用信号送受信部16等から得られる情報に基づき、飛行経路を決定し、安全に無人航空機1を離着陸台3へ着陸できるよう無人航空機1の姿勢や速度、進行方向を制御する。
<Landing control unit>
The landing control unit 15 determines the flight path based on the information obtained from the image recognition unit 13, the sensor unit 14, and the aircraft control signal transmission/reception unit 16, which will be described later, and safely lands the unmanned aerial vehicle 1 on the takeoff/landing platform 3. The attitude, speed, and traveling direction of the unmanned aerial vehicle 1 are controlled so that

着陸制御部15は、飛行経路や無人航空機1の取るべき姿勢を算出する例えばCPU等の演算処理装置と、無人航空機1の飛行制御装置とにより構成される。上記演算処理装置は、例えば画像認識部13の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。無人航空機1の飛行制御装置は公知であるため、詳細説明を省略する。 The landing control unit 15 includes an arithmetic processing unit such as a CPU for calculating the flight path and the attitude that the unmanned aerial vehicle 1 should take, and a flight control device for the unmanned aerial vehicle 1 . The arithmetic processing unit may serve as part or all of other arithmetic processing units such as the arithmetic processing unit of the image recognition unit 13, or may be provided independently of each other. Since the flight control device for the unmanned aerial vehicle 1 is well known, detailed description thereof will be omitted.

<機体制御用信号送受信部>
機体制御用信号送受信部16は、自動車2と無人航空機1との間で機体制御用信号を送受信するためのアンテナである。
<Signal transmitting/receiving section for aircraft control>
The body control signal transmission/reception unit 16 is an antenna for transmitting and receiving body control signals between the vehicle 2 and the unmanned aerial vehicle 1 .

上記機体制御用信号としては、無人航空機1が着陸を行う場合であれば、例えば無人航空機1から自動車2への着陸要求信号や、自動車2から無人航空機1への着陸許可信号など、公知の着陸動作に必要な信号が挙げられる。 If the unmanned aerial vehicle 1 is to land, the aircraft control signal may be a known landing signal such as a landing request signal from the unmanned aerial vehicle 1 to the automobile 2 or a landing permission signal from the automobile 2 to the unmanned aerial vehicle 1. Signals necessary for operation are mentioned.

また、機体制御用信号送受信部16は、無人航空機1の位置情報を確認するためのGPS(Global Positioning System)衛星との通信を行うこともできるよう構成されている。 The aircraft control signal transmission/reception unit 16 is also configured to be able to communicate with a GPS (Global Positioning System) satellite for confirming the position information of the unmanned aircraft 1 .

<映像データ用無線送受信部>
映像データ用無線送受信部17は、カメラ12で撮影した映像データを自動車2へ送信し、また自動車2で撮影した映像データを受信するためのアンテナである。
<Wireless transmitter/receiver for video data>
The video data radio transmission/reception unit 17 is an antenna for transmitting video data captured by the camera 12 to the vehicle 2 and for receiving video data captured by the vehicle 2 .

この映像データ用無線送受信部17は、機体制御用信号送受信部16と兼ねて1つのアンテナとしてもよいが、データ送受信の効率化の観点から別に設けられることが好ましい。また、映像データ用無線送受信部17を別体とすることで、既存の無人航空機1に対して映像データ用無線送受信部17を取り付けることで容易に機能を追加できるので、当該飛行システムを実現し易いという利点もある。 The video data radio transmitting/receiving section 17 may serve as one antenna as well as the body control signal transmitting/receiving section 16, but it is preferable to provide it separately from the viewpoint of efficiency of data transmission/reception. In addition, by providing the video data radio transmission/reception unit 17 as a separate unit, it is possible to easily add functions by attaching the video data radio transmission/reception unit 17 to the existing unmanned aerial vehicle 1, thereby realizing the flight system. It also has the advantage of being easy.

<通信制御部>
通信制御部18は、機体制御用信号送受信部16及び映像データ用無線送受信部17で自動車2と通信を行うための変復調、符号化及び復号化を行うとともに、記憶部11、カメラ12、画像認識部13、センサ部14、着陸制御部15、機体制御用信号送受信部16及び映像データ用無線送受信部17の間でのデータのやり取りを制御する。
<Communication control unit>
The communication control unit 18 performs modulation/demodulation, encoding, and decoding for communicating with the automobile 2 by the body control signal transmission/reception unit 16 and the video data wireless transmission/reception unit 17, and also controls the storage unit 11, the camera 12, and the image recognition unit. It controls the exchange of data among the unit 13 , the sensor unit 14 , the landing control unit 15 , the aircraft control signal transmission/reception unit 16 , and the video data wireless transmission/reception unit 17 .

この通信制御部18は、例えばCPU等の演算処理装置により構成することができる。上記演算処理装置は、例えば画像認識部13や着陸制御部15の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。 The communication control unit 18 can be configured by an arithmetic processing device such as a CPU. The arithmetic processing unit may serve as part or all of other arithmetic processing units such as the arithmetic processing units of the image recognition unit 13 and the landing control unit 15, or may be provided independently of each other.

また、通信制御部18が自動車2と通信を行う回線は、特に限定されず公知の回線、例えばモバイルに用いられる3G帯や4G帯、WiFi(IEEE 802.11規格の無線LAN)、ITS(Intelligent Transport Systems:高度道路交通システムで利用されているDSRC(Dedicated Short Range Communications)などを利用することができる。 Also, the line through which the communication control unit 18 communicates with the automobile 2 is not particularly limited, and is a known line, such as a 3G band or 4G band used for mobile, WiFi (IEEE 802.11 standard wireless LAN), ITS (Intelligent Transport Systems: DSRC (Dedicated Short Range Communications) used in intelligent transportation systems can be used.

[自動車]
自動車2は、無人航空機1を制御するための車載機4を備える。車載機4は、表示制御部40と、記憶部41と、カメラ42と、画像認識部43と、センサ部44と、距離方位演算部45と、コマンド生成部46と、機体制御用信号送受信部47と、映像データ用無線送受信部48と、通信制御部49とを有する。また、上述のように自動車2は、離着陸台3を備え、離着陸台3は表示装置31を有する。
[Automobile]
The automobile 2 has an on-vehicle device 4 for controlling the unmanned aerial vehicle 1 . The in-vehicle device 4 includes a display control unit 40, a storage unit 41, a camera 42, an image recognition unit 43, a sensor unit 44, a distance and direction calculation unit 45, a command generation unit 46, and a body control signal transmission/reception unit. 47 , a radio transmission/reception unit 48 for video data, and a communication control unit 49 . Further, as described above, the automobile 2 includes the takeoff/landing pad 3 , and the takeoff/landing pad 3 has the display device 31 .

<表示制御部>
表示制御部40は、着陸環境情報を含む画像を表示装置31に表示する。具体的には、表示制御部40は、後述する離着陸台3の表示装置31に表示する画像情報データを作成し、表示装置31に送信する。この表示制御部40は、例えばCPU等の演算処理装置により構成することができる。
<Display control part>
The display control unit 40 displays an image including the landing environment information on the display device 31 . Specifically, the display control unit 40 creates image information data to be displayed on the display device 31 of the takeoff/landing platform 3 to be described later, and transmits the image information data to the display device 31 . The display control unit 40 can be configured by an arithmetic processing unit such as a CPU, for example.

<記憶部>
記憶部41は、各種情報を一時的あるいは恒久的に記憶する。記憶部41は、無人航空機1の記憶部11と同様に構成できる。
<Memory section>
The storage unit 41 temporarily or permanently stores various information. The storage unit 41 can be configured similarly to the storage unit 11 of the unmanned aerial vehicle 1 .

記憶部41には、その領域の一部にデータベースが格納されていてもよい。このデータベースには、無人航空機1のIDや制御のためのシーケンス手順等の各種情報、HMI(Human Machine Interface)に必要な音声認識データなど格納され、複数種の無人航空機1の制御を実現したり、乗員からの声による指示を認識したりすることが可能とする。 A database may be stored in part of the area of the storage unit 41 . This database stores the ID of the unmanned aerial vehicle 1, various information such as sequence procedures for control, voice recognition data necessary for HMI (Human Machine Interface), etc., and realizes control of multiple types of unmanned aerial vehicles 1. , and to recognize instructions by voice from the passenger.

<カメラ>
カメラ42は、自動車2の離着陸台3へ着陸体勢に入っている無人航空機1を自動車2側から撮影するために用いられる。
<Camera>
The camera 42 is used to photograph the unmanned aerial vehicle 1 that is in a landing posture on the takeoff/landing pad 3 of the automobile 2 from the automobile 2 side.

このカメラ42は、無人航空機1を撮影できる限り、その種類は特に限定されない。また、カメラ42は、無人航空機1を撮影できるように自動車2の上部、好ましくは離着陸台3に上空を撮影できるように設置される。 The type of the camera 42 is not particularly limited as long as it can photograph the unmanned aerial vehicle 1 . In addition, the camera 42 is installed above the vehicle 2, preferably on the takeoff/landing platform 3, so as to photograph the unmanned aerial vehicle 1 in the sky.

カメラ42が撮影した画像は、後述する通信制御部49を介して記憶部41に格納される。 Images captured by the camera 42 are stored in the storage unit 41 via a communication control unit 49, which will be described later.

<画像認識部>
画像認識部43は、上述のようにカメラ42で撮影された無人航空機1を認識する。この画像認識部43は、認識対象が無人航空機1である点を除き、無人航空機1の画像認識部13と同様に構成できる。
<Image recognition unit>
The image recognition unit 43 recognizes the unmanned aerial vehicle 1 photographed by the camera 42 as described above. This image recognition unit 43 can be configured in the same manner as the image recognition unit 13 of the unmanned aerial vehicle 1 except that the recognition target is the unmanned aerial vehicle 1 .

<センサ部>
センサ部44は、離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向を取得するための測定装置等を有する。
<Sensor part>
The sensor unit 44 has a measuring device and the like for acquiring the position, altitude, wind speed and illuminance of the takeoff/landing platform 3 and the speed and traveling direction of the automobile 2 .

離着陸台3の位置は、GPS衛星からの情報に基づいて取得可能である。離着陸台3の高度は、GPS衛星からの情報に基づいてもよいが、センサ部44として高度計を備えてもよい。離着陸台3の風速や照度は、センサ部44として風速計や照度計を備えることで取得できる。自動車2の速度は、自動車2が自走のために有する速度計を用いることで取得できる。自動車2の進行方向は、GPS衛星からの情報に基づいてもよいが、センサ部44として方位計を備えてもよい。 The position of the takeoff/landing pad 3 can be acquired based on information from GPS satellites. The altitude of the take-off/landing platform 3 may be based on information from GPS satellites, or an altimeter may be provided as the sensor section 44 . The wind speed and illuminance of the takeoff/landing pad 3 can be obtained by providing an anemometer and an illuminance meter as the sensor unit 44 . The speed of the automobile 2 can be obtained by using a speedometer that the automobile 2 has for self-running. The traveling direction of the automobile 2 may be determined based on information from GPS satellites, or a compass may be provided as the sensor section 44 .

<距離方位演算部>
距離方位演算部45は、着陸体勢に入っている飛行中の無人航空機1と自動車2との距離と方位とを算出する。距離方位演算部45は、例えばCPU等の演算処理装置により構成することができる。この演算処理装置は、例えば画像認識部43の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。以下、演算処理装置で構成されるものについては、同様である。
<Distance and direction calculator>
The distance and direction calculation unit 45 calculates the distance and direction between the unmanned aerial vehicle 1 and the vehicle 2 during flight in the landing posture. The distance/azimuth calculation unit 45 can be configured by a calculation processing device such as a CPU, for example. This arithmetic processing unit may serve as part or all of other arithmetic processing units such as the arithmetic processing unit of the image recognition unit 43, or may be provided independently of each other. The same applies to the following that are configured by the arithmetic processing unit.

無人航空機1は比較的小さいため、距離方位を測定するための基点は、例えば無人航空機1の重心位置等で代表できる。一方、自動車2は比較的大きいため、距離方位を測定するための基点は、無人航空機1が実際に着陸する離着陸台3に設定することが好ましく、離着陸台3の中心付近(無人航空機1が実際に着陸する際の中心位置)に設定することがさらに好ましい。このように基点を決定することで、着陸に必要な距離及び方位の精度を高めることができる。 Since the unmanned aerial vehicle 1 is relatively small, the base point for measuring the distance and direction can be represented by the center of gravity of the unmanned aerial vehicle 1, for example. On the other hand, since the automobile 2 is relatively large, it is preferable to set the base point for measuring the distance and direction on the takeoff/landing pad 3 where the unmanned aerial vehicle 1 actually lands. It is more preferable to set it to the center position when landing on the ground. By determining the base point in this way, the accuracy of the distance and bearing required for landing can be improved.

無人航空機1と自動車2との距離及び方位の算出は、カメラ42により撮影されたドローンの画像データとカメラ42の撮影方位とを用いて行うことができる。あるいは、無人航空機1から映像データ用無線送受信部17を介して送信されてくる画像データを用いてもよい。さらに、GPS衛星からの無人航空機1や自動車2の位置情報を用いることもできる。これらは単独で用いてもよいし、2つ以上を組み合わせて用いてもよい。組み合わせて用いることで、距離及び方位の算出精度を向上させることができる。 The distance and direction between the unmanned aerial vehicle 1 and the vehicle 2 can be calculated using drone image data captured by the camera 42 and the direction captured by the camera 42 . Alternatively, image data transmitted from the unmanned aerial vehicle 1 via the wireless transmission/reception unit 17 for image data may be used. Furthermore, positional information of the unmanned aerial vehicle 1 and the automobile 2 from GPS satellites can also be used. These may be used alone or in combination of two or more. By using them in combination, it is possible to improve the calculation accuracy of the distance and direction.

<コマンド生成部>
コマンド生成部46は、離着陸台3の表示装置31に表示すべき着陸環境情報を含む情報の生成と、その情報に対応した無人航空機1への制御コマンドとを生成する。コマンド生成部46は、例えばCPU等の演算処理装置により構成することができる。
<Command generator>
The command generation unit 46 generates information including landing environment information to be displayed on the display device 31 of the takeoff/landing platform 3 and generates control commands to the unmanned aerial vehicle 1 corresponding to the information. The command generator 46 can be configured by an arithmetic processing device such as a CPU, for example.

上記着陸環境情報を含む情報は、後述する通信制御部49を介して表示制御部40へ送信され、表示制御部40により画像情報データが作成され、表示装置31に表示される。コマンド生成部46は、この着陸環境情報としてセンサ部44で取得した情報である離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向を用いる。つまり、上記着陸環境情報は、離着陸台3の位置、高度、及び照度、並びに自動車2の速度及び進行方向のうちの少なくとも1つを含む。上記着陸環境情報として、これらのうちの少なくとも1つを含めることで、自動車2が移動することで変化し易い情報を無人航空機1の着陸制御に利用することができるので、着陸制御がさらに容易となるうえに、着陸の位置精度をさらに高められる。 Information including the landing environment information is transmitted to the display control unit 40 via the communication control unit 49 to be described later, and image information data is created by the display control unit 40 and displayed on the display device 31 . The command generation unit 46 uses the position, altitude, wind speed and illuminance of the takeoff/landing platform 3 and the speed and traveling direction of the automobile 2, which are the information acquired by the sensor unit 44, as the landing environment information. That is, the landing environment information includes at least one of the position, altitude, and illuminance of the takeoff/landing pad 3 and the speed and traveling direction of the vehicle 2 . By including at least one of these as the landing environment information, it is possible to use the information, which is likely to change as the vehicle 2 moves, for the landing control of the unmanned aerial vehicle 1, thereby further facilitating the landing control. In addition, the accuracy of the landing position can be further improved.

また、コマンド生成部46は、距離方位演算部45が算出した自動車2から見た無人航空機1の距離に応じて表示する画像の大きさを変えるように、表示装置31に対してコマンドを生成してもよい。具体的には、上記距離が大きいほど画像を大きくするとよい。このように上記距離に応じて画像の大きさを変えることで、着陸時の無人航空機1からの画像の視認性を高めることができる。また、上記距離が小さい場合に画像を小さくすることで、無人航空機1での画像の認識速度を向上できる。 Also, the command generation unit 46 generates a command for the display device 31 so as to change the size of the image to be displayed according to the distance of the unmanned aerial vehicle 1 from the vehicle 2 calculated by the distance/azimuth calculation unit 45. may Specifically, the larger the distance, the larger the image. By changing the size of the image according to the above distance in this manner, the visibility of the image from the unmanned aerial vehicle 1 during landing can be enhanced. Further, by reducing the size of the image when the distance is small, the image recognition speed of the unmanned aerial vehicle 1 can be improved.

画像の大きさは上記距離に応じて連続的に変化させてもよいが、一定の距離ごとに段階的に画像の大きさを変えてもよい。段階的に画像の大きさを変える方法としては、例えば予め決定された上記距離の閾値に対し、上記距離が閾値を下回ると(上記距離が小さくなると)、画像の面積を1/4(長さを1/2)とする方法を挙げることができる。 The size of the image may be changed continuously according to the above distance, or the size of the image may be changed stepwise for each fixed distance. As a method for changing the size of the image stepwise, for example, when the distance falls below a predetermined distance threshold value (when the distance becomes smaller), the area of the image is reduced to 1/4 (length is 1/2).

コマンド生成部46は、無人航空機1の着陸時には、実質的にリアルタイムで表示装置31に表示すべき情報の生成を行う。コマンド生成部46からの情報に基づいて表示制御部40により画像情報データが作成され、表示装置31に表示されるから、表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される。このように表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報を実質的にリアルタイムで更新することにより、さらに着陸の位置精度を高められる。 The command generator 46 generates information to be displayed on the display device 31 substantially in real time when the unmanned aerial vehicle 1 lands. Image information data is created by the display control unit 40 based on information from the command generation unit 46, and displayed on the display device 31. Therefore, the image displayed by the display control unit 40 can be used to determine the landing environment when the unmanned aerial vehicle 1 lands. Information is updated substantially in real time. By using the image displayed by the display control unit 40 in this way, the landing environment information is updated substantially in real time when the unmanned aerial vehicle 1 lands, thereby further improving the accuracy of the landing position.

一方、上記制御コマンドは、通信制御部49を介して機体制御用信号送受信部47から無人航空機1へ送信される。無人航空機1へ送信された制御コマンドは、無人航空機1の機体制御用信号送受信部16で受信され、着陸制御部15へ送られる。なお、この制御コマンドは、主として機体制御用のコマンドであるが、他のコマンドを含んでもよい。 On the other hand, the control command is transmitted from the aircraft control signal transmission/reception unit 47 to the unmanned aerial vehicle 1 via the communication control unit 49 . The control command transmitted to the unmanned aerial vehicle 1 is received by the body control signal transmitting/receiving section 16 of the unmanned aerial vehicle 1 and sent to the landing control section 15 . Note that this control command is mainly a command for machine control, but may include other commands.

<機体制御用信号送受信部>
機体制御用信号送受信部47は、自動車2と無人航空機1との間で機体制御用信号を送受信するためのアンテナである。この機体制御用信号送受信部47は、無人航空機1の機体制御用信号送受信部16と同様に構成される。
<Signal transmitting/receiving section for aircraft control>
The body control signal transmission/reception unit 47 is an antenna for transmitting and receiving body control signals between the vehicle 2 and the unmanned aerial vehicle 1 . The body control signal transmission/reception unit 47 is configured similarly to the body control signal transmission/reception unit 16 of the unmanned aerial vehicle 1 .

<映像データ用無線送受信部>
映像データ用無線送受信部48は、カメラ42で撮影した映像データを無人航空機1へ送信し、また無人航空機1で撮影した映像データを受信するためのアンテナである。この映像データ用無線送受信部48は、無人航空機1の映像データ用無線送受信部17と同様に構成される。
<Wireless transmitter/receiver for video data>
The video data wireless transmission/reception unit 48 is an antenna for transmitting video data captured by the camera 42 to the unmanned aerial vehicle 1 and for receiving video data captured by the unmanned aerial vehicle 1 . The video data wireless transmission/reception unit 48 is configured similarly to the video data wireless transmission/reception unit 17 of the unmanned aerial vehicle 1 .

<通信制御部>
通信制御部49は、機体制御用信号送受信部47及び映像データ用無線送受信部48で無人航空機1と通信を行うための変復調、符号化及び復号化を行うとともに、表示制御部40、記憶部41、カメラ42、画像認識部43、センサ部44、距離方位演算部45、コマンド生成部46、機体制御用信号送受信部47、及び映像データ用無線送受信部48の間でのデータのやり取りを制御する。
<Communication control unit>
The communication control unit 49 performs modulation/demodulation, encoding, and decoding for communicating with the unmanned aerial vehicle 1 by the body control signal transmission/reception unit 47 and the video data wireless transmission/reception unit 48, and also controls the display control unit 40 and the storage unit 41. , camera 42, image recognition unit 43, sensor unit 44, distance and direction calculation unit 45, command generation unit 46, aircraft control signal transmission/reception unit 47, and video data wireless transmission/reception unit 48. .

この通信制御部49は、例えばCPU等の演算処理装置により構成することができる。また、通信を行う回線としては、無人航空機1の通信制御部18と対応する回線が用いられる。 The communication control unit 49 can be configured by an arithmetic processing unit such as a CPU. A line corresponding to the communication control unit 18 of the unmanned aerial vehicle 1 is used as a line for communication.

<表示装置>
表示装置31は離着陸台3の上面側に配設されている。表示装置31を離着陸台3の最表面に配設し、表示装置31自体に無人航空機1を着陸させることもできるが、離着陸台3を表面がメッシュ状で、かつ表面側から流入する空気を側方へ流出する空気孔を有する中空板状の部材で構成し、表示装置31を上記部材の中空部で、空気の側方への流出を妨げない位置に配設することが好ましい。このような構成にあっては、無人航空機1は上記部材のメッシュ状部分に着陸する。無人航空機1は着陸時には下方に向かって強い気流を発生するが、この下方気流はメッシュを通過し、上記空気孔を介して側方へ流出する。このため、無人航空機1の着陸直前に発生し易い離着陸台3からの反射気流の影響を低減でき、無人航空機1の着陸制御の安定性を高められる。また、表示装置31を上記部材の中空部に配設することで、無人航空機1が直接着陸することがないため、表示装置31の故障や破損の発生を低減できる。なお、この構成では、メッシュの径は、表示装置31の表示を上空から識別可能な程度に粗くされる。
<Display device>
The display device 31 is arranged on the upper surface side of the takeoff/landing platform 3 . The display device 31 can be arranged on the outermost surface of the takeoff/landing platform 3, and the unmanned aerial vehicle 1 can be landed on the display device 31 itself. It is preferable that the display device 31 is formed of a hollow plate-shaped member having an air hole that flows out sideways, and that the display device 31 is arranged in the hollow portion of the member at a position that does not hinder the sideward flow of air. With such a configuration, the unmanned aerial vehicle 1 lands on the mesh-like portion of the member. When the unmanned aerial vehicle 1 lands, a strong downward air current is generated, and this downward air current passes through the mesh and flows out sideways through the air holes. Therefore, it is possible to reduce the influence of the reflected airflow from the takeoff/landing pad 3 that is likely to occur immediately before the unmanned aerial vehicle 1 lands, thereby enhancing the stability of the landing control of the unmanned aerial vehicle 1 . In addition, by arranging the display device 31 in the hollow portion of the member, the unmanned aerial vehicle 1 does not land directly, so that the display device 31 can be prevented from malfunctioning or being damaged. In this configuration, the diameter of the mesh is made coarse enough to make the display on the display device 31 recognizable from above.

表示装置31としては、公知の液晶ディスプレイ等を用いることができるが、中でもフレキシブルディスプレイが好ましい。フレキシブルディプレイを用いることで、画像表示が必要な際に離着陸台3に適宜配設することができるので、不要時は格納することで表示装置31の故障や破損の発生を低減できる。また、フレキシブルディスプレイは薄いので、無人航空機1の着陸時の下方気流に影響を与え難い。 A known liquid crystal display or the like can be used as the display device 31, but a flexible display is particularly preferable. By using the flexible display, it can be appropriately arranged on the take-off/landing pad 3 when image display is required, and by storing it when not needed, the occurrence of failure or damage to the display device 31 can be reduced. Moreover, since the flexible display is thin, it does not easily affect the downward air current when the unmanned aerial vehicle 1 lands.

図4に表示装置31が表示する画像を例示する。図4の表示装置31が表示する画像は、ヘリポートマーク31aと、一対の着陸環境情報(QRコード31b)とを含む。 FIG. 4 illustrates an image displayed by the display device 31. As shown in FIG. The image displayed by the display device 31 in FIG. 4 includes a heliport mark 31a and a pair of landing environment information (QR code 31b).

ヘリポートマーク31aは、Hマークであり、本実施形態では、無人航空機1が着陸する目標となるマークとして用いられている。無人航空機1は、このヘリポートマーク31aの着陸中心点Mに向かって着陸する。 The heliport mark 31a is an H mark, and in this embodiment, it is used as a target mark on which the unmanned aerial vehicle 1 lands. The unmanned aerial vehicle 1 lands toward the landing center point M of this heliport mark 31a.

一対の着陸環境情報は、着陸中心点Mを中心に点対称に置かれている。一対の着陸環境情報の距離(着陸環境情報を表示する領域の中心間の距離)は、上空からその距離を識別可能な距離とされる。このように一対の着陸環境情報を構成することで、無人航空機1は一対の着陸環境情報を直線で結んだ線の中点を目指して降下することで、着陸中心点Mに着陸することができる。 A pair of landing environment information are placed point-symmetrically with the landing center point M as the center. The distance between a pair of landing environment information (the distance between the centers of the areas displaying the landing environment information) is a distance that can be identified from the sky. By configuring a pair of landing environment information in this way, the unmanned aerial vehicle 1 can land at the landing center point M by descending aiming at the midpoint of the line connecting the pair of landing environment information with a straight line. .

一対の着陸環境情報は、図4ではQRコード31bとして表示されている。つまり、表示制御部40が表示する画像が、QRコード31bを含む。QRコード31bは、伝達できる情報量が多く、かつ仕様が公開され汎用性が高い。このように表示制御部40が表示する画像にQRコード31bを含めることで、自動車2及び無人航空機1の間で同時に多くの情報を伝達できるうえに、既存の情報変換プログラム等の資産を活用できるので、当該飛行システムの開発及び製造コストを低減できる。 A pair of landing environment information is displayed as a QR code 31b in FIG. That is, the image displayed by the display control unit 40 includes the QR code 31b. The QR code 31b has a large amount of information that can be transmitted, and its specifications are open to the public, making it highly versatile. By including the QR code 31b in the image displayed by the display control unit 40 in this way, a large amount of information can be simultaneously transmitted between the automobile 2 and the unmanned aerial vehicle 1, and assets such as existing information conversion programs can be utilized. Therefore, development and manufacturing costs of the flight system can be reduced.

QRコード31bには、その仕様からファインダーパターンA(位置検出用パターン)が、3コーナーに配置されている。例えば図4ではファインダーパターンAは、図4のQRコード31bの右下以外に配置されている。ここで、ファインダーパターンAを配置しない位置を例えば自動車2の進行方向に対して右後方と決めておけば、無人航空機1はQRコード31bのファインダーパターンAの位置を認識することで、自動車2の進行方向が図4の矢印の方向であることを読み取ることができる。なお、自動車2の進行方向を表示する方法は、これに限定されず、QRコード31bのデータ部のデータとして表示してもよい。 The QR code 31b has finder patterns A (position detection patterns) arranged at three corners according to its specifications. For example, in FIG. 4, the finder pattern A is arranged other than the lower right corner of the QR code 31b in FIG. Here, if the position where the finder pattern A is not arranged is determined, for example, to the rear right with respect to the traveling direction of the automobile 2, the unmanned aerial vehicle 1 recognizes the position of the finder pattern A of the QR code 31b, and the position of the automobile 2 is detected. It can be read that the traveling direction is the direction of the arrow in FIG. The method of displaying the traveling direction of the automobile 2 is not limited to this, and may be displayed as data in the data portion of the QR code 31b.

また、上記着陸環境情報には、離着陸台3の位置、高度、及び照度、並びに自動車2の速度が含まれ得るが、QRコード31bの場合、これらはデータ部のデータとして表示することができる。 The landing environment information may include the position, altitude, and illumination of the takeoff/landing platform 3 and the speed of the vehicle 2. In the case of the QR code 31b, these can be displayed as data in the data section.

QRコード31bは数字で最大7089字の情報を格納できるので、必要に応じて他の情報を含めることも可能である。このような他の情報としては、自動車2のIDや着陸すべき無人航空機1のIDを挙げることができる。これらの情報はリアルタイムで変化する情報ではないが、表示装置31に直接表示し、無人航空機1側でIDを照合することで、例えば無人航空機1が誤った移動体へ着陸することを防止できる。 Since the QR code 31b can store information of up to 7089 numerical characters, it is possible to include other information as necessary. Such other information may include the ID of the vehicle 2 and the ID of the unmanned aerial vehicle 1 to land. These pieces of information do not change in real time, but by displaying them directly on the display device 31 and collating the IDs on the side of the unmanned aerial vehicle 1, for example, it is possible to prevent the unmanned aerial vehicle 1 from landing on the wrong mobile object.

以下、図4に示す画像が表示される表示装置31をもとに説明するが、表示装置31が表示する画像等はこれに限定されるものではない。例えば、着陸環境情報はQRコード31bで表示されるものに限定されるものではなく、一部又は全部が他の表示方法で表示されるものであってもよい。ヘリポートマーク31aはHマークに限定されるものではなく、他の表示であってもよい。また、ヘリポートマーク31aは必ずしも表示装置31に表示される必要はなく、離着陸台3に直接描画しておくことも可能である。さらに、ヘリポートマーク31aは必須の表示ではなく省略することもできる。 The following description is based on the display device 31 that displays the image shown in FIG. 4, but the image and the like displayed by the display device 31 are not limited to this. For example, the landing environment information is not limited to being displayed by the QR code 31b, and part or all of it may be displayed by other display methods. The heliport mark 31a is not limited to the H mark, and may be another display. Further, the heliport mark 31a does not necessarily have to be displayed on the display device 31, and can be drawn directly on the takeoff/landing pad 3. FIG. Furthermore, the heliport mark 31a is not an essential display and can be omitted.

<利点>
当該飛行システムでは、移動体である自動車2に設けられた離着陸台3が上空から識別可能な表示装置31を有し、着陸環境情報を含む画像を表示装置31に表示する。このため、当該飛行システムでは、離着陸台3の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。また、当該飛行システムでは、無人航空機1は表示装置31に表示された画像をカメラ12により認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。このため、離着陸台3の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機1を容易に離着陸台3へ着陸させることができる。さらに、当該飛行システムでは、自動車2及び無人航空機1間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該飛行システムは、無人航空機1のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
<Advantages>
In this flight system, a take-off/landing pad 3 provided on a vehicle 2, which is a moving body, has a display device 31 that can be identified from above, and displays an image including landing environment information on the display device 31. FIG. Therefore, in the flight system, the image can be updated in accordance with changes in the landing environment of the takeoff/landing platform 3, so that changes in the landing environment can be easily followed. In the flight system, the unmanned aerial vehicle 1 recognizes the image displayed on the display device 31 by the camera 12, and performs landing control using landing environment information obtained from the image. Therefore, the image updated according to changes in the landing environment of the takeoff/landing platform 3 can be used accurately, so that the unmanned aerial vehicle 1 can be easily landed on the takeoff/landing platform 3 . Furthermore, the flight system uses images to convey information between the vehicle 2 and the unmanned aerial vehicle 1 . Since image-based feedback control can be performed at a higher speed than radio-based feedback control, the flight system enables fine-grained flight control of the unmanned aerial vehicle 1 and improves landing position accuracy.

〔着陸制御方法〕
次に、着陸制御方法について図5を用いて説明する。当該着陸制御方法は、当該飛行システムで用いられる。つまり、当該着陸制御方法は、カメラ12を有する無人航空機1を、移動体(自動車2)が有する離着陸台3に着陸させる着陸制御方法である。また、離着陸台3が、上空から識別可能な表示装置31を有している。
[Landing control method]
Next, the landing control method will be explained using FIG. The landing control method is used in the flight system. In other words, the landing control method is a landing control method for landing the unmanned aerial vehicle 1 having the camera 12 on the take-off/landing platform 3 of the moving object (automobile 2). The takeoff/landing platform 3 also has a display device 31 that can be identified from above.

まず、当該着陸制御方法を用いる無人航空機1の飛行について簡単に説明する。無人航空機1は、配送システム、監視システム、農業支援などに用いられる。例えば監視システムとして、自動車2から無人航空機1を用いて自動車2の周囲の風景画像を取得する場合、無人航空機1は、自動車2を離陸し上昇後、自動車2の上空でホバリングする。次に、水平飛行により目的地へ速やかに移動後、目的地近傍の上空でホバリングしつつ、最終の撮影ポイントへ高度や位置を調整しながら比較的低速で移動する。撮影ポイントで風景画像を取得した後、再び水平飛行する高度に復帰し、着陸地近傍へ速やかに移動する。着陸地近傍に移動した後は、下降及び着陸を行う。なお、上述では撮影ポイントのみで撮影する場合で説明しているが、水平飛行中に画像取得することも可能である。 First, the flight of the unmanned aerial vehicle 1 using the landing control method will be briefly described. The unmanned aerial vehicle 1 is used for delivery systems, monitoring systems, agricultural support, and the like. For example, when using an unmanned aerial vehicle 1 as a monitoring system to acquire a landscape image around the automobile 2 from the automobile 2 , the unmanned aerial vehicle 1 takes off from the automobile 2 , rises, and then hovers above the automobile 2 . Next, after quickly moving to the destination by horizontal flight, while hovering in the vicinity of the destination, it moves to the final shooting point at a relatively low speed while adjusting the altitude and position. After acquiring a landscape image at the shooting point, the aircraft returns to a level flight altitude and quickly moves to the vicinity of the landing site. After moving to the vicinity of the landing site, descend and land. In the above description, the case of photographing only at the photographing point is described, but it is also possible to acquire images during level flight.

当該着陸制御方法は、水平飛行する高度に復帰した後、着陸地近傍へ速やかに移動し下降及び着陸を行う過程で用いられる。 This landing control method is used in the process of quickly moving to the vicinity of the landing site, descending, and landing after returning to a level flight altitude.

当該着陸制御方法は、図5に示すように、誘導ステップ(STEP1)と、画像表示ステップ(STEP2)と、画像取得ステップ(STEP3)と、着陸制御ステップ(STEP4)とを備える。 The landing control method includes, as shown in FIG. 5, a guidance step (STEP1), an image display step (STEP2), an image acquisition step (STEP3), and a landing control step (STEP4).

<誘導ステップ>
誘導ステップ(STEP1)では、無人航空機1のカメラ12が離着陸台3の表示装置31の画像を認識できる位置まで自動車2が無人航空機1を誘導する。
<Induction step>
In the guidance step (STEP 1 ), the vehicle 2 guides the unmanned aerial vehicle 1 to a position where the camera 12 of the unmanned aerial vehicle 1 can recognize the image on the display device 31 of the takeoff/landing pad 3 .

具体的には、自動車2の車載機4のコマンド生成部46が生成した着陸指示に関する制御コマンドを、機体制御用信号送受信部47を介して無人航空機1に送信する。この制御コマンドには、例えば自動車2のID(以下、「車両ID」)、無人航空機1のID(以下、「航空機ID」)、着陸地点位置、到着予定時間が含まれる。 Specifically, the control command related to the landing instruction generated by the command generation unit 46 of the vehicle-mounted device 4 of the automobile 2 is transmitted to the unmanned aerial vehicle 1 via the body control signal transmission/reception unit 47 . This control command includes, for example, the ID of the automobile 2 (hereinafter referred to as "vehicle ID"), the ID of the unmanned aerial vehicle 1 (hereinafter referred to as "aircraft ID"), the landing point position, and the estimated time of arrival.

車両IDは、自動車2の固有IDであり無人航空機1はこの車両IDにより自機が着陸すべき自動車2を特定することができる。また、航空機IDは無人航空機1の固有IDであり、無人航空機1はこの航空機IDにより自機への制御コマンドであるか否かの認識をすることができる。 The vehicle ID is a unique ID of the vehicle 2, and the unmanned aerial vehicle 1 can specify the vehicle 2 on which it should land based on this vehicle ID. The aircraft ID is a unique ID of the unmanned aerial vehicle 1, and the unmanned aerial vehicle 1 can recognize whether or not it is a control command directed to itself based on this aircraft ID.

着陸地点位置は、無人航空機1の着陸を予定している地点であり、自動車2が無人航空機1を収容するための移動先でもある。この着陸地点位置は、GPSで規定される位置情報を用いてもよく、予め無人航空機1及び自動車2間で定められ、無人航空機1の記憶部11及び自動車2の記憶部41に格納されたスポット名を用いてもよい。また、到着予定時間は、自動車2が着陸地点位置への移動を完了する予測時間である。 The landing point position is a point where the unmanned aerial vehicle 1 is scheduled to land, and is also a destination for the vehicle 2 to accommodate the unmanned aerial vehicle 1 . This landing point position may use position information defined by GPS, is determined in advance between the unmanned aerial vehicle 1 and the automobile 2, and is stored in the storage unit 11 of the unmanned aerial vehicle 1 and the storage unit 41 of the automobile 2. Names may be used. Also, the estimated arrival time is the estimated time when the automobile 2 will complete the movement to the landing point position.

当該着陸制御方法では、無人航空機1の作業中に、無人航空機1が離着陸する自動車2が移動可能である。従って、無人航空機1を離陸させた位置と、着陸させる位置とが同一とは限らない。また、この制御コマンドを送信した時点で自動車2が、無人航空機1の着陸位置にいるとは限らない。このため、着陸地点位置及び到着予定時間の情報を無人航空機1との間で共有する必要がある。 In this landing control method, the vehicle 2 from which the unmanned aerial vehicle 1 takes off and lands can be moved while the unmanned aerial vehicle 1 is working. Therefore, the position where the unmanned aerial vehicle 1 is taken off and the position where it is landed are not always the same. Also, the automobile 2 is not always at the landing position of the unmanned aerial vehicle 1 when this control command is transmitted. For this reason, it is necessary to share the information on the landing point position and estimated arrival time with the unmanned aerial vehicle 1 .

この着陸指示に関する制御コマンドについて、機体制御用信号送受信部16を介して受け取った無人航空機1は、通信制御部18で車両ID及び航空機IDを確認し、自機への指示であること及び着陸すべき自動車2及び自機の着陸地点位置を認識する。 When the unmanned aerial vehicle 1 receives the control command related to the landing instruction via the aircraft control signal transmitting/receiving unit 16, the communication control unit 18 confirms the vehicle ID and the aircraft ID, confirms that the command is for the own aircraft, and determines that the command is for landing. It recognizes the position of the landing point of the vehicle 2 and its own aircraft.

無人航空機1は、例えばセンサ部14の情報から取得した現在の自機位置及び着陸見込時間を車両ID及び航空機IDに加え、機体制御用信号送受信部16を介して自動車2へ送信する。例えば着陸見込時間は、現在の自機位置、着陸予定地点及び自機の予定飛行速度を用いて算出することができる。なお、これらの情報を自動車2へ送信することは必須ではなく、例えば着陸指示の制御コマンドを受信した旨の信号のみを送ってもよい。 The unmanned aerial vehicle 1 adds its current position and expected landing time acquired from the information of the sensor unit 14 to the vehicle ID and aircraft ID, and transmits them to the automobile 2 via the aircraft control signal transmission/reception unit 16 . For example, the expected landing time can be calculated using the current position of the aircraft, the scheduled landing point, and the scheduled flight speed of the aircraft. It should be noted that it is not essential to transmit these pieces of information to the automobile 2, and for example, only a signal indicating that a control command for landing instruction has been received may be transmitted.

これらの制御コマンドのやり取りを行った後、無人航空機1及び自動車2は上記着陸予定地点へ向かう。着陸地点位置及び到着予定時間等の情報は、移動中に変化し得る情報であるため、定期的に更新されてもよく、あるいは一定の変化が生じた際にその都度更新してもよい。この情報の更新は、誘導ステップ(STEP1)を再度行うことによりすることができる。 After exchanging these control commands, the unmanned aerial vehicle 1 and the automobile 2 head for the scheduled landing point. Information such as the landing point position and the estimated arrival time is information that can change during movement, so it may be updated periodically, or may be updated each time a certain change occurs. This information can be updated by performing the guidance step (STEP1) again.

<画像表示ステップ>
画像表示ステップ(STEP2)では、誘導ステップ(STEP1)後に、着陸環境情報を含む画像を表示装置31に自動車2が表示する。
<Image display step>
In the image display step (STEP2), the automobile 2 displays an image including the landing environment information on the display device 31 after the guidance step (STEP1).

このステップは、自動車2及び無人航空機1が着陸地点位置に移動した後に行う。無人航空機1が着陸地点位置に移動しているか否かは、例えば誘導ステップ(STEP1)で無人航空機1から送信された到着予定時間をもとに判断してもよいし、自動車2のカメラ42で撮影された映像に無人航空機1が認められるか否かを画像認識部43により判断してもよい。あるいは、無人航空機1から映像データ用無線送受信部17を介して送信されてくる無人航空機1のカメラ12の画像データを用いて判断してもよい。 This step is performed after the car 2 and the unmanned aerial vehicle 1 have moved to the landing point position. Whether or not the unmanned aerial vehicle 1 has moved to the landing point may be determined based on the estimated time of arrival transmitted from the unmanned aerial vehicle 1 in the guidance step (STEP 1). The image recognition unit 43 may determine whether or not the unmanned aerial vehicle 1 is recognized in the captured video. Alternatively, the image data of the camera 12 of the unmanned aerial vehicle 1 transmitted from the unmanned aerial vehicle 1 via the video data wireless transmission/reception unit 17 may be used for determination.

まず、自動車2は、車載機4のセンサ部44により離着陸台3の位置、高度、及び照度、並びに自動車2の速度及び進行方向を取得する。また、距離方位演算部45は、着陸体勢に入っている飛行中の無人航空機1と自動車2との距離と方位とをカメラ42から得られる情報等をもとに算出する。 First, the vehicle 2 obtains the position, altitude, and illuminance of the takeoff/landing platform 3 as well as the speed and traveling direction of the vehicle 2 from the sensor unit 44 of the vehicle-mounted device 4 . Further, the distance/azimuth calculator 45 calculates the distance and the azimuth between the unmanned aerial vehicle 1 and the vehicle 2 in flight, which are in the landing posture, based on information obtained from the camera 42 and the like.

離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向と、無人航空機1と自動車2との距離及び方位は、表示制御部40を介して表示装置31に一対のQRコード31bとして表示される。一対のQRコード31bに表示される情報は、上記情報のうちの一部又は全部が重複表示されもよい。また、QRコード31bは、上記情報以外の情報、例えば車両IDや航空機IDを挙げることができる。 The position, altitude, wind speed and illuminance of the takeoff/landing pad 3, the speed and traveling direction of the vehicle 2, and the distance and direction between the unmanned aerial vehicle 1 and the vehicle 2 are displayed on the display device 31 via the display control unit 40 as a pair of QR codes. 31b. The information displayed on the pair of QR codes 31b may be partially or entirely overlapped. Also, the QR code 31b can include information other than the above information, such as a vehicle ID and an aircraft ID.

上記画像は、実質的にリアルタイムで更新されるとよい。つまり、表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される。 The images may be updated substantially in real time. That is, the image displayed by the display control unit 40 substantially updates the landing environment information in real time when the unmanned aerial vehicle 1 lands.

<画像取得ステップ>
画像取得ステップ(STEP3)は、誘導ステップ(STEP1)後に、表示装置31に表示された画像をカメラ12により無人航空機1が取得する。
<Image acquisition step>
In the image acquisition step (STEP3), the unmanned aerial vehicle 1 acquires the image displayed on the display device 31 by the camera 12 after the guidance step (STEP1).

この画像取得ステップ(STEP3)は、画像表示ステップ(STEP2)の前から行われ、表示装置31に画像が表示されるまで待機していてもよいが、画像表示ステップ(STEP2)が行われてから開始してもよい。画像表示ステップ(STEP2)が行われたか否かは、例えば自動車2の表示制御部40から通信制御部49及び機体制御用信号送受信部47を介して、画像表示ステップ(STEP2)が行われているという情報を送信する方法を用いることができる。 This image acquisition step (STEP 3) may be performed before the image display step (STEP 2) and waits until the image is displayed on the display device 31, but after the image display step (STEP 2) is performed. may start. Whether or not the image display step (STEP 2) has been performed is determined by, for example, the image display step (STEP 2) being performed from the display control unit 40 of the automobile 2 via the communication control unit 49 and the body control signal transmission/reception unit 47. can be used.

また、画像取得ステップ(STEP3)の開始を決定する別の方法としては、自機の位置と着陸地点位置との距離が一定距離以下(例えば5m以下)となった際に開始する方法が挙げられる。上記距離は平面視での距離でもよいが、実距離(高度差を考慮した実空間での距離)とすることが好ましい。着陸地点位置は地表であることが分かっているので、着陸地点位置での標高と、自機の高度とを加味することで、容易に実距離を算出できる。 Another method for determining the start of the image acquisition step (STEP 3) is a method of starting when the distance between the position of the aircraft and the position of the landing point becomes a certain distance or less (for example, 5 m or less). . The above distance may be a distance in plan view, but is preferably an actual distance (distance in real space considering altitude difference). Since it is known that the landing point position is on the ground surface, the actual distance can be easily calculated by adding the altitude at the landing point position and the altitude of the aircraft.

無人航空機1は、画像認識部13によりカメラ12で映像から着陸環境情報を抽出する。以下、その手順の例を示すが、この例に限定されるものではない。 The unmanned aerial vehicle 1 extracts the landing environment information from the image with the camera 12 by the image recognition unit 13 . An example of the procedure is shown below, but the procedure is not limited to this example.

(倍率調整)
無人航空機1は、まず着陸環境情報を好適に抽出できるようカメラ12の倍率を調整する。カメラ12の倍率を高めるほど着陸環境情報を抽出し易くなると考えられるが、一方倍率が高過ぎると、カメラ12の視野内に表示装置31が入りきらないおそれがある。このため、無人航空機1は、画像認識部13により認識される画像をもとに、必要な情報を全て取得可能な高倍率を選択するとよい。このようにカメラ12の倍率を調整することで、画像認識を容易に行えるようになるので、認識処理時間を小さくすることができ、精度の高い着陸制御を可能とする。
(magnification adjustment)
The unmanned aerial vehicle 1 first adjusts the magnification of the camera 12 so that the landing environment information can be preferably extracted. It is thought that the higher the magnification of the camera 12, the easier it is to extract the landing environment information. Therefore, the unmanned aerial vehicle 1 preferably selects a high magnification that enables acquisition of all necessary information based on the image recognized by the image recognition unit 13 . By adjusting the magnification of the camera 12 in this way, image recognition can be easily performed, so that the recognition processing time can be shortened, enabling highly accurate landing control.

(実距離の算出)
カメラ12で撮影された映像内の距離と実空間での距離は異なるため、まず映像と実空間との距離の倍率を算出する。具体的な算出方法ついて、無人航空機1のカメラ12から離着陸台3を撮影している図6を用いて説明する。無人航空機1のカメラ12の視野角θは既知であり、選択された倍率により決まる。また、無人航空機1のカメラ12に撮影される画像Sの大きさ(例えば図6のL)も既知である。この場合、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の高度と自機の高度との差(図6のH)を用いて、無人航空機1のカメラ12の画像に対する実空間の倍率は、H×tan(θ/2)/Lで算出できる。この倍率を用いて、カメラ12で撮影された画像上の距離を実空間の距離に変換する。
(Calculation of actual distance)
Since the distance in the image captured by the camera 12 is different from the distance in the real space, first, the magnification of the distance between the image and the real space is calculated. A specific calculation method will be described with reference to FIG. The viewing angle θ of the camera 12 of the unmanned aerial vehicle 1 is known and determined by the selected magnification. Also, the size of the image S captured by the camera 12 of the unmanned aerial vehicle 1 (for example, L in FIG. 6) is known. In this case, the difference (H in FIG. 6) between the altitude of the takeoff/landing pad 3 and the altitude of the aircraft itself, which is included in the QR code 31b transmitted as the landing environment information, is used to determine the actual The spatial magnification can be calculated by H×tan(θ/2)/L. Using this magnification, the distance on the image captured by the camera 12 is converted into the distance in real space.

(ID照合)
QRコード31bに車両IDや航空機IDの情報が含まれる場合、画像認識部13は、この車両ID及び航空機IDの情報から、自機が着陸すべき対象であるか否かを照合する。照合できない場合は、例えば自動車2の車載機4と通信することで、誘導ステップ(STEP1)を再実行し、正しい着陸場所へ移動する。照合できた場合は、着陸環境情報の抽出を継続する。
(ID verification)
If the QR code 31b contains vehicle ID or aircraft ID information, the image recognition unit 13 checks whether the aircraft should land or not based on the vehicle ID and aircraft ID information. If the collation is not possible, for example, by communicating with the vehicle-mounted device 4 of the vehicle 2, the guidance step (STEP 1) is re-executed to move to the correct landing place. If the verification is successful, continue extracting the landing environment information.

(無人航空機と自動車との距離及び方位)
無人航空機1と離着陸台3の着陸中心点Mとの距離及び方位は、無人航空機1のカメラ12により撮影された映像に基づいた画像解析により算出する。この算出において、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の照度を用い、カメラ12の映像を調整することで、着陸中心点Mの認識精度を高めることができる。また、自動車2の基準点を特定するため、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の位置を用いる。さらに、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の風速により着陸地点の実際の風速に基づいた着陸態勢の微修正を行うことができる。
(Distance and direction between unmanned aerial vehicles and automobiles)
The distance and azimuth between the unmanned aerial vehicle 1 and the landing center point M of the takeoff/landing pad 3 are calculated by image analysis based on the images captured by the camera 12 of the unmanned aerial vehicle 1 . In this calculation, the illuminance of the takeoff/landing pad 3 included in the QR code 31b transmitted as the landing environment information is used to adjust the image of the camera 12, thereby increasing the recognition accuracy of the landing center point M. Also, in order to specify the reference point of the vehicle 2, the position of the takeoff/landing pad 3 included in the QR code 31b transmitted as the landing environment information is used. Furthermore, it is possible to finely modify the landing attitude based on the actual wind speed at the landing point by the wind speed of the takeoff/landing platform 3 included in the QR code 31b transmitted as the landing environment information.

無人航空機1と自動車2との距離及び方位は、無人航空機1のカメラ12により撮影された映像のみで算出することもできるが、大気の状態等により誤差が生じる場合がある。着陸環境情報として送信されてくるQRコード31bに含まれる自動車2側から測定した無人航空機1と自動車2との距離及び方位の情報を参照することで、この誤差を低減する。これにより無人航空機1の着陸精度を向上させることができる。 The distance and azimuth between the unmanned aerial vehicle 1 and the vehicle 2 can be calculated only from the images captured by the camera 12 of the unmanned aerial vehicle 1, but errors may occur due to atmospheric conditions and the like. This error is reduced by referring to the distance and direction information between the unmanned aerial vehicle 1 and the vehicle 2 measured from the vehicle 2 side, which is included in the QR code 31b transmitted as the landing environment information. As a result, the landing accuracy of the unmanned aerial vehicle 1 can be improved.

(自動車の速度及び進行方向)
自動車2の速度及び進行方向は、無人航空機1のカメラ12の映像の経時変化から求めることもできるが、着陸環境情報として送信されてくるQRコード31bに含まれる自動車2の速度及び進行方向を用いることで、その精度を高めることができる。
(Vehicle speed and direction of travel)
The speed and direction of movement of the vehicle 2 can be obtained from the change over time of the image captured by the camera 12 of the unmanned aerial vehicle 1, but the speed and direction of movement of the vehicle 2 included in the QR code 31b transmitted as the landing environment information are used. By doing so, the accuracy can be improved.

<着陸制御ステップ>
着陸制御ステップ(STEP4)では、画像取得ステップ(STEP3)で取得した画像の着陸環境情報に基づいて、無人航空機1が着陸制御を行う。
<Landing control step>
In the landing control step (STEP4), the unmanned aerial vehicle 1 performs landing control based on the landing environment information of the image acquired in the image acquisition step (STEP3).

図5に示すように、無人航空機1が着陸体勢に入った段階では、その位置は必ずしも離着陸台3の着陸中心点Mの直上にあるとは限らない。また、無人航空機1の姿勢も自動車2の進行方向に対して適切な姿勢となっているとは限らない。着陸制御ステップ(STEP4)では、無人航空機1の位置や姿勢を制御しつつ降下を行う。 As shown in FIG. 5 , when the unmanned aerial vehicle 1 is in a landing posture, its position is not necessarily directly above the landing center point M of the takeoff/landing pad 3 . Also, the attitude of the unmanned aerial vehicle 1 is not always appropriate with respect to the traveling direction of the automobile 2 . In the landing control step (STEP4), the unmanned aerial vehicle 1 descends while controlling its position and attitude.

(姿勢の制御)
図4に示すように、表示装置31では一対のQRコード31b(着陸環境情報)が着陸中心点Mを中心に点対象に配置されている。このQRコード31bを結ぶ直線が自動車2の進行方向に対してなす角度は常に一定であるので、自機から見た上記直線の角度が所定の角度となるように姿勢を制御することで、自動車2の進行方向に対して適切な姿勢とすることができる。なお、上記所定の角度は既知であるので、例えば自動車2の車載機4から機体制御用信号送受信部47を介して送信する方法や、予め無人航空機1の記憶部11に格納しておく方法を用いることで、無人航空機1は参照することができる。
(Posture control)
As shown in FIG. 4, on the display device 31, a pair of QR codes 31b (landing environment information) are arranged point-symmetrically with the landing center point M as the center. Since the angle formed by the straight line connecting the QR codes 31b with respect to the traveling direction of the vehicle 2 is always constant, the attitude of the vehicle can be controlled so that the angle of the straight line seen from the vehicle itself becomes a predetermined angle. It is possible to take an appropriate posture with respect to the 2 traveling directions. Since the above-mentioned predetermined angle is known, for example, a method of transmitting from the vehicle-mounted device 4 of the vehicle 2 via the body control signal transmitting/receiving unit 47 or a method of storing in advance in the storage unit 11 of the unmanned aerial vehicle 1 can be used. By using it, the unmanned aerial vehicle 1 can be referred to.

(着陸位置の制御)
上述のように一対のQRコード31bを結ぶ線分の2等分点が着陸中心点Mとなるので、一対のQRコード31bを結ぶ線分の2等分点の直上に移動するように無人航空機1を制御するとよい。この際、自動車2の速度及び進行方向の補正も併せて行うとよい。また、無人航空機1のセンサ部14から得られる風速や気流等の影響を考慮するとよい。これらを考慮することで、着陸精度を高めることができる。
(Control of landing position)
As described above, the bisector of the line segment connecting the pair of QR codes 31b is the landing center point M. 1 should be controlled. At this time, it is preferable to correct the speed and traveling direction of the automobile 2 at the same time. In addition, it is preferable to consider the influence of the wind velocity, air current, etc. obtained from the sensor unit 14 of the unmanned aerial vehicle 1 . Landing accuracy can be improved by taking these into consideration.

着陸の制御は、実距離で行う必要があるが、カメラ12の映像から得られる距離を画像取得ステップ(STEP3)で算出した倍率に従って補正することで、実距離での制御が可能となる。具体的な制御は、無人航空機1の着陸制御部15を用いて、公知の手法で行うことができる。 Landing control must be performed at the actual distance, but by correcting the distance obtained from the image of the camera 12 according to the magnification calculated in the image acquisition step (STEP 3), control at the actual distance becomes possible. Specific control can be performed by a known method using the landing control unit 15 of the unmanned aerial vehicle 1 .

また、必要に応じて自動車2の乗員が適切な指示を与えてもよい。このような指示を与える方法としてはHMIによる音声入力が好適である。緊急時に速やかに指示を出すことができる。 Also, the occupant of the automobile 2 may give appropriate instructions as necessary. Voice input by HMI is suitable as a method of giving such instructions. Able to give prompt instructions in an emergency.

なお、画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)は一度の実行で無人航空機1を着陸させてもよいが、画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)を繰り返し行いつつ、無人航空機1を着陸させることが好ましい。このように繰り返し行うことで、無人航空機1の着陸精度をさらに高められる。画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)を繰り返し行う場合の繰り返しは、画像表示ステップ(STEP2)の更新と同期するように制御してもよいが、画像表示ステップ(STEP2)の更新とは非同期であってもよい。 Note that the image acquisition step (STEP3) and the landing control step (STEP4) may land the unmanned aerial vehicle 1 by executing the image acquisition step (STEP3) and the landing control step (STEP4) once. It is preferred to land the aircraft 1 . By repeating such operations, the landing accuracy of the unmanned aerial vehicle 1 can be further improved. The repetition of the image acquisition step (STEP3) and the landing control step (STEP4) may be controlled so as to synchronize with the update of the image display step (STEP2). may be asynchronous.

<利点>
当該着陸制御方法では、無人航空機1のカメラ12が離着陸台3の表示装置31の画像を認識できる位置まで移動体である自動車2が無人航空機1を誘導した後、着陸環境情報を含む画像を表示装置31に自動車2が表示する。また、当該着陸制御方法では、無人航空機1は表示装置31に表示された画像をカメラ12により認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。当該着陸制御方法では、離着陸台3の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。このため、当該着陸制御方法では、離着陸台3の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機1を容易に離着陸台3へ着陸させることができる。さらに、当該着陸制御方法では、自動車2及び無人航空機1間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該着陸制御方法を用いることで、無人航空機1のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
<Advantages>
In the landing control method, after the vehicle 2, which is a moving object, guides the unmanned aerial vehicle 1 to a position where the camera 12 of the unmanned aerial vehicle 1 can recognize the image on the display device 31 of the takeoff/landing pad 3, an image including the landing environment information is displayed. The car 2 is displayed on the device 31 . Further, in the landing control method, the unmanned aerial vehicle 1 recognizes an image displayed on the display device 31 by the camera 12, and performs landing control using landing environment information obtained from the image. In this landing control method, the image can be updated in accordance with changes in the landing environment of the takeoff/landing platform 3, so that changes in the landing environment can be easily followed. Therefore, in the landing control method, the image updated according to the change in the landing environment of the takeoff/landing pad 3 can be used appropriately, so that the unmanned aerial vehicle 1 can be easily landed on the takeoff/landing pad 3. can. Furthermore, the landing control method uses images to convey information between the vehicle 2 and the unmanned aerial vehicle 1 . Since image-based feedback control can be performed at a higher speed than wireless feedback control, the use of this landing control method enables fine-tuned flight control of the unmanned aerial vehicle 1 and improves the accuracy of the landing position.

[その他の実施形態]
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
[Other embodiments]
The above embodiments do not limit the configuration of the present invention. Therefore, in the above embodiment, the components of each part of the above embodiment can be omitted, replaced, or added based on the description of the present specification and common general technical knowledge, and all of them are interpreted as belonging to the scope of the present invention. should.

上記実施形態では、移動体が自動車である場合を説明したが、移動体は自動車に限定されない。上記移動体は、陸地又は水上を自走可能な車両であればよく、例えば自動車、オートバイ、船舶等であってもよい。 In the above embodiment, the mobile object is an automobile, but the mobile object is not limited to an automobile. The mobile body may be a vehicle capable of self-propelled on land or water, such as an automobile, a motorcycle, or a ship.

上記実施形態では、無人航空機が映像データ用無線送受信部を備える場合を説明したが、例えば自動車で撮影した映像データがない、あるいは無人航空機側で利用しない場合は、送信機能のみを有するものであってもよい。同様に、受信機能のみを有するものであってもよく、さらには映像データ用無線送受信部を備えないものであってもよい。 In the above embodiment, the case where the unmanned aerial vehicle is equipped with a radio transmitting/receiving unit for video data has been described. may Similarly, it may have only a reception function, or may not have a wireless transmission/reception unit for video data.

また、上記実施形態では、自動車がカメラを有する車載機を備える場合を説明したが、自動車のカメラは必須の構成要素ではなく、省略してもよい。自動車のカメラで撮影した画像に代えて、無人航空機のカメラから送信されてくる画像のみを用いて、無人航空機と自動車との距離を算出してもよい。なお、自動車がカメラを有さない場合、画像認識部も省略可能である。 Further, in the above embodiment, the description has been given of the case where the vehicle is equipped with an in-vehicle device having a camera, but the camera of the vehicle is not an essential component and may be omitted. The distance between the unmanned aerial vehicle and the automobile may be calculated using only the image transmitted from the camera of the unmanned aerial vehicle instead of the image captured by the camera of the vehicle. Note that if the vehicle does not have a camera, the image recognition section can also be omitted.

上記実施形態では、無人航空機及び自動車がGPS衛星と通信を行える構成を有する場合を説明したが、本発明はGPS衛星との通信を行わない飛行システムにも適用可能である。このような飛行システムとしては、例えば無人航空機が自動車から発信される電波を受信することで、自動車の位置(方位や距離)を認識しつつ飛行するシステムを挙げることができる。 In the above embodiments, the case where the unmanned aerial vehicle and the automobile are configured to communicate with GPS satellites has been described, but the present invention is also applicable to flight systems that do not communicate with GPS satellites. As such a flight system, for example, there is a system in which an unmanned aerial vehicle flies while recognizing the position (azimuth and distance) of a vehicle by receiving radio waves emitted from the vehicle.

上記実施形態では、自動車のセンサ部が離着陸台の位置、高度、風速及び照度、並びに自動車の速度及び進行方向を取得し、着陸環境情報としてこれらの情報全てを離着陸台の表示装置に表示する場合を説明したが、上記表示装置に表示する着陸環境情報は、これらの情報の一部であってもよい。なお、着陸環境情報として、離着陸台の位置、高度、風速及び照度、並びに自動車の速度及び進行方向の一部又は全部を着陸環境情報として使用しない場合、使用しない情報に該当するセンサは省略することができる。 In the above embodiment, the sensor unit of the vehicle acquires the position, altitude, wind speed and illuminance of the takeoff/landing pad, as well as the speed and traveling direction of the vehicle, and displays all of these information on the display device of the takeoff/landing pad as the landing environment information. , the landing environment information displayed on the display device may be part of this information. If the position, altitude, wind speed and illuminance of the takeoff/landing pad, and the speed and direction of travel of the vehicle are not used as landing environment information in part or in whole, the sensors corresponding to the information not used shall be omitted. can be done.

上記実施形態では、距離方位演算部により算出された無人航空機と自動車との距離と方位とを、着陸環境情報として画像に表示する場合を説明したが、無人航空機と自動車との距離と方位との表示は必須ではなく、省略可能である。 In the above embodiment, the case where the distance and bearing between the unmanned aerial vehicle and the automobile calculated by the distance and bearing calculation unit is displayed in the image as the landing environment information has been described. Display is optional and optional.

当該飛行システムで、無人航空機と移動体とは一対一で対応する必要はなく、いずれか一方又は両方が複数であってもよい。例えば複数の無人航空機と複数の移動体とを有する飛行システムである場合にあっては、個々の無人航空機は、自身の識別子により移動体からの制御コマンドの有効性(自己の無人航空機への制御であること)を判断できる。また、移動体からは、自身の識別子と対象となる無人航空機の識別子の組合せにより、個別の無人航空機を自身の移動体へ着陸するように誘導することができる。なお、複数の移動体から同一の無人航空機に対して矛盾する制御コマンドが送信され得るが、このような事態は複数の移動体間の通信制御を行うことが回避できる。あるいは、複数の無人航空機の集合体と複数の移動体の集合体を予め準備し、それぞれから選択した任意の1機の無人航空機と1台の移動体とを組み合わせて当該飛行システムを構成してもよい。このように組み合わせて当該飛行システムを構成する方法によっても複数の移動体から同一の無人航空機に対して矛盾する制御コマンドが送信されることを回避し得る。 In the flight system, the unmanned aerial vehicle and the mobile object do not need to correspond one-to-one, and one or both of them may be plural. For example, in the case of a flight system having multiple unmanned aerial vehicles and multiple moving bodies, each unmanned aerial vehicle uses its own identifier to determine the validity of a control command from the moving body (control of own unmanned aerial vehicle). ) can be determined. Further, from the mobile object, it is possible to guide an individual unmanned aerial vehicle to land on its own mobile object by combining its own identifier and the identifier of the target unmanned aerial vehicle. Although conflicting control commands may be transmitted from a plurality of moving bodies to the same unmanned aerial vehicle, such a situation can be avoided by performing communication control between the plurality of moving bodies. Alternatively, a group of a plurality of unmanned aerial vehicles and a group of a plurality of moving bodies are prepared in advance, and an arbitrary one unmanned aerial vehicle and one moving body selected from each are combined to configure the flight system. good too. This method of configuring the flight system in combination also makes it possible to avoid transmission of contradictory control commands from a plurality of moving bodies to the same unmanned aerial vehicle.

上記実施形態では、移動体が1つの離着陸台を有する場合を説明したが、移動体が複数の離着陸台を有する場合も本発明の意図するところである。このような移動体にあっては、1台の移動体に対して複数機の無人航空機を同時にあるいは時間差をおいて次々と着陸させることができる。このような構成では、狭い範囲に複数の離着陸台が存在することとなるため、個々の無人航空機に対しどの離着陸台に着陸すべきか適確に制御できるよう離着陸台識別子を用いるとよい。つまり、個々の離着陸台に対し異なる離着陸台識別子を付与し、この離着陸台識別により個々の離着陸台を区別する。無人航空機は、移動体からの制御コマンドにより着陸すべき離着陸台の離着陸台識別を取得し、指定された離着陸台識別を有する離着陸台に着陸する。このとき、それぞれの離着陸台の表示装置に着陸台識別子が表示されるとよい。このように離着陸台の表示装置に着陸台識別子が表示されることで、無人航空機はその画像から実際に着陸しようとしている離着陸台が正しいものであることを容易に認識できるので、より確実に無人航空機の着陸誘導ができる。 In the above embodiment, the case where the moving object has one takeoff/landing pad has been described, but the present invention also intends for the case where the moving object has a plurality of takeoff/landing pads. In such a mobile body, a plurality of unmanned aerial vehicles can be landed on one mobile body at the same time or one after another with a time lag. In such a configuration, a plurality of takeoff and landing pads exist within a narrow range, so it is preferable to use takeoff and landing pad identifiers so that it is possible to accurately control which takeoff and landing pad each individual unmanned aerial vehicle should land on. In other words, a different takeoff/landing pad identifier is given to each takeoff/landing pad, and each takeoff/landing pad is distinguished by this takeoff/landing pad identifier. The unmanned aerial vehicle acquires the takeoff/landing pad identification of the takeoff/landing pad to land by a control command from the mobile body, and lands on the takeoff/landing pad having the specified takeoff/landing pad identification. At this time, it is preferable that the landing pad identifier is displayed on the display device of each takeoff/landing pad. By displaying the landing pad identifier on the display device of the takeoff and landing pad in this way, the unmanned aerial vehicle can easily recognize from the image that it is the correct takeoff and landing pad that it is actually going to land on. Aircraft can be guided to land.

以上説明したように、本発明の飛行システム及び着陸制御方法は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる。 As described above, the flight system and landing control method of the present invention can land an unmanned aerial vehicle on a takeoff/landing platform provided on a mobile body easily and with high positional accuracy.

1、1A、1B 無人航空機
11 記憶部
12 カメラ
13 画像認識部
14 センサ部
15 着陸制御部
16 機体制御用信号送受信部
17 映像データ用無線送受信部
18 通信制御部
2、2B 自動車
3 離着陸台
31 表示装置
31a ヘリポートマーク
31b QRコード
4 車載機
40 表示制御部
41 記憶部
42 カメラ
43 画像認識部
44 センサ部
45 距離方位演算部
46 コマンド生成部
47 機体制御用信号送受信部
48 映像データ用無線送受信部
49 通信制御部
M 着陸中心点
A ファインダーパターン
S 画像
L 画像の大きさ
H 高度差
1, 1A, 1B Unmanned aerial vehicle 11 Storage unit 12 Camera 13 Image recognition unit 14 Sensor unit 15 Landing control unit 16 Aircraft control signal transmission/reception unit 17 Video data wireless transmission/reception unit 18 Communication control unit 2, 2B Automobile 3 Takeoff/landing platform 31 Display Device 31a Heliport mark 31b QR code 4 In-vehicle device 40 Display control unit 41 Storage unit 42 Camera 43 Image recognition unit 44 Sensor unit 45 Distance and direction calculation unit 46 Command generation unit 47 Aircraft control signal transmission/reception unit 48 Video data wireless transmission/reception unit 49 Communication control unit M Landing center point A Viewfinder pattern S Image L Image size H Altitude difference

Claims (7)

無人航空機と、
上記無人航空機が離着陸可能な離着陸台を有する移動体と
を備え、
上記離着陸台が、上空から識別可能な表示装置を有し、
上記移動体が、
着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、
上記無人航空機が、
カメラと、
上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、
上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部と
を有し、
上記移動体の進行方向に対して上記無人航空機を適切な姿勢とできるように、上記着陸環境情報が、上記移動体の速度及び進行方向を含み、
上記移動体から見た上記無人航空機の距離に応じて表示する画像の大きさが変化する飛行システム。
an unmanned aerial vehicle and
a mobile body having a takeoff and landing platform on which the unmanned aerial vehicle can take off and land;
The takeoff and landing platform has a display device that can be identified from the sky,
The moving body
Having a display control unit for displaying an image including landing environment information on the display device,
The unmanned aerial vehicle
camera and
an image recognition unit that uses the camera to recognize landing environment information in the image displayed on the display device;
a landing control unit that performs landing control based on the landing environment information acquired by the image recognition unit;
wherein the landing environment information includes the speed and direction of travel of the mobile body so that the unmanned aerial vehicle can take an appropriate attitude with respect to the direction of travel of the mobile body;
A flight system in which the size of the displayed image changes according to the distance of the unmanned aerial vehicle from the moving object.
上記表示制御部が表示する画像が、二次元バーコードを含む請求項1に記載の飛行システム。 The flight system according to claim 1 , wherein the image displayed by the display control unit includes a two-dimensional barcode. 上記画像が、一対の二次元バーコードを含み、一対の二次元バーコード上記表示装置に着陸中心点を中心に点対称に表示されている請求項1に記載の飛行システム。 2. The flight system according to claim 1, wherein the image includes a pair of two-dimensional barcodes , and the pair of two-dimensional barcodes are displayed on the display device in point symmetry about a landing center point. 上記着陸環境情報が、風速及び照度を含む請求項1、請求項2又は請求項3に記載の飛行システム。 4. A flight system according to claim 1, claim 2 or claim 3 , wherein the landing environment information includes wind speed and illumination. 上記移動体が、複数の上記離着陸台を有し、
それぞれの上記離着陸台の表示装置に離着陸台識別子が表示される請求項1から請求項4のいずれか1項に記載の飛行システム。
the moving object has a plurality of takeoff/landing platforms,
5. A flight system according to any one of claims 1 to 4, wherein a platform identifier is displayed on the display device of each platform.
上記無人航空機の着陸時に上記着陸環境情報を含む画像が、10分以下の間隔で上記表示制御部により更新される請求項1から請求項5のいずれか1項に記載の飛行システム。 6. The flight system according to any one of claims 1 to 5 , wherein the image containing the landing environment information is updated by the display control unit at intervals of 10 minutes or less when the unmanned aerial vehicle lands. カメラを有する無人航空機を、移動体が有する離着陸台に着陸させる着陸制御方法であって、
上記離着陸台が、上空から識別可能な表示装置を有し、
上記無人航空機のカメラが上記離着陸台の表示装置の画像を認識できる位置まで上記移動体が上記無人航空機を誘導するステップと、
上記誘導ステップ後に、着陸環境情報を含む画像を上記表示装置に上記移動体が表示するステップと、
上記誘導ステップ後に、上記表示装置に表示された画像を上記カメラにより上記無人航空機が取得するステップと、
上記画像取得ステップで取得した画像の着陸環境情報に基づいて、上記無人航空機が着陸制御を行うステップと
を備え、
上記移動体の進行方向に対して上記無人航空機を適切な姿勢とできるように、上記着陸環境情報が、上記移動体の速度及び進行方向を含み、
上記移動体から見た上記無人航空機の距離に応じて表示する画像の大きさが変化する着陸制御方法。
A landing control method for landing an unmanned aerial vehicle having a camera on a takeoff/landing platform of a mobile object,
The takeoff and landing platform has a display device that can be identified from the sky,
the moving body guiding the unmanned aerial vehicle to a position where the camera of the unmanned aerial vehicle can recognize the image of the display device of the takeoff/landing platform;
a step of causing the moving object to display an image including landing environment information on the display device after the guidance step;
After the guiding step, the unmanned aerial vehicle acquires an image displayed on the display device by the camera;
a step of performing landing control of the unmanned aerial vehicle based on the landing environment information of the image acquired in the image acquisition step;
wherein the landing environment information includes the speed and direction of travel of the mobile body so that the unmanned aerial vehicle can take an appropriate attitude with respect to the direction of travel of the mobile body;
A landing control method in which a size of an image to be displayed is changed according to a distance of the unmanned aerial vehicle from the moving body.
JP2019049140A 2019-03-15 2019-03-15 Flight system and landing control method Active JP7190699B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019049140A JP7190699B2 (en) 2019-03-15 2019-03-15 Flight system and landing control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049140A JP7190699B2 (en) 2019-03-15 2019-03-15 Flight system and landing control method

Publications (2)

Publication Number Publication Date
JP2020149640A JP2020149640A (en) 2020-09-17
JP7190699B2 true JP7190699B2 (en) 2022-12-16

Family

ID=72430666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049140A Active JP7190699B2 (en) 2019-03-15 2019-03-15 Flight system and landing control method

Country Status (1)

Country Link
JP (1) JP7190699B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7174748B2 (en) * 2020-12-18 2022-11-17 楽天グループ株式会社 Travel control system, control method, and control device
KR102441563B1 (en) * 2021-01-08 2022-09-07 아주대학교산학협력단 Apparatus and method for controlling landing based on image learning
JP7561731B2 (en) * 2021-12-27 2024-10-04 三菱重工業株式会社 Automatic take-off and landing system for vertical take-off and landing aircraft, vertical take-off and landing aircraft, and take-off and landing control method for vertical take-off and landing aircraft
WO2024069700A1 (en) * 2022-09-26 2024-04-04 株式会社Subaru Land and air moving body

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010445A (en) 2015-06-25 2017-01-12 三菱自動車工業株式会社 Driving support control device
CN106527487A (en) 2016-12-23 2017-03-22 北京理工大学 Autonomous precision landing system of unmanned aerial vehicle on motion platform and landing method
WO2017198696A2 (en) 2016-05-18 2017-11-23 Unmanned Systems Ltd. Intelligent autonomous drone fleet management
US20180130008A1 (en) 2016-11-06 2018-05-10 Yan Liu System and Method for Aerial Vehicle Automatic Landing and Cargo Delivery
US20180173245A1 (en) 2015-03-27 2018-06-21 Planck Aerosystems Inc. Unmanned aircraft navigation system and method
US20180251234A1 (en) 2014-05-30 2018-09-06 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
JP2019031164A (en) 2017-08-07 2019-02-28 日本電気株式会社 Taking-off/landing device, control method of taking-off/landing device, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170027618A (en) * 2015-09-02 2017-03-10 옥윤선 System with drone apparatus for vehicle, method for providing inside and outside information of vehicle based on the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180251234A1 (en) 2014-05-30 2018-09-06 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
US20180173245A1 (en) 2015-03-27 2018-06-21 Planck Aerosystems Inc. Unmanned aircraft navigation system and method
JP2017010445A (en) 2015-06-25 2017-01-12 三菱自動車工業株式会社 Driving support control device
WO2017198696A2 (en) 2016-05-18 2017-11-23 Unmanned Systems Ltd. Intelligent autonomous drone fleet management
US20180130008A1 (en) 2016-11-06 2018-05-10 Yan Liu System and Method for Aerial Vehicle Automatic Landing and Cargo Delivery
CN106527487A (en) 2016-12-23 2017-03-22 北京理工大学 Autonomous precision landing system of unmanned aerial vehicle on motion platform and landing method
JP2019031164A (en) 2017-08-07 2019-02-28 日本電気株式会社 Taking-off/landing device, control method of taking-off/landing device, and program

Also Published As

Publication number Publication date
JP2020149640A (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7190699B2 (en) Flight system and landing control method
AU2021202509B2 (en) Image based localization for unmanned aerial vehicles, and associated systems and methods
EP3077879B1 (en) Imaging method and apparatus
CN108255190B (en) Accurate landing method based on multiple sensors and tethered unmanned aerial vehicle using same
KR101798996B1 (en) Method for calculating relative position of the vertical take-off and landing UAV and landing guide system for the UAV using the method
EP3077760B1 (en) Payload delivery
CN111465556B (en) Information processing system, information processing method, and computer-readable storage medium
EP3077880B1 (en) Imaging method and apparatus
US10642284B1 (en) Location determination using ground structures
US9045221B2 (en) Method of guidance for aircraft trajectory correction
CN113156998A (en) Unmanned aerial vehicle flight control system and control method
WO2021090352A1 (en) Control device and control method for controlling flight of aircraft
JP7253315B2 (en) Aircraft flight support system, aircraft flight support program and aircraft
WO2015082594A1 (en) Determining routes for aircraft
JP6701153B2 (en) Position measurement system for moving objects
US20240069214A1 (en) Navigation Using Self-Describing Fiducials
JP2020135327A (en) Flight body system, flight body, position measuring method and program
GB2522328A (en) Payload delivery
EP2881827A1 (en) Imaging method and apparatus
EP2881697A1 (en) Capturing and processing images
JP6393157B2 (en) Spacecraft search and recovery system
JP2023175386A (en) flight system
JP7228077B1 (en) Control device, control method, and unmanned aerial vehicle search system
RU2722599C1 (en) Method for correcting strapdown inertial navigation system of unmanned aerial vehicle of short range using intelligent system of geospatial information
EP2881826A1 (en) Imaging method and apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210517

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7190699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150