WO2021106115A1 - 飛行状況管理システム - Google Patents

飛行状況管理システム Download PDF

Info

Publication number
WO2021106115A1
WO2021106115A1 PCT/JP2019/046446 JP2019046446W WO2021106115A1 WO 2021106115 A1 WO2021106115 A1 WO 2021106115A1 JP 2019046446 W JP2019046446 W JP 2019046446W WO 2021106115 A1 WO2021106115 A1 WO 2021106115A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
management system
status management
flight
processing unit
Prior art date
Application number
PCT/JP2019/046446
Other languages
English (en)
French (fr)
Inventor
周平 小松
Original Assignee
株式会社Ａ．Ｌ．Ｉ． Ｔｅｃｈｎｏｌｏｇｉｅｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ａ．Ｌ．Ｉ． Ｔｅｃｈｎｏｌｏｇｉｅｓ filed Critical 株式会社Ａ．Ｌ．Ｉ． Ｔｅｃｈｎｏｌｏｇｉｅｓ
Publication of WO2021106115A1 publication Critical patent/WO2021106115A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C19/00—Aircraft control not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a flight status management system.
  • the drone race is being held while looking at the image taken by the camera (see Patent Document 1).
  • the speed of the flying object in the drone race is high, and a high-performance and expensive sensor is required when arranging a sensor that grasps the situation of the flying object.
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of grasping the situation of an air vehicle.
  • the main invention of the present invention for solving the above problems is a flight status management system, which is an image acquisition unit that acquires an image taken by the camera from an air vehicle having a camera, and detects a specific marker from the image. It is characterized by including a marker analysis unit, a calculation processing unit that creates status information related to the flight of the flying object in response to detection of the marker, and an output processing unit that outputs the status information.
  • the situation of the flying object can be grasped.
  • the present invention includes, for example, the following configuration.
  • An image acquisition unit that acquires an image taken by the camera from an air vehicle having a camera, A marker analysis unit that detects a specific marker from the image, A calculation processing unit that creates status information related to the flight of the flying object in response to the detection of the marker, and An output processing unit that outputs the status information and A flight status management system characterized by being equipped with.
  • the flight status management system according to item 1.
  • the calculation processing unit counts the number of times the marker is detected, and calculates the number of laps of the flight course by the flying object based on the number of times.
  • [Item 3] The flight status management system described in item 2.
  • the calculation processing unit calculates the rank of the flying object in the flight course according to the time when the marker is detected and the number of times.
  • [Item 4] The flight status management system according to item 1.
  • the marker analysis unit decodes the marker, acquires identification information of a gate installed on the flight course, and obtains identification information.
  • the calculation processing unit counts the number of acquired gates and calculates the number of gates that the flying object has passed through.
  • [Item 5] The flight status management system according to item 1.
  • a storage unit for storing the time when the marker is detected is further provided.
  • the calculation processing unit calculates the lap time of the flight course by the flying object based on the time point when the marker is detected.
  • a flight status management system featuring. [Item 6] The flight status management system according to item 1. Information for identifying the position of the marker is encoded in the marker. The marker analysis unit decodes the marker and acquires information for identifying the position of the marker. The calculation processing unit calculates the position of the marker obtained based on the information for specifying the position of the marker as the position of the flying object. The output unit outputs the position of the flying object.
  • a flight status management system featuring.
  • FIG. 1 is a diagram showing an overall configuration example of the flight status management system of the present embodiment.
  • the flight status management system of the present embodiment is performed by a plurality of users operating the racing drone 1 (in the present embodiment, a rotary wing aircraft is assumed, but an arbitrary controllable flying object can be used).
  • the racing drone 1 in the present embodiment, a rotary wing aircraft is assumed, but an arbitrary controllable flying object can be used.
  • drone race the situation of the racing drone 1 is to be grasped.
  • the flight status management system of the present embodiment receives the camera image of the FPV (First Person View) output from the racing drone 1 by the receiver 2, and uses the image for analysis and display by the control PC 3. As a result, a video for directing is generated and transmitted to the switcher as 4. The final output is determined by the switcher 4 and displayed on the large display 5.
  • the switcher 4 is given an image from the shooting drone 6, and can switch the image from the control PC 3 or the image from the shooting drone 6.
  • FIG. 2 is a diagram illustrating the flight status management system of the present embodiment.
  • the flight status management system of the present embodiment receives an image (FPV image) from the image transmission device mounted on the racing drone 1 and displays the received FPV image on the screen 51.
  • the screen 51 is displayed on, for example, the large display 5.
  • the screen 51 includes an information display column 511 relating to a plurality of (4 units in the example of FIG. 2) racing drones 1, and the information display column 511 is driving the racing drone 1. It includes a pilot photo 514, pilot information 515 (name and other information about the pilot), and a display column 516 of the status of the racing drone 1 (laps, race time, ranking, etc.) FPV image 517 from the racing drone 1. The ranking of the racing drone 1 is also displayed in the ranking display column 512. In addition, a map 518 showing a schematic diagram of the course is displayed on the screen 51, and the position of the racing drone 1 is virtually displayed on the map 518.
  • FIG. 3 is a diagram showing an example of a gate 9 in which the marker 91 is arranged.
  • a plurality of markers 91 are arranged on the surface of the gate 9 where the racing drone 1 enters.
  • the marker 91 is reflected on the mounted camera, and the marker 91 is also reflected on the FPV image 517 of the screen 51. Therefore, in the flight status management system of the present embodiment, the marker 91 reflected in the image from the racing drone 1 is recognized and decoded, and the decoded identification information is used to measure the lap time of the racing drone 1 in the race.
  • the information density of the marker 91 can be determined according to the flight speed of the racing drone 1 and the image processing capability of the control PC 3, but in the present embodiment, if the amount of information as many as the number of gates 9 can be encoded. Often, in the example of FIG. 3, the information density of the marker 91 is lowered so that it can be easily recognized.
  • FIG. 4 is a diagram showing a software configuration example of the control PC 3.
  • the control PC 3 includes a video acquisition unit 311, a marker analysis 312, a rank calculation process 313, a lap time calculation process 314, a position calculation process 315, a goal determination process 316, a drawing process 317, a detection history storage unit 331, and a marker position storage unit 332.
  • a situation storage unit 333 is provided.
  • the image acquisition unit 311 acquires an FPV image (a moving image is assumed in the present embodiment, but a still image may be used) taken by the racing drone 1. In the present embodiment, it is assumed that the image acquisition unit 311 receives the signal obtained by the 5.8 GHz receiver 2.
  • the video acquisition unit 311 can decode the received signal into a video. The video acquisition is performed for each video from each racing drone 1. Which racing drone 1 video is received can be determined on the 5.8 GHz receiver 2 side.
  • the acquired video can be processed at 30 fps or 60 fps. Which fps is processed can also be determined on the receiver 2 side.
  • the image acquisition unit 311 converts the acquired image into an image divided into 1/30 or 1/60 frames.
  • the marker analysis unit 312 can analyze the FPV image and detect the marker 91.
  • the marker analysis unit 312 performs image analysis processing to see if the marker 91 is reflected in the image received from the image processing unit 311.
  • the false detection of the marker 91 is also taken into consideration, and when a plurality of the same marker 91 are reflected at the same time, it can be processed as a detection.
  • Identification information is embedded in the marker 91, and when the marker analysis unit 312 detects the marker 91, the marker analysis unit acquires the identification information from the marker 91.
  • the marker analysis unit 312 When the marker analysis unit 312 detects the marker 91, it associates the drone ID that identifies the racing drone 1 that is the source of the FPV image with the identification information acquired from the marker 91 and the date and time when the marker 91 is detected. Can be registered in the detection history storage unit 331.
  • the rank calculation processing unit 313 calculates the rank of the racing drone 1 according to the detection of the marker 91. For example, the rank calculation processing unit 313 calculates the number of detected markers 91 (gate 9 provided with) from the detection history storage unit 331 at the timing (processing time) when the marker 91 is detected, and the marker 91 It is possible to calculate the number of laps in which the racing drone 1 is lapped at the time of detection.
  • the marker position position storage unit 332 stores the position of the marker-91 on the course map in association with the identification information of the marker 91.
  • the rank calculation processing unit 313 acquires a position corresponding to the identification information of the marker 91 last detected by each racing drone 1 from the marker position storage unit 332, and based on the acquired position and the calculated number of laps, the racing drone The rank of 1 can be calculated. As described above, the rank is displayed in the rank display column 512 of the screen 51 according to the rank calculated by the rank calculation processing unit 313.
  • the rank calculation processing unit 313 may update the status storage unit 333 according to the detection date and time of the marker 91, the identification information acquired from the detected marker 91, the position corresponding to the identification information, and the calculated number of laps and the number of gates. it can. In addition, the rank calculation processing unit 313 does not perform the calculation when the time from the last date and time when the same identification information is detected to the current detection date and time is less than a predetermined time with reference to the status recording unit 333. You may do it.
  • the lap time calculation processing unit 314 calculates the lap time (time required for the lap of the course) of the racing drone 1.
  • the lap time calculation processing unit 314 calculates the number of detected markers 91 (gate 9 provided with the marker 91) from the detection history storage unit 331 at the timing (processing time) when the marker 91 is detected, and when the marker 91 is detected, the lap time calculation processing unit 314 calculates the number of detected markers 91 (gate 9 provided with the marker 91). It is possible to calculate the number of laps that the racing drone 1 is lapped with.
  • the lap time calculation processing unit 314 can also calculate the lap time (time required for the lap).
  • the lap time calculation processing unit 314 specifies, for example, the latest date and time corresponding to the identification information of the detected marker 91 from the detection history storage unit 331, and from the specified latest date and time to the current date and time (date and time when the marker 91 is detected). Time can be calculated as the lap time.
  • the position calculation processing unit 315 calculates the position of the racing drone 1.
  • the position calculation processing unit 315 acquires a position corresponding to the identification information acquired from the detected marker 91 from the marker position storage unit 332 at the timing (processing time) when the marker 91 is detected, and obtains the acquired position at that time point. It can be the position of the racing drone 1 in.
  • the goal determination process 316 determines whether or not each racing drone 1 has reached a goal by lapping a predetermined number after the process of calculating the lap time. When the goal determination process 316 determines that the goal has been reached, the goal determination process 316 determines the order and stops the subsequent processes.
  • the drawing process 317 can display the information calculated in each process at each display position on the screen 51.
  • FIG. 5 is a diagram illustrating processing executed by the flight status management system of the present embodiment.
  • the FPV image taken by the camera is transmitted from the seeding drone 1, the receiver 2 receives the FPV image, and the image acquisition unit 311 acquires the FPV image from the receiver 2 (S351).
  • the marker analysis unit 312 decomposes the FPV image into frames, performs image analysis on each frame, and extracts the marker 91 (S352). If the marker analysis unit 312 cannot simultaneously extract a predetermined number (for example, an arbitrary threshold value such as 2, 3) or more markers 91 from any frame (S353: NO), the marker analysis unit 312 starts from step S351. Repeat the process.
  • the marker analysis unit 312 can simultaneously extract a predetermined number (for example, an arbitrary threshold value such as 2, 3) or more markers 91 from any frame (S353: YES), the FPV image is transmitted.
  • the drone ID that identifies the original racing drone 1, the identification information decoded from the marker 91, and the current date and time (or the transmission date and time of the FPV image) are registered in the detection history storage unit 331 (S354).
  • the position calculation processing unit 315 acquires the position corresponding to the decoded identification information from the marker position storage unit 332 (S355).
  • the rank calculation processing unit 313 determines the number of gates that the racing drone 1 has passed from the history registered in the detection history storage unit 331, that is, the type of the detected marker 91 (the number of gates 9 in which the marker 91 is arranged). Calculate (S356), and calculate the number of laps that the racing drone 1 flew from the history (S357), for example, by counting the number of consecutive gate 9 patterns constituting the flight course.
  • the lap time calculation processing unit 314 calculates the lap time based on the history, for example, by calculating the difference between the latest two dates and times corresponding to the identification information extracted from the marker 91 and the drone ID (S358).
  • the rank calculation processing unit 313 can register the calculated position, the number of laps, and the number of gates in the status recording unit 333 in association with the date and time, the drone ID, and the identification information (S359).
  • the ranking calculation processing unit 313 reads the latest position and the number of laps of each racing drone 1 from the status recording unit 333 (S360), and calculates the ranking of the racing drone 1 based on these (S360).
  • the goal determination processing unit 316 determines whether or not the goal has been reached based on the latest position and the number of laps of each racing drone 1 (S362), and if the goal has not been reached, the process from step S351 is repeated.
  • FIG. 6 is a diagram showing a hardware configuration example of the control PC 3.
  • the control PC 3 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
  • the control PC 3 includes a CPU 01, a memory 302, a storage device 303, a communication interface 304, an input device 305, and an output device 306.
  • the storage device 303 stores various data and programs, such as a hard disk drive, a solid state drive, and a flash memory.
  • the communication interface 304 is an interface for connecting to a communication network, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, a wireless communication device for performing wireless communication, and the like.
  • the input device 305 is, for example, a keyboard, a mouse, a touch panel, a button, a microphone, or the like for inputting data.
  • the output device 306 is, for example, a display, a printer, a speaker, or the like that outputs data.
  • the CPU 301 stores the video acquisition unit 311, the marker analysis 312, the rank calculation process 313, the lap time calculation process 314, the position calculation process 315, the goal determination process 316, and the drawing process 317 included in the control PC 3 described above in the storage device 303.
  • the program can be realized by reading the program into the memory 302 and executing the program, and the detection history storage unit 331, the marker position storage unit 332, and the situation storage unit 333 are used as a part of the storage area provided by the memory 302 and the storage device 303. It can be realized.
  • the marker 91 is detected by the control PC 3, but the marker 91 is detected on the racing drone 1 side, and the identification information acquired from the detected marker 91 is transmitted to the control PC 3. You may do so.
  • a character string that is difficult to predict such as a random character string, may be encoded, and the random character string decoded by the control PC 3 and the identification information may be associated and managed.
  • the marker 91 is arranged on the approach side surface of the gate 9, but for example, the marker 91 is arranged on the inner surface of the gate 9 and the marker 91 is arranged only when passing through the gate 9. May be visible from the camera.
  • the inner surface of the gate 9 is inclined according to the angle of view of the camera, and the camera is arranged on the inner surface of the gate 9 even if the camera faces the traveling direction of the racing drone 1 immediately before the entrance of the gate 9.
  • the marker 91 may be set so as to be visible.
  • racing drones 1 race, but of course, not limited to four, two, three, or five or more racing drones 1 race. All FPV images from these racing drones 1 may be analyzed.
  • the FPV image that is, the image from the camera facing the traveling direction of the racing drone 1 is analyzed, but the racing drone 1 is provided with a camera facing a direction different from the traveling direction. Then, the image from the camera may be analyzed.
  • the marker 91 using the QR code is arranged, but another code may be used.
  • a three-dimensional shape such as a cube, a sphere, or a cone or a two-dimensional shape such as a square ray, a circle, or a triangle may be arranged so that these shapes can be recognized from the FPV image.
  • the position of the gate 9 can be grasped by making the shape different depending on the position.
  • the racing drone 1 is assumed to be at the position of the gate 9 when the marker 91 can be detected from the FPV image.
  • the position of the racing drone 1 may be corrected by adding an offset to the position of the gate 9.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】飛行体の状況を把握することができる。 【解決手段】飛行状況管理システムは、カメラを有する飛行体からカメラの撮影した画像を取得する映像取得部と、画像から特定のマーカーを検出するマーカー解析部と、マーカーの検出に応じて飛行体の飛行に係る状況情報を作成する計算処理部と、状況情報を出力する出力処理部と、を備える。

Description

飛行状況管理システム
　本発明は、飛行状況管理システムに関する。
　カメラで撮影した画像を見ながらのドローンレースが行われている（特許文献１参照）。
特開２０１８－１０１９０２号公報
　ドローンレースでの飛行体の速度は速く、飛行体の状況を把握するセンサを配置する場合には高性能で高額なセンサが必要となる。
　本発明はこのような背景を鑑みてなされたものであり、飛行体の状況を把握することのできる技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、飛行状況管理システムであって、カメラを有する飛行体から前記カメラの撮影した画像を取得する映像取得部と、前記画像から特定のマーカーを検出するマーカー解析部と、前記マーカーの検出に応じて前記飛行体の飛行に係る状況情報を作成する計算処理部と、前記状況情報を出力する出力処理部と、を備えることを特徴とする。
　本発明によれば、飛行体の状況を把握することができる。
本実施形態の飛行状況管理システムの全体構成例を示す図である。 本実施形態の飛行状況管理システムを説明する図である。 マーカー９１が配置されたゲート９の例を示す図である。 制御用ＰＣ３のソフトウェア構成例を示す図である。 本実施形態の飛行状況管理システムにより実行される処理について説明する図である。 制御用ＰＣ３のハードウェア構成例を示す図である。
＜発明の概要＞
　本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
　カメラを有する飛行体から前記カメラの撮影した画像を取得する映像取得部と、
　前記画像から特定のマーカーを検出するマーカー解析部と、
　前記マーカーの検出に応じて前記飛行体の飛行に係る状況情報を作成する計算処理部と、
　前記状況情報を出力する出力処理部と、
　を備えることを特徴とする飛行状況管理システム。
［項目２］
　項目１に記載の飛行状況管理システムであって、
　前記計算処理部は、前記マーカーを検出した回数をカウントし、前記回数に基づいて、前記飛行体による飛行コースの周回数を計算すること、
　を特徴とする飛行状況管理システム。
［項目３］
　項目２に記載の飛行状況管理システムであって、
　前記計算処理部は、前記マーカーを検出した時点と前記回数とに応じて、前記飛行コースにおける前記飛行体の順位を計算すること、
　を特徴とする飛行状況管理システム。
［項目４］
　項目１に記載の飛行状況管理システムであって、
　前記マーカー解析部は、前記マーカーを復号して、飛行コースに設置されたゲートの識別情報を取得し、
　前記計算処理部は、取得した前記ゲートの数をカウントして、前記飛行体が通過した前記ゲートの数を計算すること、
　を特徴とする飛行状況管理システム。
［項目５］
　項目１に記載の飛行状況管理システムであって、
　前記マーカーが検出された時点を記憶する記憶部をさらに備え、
　前記計算処理部は、前記マーカーが検出された前記時点に基づいて、前記飛行体による前記飛行コースのラップタイムを計算すること、
　を特徴とする飛行状況管理システム。
［項目６］
　項目１に記載の飛行状況管理システムであって、
　前記マーカーには、前記マーカーの位置を特定するための情報が符号化され、
　前記マーカー解析部は、前記マーカーを復号して前記マーカーの位置を特定するための情報を取得し、
　前記計算処理部は、前記マーカーの位置を特定するための情報に基づいて求められる前記マーカーの位置を前記飛行体の位置として計算し、
　前記出力部は、前記飛行体の位置を出力すること、
　を特徴とする飛行状況管理システム。
＜システム概要＞
　以下、本発明の一実施形態に係る飛行状況管理システムについて説明する。図１は、本実施形態の飛行状況管理システムの全体構成例を示す図である。本実施形態の飛行状況管理システムは、複数のユーザがレーシングドローン１（本実施形態では、回転翼機を想定するが、任意の制御可能な飛行体とすることができる。）を操作して行う、いわゆるドローンレースにおいて、レーシングドローン１の状況を把握しようとするものである。
　本実施形態の飛行状況管理システムは、レーシングドローン１から出力される、ＦＰＶ（Ｆｉｒｓｔ　Ｐｅｒｓｏｎ　Ｖｉｅｗ）のカメラ映像を受信機２にて受信し、その映像を制御用ＰＣ３による解析、表示用に利用することで、演出用の映像を生成し、スイッチャへ４と送信する。最終的な出力はスイッチャ４により決定され大型ディスプレイ５に表示される。スイッチャ４には、撮影用ドローン６からの映像の与えられ、制御用ＰＣ３からの映像または撮影用ドローン６からの映像を切り替えることができる。
　図２は、本実施形態の飛行状況管理システムを説明する図である。本実施形態の飛行状況管理システムは、レーシングドローン１に搭載された映像送信装置からの映像（ＦＰＶ映像）を受信し、受信したＦＰＶ映像を画面５１に表示する。画面５１は、例えば、大型ディスプレイ５に表示される。
　図２に示すように、画面５１は、複数台（図２の例では４台）のレーシングドローン１に関する情報表示欄５１１を備えており、情報表示欄５１１は、レーシングドローン１を運転しているパイロットの写真５１４、パイロット情報５１５（氏名その他のパイロットに関する情報）、レーシングドローン１の状況（周回数、レースタイム、順位など）の表示欄５１６レーシングドローン１からのＦＰＶ映像５１７を備えている。レーシングドローン１の順位については、順位表示欄５１２にも表示される。また、画面５１には、コースの概略図を示すマップ５１８が表示され、マップ５１８上にはレーシングドローン１の位置が仮想的に表示される。
　コース上には特定のＱＲコード（登録商標）などのマーカー９１が配置されたゲート９が複数箇所設置される。図３は、マーカー９１が配置されたゲート９の例を示す図である。同図に示すように、ゲート９のレーシングドローン１が進入する面に複数のマーカー９１が配置される。飛行するレーシングドローン１がゲート９を通過する際、搭載するカメラにマーカー９１が映り込み、画面５１のＦＰＶ映像５１７にも同様にマーカー９１が映り込む。そこで、本実施形態の飛行状況管理システムでは、レーシングドローン１からの画像に映り込んだマーカー９１を認識して復号し、復号された識別情報を利用して、レースにおけるレーシングドローン１のラップタイムの計測、順位計算などを行うことができる。また、またマップ５１８上には、仮想的に計算した各レーシングドローン１の位置を表示することもできる。なお、レーシングドローン１の飛行速度と制御用ＰＣ３の画像処理能力に応じて、マーカー９１の情報密度を決定することができるが、本実施形態では、ゲート９の数だけの情報量が符号化できればよく、図３の例では、マーカー９１の情報密度を下げて、認識容易に設定している。
　図４は、制御用ＰＣ３のソフトウェア構成例を示す図である。制御用ＰＣ３は、映像取得部３１１、マーカー解析３１２、順位計算処理３１３、ラップタイム計算処理３１４、位置計算処理３１５、ゴール判定処理３１６、描画処理３１７、検出履歴記憶部３３１、マーカー位置記憶部３３２、状況記憶部３３３を備える。
＜映像取得部３１１＞
　映像取得部３１１は、レーシングドローン１が撮影したＦＰＶ映像（本実施形態では動画像を想定しているが、静止画像であってもよい。）を取得する。本実施形態では、映像取得部３１１は、５．８ＧＨｚの受信機２によって得られた信号を受信することを想定する。映像取得部３１１は、受信した信号を映像に復号することができる。映像取得は、各レーシングドローン１からの映像毎に行われる。どのレーシングドローン１の映像を受信するかは５．８ＧＨｚ受信機２側で決定することができる。取得した映像は、３０ｆｐｓまたは６０ｆｐｓで処理することができる。どちらのｆｐｓで処理されるかも受信機２側で決定することができる。映像取得部３１１は、取得した映像を、１／３０または１／６０のコマ数に切り分けた画像に変換する。
＜マーカー解析部３１２＞
　マーカー解析部３１２は、ＦＰＶ映像を解析し、マーカー９１を検出することができる。マーカー解析部３１２は、映像処理部３１１から受け取った画像について、マーカー９１が映り込んでいるかの画像解析処理を行う。本実施形態では、マーカー９１の誤検知も考慮し、同一マーカー９１を複数同時に映り込んだ際に検知として処理することができる。マーカー９１には識別情報が埋め込まれており、マーカー解析部３１２は、マーカー９１を検知すると、マーカー９１から識別情報を取得する。マーカー解析部３１２はマーカー９１を検知した場合には、ＦＰＶ映像の送信元であるレーシングドローン１を特定するドローンＩＤと、マーカー９１から取得した識別情報と、マーカー９１を検出した日時とを対応付けて検出履歴記憶部３３１に登録することができる。
＜順位計算処理部３１３＞
　順位計算処理部３１３は、マーカー９１の検出に応じてレーシングドローン１の順位を計算する。順位計算処理部３１３は、例えば、マーカー９１が検知されたタイミング（処理時間）で、検出履歴記憶部３３１から、検出したマーカー９１（が設けられたゲート９）の数を計算し、マーカー９１の検出時点でレーシングドローン１が周回している周回数を計算することができる。
　また、マーカー位置位置記憶部３３２は、マーカー９１の識別情報い対応付けて、マーカ－９１のコースマップ上での位置を記憶しているものとする。順位計算処理部３１３は、各レーシングドローン１が最後に検出したマーカー９１の識別情報に対応する位置をマーカー位置記憶部３３２から取得し、取得した位置と計算した周回数とに基づいて、レーシングドローン１の順位を計算することができる。上述したように、順位計算処理部３１３が計算した順位に応じて、画面５１の順位表示欄５１２に順位が表示される。
　順位計算処理部３１３は、マーカー９１の検出日時、検出したマーカー９１から取得した識別情報、識別情報に対応する位置、並びに、計算した周回数及びゲート数により、状況記憶部３３３を更新することができる。なお、順位計算処理部３１３は、状況記録部３３３を参照して、同一の識別情報を検出した最終日時から、現在の検出日時までの時間が所定時間以下の場合には、計算を行わないようにしてもよい。
＜ラップタイム計算処理部３１４＞
　ラップタイム計算処理部３１４は、レーシングドローン１のラップタイム（コースの周回にかかった時間）を計算する。ラップタイム計算処理部３１４は、マーカー９１が検知されたタイミング（処理時間）で、検出履歴記憶部３３１から、検出したマーカー９１（が設けられたゲート９）の数を計算し、マーカー９１の検出時点でレーシングドローン１が周回している周回数を計算することができる。また、ラップタイム計算処理部３１４は、ラップタイム（周回にかかった時間）を計算することもできる。ラップタイム計算処理部３１４は、例えば、検出したマーカー９１の識別情報に対応する直近の日時を検出履歴記憶部３３１から特定し、特定した直近の日時から、現在日時（マーカー９１を検出した日時）までの時間をラップタイムとして計算することができる。
＜位置計算処理部３１５＞
　位置計算処理部３１５は、レーシングドローン１の位置を計算する。位置計算処理部３１５は、マーカー９１が検知されたタイミング（処理時間）で、検知したマーカ９１から取得した識別情報に対応する位置をマーカー位置記憶部３３２から取得し、取得した位置を、その時点でのレーシングドローン１の位置とすることができる。
＜ゴール判定処理３１６＞
　ゴール判定処理３１６は、ラップタイムを計算した処理の後、各レーシングドローン１が規定された数を周回し、ゴールしているか否かの判定を行う。ゴール判定処理３１６は、ゴールしていると判定した場合、順位を確定し以降の処理を停止する。 
＜描画処理３１７＞
　描画処理３１７は、各処理にて計算された情報を、画面５１上の各表示位置へ表示することができる。
＜処理フロー＞
　図５は、本実施形態の飛行状況管理システムにより実行される処理について説明する図である。
　シーシングドローン１からはカメラ（不図示）により撮影されたＦＰＶ映像が送出され、受信機２がＦＰＶ映像を受信し、映像取得部３１１は、受信機２からＦＰＶ映像を取得する（Ｓ３５１）。マーカー解析部３１２は、ＦＰＶ映像をフレームに分解し、各フレームについて画像解析を行い、マーカー９１を抽出する（Ｓ３５２）。マーカー解析部３１２は、いずれかのフレームから同時に所定数（例えば、２、３など任意の閾値とすることができる。）以上のマーカー９１を抽出できなければ（Ｓ３５３：ＮＯ）、ステップＳ３５１からの処理を繰り返す。
　マーカー解析部３１２は、いずれかのフレームから同時に所定数（例えば、２、３など任意の閾値とすることができる。）以上のマーカー９１を抽出できた場合（Ｓ３５３：ＹＥＳ）、ＦＰＶ映像の送信元であるレーシングドローン１を特定するドローンＩＤと、マーカー９１から復号した識別情報と、現在の日時（又はＦＰＶ映像の送信日時）とを検出履歴記憶部３３１に登録する（Ｓ３５４）。位置計算処理部３１５は、復号した識別情報に対応する位置をマーカー位置記憶部３３２から取得する（Ｓ３５５）。
　順位計算処理部３１３は、検出履歴記憶部３３１に登録されている履歴からレーシングドローン１が通過したゲート数、すなわち、検出したマーカー９１の種類（マーカー９１が配置されていたゲート９の数）を計算し（Ｓ３５６）、当該履歴から、例えば、飛行コースを構成する連続したゲート９のパターンの数をカウントするなどにより、レーシングドローン１が飛行した周回数を計算する（Ｓ３５７）。ラップタイム計算処理部３１４は、履歴に基づいて、例えば、マーカー９１から抽出した識別情報及びドローンＩＤに対応する最新２つの日時の差を計算することなどにより、ラップタイムを計算する（Ｓ３５８）。順位計算処理部３１３は、計算した位置や周回数、ゲート数を、日時、ドローンＩＤ及び識別情報に対応付けて、状況記録部３３３に登録することができる（Ｓ３５９）。
　順位計算処理部３１３は、各レーシングドローン１の最新の位置及び周回数を状況記録部３３３から読み出して（Ｓ３６０）、これらに基づいてレーシングドローン１の順位を計算する（Ｓ３６１）。
　ゴール判定処理部３１６は、各レーシングドローン１の最新の位置及び周回数に基づいて、ゴールしたか否かを判定し（Ｓ３６２）、ゴールしていなければ、ステップＳ３５１からの処理を繰り返す。
＜ハードウェア＞
　図６は、制御用ＰＣ３のハードウェア構成例を示す図である。制御ＰＣ３は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。制御用ＰＣ３は、ＣＰＵ０１、メモリ３０２、記憶装置３０３、通信インタフェース３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース３０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
　上述した制御ＰＣ３が備える映像取得部３１１、マーカー解析３１２、順位計算処理３１３、ラップタイム計算処理３１４、位置計算処理３１５、ゴール判定処理３１６、描画処理３１７は、ＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現することができ、検出履歴記憶部３３１、マーカー位置記憶部３３２、状況記憶部３３３は、メモリ３０２及び記憶装置３０３が提供する記憶領域の一部として実現することができる。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　例えば、本実施形態では、制御用ＰＣ３によりマーカー９１の検出を行うものとしたが、レーシングドローン１側でマーカー９１の検出を行い、検出したマーカー９１から取得した識別情報を制御用ＰＣ３に送信するようにしてもよい。この場合、例えばランダム文字列などの予測困難な文字列を符号化しておき、制御用ＰＣ３において復号化されたランダム文字列と識別情報とを対応付けて管理するようにしてもよい。
　また、本実施形態では、ゲート９の進入側の面にマーカー９１が配されるものとしたが、例えば、ゲート９の内面にマーカー９１を配して、ゲート９を通ったときにのみマーカー９１をカメラから視認可能とするようにしてもよい。この場合に、カメラの画角に応じて、ゲート９の内面に傾斜を設け、ゲート９の進入直前に、レーシングドローン１の進行方向を向いたカメラであってもゲート９の内面に配されたマーカー９１が視認可能となるように設定してもよい。
　また、本実施形態では、４台のレーシングドローン１がレースを行うものとしたが、もちろん４台に限らず、２台、３台、又は５台以上のレーシングドローン１がレースを行うものとして、これらのレーシングドローン１からのＦＰＶ映像を全て解析してもよい。
　また、本実施形態では、ＦＰＶ映像、すなわち、レーシングドローン１の進行方向を向いているカメラからの映像を解析するものとしたが、レーシングドローン１に進行方向とは異なる方向を向くカメラを配して、そのカメラからの映像を解析するようにしてもよい。
　また、本実施形態では、ＱＲコード（登録商標）を用いたマーカー９１を配置するものとしたが、他のコードを用いるようにしてもよい。また、例えば、立方体、球、円錐などの立体形状または四角エイ、円、三角形などの二次元形状を配置して、ＦＰＶ映像からこれらの形状を認識するようにしてもよい。この場合、位置に応じて異なる形状とすることで、ゲート９の位置を把握することが可能となる。
　また、本実施形態では、ＦＰＶ映像からマーカー９１を検出できた時点でレーシングドローン１がゲート９の位置にあるものとしたが、例えば、マーカー９１の大きさやＦＰＶ映像中での位置などに応じて、ゲート９の位置に対してオフセットを加えて、レーシングドローン１の位置を補正するようにしてもよい。
　　１　　　レーシングドローン
　　２　　　受信機
　　３　　　制御用ＰＣ
　　４　　　スイッチャ
　　５　　　大型ディスプレイ
　　３１１　映像取得部
　　３１２　マーカー解析
　　３１３　順位計算処理
　　３１４　ラップタイム計算処理
　　３１５　位置計算処理
　　３１６　ゴール判定処理
　　３１７　描画処理
　　３３１　検出履歴記憶部
　　３３２　マーカー位置記憶部
　　３３３　状況記録部

Claims (6)

  1. 　カメラを有する飛行体から前記カメラの撮影した画像を取得する映像取得部と、
    　前記画像から特定のマーカーを検出するマーカー解析部と、
    　前記マーカーの検出に応じて前記飛行体の飛行に係る状況情報を作成する計算処理部と、
    　前記状況情報を出力する出力処理部と、
    　を備えることを特徴とする飛行状況管理システム。
  2. 　請求項１に記載の飛行状況管理システムであって、
    　前記計算処理部は、前記マーカーを検出した回数をカウントし、前記回数に基づいて、前記飛行体による飛行コースの周回数を計算すること、
    　を特徴とする飛行状況管理システム。
  3. 　請求項２に記載の飛行状況管理システムであって、
    　前記計算処理部は、前記マーカーを検出した時点と前記回数とに応じて、前記飛行コースにおける前記飛行体の順位を計算すること、
    　を特徴とする飛行状況管理システム。
  4. 　請求項１に記載の飛行状況管理システムであって、
    　前記マーカー解析部は、前記マーカーを復号して、飛行コースに設置されたゲートの識別情報を取得し、
    　前記計算処理部は、取得した前記ゲートの数をカウントして、前記飛行体が通過した前記ゲートの数を計算すること、
    　を特徴とする飛行状況管理システム。
  5. 　請求項１に記載の飛行状況管理システムであって、
    　前記マーカーが検出された時点を記憶する記憶部をさらに備え、
    　前記計算処理部は、前記マーカーが検出された前記時点に基づいて、前記飛行体による前記飛行コースのラップタイムを計算すること、
    　を特徴とする飛行状況管理システム。
  6. 　請求項１に記載の飛行状況管理システムであって、
    　前記マーカーには、前記マーカーの位置を特定するための情報が符号化され、
    　前記マーカー解析部は、前記マーカーを復号して前記マーカーの位置を特定するための情報を取得し、
    　前記計算処理部は、前記マーカーの位置を特定するための情報に基づいて求められる前記マーカーの位置を前記飛行体の位置として計算し、
    　前記出力部は、前記飛行体の位置を出力すること、
    　を特徴とする飛行状況管理システム。
PCT/JP2019/046446 2019-11-27 2019-11-27 飛行状況管理システム WO2021106115A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-214478 2019-11-27
JP2019214478A JP6708867B1 (ja) 2019-11-27 2019-11-27 飛行状況管理システム、飛行状況管理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021106115A1 true WO2021106115A1 (ja) 2021-06-03

Family

ID=70976348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046446 WO2021106115A1 (ja) 2019-11-27 2019-11-27 飛行状況管理システム

Country Status (2)

Country Link
JP (1) JP6708867B1 (ja)
WO (1) WO2021106115A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157397A (ja) * 2002-11-07 2004-06-03 Mitsubishi Electric Corp 位置判読装置
CN104298248A (zh) * 2014-10-08 2015-01-21 南京航空航天大学 旋翼无人机精确视觉定位定向方法
JP2015212621A (ja) * 2014-04-17 2015-11-26 善郎 水野 マーカ装置を含むシステム及びこれを利用した方法
US20180024551A1 (en) * 2013-03-05 2018-01-25 Here Global B.V. Aerial image collection
JP2018121267A (ja) * 2017-01-27 2018-08-02 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20190077507A1 (en) * 2017-09-14 2019-03-14 Drone Racing League, Inc. Three-dimensional pathway tracking system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157397A (ja) * 2002-11-07 2004-06-03 Mitsubishi Electric Corp 位置判読装置
US20180024551A1 (en) * 2013-03-05 2018-01-25 Here Global B.V. Aerial image collection
JP2015212621A (ja) * 2014-04-17 2015-11-26 善郎 水野 マーカ装置を含むシステム及びこれを利用した方法
CN104298248A (zh) * 2014-10-08 2015-01-21 南京航空航天大学 旋翼无人机精确视觉定位定向方法
JP2018121267A (ja) * 2017-01-27 2018-08-02 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20190077507A1 (en) * 2017-09-14 2019-03-14 Drone Racing League, Inc. Three-dimensional pathway tracking system

Also Published As

Publication number Publication date
JP6708867B1 (ja) 2020-06-10
JP2021087094A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
US11526325B2 (en) Projection, control, and management of user device applications using a connected resource
CN105051754B (zh) 用于通过监控系统检测人的方法和装置
CN105830062B (zh) 用于编码对象阵型的系统、方法及设备
US20160328604A1 (en) Systems and methods of monitoring activities at a gaming venue
US20110223995A1 (en) Interacting with a computer based application
US10369462B2 (en) Client side processing of game controller input
US9557836B2 (en) Depth image compression
JP2002196855A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2017037413A5 (ja)
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
CN108521820B (zh) 使用深度神经网络的从粗略到精细的手部检测方法
WO2021106115A1 (ja) 飛行状況管理システム
US20130243243A1 (en) Image processor, image processing method, control program and recording medium
EP3885883A1 (en) Imaging system and method for producing images with virtually-superimposed functional elements
JP2021086594A (ja) 飛行状況管理システム
US10921877B2 (en) Silhouette-based limb finder determination
US9076035B2 (en) Image processor, image processing method, control program, and recording medium
KR20210003515A (ko) 인터렉티브모드를지원하는증강현실구현장치
KR102026475B1 (ko) 시각적 입력의 처리
CN113887354A (zh) 图像识别方法、装置、电子设备及存储介质
KR101976493B1 (ko) 영상 감시장치에서 객체영역을 설정하는 방법 및 이를 위한 장치
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
Košťák et al. Mobile phone as an interactive device in augmented reality system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954130

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19954130

Country of ref document: EP

Kind code of ref document: A1