WO2021033422A1 - 位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法 - Google Patents

位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法 Download PDF

Info

Publication number
WO2021033422A1
WO2021033422A1 PCT/JP2020/024520 JP2020024520W WO2021033422A1 WO 2021033422 A1 WO2021033422 A1 WO 2021033422A1 JP 2020024520 W JP2020024520 W JP 2020024520W WO 2021033422 A1 WO2021033422 A1 WO 2021033422A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
coordinates
flying object
self
position estimation
Prior art date
Application number
PCT/JP2020/024520
Other languages
English (en)
French (fr)
Inventor
雅之 熊田
剛 千葉
ラファエル ジュリアン クレメンテ ロペス
Original Assignee
ブルーイノベーション株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブルーイノベーション株式会社 filed Critical ブルーイノベーション株式会社
Priority to JP2021540648A priority Critical patent/JPWO2021033422A1/ja
Publication of WO2021033422A1 publication Critical patent/WO2021033422A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present invention is a position estimation system, a position estimation device, an air vehicle, and a position estimation program for autonomously flying a space in which a plurality of markers associated with marker coordinates indicating its own installation position are installed. And the position estimation method.
  • Patent Document 1 describes an automatic traveling system for a vehicle that recognizes a two-dimensional code associated with position information and acquires a reading angle to determine a traveling direction.
  • the absolute orientation of the vehicle can be obtained by installing the two-dimensional code in a predetermined orientation.
  • Patent Document 1 cannot cope with the case where there is an obstacle such as a step or the case where the object is to be photographed from above because it is necessary to travel on the ground.
  • an object of the present invention is to provide a new system for accurately and autonomously flying an air vehicle even when GPS information cannot be acquired.
  • the present invention is a position estimation system for autonomously flying a flying object in a space in which a marker associated with a marker coordinate indicating its own installation position is installed.
  • a self-coordinate estimation means that estimates the self-coordinates of the flying object based on the marker coordinates corresponding to the marker photographed by the first imaging means.
  • the flight controller that performs autonomous flight control of the flying object is provided with a control means for transmitting information based on the self-coordinates.
  • the self-coordinates can be estimated based on the markers installed in the space where the flying object flies, and the flight can be controlled. Therefore, in a space where GPS information cannot be acquired, such as indoors or underground. Even if there is, it is possible to make the flying object perform autonomous flight accurately.
  • the self-coordinate estimation means estimates three-dimensional coordinates as the self-coordinates.
  • the control means transmits information based on the three-dimensional coordinates so that the flight controller can perform control based on at least altitude. With such a configuration, control can be performed based on the self-coordinates including the altitude, and it can be more preferably used for autonomous flight of the flying object.
  • the self-coordinate estimation means estimates the relative position of the flying object with respect to the marker based on the image taken by the first imaging means, and the relative position and the marker. Based on the coordinates, the self-coordinates as absolute positions in the space are estimated. With such a configuration, the self-coordinates in space can be accurately estimated from the image obtained by the first imaging means in light of the marker coordinates registered in advance.
  • the flight controller of an air vehicle generally requires GPS information for flight control, but by estimating the self-coordinates as an absolute position and inputting it to the flight controller in this way, GPS information is not acquired. Both will enable flight control with existing flight controllers.
  • the relative orientation of the flying object with respect to the marker is estimated based on the image taken by the first imaging means, and a predetermined orientation is estimated based on the relative orientation and the marker coordinates.
  • an orientation estimation means for estimating compass information indicating the absolute orientation with respect to the reference axis.
  • the control means transmits information based on the compass information to the flight controller.
  • a second imaging means for capturing an image of the space is further provided.
  • a second imaging means for capturing an image of the space is further provided.
  • a storage means for storing a plurality of target positions and route information for designating a patrol order of the target positions.
  • the control means transmits information based on the route information to the flight controller in order to make the flying object autonomously fly according to the patrol order.
  • a route information registration means that accepts inputs for designating the target position and the patrol order and registers the route information in a database.
  • a route information transmitting means for transmitting the route information to the aircraft is provided.
  • the route information registration means accepts input of information including altitude designation as the target position, and registers the route information in the database. With such a configuration, a detailed route including altitude can be set.
  • the first imaging means is provided on the flying object in a direction in which the marker installed on the ceiling can be photographed.
  • the present invention is a position estimation device for autonomously flying a flying object in a space in which a marker associated with marker coordinates indicating its own installation position is installed.
  • a self-coordinate estimation means that estimates the self-coordinates of the flying object based on the marker coordinates corresponding to the marker photographed by the first imaging means.
  • the flight controller that performs autonomous flight control of the flying object is provided with a control means for transmitting information based on the self-coordinates.
  • the present invention includes a position estimation device and The flight controller that performs autonomous flight control of the flying object using the information based on the self-coordinates, An air vehicle including the first imaging means for photographing the marker.
  • the present invention is a position estimation program for autonomously flying a space in which a marker associated with marker coordinates indicating its own installation position is installed, and a computer.
  • a self-coordinate estimation means that estimates the self-coordinates of the flying object based on the marker coordinates corresponding to the marker photographed by the first imaging means.
  • the flight controller that performs autonomous flight control of the flying object is made to function as a control means for transmitting information based on the self-coordinates.
  • the present invention is a position estimation method for autonomously flying a flying object in a space in which a marker associated with a marker coordinate indicating its own installation position is installed.
  • a computer is made to execute a control step of transmitting information based on the self-coordinates to a flight controller that performs autonomous flight control of the flying object.
  • FIG. 1 It is a figure which shows the structure of the position estimation system in embodiment of this invention. It is a functional block diagram of the position estimation system in embodiment of this invention. It is a figure which shows an example of a marker installation position and marker coordinates in embodiment of this invention. It is a figure which shows an example of the marker coordinates stored in embodiment of this invention. It is a processing flowchart from self-coordinate estimation of the position estimation system in embodiment of this invention to flight control. It is a processing flowchart which concerns on the update of the target position of the position estimation system in embodiment of this invention. It is a figure which shows an example of the route setting screen of the position estimation system in embodiment of this invention. It is a figure which shows an example of the route information registered by the position estimation system in embodiment of this invention. It is a figure which shows an example of the reproduction screen of the moving image taken by the 2nd imaging means of the position estimation system in embodiment of this invention. It is a figure which shows an example of the marker photography of the position estimation system in embodiment of this invention.
  • the configuration, operation, and the like of the position estimation system will be described, but a method, an apparatus, a computer program, an air vehicle, and the like having the same configuration can also exert the same effects.
  • the program may be stored in a recording medium. Using this recording medium, for example, a program can be installed on a computer.
  • the recording medium in which the program is stored may be a non-transient recording medium such as a CD-ROM.
  • the present invention is not limited to the present embodiment, and the space for flight, the installation position of the marker, and the like may be arbitrarily changed.
  • a technique for estimating the shooting position and posture (angle) used in augmented reality (AR) is applied to shoot a plurality of markers attached to a wall, ceiling, or the like, and the shooting position and the shooting position with respect to the markers are taken.
  • Estimate the orientation Specifically, for example, as shown in FIG. 10, a marker installed on the ceiling can be photographed, and the distance and angle can be estimated based on the photographed image.
  • the marker coordinates are the coordinates of the reference point of each marker in an arbitrary coordinate system indicating the installation position of the marker itself. Further, in the present embodiment, the coordinate system for designating the marker coordinates is called a marker coordinate system. In this embodiment, a plurality of markers are installed, all of which are associated with marker coordinates indicating their respective installation positions.
  • the self-coordinates of the flying object indicate the position of the flying object itself in space.
  • the coordinates in the same coordinate system (marker coordinate system) as the marker coordinates are estimated as the self-coordinates.
  • the self-coordinates in the present invention may be arbitrarily changed as long as the coordinates can uniquely specify the position in space.
  • the compass information in the present embodiment is information indicating the direction of the flying object in space.
  • compass information of three axes indicating how much each of the yaw angle, the roll angle, and the pitch angle is tilted with respect to a predetermined reference axis is estimated.
  • a route that patrols a plurality of target positions in a predetermined order is specified, and the flying object is controlled to fly autonomously according to the route.
  • information that specifies a plurality of target positions and the patrol order of the target positions is defined as route information, and flight control is performed based on the route information.
  • FIG. 1 is a diagram showing a configuration of a position estimation system according to the present embodiment.
  • the position estimation system of the present embodiment is configured so that the flying object 1, the server device 3, and the terminal device 4 can communicate with each other.
  • the flying object 1 in the present embodiment includes two imaging means, a first imaging means 11 for photographing a marker and a second imaging means 12 for photographing a flying space.
  • the first imaging means 11 is attached upward to the upper part of the flying object 1 in order to enable photographing the marker installed on the ceiling.
  • the first imaging means 11 may be mounted so that both the upward direction and the downward direction of the flying object 1 can be photographed. Further, when the marker is installed on the wall, it is preferable that the first imaging means 11 is attached in a direction capable of photographing the periphery of the flying object 1.
  • the server device 3 transmits / receives information such as route information to / from the flying object 1 and the terminal device 4. Further, the terminal device 4 receives input by the user and transmits / receives information to / from the server device 3.
  • the flying object 1 and the terminal device 4 may be configured to directly communicate with each other.
  • FIG. 2 is a functional block diagram of the position estimation system according to the present embodiment. As shown here, the position estimation system of the present embodiment is configured so that the flying object 1, the server device 3, and the terminal device 4 can communicate with each other.
  • the flying object 1 a general flying object equipped with a propeller, a motor, a storage device, a flight controller that controls flight according to the position and attitude of the flying object 1, and the like can be used.
  • the flying object 1 is not provided with a GPS sensor, a direction sensor, or the like, but instead is provided with a position estimation device described later, estimates self-coordinates and compass information, transmits them to a flight controller, and controls flight. Do.
  • the flying object 1 includes a first imaging means 11 for capturing an image including a marker, a second imaging means 12 for capturing an image of the space in which the flying object 1 flies, and a flight controller 13 for autonomous flight control of the flying object 1.
  • a motor 14 that is driven in response to an instruction from the flight controller 13 and a position estimation device 2 that estimates the self-coordinates of the flying object 1 and transmits the self-coordinates to the flight controller 13 are provided.
  • the position estimation device 2 indicates the acquisition means 21 for acquiring an image including a marker taken by the first imaging means, the self-coordinate estimation means 22 for estimating the self-coordinates of the flying object 1, and the orientation of the flying object 1. It includes a direction estimation means 23 for estimating compass information, a control means 24 for transmitting information based on self-coordinates and compass information to the flight controller 13, and a storage means 25 for storing route information.
  • the self-coordinate estimation means 22 first recognizes the marker included in the image acquired by the acquisition means 21, and estimates the position relative to the marker. Specifically, for example, the coordinates in the three-dimensional coordinate system with the marker as the origin are estimated. Further, the storage means 25 stores the marker coordinates, and the self-coordinate estimation means 22 acquires the marker coordinates corresponding to the recognized markers from the storage means 25. Then, the self-coordinates are estimated based on the acquired marker coordinates and the position relative to the marker.
  • the database DB may store the marker coordinates, and the self-coordinate estimation means 22 may inquire of the server device to acquire the marker coordinates corresponding to the recognized markers.
  • the three-dimensional self-coordinates are estimated by converting the position relative to the marker to the coordinates on the marker coordinate axes based on the marker coordinates. Then, the estimated self-coordinates are converted into a format corresponding to the GPS information used by the flight controller 13, and the control means 24 transmits the estimated self-coordinates to the flight controller 13.
  • the orientation estimation means 23 estimates the relative orientation of the flying object 1 with respect to the marker included in the image acquired by the acquisition means 21. Further, the marker coordinates are acquired in the same manner as the self-coordinate estimation means 22. Next, the relative orientation with respect to the estimated marker is converted into information indicating the inclination with respect to a predetermined reference axis for the three axes of yaw angle, roll angle, and pitch angle based on the marker coordinates, and the result is converted into compass. Estimate as information. Then, the estimated compass information is converted into a format corresponding to the compass information used by the flight controller 13, and the control means 24 transmits the estimated compass information to the flight controller 13.
  • the control means 24 transmits information based on self-coordinates and information based on compass information to the flight controller 13.
  • the flying controller 13 since the three-dimensional self-coordinates and the three-axis compass information are transmitted, it is possible to make the flight controller 13 control in consideration of the altitude. Further, in the present embodiment, by transmitting information based on the route information stored in the storage means 25 to the flight controller 13, the flying object 1 can autonomously fly according to a predetermined route.
  • the storage means 25 stores a plurality of target positions and route information that specifies a patrol order of the target positions. Specifically, for example, an input for designating one of a plurality of route information registered in the database DB is received via the terminal device 4, and the flight object 1 acquires the route information from the server device 3 accordingly. It can be configured to be stored in the storage means 25. In addition, for example, the route information may be directly transmitted from the terminal device 4 to the flying object 1.
  • the flying object 1 performs autonomous flight according to the route information stored in the storage means 25. If the route is to be changed, the desired route may be stored in the storage means 25 again.
  • the storage means 25 does not necessarily have to be provided by the position estimation device 2, and the flight controller 13 may be provided with the storage means 25. Further, the storage means 25 may exist outside the flying object 1 such as the server device 3 or the database DB, and the flight controller 13 may acquire the next target position when the target position is updated, which will be described later.
  • the server device 3 includes a computing device such as a CPU (Central Processing Unit), a main storage device such as a RAM (Random Access Memory), an auxiliary storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), and a flash memory.
  • a general computer device such as a server device provided with various input / output devices including means for connecting to a network can be used.
  • the server device 3 receives the route information transmitting means 31 for transmitting the route information to the aircraft 1 and the input for designating the target position and the patrol order via the terminal device 4, and registers the route information in the database DB. Means 32 and.
  • the server device 3 includes the route information transmitting means 31, receives an input for designating any of a plurality of route information via the terminal device 4, and acquires the route information from the database DB.
  • the terminal device 4 may be provided with the route information transmitting means 31.
  • the terminal device 4 a general computer device provided with an arithmetic device, a main storage device, an auxiliary storage device, a means for connecting to a network, various input / output devices, and the like can be used.
  • a tablet terminal or the like it is assumed that a tablet terminal or the like is used, but in addition to this, any computer device such as a PC (Personal Computer) or a smartphone may be used.
  • PC Personal Computer
  • the terminal device 4 includes an input means 41 and an output means 42, and performs input / output related to management of route information and the like.
  • the terminal device 4 may include a route information transmitting means 31 and a route information registering means 32, and the terminal device 4 may function in place of the server device 3. Further, a part of the information stored in the database DB may be stored in the storage means 25 included in the flying object 1.
  • a plurality of markers are installed, and the flying object photographs the markers to estimate the position of the flying object.
  • Each marker is associated with marker coordinates indicating its installation position, and the position of the flying object can be estimated based on the captured image and the marker coordinates.
  • FIG. 3 is a diagram showing an example of the marker installation position and the marker coordinates.
  • the three-dimensional coordinates of (x, y, z) are defined.
  • the coordinates of the lower right corner of the lower right marker are set to (0, 0, 0), and the coordinates change by 1 every time the marker moves 1 cm along the axis.
  • all the markers are installed on the horizontal ceiling at regular intervals, and the z coordinate is 0 for all the markers.
  • the z coordinate increases in the direction from the ceiling to the ground.
  • the marker installation position and the definition of coordinates may be changed arbitrarily.
  • the marker coordinates as described above are stored as shown in FIG. 4 in association with the marker ID that identifies each marker. Although the marker coordinates are shown for the markers ID: 0001 and ID: 0002 in FIG. 3, the marker coordinates are actually specified and registered for all the markers to be installed. Further, in the present embodiment, the coordinates of the lower right corner of each marker are treated as marker coordinates, but the reference point of each marker (which point coordinate is used as the marker coordinate) may be arbitrarily determined.
  • FIG. 5 is a processing flowchart from self-coordinate estimation to flight control of this embodiment.
  • the autonomous flight of the flying object 1 is controlled by repeating the processes shown here at predetermined intervals.
  • step S11 the first imaging means 11 photographs the ceiling.
  • an image including the marker installed on the ceiling is generated, and the acquisition means 21 acquires the image.
  • the marker may be installed on the floor, and the first imaging means 11 may generate an image including the marker installed on the floor.
  • step S12 the self-coordinate estimation means 22 recognizes the marker included in the image based on the image acquired by the acquisition means 21, and estimates the position relative to the marker. Further, the orientation estimation means 23 estimates the relative orientation of the flying object 1 with respect to the marker included in the image acquired by the acquisition means 21.
  • the acquisition means 21 recognizes the marker included in the acquired image, acquires the marker coordinates corresponding to the marker, and is based on the marker coordinates, the relative position, and the relative orientation. Estimate self-coordinates and compass information.
  • the markers represent different figures, and individual markers can be identified by recognizing these figures.
  • the self-coordinate estimation means 22 can estimate the coordinates of the flying object 1 in the marker coordinate system by specifying the coordinates obtained by moving the distance from the marker coordinates. In this embodiment, these coordinates are estimated as the self-coordinates of the flying object 1. Further, the orientation estimating means 23 can estimate the inclination of the yaw angle, the roll angle, and the pitch angle from the reference axes by comparing the relative orientation with respect to the marker with a predetermined reference axis.
  • the three-dimensional coordinates (x, y, z) as self-coordinates and the inclinations of the three axes (yaw, roll, pitch) as compass information indicating the direction in which the flying object is facing are provided.
  • step S14 the control means 24 transmits the information based on the self-coordinates and the information based on the compass information to the flight controller 13.
  • the control means 24 converts the self-coordinates and the compass information into a format corresponding to the flight controller 13 and transmits the self-coordinates and the compass information to the flight controller 13.
  • the self-coordinates are converted into a format corresponding to the GPS information used by the flight controller 13 and transmitted to the flight controller 13, and the compass information is converted into the compass information used by the flight controller 13 for flight.
  • the self-coordinates and the compass information are converted into the NMEA format as the format corresponding to the GPS information and the HMC5833 format as the format corresponding to the compass information, and transmitted to the flight controller 13. More specifically, the self-coordinates represented by (x, y, z) are converted into coordinates represented by latitude and longitude corresponding to GPS information, and transmitted to the flight controller 13.
  • the latitude and longitude do not have to be the same as the actual latitude and longitude.
  • the flight controller 13 receives these information in step S15 and performs flight control. By repeating such processing, it becomes possible to recognize the self-coordinates and compass information of the flying object 1 and perform autonomous flight.
  • the first imaging means 11 takes an image including a plurality of markers, and the self-coordinate estimation means 22 self-coordinates the flying object 1 based on the plurality of markers included in the image and the plurality of marker coordinates. May be configured to estimate.
  • FIG. 6 is a processing flowchart relating to the setting or updating of the target position in the present embodiment. The process shown in FIG. 6 is started at the start of flight or when it is determined that the aircraft has arrived at a certain target position.
  • step S21 the control means 24 acquires the route information from the storage means 25 and transmits it to the flight controller 13.
  • the flight controller 13 may be configured to acquire route information directly from the storage means 25.
  • the flight controller 13 determines the next target position in step S22 based on the current self-coordinates of the flying object 1 and the route information. For example, at the start of flight, the first target position is set. When arriving at any of the target positions, the target position to be patrolled next to the arriving target position is determined as the next target position based on the patrol order specified in the route information.
  • step S23 flight control is performed in step S23, and flight control based on the self-coordinate estimation shown in FIG. 5 is performed until the flight reaches the next target position.
  • the predetermined return location is determined as the target position, the flight to that position is performed, and the autonomous flight is completed.
  • the return location may not be distinguished from other target positions, and all target positions including the return location may be specified in the route information.
  • step S23 the flight controller 13 controls the altitude. Then, the coordinates of the target position and the self-coordinates are compared, and when the distance is within a predetermined range, it is determined that the target position has been reached. It is preferable that the coordinates of the target position are registered in the same coordinate system as the self-coordinates. In the present embodiment, the coordinates in the marker coordinate system are registered as the coordinates of the target position.
  • the route information registration means 32 accepts inputs for designating the target position and the patrol order via the terminal device 4.
  • FIG. 7 is a diagram showing an example of a route setting screen displayed on the terminal device 4 in order to receive inputs related to designation of a target position and a patrol order in the present embodiment.
  • the route setting screen W1 includes a target position selection unit W11, a route display unit W12, a target position display unit W13, and an operation unit W14.
  • the target position selection unit W11 displays the target position designated for the route information to be set.
  • the selected target position is displayed in an identifiable manner by color or the like. Further, when a new target position is added, the target position can be specified by selecting "Add" in FIG. 7.
  • the route display unit W12 displays the selected route, that is, the target position (point) and the flow line of the flying object 1.
  • the triangular mark represents the flying object 1
  • the circle mark represents the target position
  • the arrow represents the traveling direction of the flying object 1.
  • the flying object 1 is displayed at the selected target position. Further, a display indicating the photographing range (angle of view) by the second imaging means 12 may be added to the display position of the flying object 1.
  • Information on the selected target position is displayed on the target position display unit W13.
  • the X coordinate, the Y coordinate, the altitude and the angle are displayed.
  • the X coordinate, Y coordinate, and altitude displayed here do not necessarily have to be the coordinates in the marker coordinate system.
  • the user can specify the information in a format that is easy to understand, convert it to the marker coordinate system, and store the route information.
  • the altitude is selected from three levels of low, medium, and high, and the z-coordinates of the three stages corresponding to these are set in advance and treated as the z-coordinate of the target position.
  • the route information registration means 32 stores the route information in the database DB based on the information input via such a screen.
  • FIG. 8 is a diagram showing an example of route information registered in the present embodiment.
  • the route ID, route name, drone, schedule, target position (point) and patrol order are stored as route information.
  • points 1 are circulated in the order of point 2, point 3, and so on.
  • the route name is an arbitrary character string input by the user via the terminal device 4.
  • the drone indicates which flight body 1 is the route when there are a plurality of flight bodies 1 to fly, and is selected by the user from the options registered in advance.
  • the schedule sets the date and time when the aircraft 1 performs autonomous flight.
  • the coordinates of the target position (coordinates in the marker coordinate system in this embodiment) and the angle are registered.
  • the angle indicates the direction to go next.
  • Such route information is transmitted to the flying object 1 by the route information transmitting means 31, and is used for flight control. Specifically, for example, an input for selecting one of the registered routes is received via the terminal device 4, and the selected route information is transmitted to the aircraft 1.
  • the storage means 25 stores the received route information and uses it for flight control by the flight controller 13. If other route information is stored in the storage means 25 when the route information is received, the old route information may be deleted or the route information used in the next autonomous flight may be flagged. , The route information to be applied may be managed so as to be identifiable.
  • the flying object 1 is provided with a second imaging means 12 for photographing a space, and the captured image is transmitted and stored in any of the storage means 25, the server device 3, and the terminal device 4.
  • a moving image is captured by the second imaging means 12, and the captured moving image can be confirmed by the display unit of the terminal device 4.
  • the self-coordinates estimated by the self-coordinate estimation means 22 are stored together with the time, and the self-coordinates at the time of shooting by the second imaging means 12 can be specified.
  • FIG. 9 is a diagram showing an example of a reproduction screen of a moving image taken by the second imaging means 12.
  • the reproduction screen W2 includes an image display unit W21, a route display unit W22, and an operation unit W23.
  • the route display unit W22 shows the position of the flying object 1 at the time of shooting the image being reproduced on the route, and it is possible to understand from which point the image was shot.
  • the position estimation system in the present embodiment as described above can be used for patrol of offices to encourage employees to leave the office, patrol security for crime prevention, and the like. It is often difficult to receive accurate GPS information and compass information indoors, but according to the present invention, even if GPS information and compass information are not received, the position and orientation in the flight space are estimated and autonomous. Flight control can be performed.
  • Aircraft 11 First imaging means 12 Second imaging means 13 Flight controller 14 Motor 2 Position estimation device 21 Acquisition means 22 Self-coordinate estimation means 23 Direction estimation means 24 Control means 25 Storage means 3 Server device 31 Route information transmission means 32 Route Information registration means 4 Terminal device 41 Input means 42 Output means DB Database NW Network W1 Route setting screen W11 Target position selection unit W12 Route display unit W13 Target position display unit W14 Operation unit W2 Playback screen W21 Image display unit W22 Route display unit W23 Operation Department

Abstract

ＧＰＳ情報の取得ができない場合であっても、飛行体を正確に自律飛行させるためのシステムを提供すること。　自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定システムであって、前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、を備える。

Description

位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法
　本発明は、自身の設置位置を示すマーカー座標と対応付けられた複数のマーカーが設置された空間を、飛行体に自律飛行させる為の、位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法に関する。
　近年、車両等の自動走行技術の開発が活発に行われている。このような移動体の無人制御においては、移動体の座標及び方位の取得が必須である。しかし、例えば屋内環境等では移動体の正確な座標及び方位の取得が難しい場合がある。このような課題に対して、例えば以下のようなものが知られている。
　特許文献１には、位置情報と紐づいた二次元コードを認識するとともに、読み取り角度を取得して走行方向を決定する車両の自動走行システムが記載されている。このシステムでは予め定められた向きで二次元コードを設置することで、車両の絶対的な向きを取得できる。
特開２０１８－１５６２８０号公報
　しかしながら、特許文献１に記載の技術では、地面を走行する必要があるため、段差等の障害物がある場合や、対象物を上から撮影したい場合等には対応できなかった。
　一方、近年では無人飛行体（ドローン）の利用が進んでいる。地面や床に置かれる障害物の影響を避けたり、対象物を上から撮影したりするために、このような飛行体を自律飛行させ、例えば警備等の用途に用いたいという要望がある。しかし、現在は、正確な座標や方位の取得ができない環境下で飛行体の自律飛行を制御できる技術は知られていない。
　そこで、本発明は、ＧＰＳ情報の取得ができない場合であっても、飛行体を正確に自律飛行させるための新規なシステムを提供することを課題とする。
　上記課題を解決する為に、本発明は、自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定システムであって、
　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、
　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、
　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、を備える。
　このような構成とすることで、飛行体が飛行する空間に設置されたマーカーに基づいて自己座標を推定し、飛行制御することができるため、例えば屋内や地下等のＧＰＳ情報を取得できない空間であっても、正確に飛行体に自律飛行を行わせることができる。
　本発明の好ましい形態では、前記自己座標推定手段は、前記自己座標として３次元座標を推定し、
　前記制御手段は、前記フライトコントローラーに、少なくとも高度に基づく制御を行わせるために、前記３次元座標に基づく情報を送信する。
　このような構成とすることで、高度を含む自己座標に基づいて制御を行うことができ、より好適に飛行体の自律飛行に役立てることができる。
　本発明の好ましい形態では、前記自己座標推定手段は、前記第一撮像手段によって撮影された画像に基づいて、前記マーカーに対する前記飛行体の相対的な位置を推定し、前記相対的な位置及びマーカー座標に基づいて、前記空間における絶対位置としての前記自己座標の推定を行う。
　このような構成とすることで、事前に登録されたマーカー座標に照らし、第一撮像手段によって得られる画像から正確に空間における自己座標を推定できる。また、飛行体のフライトコントローラーは一般に飛行制御の為にＧＰＳ情報を必要とするが、このようにして絶対位置としての自己座標を推定してフライトコントローラーに入力することで、ＧＰＳ情報を取得せずとも既存のフライトコントローラーによる飛行制御が可能になる。
　本発明の好ましい形態では、前記第一撮像手段によって撮影された画像に基づいて、前記マーカーに対する前記飛行体の相対的な向きを推定し、前記相対的な向き及びマーカー座標に基づいて、所定の基準軸に対する絶対的な向きを表すコンパス情報を推定する向き推定手段を更に備え、
　前記制御手段は、前記コンパス情報に基づく情報を前記フライトコントローラーに送信する。
　このような構成とすることで、方位センサ等が利用できない状況であっても、飛行体の向きを推定して制御を行うことが出来る。一般的に飛行体のフライトコントローラーは、飛行制御の為に、ＧＰＳ情報と同様に方位を表すコンパス情報も必要とする。このようにして第一撮像手段によって得られる画像からコンパス情報を推定することで、方位センサ等が利用できない場合でも既存のフライトコントローラーによる飛行制御が可能になる。
　本発明の好ましい形態では、前記空間の画像を撮影する第二撮像手段を更に備える。
　このような構成とすることで、飛行する空間の画像を取得し、飛行体を巡回監視等の用途に用いることが出来る。また、例えば終業後にオフィス内を自律飛行させて映像を撮影することで、撮影されていることを従業員に意識させて退社を促し、残業を削減する効果が期待できる。
　本発明の好ましい形態では、複数の目標位置及び前記目標位置の巡回順序を指定するルート情報を記憶する記憶手段を更に備え、
　前記制御手段は、前記飛行体を前記巡回順序に従って自律飛行させるために、前記ルート情報に基づく情報を前記フライトコントローラーに送信する。
　このような構成とすることで、事前に設定された目標位置を巡回する所定のルートで、飛行体に自律飛行を行わせることができる。
　本発明の好ましい形態では、前記目標位置及び巡回順序を指定する入力を受け付け、前記ルート情報をデータベースに登録するルート情報登録手段と、
　前記ルート情報を前記飛行体に送信するルート情報送信手段と、を備える。
　このような構成とすることで、ユーザが自由に飛行体の飛行ルートを設定し、指定したルートで飛行体を飛行させることができる。
　本発明の好ましい形態では、前記ルート情報登録手段は、前記目標位置として、高度の指定を含む情報の入力を受け付け、前記ルート情報を前記データベースに登録する。
　このような構成とすることで、高度を含む詳細なルートを設定できる。
　本発明の好ましい形態では、前記第一撮像手段は、天井に設置された前記マーカーを撮影可能な向きで前記飛行体に備えられる。
　このような構成とすることで、床や壁にマーカーを設置する場合に比べて障害物の影響を受けにくくなり、マーカーを撮影しやすくなる。
　本発明は、自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定装置であって、
　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、
　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、
　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、を備える。
　本発明は、位置推定装置と、
　前記自己座標に基づく情報を利用して飛行体の自律飛行制御を行う前記フライトコントローラーと、
　前記マーカーを撮影する為の前記第一撮像手段と、を備える飛行体である。
　本発明は、自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定プログラムであって、コンピュータを、
　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、
　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、
　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、として機能させる。
　本発明は、自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定方法であって、
　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得ステップと、
　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定ステップと、
　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御ステップと、をコンピュータに実行させる。
　本発明によれば、ＧＰＳ情報の取得ができない場合であっても、飛行体を正確に自律飛行させるためのシステムを提供することができる。
本発明の実施形態における位置推定システムの構成を示す図である。 本発明の実施形態における位置推定システムの機能ブロック図である。 本発明の実施形態におけるマーカーの設置位置とマーカー座標の一例を示す図である。 本発明の実施形態において記憶されるマーカー座標の一例を示す図である。 本発明の実施形態における位置推定システムの自己座標推定から飛行制御までの処理フローチャートである。 本発明の実施形態における位置推定システムの目標位置の更新に係る処理フローチャートである。 本発明の実施形態における位置推定システムのルート設定画面の一例を示す図である。 本発明の実施形態における位置推定システムが登録するルート情報の一例を示す図である。 本発明の実施形態における位置推定システムの第二撮像手段によって撮影された動画の再生画面の一例を示す図である。 本発明の実施形態における位置推定システムのマーカー撮影の一例を示す図である。
　以下、図面を用いて、本発明の位置推定システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。
　例えば、本実施形態では位置推定システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータプログラム、飛行体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ－ＲＯＭ等の非一過性の記録媒体であっても良い。
　本実施形態では、壁や天井のある屋内で飛行体を自律飛行させる場合を想定して説明する。ただし、本発明は本実施形態に限られるものではなく、飛行を行う空間やマーカーの設置位置等は任意に変更してよい。
　本実施形態では、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）に用いられる撮影位置や姿勢（角度）を推定する技術を応用し、壁や天井等に取り付けた複数のマーカーを撮影し、マーカーに対する撮影位置及び向きを推定する。具体的には例えば図１０に示すように、天井に設置されたマーカーを撮影し、その撮影画像に基づいて、距離や角度を推定することができる。
　本発明においてマーカー座標とは、マーカー自身の設置位置を示す、任意の座標系における各マーカーの基準点の座標である。また、本実施形態では、マーカー座標を指定する為の座標系をマーカー座標系と呼ぶ。本実施形態においては複数のマーカーが設置されるが、その全てが各々の設置位置を示すマーカー座標と対応付けられている。
　また、本実施形態において飛行体の自己座標とは、空間における飛行体自身の位置を示すものである。本実施形態では、自己座標として、マーカー座標と同一の座標系（マーカー座標系）における座標が推定される。なお、本発明における自己座標は、空間における位置を一意に特定できる座標であれば任意に変更してよい。
　また、本実施形態におけるコンパス情報とは、空間における飛行体の向きを表す情報である。本実施形態では、所定の基準軸に対して、ヨー角、ロール角、ピッチ角についてそれぞれどの程度傾いているかを示す３軸のコンパス情報を推定する。
　また、本実施形態では、複数の目標位置を所定の順序で巡回するルートを指定し、当該ルートに従って飛行体を自律飛行させるように制御する。ここで、複数の目標位置及び目標位置の巡回順序を指定する情報をルート情報と定義し、ルート情報に基づいて飛行制御が行われる。
　図１は、本実施形態における位置推定システムの構成を示す図である。本実施形態の位置推定システムは、飛行体１と、サーバ装置３と、端末装置４と、が通信可能に構成される。
　本実施形態における飛行体１は、マーカーを撮影するための第一撮像手段１１及び、飛行する空間を撮影する為の第二撮像手段１２の２つの撮像手段を備える。このうち第一撮像手段１１は、天井に設置されたマーカーを撮影可能にするために、飛行体１の上部に上向きに取り付けられている。なお、第一撮像手段１１は、飛行体１の上方向及び下方向の両方が撮影可能な向きに取り付けられてもよい。また、壁にマーカーを設置する場合には、第一撮像手段１１が飛行体１の周囲を撮影可能な向きに取り付けられることが好ましい。
　サーバ装置３は、ルート情報等の情報を飛行体１や端末装置４との間で送受信する。また、端末装置４は、ユーザによる入力を受け付けてサーバ装置３との間で情報の送受信を行う。なお、飛行体１と端末装置４とが直接通信を行う構成としてもよい。
　図２は、本実施形態における位置推定システムの機能ブロック図である。ここに示すように、本実施形態の位置推定システムは、飛行体１と、サーバ装置３と、端末装置４と、が相互に通信可能に構成される。
　飛行体１としては、プロペラ、モーター、記憶装置、飛行体１の位置や姿勢に応じた飛行制御を行うフライトコントローラー等の装置を備える一般的な飛行体を用いることができる。本実施形態では、飛行体１は、ＧＰＳセンサや方位センサ等を備えず、その代わりに後述する位置推定装置を備え、自己座標やコンパス情報の推定を行ってフライトコントローラーに送信し、飛行制御を行う。
　飛行体１は、マーカーを含む画像を撮影する第一撮像手段１１と、飛行体１が飛行する空間の画像を撮影する第二撮像手段１２と、飛行体１の自律飛行制御を行うフライトコントローラー１３と、フライトコントローラー１３からの指示を受けて駆動するモーター１４と、飛行体１の自己座標を推定してフライトコントローラー１３に送信する位置推定装置２と、を備える。
　位置推定装置２としては、演算装置や記憶装置等を備えるマイクロコンピュータを用いることが出来る。位置推定装置２は、第一撮像手段によって撮影された、マーカーを含む画像を取得する取得手段２１と、飛行体１の自己座標を推定する自己座標推定手段２２と、飛行体１の向きを示すコンパス情報を推定する向き推定手段２３と、自己座標やコンパス情報に基づく情報をフライトコントローラー１３に送信する制御手段２４と、ルート情報を記憶する記憶手段２５と、を備える。
　自己座標推定手段２２は、まず取得手段２１が取得した画像に含まれるマーカーを認識し、マーカーに対する相対的な位置を推定する。具体的には、例えばマーカーを原点とした３次元座標系における座標を推定する。また、記憶手段２５はマーカー座標を記憶しており、自己座標推定手段２２は、認識したマーカーに対応するマーカー座標を記憶手段２５から取得する。そして、取得したマーカー座標及びマーカーに対する相対的な位置に基づいて、自己座標の推定を行う。なお、マーカー座標をデータベースＤＢが記憶し、自己座標推定手段２２がサーバ装置に問い合わせることで、認識したマーカーに対応するマーカー座標を取得する構成としてもよい。
　本実施形態では、マーカー座標に基づき、マーカーに対する相対的な位置を、マーカー座標軸における座標に変換することにより、３次元の自己座標を推定する。そして、推定された自己座標を、フライトコントローラー１３で利用されるＧＰＳ情報に対応したフォーマットに変換して制御手段２４がフライトコントローラー１３に送信する。
　向き推定手段２３は、取得手段２１が取得した画像に含まれるマーカーに対する飛行体１の相対的な向きを推定する。また、自己座標推定手段２２と同様にマーカー座標を取得する。次に、推定したマーカーに対する相対的な向きを、当該マーカー座標に基づいて、ヨー角、ロール角、ピッチ角の３軸についての所定の基準軸に対する傾きを示す情報に変換し、その結果をコンパス情報として推定する。そして、推定されたコンパス情報を、フライトコントローラー１３で利用されるコンパス情報に対応したフォーマットに変換して制御手段２４がフライトコントローラー１３に送信する。
　制御手段２４は、自己座標に基づく情報及びコンパス情報に基づく情報を、フライトコントローラー１３に送信する。本実施形態では、３次元の自己座標及び３軸のコンパス情報が送信されるため、フライトコントローラー１３に高度を考慮した制御をさせることが可能となる。また、本実施形態では、記憶手段２５が記憶するルート情報に基づく情報をフライトコントローラー１３に送信することで、所定のルートに従って飛行体１を自律飛行させることができる。
　記憶手段２５は、複数の目標位置及び目標位置の巡回順序を指定するルート情報を記憶する。具体的には、例えば端末装置４を介してデータベースＤＢに登録された複数のルート情報のうち何れかを指定する入力を受け付け、それに応じてサーバ装置３から飛行体１がルート情報を取得し、記憶手段２５に格納される構成とすることができる。この他、例えば端末装置４から直接飛行体１にルート情報が送信される構成としてもよい。
　飛行体１は、記憶手段２５に記憶されたルート情報に従って自律飛行を行う。ルートを変更したい場合には、記憶手段２５に再度希望のルートを格納すればよい。なお、記憶手段２５は必ずしも位置推定装置２が備えている必要はなく、フライトコントローラー１３が記憶手段２５を備える構成としてもよい。また、記憶手段２５が、例えばサーバ装置３やデータベースＤＢ等、飛行体１の外部に存在し、後述する目標位置の更新時にフライトコントローラー１３が次の目標位置を取得するようにしてもよい。
　サーバ装置３としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークへの接続手段を含む種々の入出力装置等を備えた、サーバ装置等の一般的なコンピュータ装置を利用することができる。
　サーバ装置３は、ルート情報を飛行体１に送信するルート情報送信手段３１と、端末装置４を介して目標位置及び巡回順序を指定する入力を受け付け、ルート情報をデータベースＤＢに登録するルート情報登録手段３２と、を備える。なお、本実施形態では、ルート情報送信手段３１をサーバ装置３が備え、端末装置４を介して複数のルート情報のうち何れかを指定する入力を受け付けて、データベースＤＢから当該ルート情報を取得して飛行体１に送信するが、ルート情報送信手段３１を端末装置４が備える構成としてもよい。
　端末装置４としては、演算装置、主記憶装置、補助記憶装置、ネットワークへの接続手段や、種々の入出力装置等を備えた、一般的なコンピュータ装置を利用することができる。本実施形態では、タブレット端末等を利用する場合を想定するが、この他にも例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やスマートフォン等のような任意のコンピュータ装置を用いてよい。
　端末装置４は、入力手段４１及び出力手段４２を備え、ルート情報の管理などに関する入出力を行う。
　なお、本発明の構成は上記に限らず、例えばルート情報送信手段３１及びルート情報登録手段３２を端末装置４が備え、端末装置４がサーバ装置３の代わりに機能する構成としてもよい。また、データベースＤＢに記憶される情報の一部を、飛行体１が備える記憶手段２５が記憶する構成等としてもよい。
　本発明では、複数のマーカーが設置され、飛行体はマーカーを撮影して飛行体の位置を推定する。各々のマーカーは、その設置位置を示すマーカー座標と対応付けられており、撮影画像及びマーカー座標に基づいて飛行体の位置を推定することが出来る。
　図３は、マーカーの設置位置とマーカー座標の一例を示す図である。本例では、（ｘ，ｙ，ｚ）の３次元座標が定義される。ここでは右下のマーカーの右下端の座標を（０，０，０）とし、軸に沿って１ｃｍ移動するごとに座標が１変化する。なお、ここでは、全てのマーカーが一定間隔で水平な天井に設置されており、ｚ座標はいずれのマーカーも０である。本実施形態では、天井から地面に向かう方向にｚ座標が大きくなる。ただし、マーカーの設置位置や座標の定義は任意に変更してよい。
　上記のようなマーカー座標は、個々のマーカーを識別するマーカーＩＤに対応付けて、例えば図４のように記憶される。なお、図３ではＩＤ：０００１及びＩＤ：０００２のマーカーについてマーカー座標を記載しているが、実際には設置される全てのマーカーについてマーカー座標が特定され、登録されている。また、本実施形態では各マーカーの右下端の座標をマーカー座標として扱うが、各マーカーの基準点（どの点の座標をマーカー座標とするか）は任意に決定してよい。
　図５は、本実施形態の自己座標推定から飛行制御までの処理フローチャートである。本実施形態ではここに示す処理を所定の間隔で繰り返し行うことで、飛行体１の自律飛行を制御する。
　まずステップＳ１１で、第一撮像手段１１が天井を撮影する。これにより、天井に設置されたマーカーを含む画像を生成し、取得手段２１が当該画像を取得する。なお、マーカーを床に設置し、第一撮像手段１１が床に設置されたマーカーを含む画像を生成する構成としてもよい。次にステップＳ１２で、自己座標推定手段２２が、取得手段２１が取得した画像に基づいて、画像に含まれるマーカーを認識し、マーカーに対する相対的な位置を推定する。また、向き推定手段２３は、取得手段２１が取得した画像に含まれるマーカーに対する飛行体１の相対的な向きを推定する。
　そしてステップＳ１３では、取得手段２１が取得した画像に含まれるマーカーを認識して、当該マーカーに対応するマーカー座標を取得し、マーカー座標と、相対的な位置と、相対的な向きと、に基づいて自己座標及びコンパス情報を推定する。なお、本実施形態では、マーカーはそれぞれ異なる図形を表しており、この図形を認識することで個々のマーカーを識別できる。
　具体的には、マーカーに対する相対的な位置及び向きを推定することによって、マーカー座標からどの向きにどれだけ離れた位置から撮影しているかがわかる。これに基づき、自己座標推定手段２２が、マーカー座標から当該距離を移動した座標を特定することで、マーカー座標系における飛行体１の座標を推定できる。本実施形態では、この座標を飛行体１の自己座標として推定する。また、向き推定手段２３が、マーカーに対する相対的な向きを、所定の基準軸と比較することで、ヨー角、ロール角、ピッチ角の３軸の基準軸からの傾きを推定できる。即ち、本実施形態では、自己座標として（ｘ，ｙ，ｚ）の３次元座標と、飛行体が向いている方向を示すコンパス情報として（ｙａｗ，ｒｏｌｌ，ｐｉｔｃｈ）の３軸の傾きと、を推定する。
　次にステップＳ１４に進み、制御手段２４が、自己座標に基づく情報と、コンパス情報に基づく情報と、をフライトコントローラー１３に送信する。本実施形態では、制御手段２４は、自己座標とコンパス情報をフライトコントローラー１３に対応したフォーマットに変換して、フライトコントローラー１３に送信する。このように、自己座標を、フライトコントローラー１３で利用されるＧＰＳ情報に対応したフォーマットに変換してフライトコントローラー１３に送信し、またコンパス情報をフライトコントローラー１３で利用されるコンパス情報に変換してフライトコントローラー１３に送信することで、既存のフライトコントローラーによる飛行制御が可能になる。
　本実施形態では、ＧＰＳ情報に対応したフォーマットとしてＮＭＥＡフォーマットに、コンパス情報に対応したフォーマットとしてＨＭＣ５８３３フォーマットに、自己座標及びコンパス情報をそれぞれ変換して、フライトコントローラー１３に送信する。より具体的には、（ｘ，ｙ，ｚ）で表される自己座標を、ＧＰＳ情報に対応した、緯度及び経度で表される座標に変換し、フライトコントローラー１３に送信する。なお、ここでの緯度及び経度は、実際の緯度及び経度と同一である必要はなく、例えば本実施形態では、（ｘ，ｙ）＝（０，０）の座標を、緯度及び経度が（０，０）として、ダミーのＧＰＳ座標への変換を行う。
　フライトコントローラー１３は、ステップＳ１５でこれらの情報を受信し、飛行制御を行う。このような処理を繰り返し行うことにより、飛行体１の自己座標及びコンパス情報を認識して自律飛行を行わせることが可能になる。
　なお、第一撮像手段１１が複数のマーカーを含む画像を撮影し、当該画像に含まれる複数のマーカーと、複数のマーカー座標と、に基づいて、自己座標推定手段２２が飛行体１の自己座標を推定する構成としてもよい。
　また、本実施形態では、複数の目標位置を所定の順序で巡回するルートを指定し、当該ルートに従って飛行体を自律飛行させるように制御する。図６は、本実施形態における目標位置の設定又は更新に係る処理フローチャートである。飛行開始時やある目標位置に到着したと判定された時に、図６に示す処理が開始される。
　まずステップＳ２１において、制御手段２４が記憶手段２５からルート情報を取得し、フライトコントローラー１３に送信する。なお、フライトコントローラー１３が記憶手段２５から直接ルート情報を取得する構成としてもよい。
　フライトコントローラー１３は、ステップＳ２２で現在の飛行体１の自己座標及びルート情報に基づき、次の目標位置を決定する。例えば、飛行開始時であれば、最初の目標位置を設定する。また、何れかの目標位置に到着した場合には、ルート情報において指定される巡回順序に基づき、到着した目標位置の次に巡回すべき目標位置を、次の目標位置として決定する。
　そして、ステップＳ２３で飛行制御を行い、次の目標位置に到着するまで図５に示した自己座標推定に基づく飛行制御を行う。このような処理を繰り返し、ルート情報において指定された全ての目標位置を巡回したら、所定の帰還場所を目標位置として決定してその位置まで飛行し、自律飛行を終了する。なお、帰還場所を他の目標位置と区別せず、ルート情報において帰還場所を含む全ての目標位置を指定するようにしてもよい。
　ここで、本実施形態では、目標位置として、高度を含む３次元座標が設定される。従ってステップＳ２３では、フライトコントローラー１３が高度に関する制御を行う。そして、目標位置の座標及び自己座標を比較して、その距離が所定の範囲内になった場合に目標位置に到着したと判定する。目標位置の座標としては、自己座標と同一の座標系で登録されることが好ましい。本実施形態では、マーカー座標系における座標が、目標位置の座標として登録される。
　上記のようなルート情報の登録に際しては、ルート情報登録手段３２が端末装置４を介して目標位置及び巡回順序を指定する入力を受け付ける。図７は、本実施形態において目標位置及び巡回順序の指定に関する入力を受け付けるために、端末装置４に表示されるルート設定画面の一例を示す図である。
　ルート設定画面Ｗ１は、目標位置選択部Ｗ１１と、ルート表示部Ｗ１２と、目標位置表示部Ｗ１３と、操作部Ｗ１４と、を備える。目標位置選択部Ｗ１１においては、設定したいルート情報に対して指定されている目標位置を表示する。選択中の目標位置については色等により識別可能に表示される。また、新たに目標位置を追加する場合には図７における「追加」を選択することにより、目標位置の指定を行うことができる。
　ルート表示部Ｗ１２には、選択中のルート、即ち目標位置（ポイント）と、飛行体１の動線を表示する。ここでは、三角形の印が飛行体１を、丸印が目標位置を、矢印が飛行体１の進行方向をそれぞれ表している。なお、飛行体１は、選択されている目標位置に表示されている。また、更に飛行体１の表示位置に、第二撮像手段１２による撮影範囲（画角）を示す表示を追加してもよい。
　目標位置表示部Ｗ１３には、選択されている目標位置の情報が表示される。本実施形態では、Ｘ座標、Ｙ座標、高度及び角度が表示される。なお、ここで表示されるＸ座標、Ｙ座標及び高度は、必ずしもマーカー座標系における座標である必要はない。ユーザに理解しやすい形式で指定させ、マーカー座標系に変換してルート情報を格納すればよい。例えば、本実施形態では、高度を低、中、高の３つから選択させ、これらに対応する３段階のｚ座標を予め設定しておき、これを目標位置のｚ座標として扱う。
　ルート情報登録手段３２は、このような画面を介して入力された情報に基づいて、ルート情報をデータベースＤＢに格納する。図８は、本実施形態において登録されるルート情報の一例を示す図である。
　ここに示すように、本実施形態では、ルートＩＤ、ルート名、ドローン、スケジュール、目標位置（ポイント）及び巡回順序をルート情報として記憶する。本実施形態では、ポイント１から、ポイント２、ポイント３、という順に巡回する。ルート名は、端末装置４を介してユーザから入力される、任意の文字列である。また、ドローンは、飛行を行う飛行体１が複数ある場合に、どの飛行体１のルートであるかを示すものであり、事前に登録された選択肢の中からユーザによって選択される。
　また、スケジュールは、飛行体１が自律飛行を行う日時を設定するものである。本実施形態では、特定の日時のみでなく、例えば平日の２０時や、休日の１２時等のように、曜日と時刻を特定して繰り返し自律飛行を行うように設定することができる。
　目標位置の情報としては、目標位置の座標（本実施形態ではマーカー座標系における座標）と、角度と、を登録する。角度は、次に向かうべき方向を示すものである。
　このようなルート情報は、ルート情報送信手段３１によって飛行体１に送信され、飛行制御に用いられる。具体的には、例えば、端末装置４を介して、登録済みのルートのうち何れかを選択する入力を受け付け、選択されたルート情報を飛行体１に送信する。記憶手段２５では、受信したルート情報を記憶し、フライトコントローラー１３による飛行制御に用いる。なお、ルート情報を受信した時に他のルート情報が記憶手段２５に記憶されている場合には、古いルート情報を削除するか、あるいは次の自律飛行において用いるルート情報にフラグを付けるなどの方法で、適用するルート情報を識別可能に管理すればよい。
　本実施形態では、飛行体１は空間を撮影する為の第二撮像手段１２を備え、撮影した画像は記憶手段２５、サーバ装置３及び端末装置４の何れかに送信され、記憶される。本実施形態では、第二撮像手段１２によって動画を撮影し、撮影された動画は端末装置４の表示部によって確認することが出来る。なお、本実施形態では、自己座標推定手段２２によって推定された自己座標が、その時刻と共に記憶され、第二撮像手段１２による撮影時点の自己座標を特定できる。
　図９は、第二撮像手段１２によって撮影された動画の再生画面の一例を示す図である。このように、再生画面Ｗ２は、画像表示部Ｗ２１と、ルート表示部Ｗ２２と、操作部Ｗ２３と、を備える。
　このように、ルート表示部Ｗ２２では、再生中の画像の撮影時点における飛行体１の位置を、ルート上に示しており、どの点から撮影された画像であるかを理解することが出来る。
　以上のような本実施形態における位置推定システムは、従業員に退社を促す為のオフィスの巡回や、防犯目的の巡回警備などに用いることが出来る。屋内においては正確なＧＰＳ情報やコンパス情報の受信が難しい場合が多いが、本発明によれば、ＧＰＳ情報やコンパス情報を受信しなくとも、飛行を行う空間内の位置及び向きを推定し、自律飛行制御を行うことができる。
１　飛行体
１１　第一撮像手段
１２　第二撮像手段
１３　フライトコントローラー
１４　モーター
２　位置推定装置
２１　取得手段
２２　自己座標推定手段
２３　向き推定手段
２４　制御手段
２５　記憶手段
３　サーバ装置
３１　ルート情報送信手段
３２　ルート情報登録手段
４　端末装置
４１　入力手段
４２　出力手段
ＤＢ　データベース
ＮＷ　ネットワーク
Ｗ１　ルート設定画面
Ｗ１１　目標位置選択部
Ｗ１２　ルート表示部
Ｗ１３　目標位置表示部
Ｗ１４　操作部
Ｗ２　再生画面
Ｗ２１　画像表示部
Ｗ２２　ルート表示部
Ｗ２３　操作部
 

Claims (13)

  1. 　自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定システムであって、
    　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、
    　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、
    　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、を備える、位置推定システム。
  2. 　前記自己座標推定手段は、前記自己座標として３次元座標を推定し、
    　前記制御手段は、前記フライトコントローラーに、少なくとも高度に基づく制御を行わせるために、前記３次元座標に基づく情報を送信する、請求項１に記載の位置推定システム。
  3. 　前記自己座標推定手段は、前記第一撮像手段によって撮影された画像に基づいて、前記マーカーに対する前記飛行体の相対的な位置を推定し、前記相対的な位置及びマーカー座標に基づいて、前記空間における絶対位置としての前記自己座標の推定を行う、請求項１又は請求項２に記載の位置推定システム。
  4. 　前記第一撮像手段によって撮影された画像に基づいて、前記マーカーに対する前記飛行体の相対的な向きを推定し、前記相対的な向き及びマーカー座標に基づいて、所定の基準軸に対する絶対的な向きを表すコンパス情報を推定する向き推定手段を更に備え、
    　前記制御手段は、前記コンパス情報に基づく情報を前記フライトコントローラーに送信する、請求項１～３の何れかに記載の位置推定システム。
  5. 　前記空間の画像を撮影する第二撮像手段を更に備える、請求項１～４の何れかに記載の位置推定システム。
  6. 　複数の目標位置及び前記目標位置の巡回順序を指定するルート情報を記憶する記憶手段を更に備え、
    　前記制御手段は、前記飛行体を前記巡回順序に従って自律飛行させるために、前記ルート情報に基づく情報を前記フライトコントローラーに送信する、請求項１～５の何れかに記載の位置推定システム。
  7. 　前記目標位置及び巡回順序を指定する入力を受け付け、前記ルート情報をデータベースに登録するルート情報登録手段と、
    　前記ルート情報を前記飛行体に送信するルート情報送信手段と、を備える、請求項６に記載の位置推定システム。
  8. 　前記ルート情報登録手段は、前記目標位置として、高度の指定を含む情報の入力を受け付け、前記ルート情報を前記データベースに登録する、請求項７に記載の位置推定システム。
  9. 　前記第一撮像手段は、天井に設置された前記マーカーを撮影可能な向きで前記飛行体に備えられる、請求項１～８の何れかに記載の位置推定システム。
  10. 　自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定装置であって、
    　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、
    　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、
    　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、を備える、位置推定装置。
  11. 　請求項１０に記載の位置推定装置と、
    　前記自己座標に基づく情報を利用して飛行体の自律飛行制御を行う前記フライトコントローラーと、
    　前記マーカーを撮影する為の前記第一撮像手段と、を備える飛行体。
  12. 　自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定プログラムであって、コンピュータを、
    　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得手段と、
    　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定手段と、
    　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御手段と、として機能させる、位置推定プログラム。
  13. 　自身の設置位置を示すマーカー座標と対応付けられたマーカーが設置された空間を、飛行体に自律飛行させる為の位置推定方法であって、
    　前記飛行体が備える第一撮像手段によって撮影された、前記マーカーを含む画像を取得する取得ステップと、
    　前記第一撮像手段によって撮影された前記マーカーに対応する前記マーカー座標に基づいて、前記飛行体の自己座標を推定する自己座標推定ステップと、
    　前記飛行体の自律飛行制御を行うフライトコントローラーに、前記自己座標に基づく情報を送信する制御ステップと、をコンピュータに実行させる、位置推定方法。
PCT/JP2020/024520 2019-08-20 2020-06-23 位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法 WO2021033422A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021540648A JPWO2021033422A1 (ja) 2019-08-20 2020-06-23

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019150420 2019-08-20
JP2019-150420 2019-08-20

Publications (1)

Publication Number Publication Date
WO2021033422A1 true WO2021033422A1 (ja) 2021-02-25

Family

ID=74661043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024520 WO2021033422A1 (ja) 2019-08-20 2020-06-23 位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法

Country Status (2)

Country Link
JP (1) JPWO2021033422A1 (ja)
WO (1) WO2021033422A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0232096B2 (ja) * 1983-05-30 1990-07-18 Nippei Toyama Corp Hajisochi
JP2017505254A (ja) * 2014-08-08 2017-02-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖのバッテリー電源バックアップシステムおよび方法
JP2017124666A (ja) * 2016-01-12 2017-07-20 株式会社Ｓｏｋｅｎ 飛行誘導システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0232096B2 (ja) * 1983-05-30 1990-07-18 Nippei Toyama Corp Hajisochi
JP2017505254A (ja) * 2014-08-08 2017-02-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖのバッテリー電源バックアップシステムおよび方法
JP2017124666A (ja) * 2016-01-12 2017-07-20 株式会社Ｓｏｋｅｎ 飛行誘導システム

Also Published As

Publication number Publication date
JPWO2021033422A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
WO2017150433A1 (ja) 無人航空機、無人航空機制御システム、飛行制御方法およびプログラム記憶媒体
US11725940B2 (en) Unmanned aerial vehicle control point selection system
JP2005269413A (ja) 無人飛行体を利用した空中撮影システム
JP7044293B2 (ja) 設備点検システム
WO2020062178A1 (zh) 基于地图识别目标对象的方法与控制终端
JPWO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6289750B1 (ja) 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
WO2018059398A1 (zh) 多旋翼飞行器的控制方法、装置和系统
WO2019230604A1 (ja) 検査システム
JP2020170213A (ja) ドローン作業支援システム及びドローン作業支援方法
JP2023100642A (ja) 検査システム
WO2021250914A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP2020036163A (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
WO2021033422A1 (ja) 位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法
JP2023164746A (ja) 作業計画生成システム
WO2021079516A1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
CN115357052B (zh) 一种无人机自动探索视频画面中兴趣点的方法及系统
KR101541783B1 (ko) 타임 랩스 영상 제작 장치 및 그 방법
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2019096965A (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
KR102181809B1 (ko) 시설물 점검 장치 및 방법
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
WO2021064982A1 (ja) 情報処理装置および情報処理方法
JP2021103108A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853652

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021540648

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20853652

Country of ref document: EP

Kind code of ref document: A1