JP6927943B2 - 情報処理装置、飛行制御方法及び飛行制御システム - Google Patents

情報処理装置、飛行制御方法及び飛行制御システム Download PDF

Info

Publication number
JP6927943B2
JP6927943B2 JP2018203824A JP2018203824A JP6927943B2 JP 6927943 B2 JP6927943 B2 JP 6927943B2 JP 2018203824 A JP2018203824 A JP 2018203824A JP 2018203824 A JP2018203824 A JP 2018203824A JP 6927943 B2 JP6927943 B2 JP 6927943B2
Authority
JP
Japan
Prior art keywords
information
base
flying object
flight
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018203824A
Other languages
English (en)
Other versions
JP2020071580A (ja
Inventor
磊 顧
磊 顧
宗耀 瞿
宗耀 瞿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018203824A priority Critical patent/JP6927943B2/ja
Priority to PCT/CN2019/113654 priority patent/WO2020088399A1/zh
Priority to CN201980009026.3A priority patent/CN111630466A/zh
Publication of JP2020071580A publication Critical patent/JP2020071580A/ja
Priority to US17/233,431 priority patent/US20210229810A1/en
Application granted granted Critical
Publication of JP6927943B2 publication Critical patent/JP6927943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/007Helicopter portable landing pads
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors

Description

本開示は、飛行体の飛行を制御するための情報処理装置、飛行制御方法及び飛行制御システムに関する。
撮影機器を搭載し、予め設定された飛行経路を飛行しながら撮影を行うプラットフォーム(例えば無人飛行体)が知られている(例えば特許文献1参照)。このプラットフォームは、地上基地から事前に設定された飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
特開2010−61216号公報
飛行体を予め設定した経路に沿って自動飛行させる場合、飛行中の飛行体の位置を正確に測定する必要がある。飛行体の位置を測定する方法として、一般にはGPS(global Positioning System)による位置測定が用いられている。しかしながら、例えば飛行体を自動飛行させて橋梁点検を行う場合など、飛行経路における飛行体が橋梁等の遮蔽物に隠れる場合に、GPS衛星からの信号を受信できない場合が想定される。このようにGPS衛星からの信号を受信できないときは、正確な位置測定が困難である。
GPS以外の位置測定方法としては、測定対象物の速度の積分による位置推定、ビーコンなどの電波による位置測定などが用いられる。測定対象物の速度の積分による位置推定は、例えば10mあたり2m程度の誤差が生じるなど、測定精度が良くないため、自動飛行制御における位置測定としては必要な測定精度が得られない課題がある。ビーコンによる位置測定は、電波干渉の影響を受けるため、数10m以内の近距離しか使用できない課題がある。また、数10m以上離れた距離では測定精度が悪化するという課題もある。
一態様において、情報処理装置は、飛行体と、飛行体の可視範囲に存在する測定対象物を有する基地と、を含む飛行制御システムにおける、飛行体の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置であって、処理部を備え、処理部は、飛行体の可視範囲に測定対象物を有する基地が存在する場合、飛行体において測定対象物を随時計測することにより得られる飛行体と基地との相対位置を示す飛行体相対位置情報と、基地の絶対位置を示す基地絶対位置情報とを取得し、飛行体に設定された設定経路情報を入力して設定経路情報から現時点における目標経路情報を取得し、目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出し、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出し、飛行体の現在の絶対位置と目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出し、飛行体を制御する飛行体制御部に飛行体制御情報を送信する。
処理部は、飛行体において基地に設けられる測定対象物を計測し、測定対象物の検出及び追跡を行って、測定対象物の距離と角度の情報を取得し、測定対象物の距離と角度の情報に基づき、測定対象物と飛行体との相対的な三次元位置を推定して飛行体相対位置情報を算出してよい。
測定対象物が可視目標物であり、飛行体において、測定対象物を計測する測定部としての可視目標物を撮像する撮像部と、測定部を測定対象物に向けるジンバルとを有している場合、処理部は、測定部において取得された測定対象物の撮像画像を用いて飛行体相対位置情報を算出してよい。
測定対象物が再帰反射体であり、飛行体において、測定対象物を計測する測定部としての再帰反射体に対する距離と角度を測定するレーザスキャナと、測定部を測定対象物に向けるジンバルとを有している場合、処理部は、測定部において取得された測定対象物までの距離と角度の測定情報を用いて飛行体相対位置情報を算出してよい。
処理部は、基地が移動可能な基地である場合、飛行体と基地との相対位置を示す飛行体相対位置情報と、飛行体の速度を示す飛行体速度情報と、基地の絶対位置を示す基地絶対位置情報と、基地の速度を示す基地速度情報とを取得し、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出し、飛行体速度情報と基地速度情報とに基づいて飛行体の絶対速度を算出し、飛行体の現在の絶対位置及び絶対速度と、目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出してよい。
処理部は、基地が移動可能な基地である場合、飛行体と基地との相対位置を示す飛行体相対位置情報と、飛行体の速度を示す飛行体速度情報と、飛行体の加速度を示す飛行体加速度情報と、基地の絶対位置を示す基地絶対位置情報と、基地の速度を示す基地速度情報と、基地の加速度を示す基地加速度情報とを取得し、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出し、飛行体速度情報と基地速度情報とに基づいて飛行体の絶対速度を算出し、飛行体加速度情報と基地加速度情報とに基づいて飛行体の絶対加速度を算出し、飛行体の現在の絶対位置、絶対速度及び絶対加速度と、目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出してよい。
一態様において、飛行制御方法は、飛行体と、飛行体の可視範囲に存在する測定対象物を有する基地と、飛行体の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置と、を含む飛行制御システムにおける飛行制御方法であって、情報処理装置において、飛行体において測定対象物を随時計測することにより得られる飛行体と基地との相対位置を示す飛行体相対位置情報と、基地の絶対位置を示す基地絶対位置情報とを取得するステップと、飛行体に設定された設定経路情報を入力して設定経路情報から現時点における目標経路情報を取得し、目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出するステップと、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出するステップと、飛行体の現在の絶対位置と目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出するステップと、飛行体を制御する飛行体制御部に飛行体制御情報を送信するステップと、を有する。
飛行体相対位置情報を取得するステップは、飛行体において基地に設けられる測定対象物を計測するステップと、測定対象物の検出及び追跡を行って、測定対象物の距離と角度の情報を取得するステップと、測定対象物の距離と角度の情報に基づき、測定対象物と飛行体との相対的な三次元位置を推定して飛行体相対位置情報を算出するステップと、を含んでよい。
飛行体相対位置情報を取得するステップは、測定対象物が可視目標物であり、飛行体において、測定対象物を計測する測定部としての可視目標物を撮像する撮像部と、測定部を測定対象物に向けるジンバルとを有している場合、測定部において取得された測定対象物の撮像画像を用いて飛行体相対位置情報を算出するステップを含んでよい。
飛行体相対位置情報を取得するステップは、測定対象物が再帰反射体であり、飛行体において、測定対象物を計測する測定部としての再帰反射体に対する距離と角度を測定するレーザスキャナと、測定部を測定対象物に向けるジンバルとを有している場合、測定部において取得された測定対象物までの距離と角度の測定情報を用いて飛行体相対位置情報を算出するステップを含んでよい。
基地が移動可能な基地である場合、飛行体と基地との相対位置を示す飛行体相対位置情報と、飛行体の速度を示す飛行体速度情報と、基地の絶対位置を示す基地絶対位置情報と、基地の速度を示す基地速度情報とを取得するステップと、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出するステップと、飛行体速度情報と基地速度情報とに基づいて飛行体の絶対速度を算出するステップと、飛行体の現在の絶対位置及び絶対速度と、目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出するステップと、を含んでよい。
基地が移動可能な基地である場合、記飛行体と基地との相対位置を示す飛行体相対位置情報と、飛行体の速度を示す飛行体速度情報と、飛行体の加速度を示す飛行体加速度情報と、基地の絶対位置を示す基地絶対位置情報と、基地の速度を示す基地速度情報と、基地の加速度を示す基地加速度情報とを取得するステップと、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出するステップと、飛行体速度情報と基地速度情報とに基づいて飛行体の絶対速度を算出するステップと、飛行体加速度情報と基地加速度情報とに基づいて飛行体の絶対加速度を算出するステップと、飛行体の現在の絶対位置、絶対速度及び絶対加速度と、目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出するステップと、を含んでよい。
一態様において、飛行制御システムは、飛行体の飛行動作の制御を行う飛行制御システムであって、飛行体と、飛行体の可視範囲に存在する測定対象物を有する基地と、飛行体の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置と、を含み、飛行体は、基地に設けられる測定対象物を随時計測し、基地との相対位置を示す飛行体相対位置情報を算出し、基地は、基地の絶対位置を示す基地絶対位置情報を取得し、情報処理装置は、飛行体に設定された設定経路情報を入力して設定経路情報から現時点における目標経路情報を取得し、目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出し、飛行体相対位置情報及び基地絶対位置情報を取得し、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体の現在の絶対位置を算出し、飛行体の現在の絶対位置と目標位置とに基づき、飛行体の飛行制御を行うための飛行体制御情報を算出し、飛行体を制御する飛行体制御部に飛行体制御情報を送信する。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
実施形態における飛行制御システムの第1構成例を示すブロック図 実施形態における飛行制御システムの第1構成例を示す模式図 実施形態における経路演算部の機能構成の第1例を示すブロック図 飛行体の具体的な外観構成の一例を示す図 飛行体のハードウェア構成の一例を示すブロック図 実施形態における飛行制御動作の一例を示すフローチャート 実施形態における飛行制御システムの第2構成例を示すブロック図 実施形態における飛行制御システムの第2構成例を示す模式図 実施形態における経路演算部の機能構成の第2例を示すブロック図 実施形態における飛行制御システムの第3構成例を示すブロック図 実施形態における経路演算部の機能構成の第3例を示すブロック図
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
本開示に係る情報処理装置は、移動体の一例としての飛行体と、飛行体の動作又は処理を遠隔で制御するためのプラットフォームとの、少なくとも一方に含まれるコンピュータであって、飛行体の動作に係る各種処理を実行するものである。
本開示に係る飛行制御方法は、情報処理装置(飛行体、プラットフォーム)における各種の処理(ステップ)が規定されたものである。本開示に係るプログラムは、情報処理装置(飛行体、プラットフォーム)に各種の処理(ステップ)を実行させるためのプログラムである。本開示に係る記録媒体は、プログラム(つまり、情報処理装置(飛行体、プラットフォーム)に各種の処理(ステップ)を実行させるためのプログラム)が記録されたものである。
本開示に係る飛行制御システムは、飛行体と、情報処理装置(飛行体、プラットフォーム)と、飛行体の位置測定のための基地とを含むものである。
飛行体は、空中を移動する航空機(例えばドローン、ヘリコプター)を含む。飛行体は、撮像装置を有する無人飛行体(UAV:Unmanned Aerial Vehicle)(無人航空機ともいう)であってもよい。飛行体は、撮像範囲における被写体(例えば一定の範囲内の建物、道路、公園等の地面形状)を撮像するために、あらかじめ設定された飛行経路に沿って飛行し、飛行経路上に設定されている複数の撮影位置において被写体を撮像する。被写体は、例えば建物、道路、橋梁等のオブジェクトが含まれる。
プラットフォームは、コンピュータであって、例えば飛行体の移動を含む各種処理の制御を指示するための処理部を有し、飛行体の制御部と情報やデータの入出力が可能に接続された端末である。端末は、例えばPCなどであってよい。なお、飛行体に情報処理装置を含む場合、飛行体自体がプラットフォームとして含まれてよい。
以下の実施形態では、飛行体として、無人航空機(UAV)を例示する。本明細書に添付する図面では、無人航空機を「UAV」とも表記する。本実施形態では、情報処理装置は、飛行体によって所定の目標経路を自動飛行する際の飛行動作を制御する。情報処理装置は、例えば飛行体の内部に搭載されてよい。情報処理装置は、他の装置(例えば飛行体と通信可能なPC、サーバ等)に搭載されてよい。情報処理装置は、後述する測定対象物を有する基地に搭載されてよい。
[飛行制御システムの構成例1]
図1は、実施形態における飛行制御システムの第1構成例を示すブロック図である。飛行制御システム10は、飛行体100、飛行制御処理部300、基地500を有する。飛行体100と飛行制御処理部300、基地500と飛行制御処理部300は、それぞれ相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。
図2は、実施形態における飛行制御システムの第1構成例を示す模式図である。図2では、基地500が地上に設置される地上基地である場合の構成例を示している。基地500には、飛行体100が撮影等によって相対位置を測定するための測定対象物として、可視目標物の一例であるマーカー550が設けられる。マーカー550は、基地500の外表面、例えば上面部に形成されて配置される。飛行体100は、測定部としての撮像部のカメラによって基地500のマーカー550を撮影し、飛行体100と基地500との相対位置を測定する。基地500は、地上に固定設置されたものに限定されず、建物や塔などの構造物上に設けられた基地、水上や空中に設けられた基地、或いは陸上、水上、空中において移動可能な移動基地でもよい。
図1に戻り、飛行体100は、飛行体制御部110、ジンバル120、ジンバル制御部130を有する。ジンバル120には、相対位置測定部140が搭載される。ジンバル120は、例えば3軸方向に自在に回転可能に構成され、相対位置測定部140が測定対象物に向くように、相対位置測定部140の向きを所望の方向に任意に変更可能になっている。相対位置測定部140は、測定部141、対象物検出部142、相対位置算出部143を有し、飛行体100と基地500との相対位置を測定する。測定部141は、TOF(Time Of Flight)カメラ及びRGBカメラを含む撮像部、或いはレーザスキャナ等により構成されてよい。ジンバル制御部130は、ジンバル120に搭載された測定部141を基地500の測定対象物に向けるように、ジンバル120に対して駆動信号を出力し、ジンバル120の向きを物理的に制御する。ジンバル制御部130は、相対位置算出部143による相対位置の測定結果を入力し、フィードバック制御によりジンバル120の向きを調整する。飛行体制御部110は、飛行体100が所定の目標経路を自動飛行する際の飛行動作を制御する。目標経路は、飛行経路を生成するための飛行位置(ウェイポイント(Waypoint))、飛行経路の生成の基となる制御点、飛行時間等の情報を含んでよい。目標経路は、オブジェクトを撮像する撮影位置等を含む飛行位置を含んでよい。飛行体100において、飛行体制御部110、ジンバル制御部130、対象物検出部142、相対位置算出部143は、プロセッサ及びメモリを有するコンピュータにより構成されてよい。
基地500は、上述したマーカー550等による測定対象物510と、基地500自体の位置を取得する位置取得部520とを有する。飛行体100の測定部141としてTOFカメラ及びRGBカメラによる撮像部を備える場合、測定対象物510としてはマーカー550が用いられる。この場合、TOFカメラは、測定対象物510を撮像した撮像画像のピクセル毎に全ピクセルの被写体(対象物)までの距離を測定する。TOFカメラは、パルス光源と撮像デバイスとを有し、被写体に対して照射したパルス光の反射時間を画素毎に計測することにより、三次元的な位置情報(距離情報)を計測可能なカメラである。RGBカメラは、RGB画像を撮像するカメラであり、撮像画像の色情報(RGB情報)に基づいて対象物のピクセル位置を算出し、対象物の角度を測定する。測定部141は、TOFカメラとRGBカメラによって、測定対象物510のマーカーを撮像し、測定対象物510までの距離と角度を測定する。
また、飛行体100の測定部141としてレーザスキャナを備える場合、測定対象物510としてはプリズム等を含む再帰反射体が用いられる。この場合、レーザスキャナは、測定対象物510にレーザ光を照射し、対象物にて反射して戻ってきた反射光に基づいて対象物までの距離と角度を測定する。レーザスキャナは、位相差方式、TOF方式等の測定方法により、レーザ光の位相差、或いは反射時間及び照射角度を用いて対象物の三次元位置情報を測定可能な測定器である。測定部141は、レーザスキャナによって、測定対象物510の再帰反射体に向けてレーザ光を照射し、測定対象物510までの距離と角度を測定する。なお、以下の説明では、飛行体100の測定部141として、TOFカメラ及びRGBカメラによる撮像部を用いて構成した場合を例示する。
飛行体100の相対位置測定部140において、測定部141は、基地500の測定対象物510を撮像等によって検知、計測し、撮像画像等の計測データを随時取得する。対象物検出部142は、測定部141による撮像画像等の計測データに基づき、対象検出・追跡技術により測定対象物510を検出、追跡し、測定対象物510の距離と角度の情報を出力する。相対位置算出部143は、測定対象物510の距離と角度の情報から、測定対象物510から飛行体100までの相対的な三次元位置を推定して算出し、飛行体100の現在の相対位置情報を取得して出力する。
基地500の位置取得部520は、例えばGPSセンサを含むGPS測定部により構成されてよい。位置取得部520としてGPS測定部を備える場合、GPS測定部は、基地500のGPSによる三次元位置を測定し、基地500の絶対位置情報を取得して出力する。位置取得部520は、GPSによって予め測定された三次元位置、或いは他の測位方法によって予め測定された三次元位置を保持又は取得し、基地500の絶対位置情報を取得してよい。位置取得部520は、メモリ又はストレージ、或いはプロセッサ及びメモリを有するコンピュータにより構成されてよい。
飛行制御処理部300は、本開示に係る情報処理装置の一例であり、目標経路取得部310、経路演算部320、送信部330を有する。目標経路取得部310は、飛行制御システムを使用する人物(以下、「ユーザ」という)が事前に設定した飛行経路、ユーザが指定したパラメータから算出した飛行経路、或いは事前に記録された飛行経路等の設定経路情報を入力し、設定経路情報から現時点における目標経路情報を取得する。目標経路情報は、飛行体の位置、姿勢、角度等の情報を含む。経路演算部320は、飛行体100の相対位置情報(飛行体相対位置情報)、基地500の絶対位置情報(基地絶対位置情報)、及び目標経路情報を入力し、飛行体100の目標位置と現在位置の位置情報から、設定経路通りに飛行体100を飛行させるのに必要な飛行体制御情報を算出する。飛行体制御情報は、飛行体のピッチ、ロール、ヨー、高度等の制御量に係る制御情報を含む。送信部330は、有線通信又は無線通信の通信インタフェースを有し、任意の有線通信方式又は無線通信方式により飛行体制御部110に対して飛行体制御情報を送信する。飛行制御処理部300は、プロセッサ及びメモリ、並びに通信部を有するコンピュータにより構成されてよい。
図3は、実施形態における経路演算部の機能構成の第1例を示すブロック図である。第1例の経路演算部320は、飛行体絶対位置算出部321、目標経路情報算出部322、PID演算部325を有する。飛行体絶対位置算出部321は、飛行体相対位置情報と基地絶対位置情報とを入力し、飛行体100の現在の絶対位置を算出する。目標経路情報算出部322は、目標経路情報を入力し、設定経路通りに飛行するための目標経路に関する目標位置を算出する。PID演算部325は、飛行体100の現在の絶対位置(現在位置)と目標位置とに基づき、PID制御技術により飛行体100の飛行制御を行うための飛行体制御情報(PID制御の制御量情報)を算出する。
飛行体制御部110は、飛行制御処理部300から送信される飛行体制御情報を入力し、飛行体制御情報に基づいて飛行体100の回転翼機構等の駆動部を制御することにより、飛行体100の飛行動作を制御する。飛行体100自体が情報処理装置を含む場合、飛行体制御部110は、情報処理装置に含まれてよい。
[飛行体の構成例]
図4は、飛行体の具体的な外観構成の一例を示す図である。図4には、飛行体100が移動方向STV0に移動する場合の斜視図が示される。
図4に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
飛行体100は、UAV本体1100と、ジンバル1200と、撮像部1220とを含む構成である。飛行体100は、撮像部1220を備えて移動する移動体の一例である。飛行体100の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
UAV本体1100は、複数の回転翼(プロペラ)を備える。UAV本体1100は、複数の回転翼の回転を制御することにより飛行体100を飛行させる。UAV本体1100は、例えば4つの回転翼を用いて飛行体100を飛行させる。回転翼の数は、4つに限定されない。また、飛行体100は、回転翼を有さない固定翼機でもよい。
撮像部1220は、所望の撮像範囲に含まれる被写体(例えば、地上の建物、検査対象の物体)を撮像する撮像用のカメラである。撮像部1220は、基地500の測定対象物510を撮像して計測データを取得する測定部141の機能を有する。
図5は、飛行体のハードウェア構成の一例を示すブロック図である。飛行体100は、UAV制御部1110と、通信インタフェース1150と、メモリ1160と、ストレージ1170と、ジンバル1200と、回転翼機構1210と、撮像部1220と、GPS受信機1240と、慣性計測装置(IMU:Inertial Measurement Unit)1250と、磁気コンパス1260と、気圧高度計1270と、超音波センサ1280と、レーザ測定器1290と、を含む構成である。
UAV制御部1110は、プロセッサ、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部1110は、飛行体100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。UAV制御部1110は、飛行体制御部110の機能を含むものである。
UAV制御部1110は、メモリ1160に格納されたプログラムに従って飛行体100の移動(つまり、飛行)を制御する。UAV制御部1110は、飛行制御処理部300から送信される飛行体制御情報に基づき、自動飛行する際の飛行体100の飛行を制御する。UAV制御部1110は、通信インタフェース1150を介して遠隔の送信機から受信した命令に従って、飛行体100の飛行を制御してよい。
UAV制御部1110は、撮像部1220により撮像された被写体の撮像画像(画像データ)を取得する。UAV制御部1110は、撮像部1220により空撮を行って撮像画像として空撮画像を取得してよい。UAV制御部1110は、撮像部1220等による測定部141によって取得された基地500の測定対象物510の計測データに基づき飛行体100の基地500に対する相対位置を測定する相対位置測定部140の機能を有する。
通信インタフェース1150は、外部の情報処理装置、端末と通信する。通信インタフェース1150は、任意の無線通信方式により無線通信してよい。通信インタフェース1150は、任意の有線通信方式により有線通信してよい。通信インタフェース1150は、撮像画像や撮像画像に関する付加情報(メタデータ)を、情報処理装置、端末に送信してよい。通信インタフェース1150は、外部の情報処理装置から飛行体制御情報を取得してよい。
メモリ1160は、UAV制御部1110がジンバル1200、回転翼機構1210、撮像部1220、GPS受信機1240、慣性計測装置1250、磁気コンパス1260、気圧高度計1270、超音波センサ1280、及びレーザ測定器1290を制御するのに必要なプログラム等を格納する。メモリ1160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ1160は、UAV本体1100の内部に設けられてよい。メモリ1160は、飛行体100から取り外し可能であってよい。メモリ1160は、撮像部1220により撮像された撮像画像を記録してよい。メモリ1160は、作業用メモリとして動作してよい。
ストレージ1170は、各種データ、各種情報を蓄積し、保持する。ストレージ1170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。ストレージ1170は、UAV本体1100の内部に設けられてよい。ストレージ1170は、飛行体100から取り外し可能であってよい。ストレージ1170は、撮像画像を記録してよい。
ジンバル1200は、少なくとも1つの軸を中心に撮像部1220を回転可能に支持する。ジンバル1200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部1220を回転可能に支持してよい。ジンバル1200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部1220を回転させることで、撮像部1220の撮像方向を変更してよい。ジンバル1200は、測定部141の一例としての撮像部1220が基地500の測定対象物510を撮像可能なように、撮像部1220の向きを調整するジンバル120の機能を有する。
回転翼機構1210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。回転翼機構1210は、UAV制御部1110により回転を制御されることにより、飛行体100を飛行させる。
撮像部1220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部1220の撮像により得られた撮像画像(画像データ)は、撮像部1220が有するメモリ、又はメモリ1160或いはストレージ1170に格納されてよい。撮像部1220は、測定部141としてのTOFカメラ及びRGBカメラを有する。
GPS受信機1240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機1240は、受信された複数の信号に基づいて、GPS受信機1240の位置(つまり、飛行体100の位置)を算出する。GPS受信機1240は、飛行体100の位置情報をUAV制御部1110に出力する。なお、GPS受信機1240の位置情報の算出は、GPS受信機1240の代わりにUAV制御部1110により行われてよい。この場合、UAV制御部1110には、GPS受信機1240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
慣性計測装置1250は、飛行体100の姿勢を検出し、検出結果をUAV制御部1110に出力する。慣性計測装置1250は、飛行体100の姿勢として、飛行体100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。
磁気コンパス1260は、飛行体100の機首の方位を検出し、検出結果をUAV制御部1110に出力する。
気圧高度計1270は、飛行体100が飛行する高度を検出し、検出結果をUAV制御部1110に出力する。
超音波センサ1280は、超音波を照射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部1110に出力する。検出結果は、例えば飛行体100から地面までの距離(つまり、高度)を示してよい。検出結果は、例えば飛行体100から物体(例えば被写体)までの距離を示してよい。
レーザ測定器1290は、物体に向けてレーザ光を照射し、物体で反射された反射光を受光し、反射光により飛行体100と物体(例えば被写体)との間の距離を測距する。測距結果は、UAV制御部1110に入力される。レーザ光による距離の測定方式は、一例として、TOF方式でよい。レーザ測定器1290は、基地500の測定対象物510を撮像して計測データを取得する測定部141の機能を有してよい。この場合、レーザ測定器1290はジンバル1200に搭載してよい。
UAV制御部1110は、飛行体100の位置を示す位置情報を取得する。UAV制御部1110は、GPS受信機1240から、飛行体100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部1110は、GPS受信機1240から飛行体100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計1270から飛行体100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部1110は、超音波センサ1280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
UAV制御部1110は、磁気コンパス1260から飛行体100の向きを示す向き情報を取得してよい。向き情報は、例えば飛行体100の機首の向きに対応する方位で示されてよい。
UAV制御部1110は、設定した飛行経路の途中に存在する撮影位置(ウェイポイントに含まれる)において、撮像部1220により被写体を水平方向、既定角度の方向、又は鉛直方向に撮像を行ってよい。既定角度の方向は、情報処理装置(無人飛行体又はプラットフォーム)が被写体の3次元形状の推定を行う上で適した既定値の角度の方向である。
UAV制御部1110は、撮像部1220のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部1110は、撮像範囲を特定するためのパラメータとして、撮像部1220の画角を示す画角情報を撮像部1220から取得してよい。UAV制御部1110は、撮像範囲を特定するためのパラメータとして、撮像部1220の撮像方向を示す情報を取得してよい。UAV制御部1110は、例えば撮像部1220の撮像方向を示す情報として、ジンバル1200から撮像部1220の姿勢の状態を示す姿勢情報を取得してよい。撮像部1220の姿勢情報は、例えばジンバル1200のピッチ軸及びヨー軸の基準回転角度からの回転角度により示してよい。UAV制御部1110は、撮像部1220の撮像方向を示す情報として、飛行体100の向きを示す情報を取得してよい。
UAV制御部1110は、ジンバル1200、回転翼機構1210、撮像部1220を制御する。UAV制御部1110は、撮像部1220の撮像方向又は画角を変更することによって、撮像部1220の撮像範囲を制御してよい。UAV制御部1110は、ジンバル1200の回転機構を制御することで、ジンバル1200に支持されている撮像部1220の撮像範囲を制御してよい。
UAV制御部1110は、回転翼機構1210を制御することで、飛行体100の飛行を制御する。つまり、UAV制御部1110は、回転翼機構1210を制御することにより、飛行体100の緯度、経度、及び高度を含む位置を制御する。UAV制御部1110は、飛行体100の飛行を制御することにより、撮像部1220の撮像範囲を制御してよい。UAV制御部1110は、撮像部1220が備えるズームレンズを制御することで、撮像部1220の画角を制御してよい。UAV制御部1110は、撮像部1220のデジタルズーム機能を利用して、デジタルズームにより、撮像部1220の画角を制御してよい。
UAV制御部1110は、現在の日時を示す日時情報を取得してよい。UAV制御部1110は、GPS受信機1240から現在の日時を示す日時情報を取得してよい。UAV制御部1110は、飛行体100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
[飛行制御システムの動作例]
次に、飛行制御システムにおいて飛行体100の自動飛行を行う際の動作の具体例について説明する。以下の動作例では、上述した図1の飛行体100、基地500、及び飛行制御処理部300の構成例に対応する処理動作を示す。
図6は、実施形態における飛行制御動作の一例を示すフローチャートである。飛行制御処理部300は、ユーザが事前に設定した飛行経路、ユーザが指定したパラメータから算出した飛行経路、或いは事前に記録された飛行経路等の設定経路情報を取得する(S11)。設定経路情報は、例えば外部の端末、情報処理装置、メモリ等から入力してよい。飛行制御処理部300は、設定経路情報に基づいて生成した飛行体制御情報を飛行体制御部110に送信する。飛行体制御部110は、飛行体制御情報に基づいて飛行体100の飛行動作を制御し、設定経路に沿うように自動飛行を開始する(S12)。
飛行体100の測定部141は、基地500の測定対象物510を随時計測し、対象物の測定動作を実行する(S13)。対象物検出部142は、対象物の計測データに基づき、測定対象物510の検出、追跡を行い、測定対象物510の距離と角度の情報を出力する(S14)。相対位置算出部143は、測定対象物510の距離と角度の情報から、測定対象物510に対する飛行体100の現在の相対位置情報を算出する(S15)。
飛行制御処理部300の目標経路取得部310は、入力した設定経路情報から現時点における目標経路情報を取得する(S16)。経路演算部320は、飛行体100の相対位置情報、基地500の絶対位置情報、及び目標経路情報に基づき、飛行体100の目標位置と現在位置の位置情報との比較結果から、設定経路通りに飛行体100を飛行させるための飛行体制御情報を算出する(S17)。送信部330は、算出した飛行体制御情報を飛行体制御部110に送信する(S18)。
飛行体制御部110は、飛行制御処理部300から随時送信される飛行体制御情報に基づいて飛行体100の飛行動作を制御し、設定経路に沿うように自動飛行を継続する。飛行体制御部110は、設定経路に従った目標経路の飛行が完了したかどうか判断し(S19)、目標経路の飛行が未だ完了していない場合(S19、No)、上述した自動飛行制御に係る動作を継続する。すなわち、飛行体100及び飛行制御処理部300は、S13の対象物の測定動作からS18の飛行体制御情報の送信動作を繰り返し実行する。目標経路の飛行が完了した場合(S19、Yes)、この自動飛行制御に係る動作の処理を終了する。
本実施形態によれば、例えばGPSによる飛行体の位置情報を十分に取得できない場合であっても、基地と飛行体との相対位置情報、及び基地の絶対位置情報を取得し、飛行体の現在の位置情報を取得できる。また、飛行体の現在の位置情報と目標経路とに基づき、飛行体の目標経路に沿った自動飛行の制御を高精度かつ容易に実行可能にすることができる。このため、例えば飛行体を自動飛行させて橋梁点検を行う場合など、GPS衛星からの信号を受信することが困難な環境下においても、飛行体の現在の位置情報を高精度に取得でき、目標経路に沿った自動飛行の制御を的確に実行できる。
[飛行制御システムの構成例2]
図7は、実施形態における飛行制御システムの第2構成例を示すブロック図である。飛行制御システム10Aは、飛行体100A、飛行制御処理部300A、基地600を有する。第2構成例では、第1構成例に加えて速度計測部を有し、基地600が移動可能な移動基地である場合の構成例を示す。なお、図1に示した第1構成例と同様の構成要素については、重複する説明を省略する。
飛行体100Aは、飛行体制御部110、ジンバル120、ジンバル制御部130、速度計測センサ150、センサ融合部160を有する。ジンバル120に搭載された相対位置測定部140Aは、測定部141、対象物検出部142、相対位置算出部143、相対速度算出部144を有する。
図8は、実施形態における飛行制御システムの第2構成例を示す模式図である。図8では、基地600が飛行体を用いた動的な移動基地である場合の構成例を示している。他の飛行体による基地600には、飛行体100Aが撮影等によって相対位置を測定するための測定対象物として、目標物であるマーカー650が設けられる。マーカー650は、基地600の外表面、例えば飛行体本体の上面部に形成されて配置される。飛行体による基地600は、飛行体100Aの近傍を飛行し、移動又は静止した状態で、基地600自身の絶対位置情報を取得可能となっている。飛行体100Aは、基地600のマーカー650を撮影等により測定し、飛行体100Aと基地600との相対位置を測定する。
図2に示した基地500のような地上基地の固定設置が困難な場合、例えば図8に示す基地600のような動的な移動基地を使用する。動的な移動基地は、無人航空機等の飛行体、船舶、車両などの種々の移動体を用いてよい。例えば、飛行体100Aを自動飛行制御し、橋梁などの構造物の側面の検査を行う場合、GPS衛星からの信号の受信状態が思わしくなく、GPSによる位置測定が困難である場合がある。このような場合においても、飛行体100Aの近傍に移動基地としての他の飛行体による基地600を配置することにより、飛行体100Aの適切な位置測定と自動飛行制御が可能になる。
図7に戻り、基地600は、上述したマーカー650等による測定対象物610と、基地600自体の位置を取得する位置取得部620と、基地600の移動速度を測定する速度計測センサ630を有する。
基地600の位置取得部620は、例えばGPSセンサを含むGPS測定部により構成され、基地600の三次元位置を測定して絶対位置情報を取得して出力する。速度計測センサ630は、基地600の移動速度を測定し、基地600の速度を示す基地速度情報を取得して出力する。
飛行体100Aの相対位置算出部143は、測定対象物610の距離と角度の情報から、測定対象物610から飛行体100Aまでの相対的な三次元位置を推定して算出し、飛行体100Aの相対位置情報を取得して出力する。相対速度算出部144は、測定部141にて取得した測定対象物610の撮像画像を用いて、撮像画像の各フレームのタイムスタンプを記録し、測定対象物610の各時刻の位置から測定対象物610に対する飛行体100Aの相対速度を推定し、相対速度情報として出力する。相対速度算出部144は、測定対象物610の距離と角度の変動情報から、測定対象物610に対する飛行体100Aの相対速度情報を算出してよい。速度計測センサ150は、例えば慣性計測装置(IMU)1250等を用いて構成され、飛行体100Aの加速度の情報から飛行体100Aの移動速度情報を取得して出力する。センサ融合部160は、センサ融合技術により複数のセンサの検出情報を統合し、より精度の高い測定情報を取得するものである。センサ融合部160は、状況により異なる各センサの検出精度に応じてセンサ検出結果を選択し、高精度の測定情報を出力する。センサ融合部160は、相対速度算出部144により取得した飛行体100Aの相対速度情報と、速度計測センサ150により取得した飛行体100Aの移動速度情報とを統合し、飛行体100Aの速度を示す飛行体速度情報として出力する。
飛行制御処理部300Aは、本開示に係る情報処理装置の一例であり、目標経路取得部310、経路演算部320A、送信部330を有する。経路演算部320Aは、飛行体100Aの相対位置情報(飛行体相対位置情報)、飛行体100Aの速度情報(飛行体速度情報)、基地600の絶対位置情報(基地絶対位置情報)、基地600の速度情報(基地速度情報)、及び目標経路情報を入力し、飛行体100Aの目標位置と現在位置の位置情報、並びに飛行体100A及び基地600の速度情報から、設定経路通りに飛行体100Aを飛行させるのに必要な飛行体制御情報を算出する。
図9は、実施形態における経路演算部の機能構成の第2例を示すブロック図である。第2例の経路演算部320Aは、飛行体絶対位置算出部321、目標経路情報算出部322、飛行体絶対速度算出部323、PID演算部325を有する。飛行体絶対速度算出部323は、飛行体速度情報と基地速度情報とを入力し、飛行体100Aの現在の絶対速度を算出する。PID演算部325は、飛行体100Aの現在の絶対位置(現在位置)と絶対速度(現在速度)、並びに目標位置と目標速度に基づき、PID制御技術により飛行体100Aの飛行制御を行うための飛行体制御情報(PID制御の制御量情報)を算出する。この際、経路演算部320Aは、飛行体100Aの目標位置と現在位置、目標速度と現在速度の比較結果から、設定経路通りに飛行体100Aを飛行させるための飛行体制御情報を算出する。
飛行体制御部110は、飛行制御処理部300Aから送信される飛行体制御情報を入力し、飛行体制御情報に基づいて飛行体100Aの回転翼機構等の駆動部を制御することにより、飛行体100Aの飛行動作を制御する。この際、飛行体制御部110は、目標経路情報に基づく目標位置、目標通過時間を目指して飛行体100Aを飛行させ、設定経路に沿うように自動飛行を実行させる。飛行体制御部110は、目標位置、目標速度に合うように飛行体100Aを飛行制御し、設定経路に沿う自動飛行を実行させてよい。
第2構成例では、動的な基地を用いることにより、例えば地上基地を容易に固定配置できない環境においても、飛行体の可視範囲に基地を配置して基地と飛行体との相対位置情報、及び基地の絶対位置情報を容易に取得できる。例えば、別の飛行体等を基地として用い、飛行体の飛行に応じて基地を移動させ、飛行体の位置情報を高精度に取得できる。したがって、第1構成例と同様、飛行体の目標経路に沿った自動飛行の制御を高精度かつ容易に実行できる。
[飛行制御システムの構成例3]
図10は、実施形態における飛行制御システムの第3構成例を示すブロック図である。飛行制御システム10Bは、飛行体100B、飛行制御処理部300B、基地600Aを有する。第3構成例では、第2構成例に加えて加速度計測部を有し、基地600Aが移動可能な移動基地である場合の構成例を示す。なお、図1に示した第1構成例、及び図7に示した第2構成例と同様の構成要素については、重複する説明を省略する。
飛行体100Bは、飛行体制御部110、ジンバル120、ジンバル制御部130、速度・加速度計測センサ170、センサ融合部180を有する。ジンバル120に搭載された相対位置測定部140Bは、測定部141、対象物検出部142、相対位置算出部143、相対速度算出部144、相対加速度算出部145を有する。
基地600Aは、上述したマーカー650等による測定対象物610と、基地600自体の位置を取得する位置取得部620と、基地600Aの移動速度及び移動加速度を測定する速度・加速度計測センサ640を有する。速度・加速度計測センサ640は、基地600Aの移動速度と移動加速度を測定し、基地600Aの速度を示す基地速度情報、加速度を示す基地加速度情報を取得して出力する。
飛行体100Bの相対位置算出部143は、測定対象物610の距離と角度の情報から、測定対象物610から飛行体100Bまでの相対的な三次元位置を推定して算出し、飛行体100Bの相対位置情報を取得して出力する。相対速度算出部144は、測定部141にて取得した測定対象物610の撮像画像を用いて、測定対象物610の各時刻の位置から測定対象物610に対する飛行体100Bの相対速度を推定し、相対速度情報として出力する。相対速度算出部144は、測定対象物610の距離と角度の変動情報から、測定対象物610に対する飛行体100Bの相対速度情報を算出してよい。相対加速度算出部145は、測定対象物610に対する飛行体100Bの相対速度の変動量を算出し、相対加速度情報として出力する。速度・加速度計測センサ170は、例えば慣性計測装置(IMU)1250等を用いて構成され、飛行体100Bの移動加速度情報、及び移動速度情報を取得して出力する。センサ融合部180は、センサ融合技術により複数のセンサの検出情報を統合し、より精度の高い測定情報として、飛行体速度情報及び飛行体加速度情報を出力する。センサ融合部180は、相対速度算出部144により取得した飛行体100Bの相対速度情報と、相対加速度算出部145により取得した飛行体100Bの相対加速度情報と、速度・加速度計測センサ170により取得した飛行体100Bの移動速度情報及び移動加速度情報とを統合し、飛行体100Bの速度を示す飛行体速度情報、及び加速度を示す飛行体加速度情報として出力する。
飛行制御処理部300Bは、本開示に係る情報処理装置の一例であり、目標経路取得部310、経路演算部320B、送信部330を有する。経路演算部320Bは、飛行体100Bの相対位置情報(飛行体相対位置情報)、飛行体100Bの速度情報(飛行体速度情報)、飛行体100Bの加速度情報(飛行体加速度情報)、基地600Aの絶対位置情報(基地絶対位置情報)、基地600Aの速度情報(基地速度情報)、基地600Aの加速度情報(基地加速度情報)、及び目標経路情報を入力し、飛行体100Bの目標位置と現在位置の位置情報、飛行体100B及び基地600Aの速度情報、並びに飛行体100B及び基地600Aの加速度情報から、設定経路通りに飛行体100Bを飛行させるのに必要な飛行体制御情報を算出する。
図11は、実施形態における経路演算部の機能構成の第3例を示すブロック図である。第3例の経路演算部320Bは、飛行体絶対位置算出部321、目標経路情報算出部322、飛行体絶対速度算出部323、飛行体絶対加速度算出部324、PID演算部325を有する。飛行体絶対速度算出部323は、飛行体速度情報と基地速度情報とを入力し、飛行体100Bの現在の絶対速度を算出する。飛行体絶対加速度算出部324は、飛行体加速度情報と基地加速度情報とを入力し、飛行体100Bの現在の絶対加速度を算出する。PID演算部325は、飛行体100Bの現在の絶対位置(現在位置)と絶対速度(現在速度)及び絶対加速度(現在加速度)、並びに目標位置と目標速度に基づき、PID制御技術により飛行体100Bの飛行制御を行うための飛行体制御情報(PID制御の制御量情報)を算出する。この際、経路演算部320Bは、飛行体100Bの目標位置と現在位置、目標速度と現在速度及び現在加速度の比較結果から、設定経路通りに飛行体100Bを飛行させるための飛行体制御情報を算出する。
飛行体制御部110は、飛行制御処理部300Bから送信される飛行体制御情報を入力し、飛行体制御情報に基づいて飛行体100Bの回転翼機構等の駆動部を制御することにより、飛行体100Bの飛行動作を制御する。この際、飛行体制御部110は、目標経路情報に基づく目標位置、目標通過時間を目指して飛行体100Bを飛行させ、設定経路に沿うように自動飛行を実行させる。飛行体制御部110は、目標位置、目標速度に合うように飛行体100Bを飛行制御し、設定経路に沿う自動飛行を実行させてよい。
第3構成例では、飛行体及び基地の速度情報に加えて加速度情報を用いることにより、PID制御の精度をより向上させることが可能である。飛行体又は基地の少なくとも一方の加速度を計測し、加速度情報を用いた飛行体制御情報の算出、或いは加速度情報を用いた速度情報又は位置情報の補正を行うことによって、飛行体制御情報の精度を高めることができる。
上述した構成例では、飛行体100と、飛行体100の可視範囲に存在する測定対象物510を有する基地と、を含む飛行制御システム10における、飛行体100の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置の一例として、飛行制御処理部300を備える。飛行制御処理部300は、飛行体100の可視範囲に測定対象物510を有する基地500が存在する場合、飛行体100において測定対象物510を随時計測することにより得られる飛行体100と基地500との相対位置を示す飛行体相対位置情報と、基地500の絶対位置を示す基地絶対位置情報とを取得する。飛行制御処理部300は、飛行体100に設定された設定経路情報を入力して設定経路情報から現時点における目標経路情報を取得し、目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出する。飛行制御処理部300は、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体100の現在の絶対位置を算出する。飛行制御処理部300は、飛行体100の現在の絶対位置と目標位置とに基づき、飛行体100の飛行制御を行うための飛行体制御情報を算出する。飛行制御処理部300は、飛行体100を制御する飛行体制御部110に飛行体制御情報を送信する。
これにより、例えばGPSによる飛行体の位置情報を十分に取得できない場合であっても、基地と飛行体との相対位置情報、及び基地の絶対位置情報を取得し、飛行体の現在の位置情報を取得でき、目標経路に沿った自動飛行の制御を高精度かつ容易に実行することが可能になる。
また、飛行体100において、測定部141により、基地500に設けられる測定対象物510を計測し、対象物検出部142により、測定対象物510を検出して追跡し、測定対象物510の距離と角度の情報を取得し、相対位置算出部143により、測定対象物510の距離と角度の情報に基づき、測定対象物510と飛行体100との相対的な三次元位置を推定して飛行体相対位置情報を算出してよい。
また、測定対象物510が可視目標物であり、飛行体100において、測定対象物510を計測する測定部141としての可視目標物を撮像する撮像部と、測定部141を測定対象物510に向けるジンバル120とを有してよい。この場合、相対位置算出部143により、測定部141において取得された測定対象物510の撮像画像を用いて飛行体相対位置情報を算出してよい。
また、測定対象物510が再帰反射体であり、飛行体100において、測定対象物510を計測する測定部141としての再帰反射体に対する距離と角度を測定するレーザスキャナと、測定部141を測定対象物510に向けるジンバル120とを有してよい。この場合、相対位置算出部143により、測定部141において取得された測定対象物510までの距離と角度の測定情報を用いて飛行体相対位置情報を算出してよい。
また、基地が移動可能な基地600である場合、飛行制御処理部300は、飛行体100と基地600との相対位置を示す飛行体相対位置情報と、飛行体100の速度を示す飛行体速度情報と、基地600の絶対位置を示す基地絶対位置情報と、基地600の速度を示す基地速度情報とを取得してよい。飛行制御処理部300は、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体100の現在の絶対位置を算出し、飛行体速度情報と基地速度情報とに基づいて飛行体100の絶対速度を算出してよい。飛行制御処理部300は、飛行体100の現在の絶対位置及び絶対速度と、目標位置とに基づき、飛行体100の飛行制御を行うための飛行体制御情報を算出してよい。
また、基地が移動可能な基地600Aである場合、飛行制御処理部300は、飛行体100と基地600Aとの相対位置を示す飛行体相対位置情報と、飛行体100の速度を示す飛行体速度情報と、飛行体100の加速度を示す飛行体加速度情報と、基地600Aの絶対位置を示す基地絶対位置情報と、基地600Aの速度を示す基地速度情報と、基地600Aの加速度を示す基地加速度情報とを取得してよい。飛行制御処理部300は、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体100の現在の絶対位置を算出し、飛行体速度情報と基地速度情報とに基づいて飛行体100の絶対速度を算出し、飛行体加速度情報と基地加速度情報とに基づいて飛行体100の絶対加速度を算出してよい。飛行制御処理部300は、飛行体100の現在の絶対位置、絶対速度及び絶対加速度と、目標位置とに基づき、飛行体100の飛行制御を行うための飛行体制御情報を算出してよい。
また、飛行体100の飛行動作の制御を行う飛行制御システム10は、飛行体100と、飛行体100の可視範囲に存在する測定対象物510を有する基地500と、飛行体100の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置と、を含んでよい。情報処理装置は、飛行制御処理部300により構成されてよい。飛行体100は、基地500に設けられる測定対象物510を随時計測し、基地500との相対位置を示す飛行体相対位置情報を算出してよい。基地500は、基地500の絶対位置を示す基地絶対位置情報を取得してよい。飛行制御処理部300は、飛行体100に設定された設定経路情報を入力して設定経路情報から現時点における目標経路情報を取得し、目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出してよい。飛行制御処理部300は、飛行体相対位置情報及び基地絶対位置情報を取得し、飛行体相対位置情報と基地絶対位置情報とに基づいて飛行体100の現在の絶対位置を算出してよい。飛行制御処理部300は、飛行体100の現在の絶対位置と目標位置とに基づき、飛行体100の飛行制御を行うための飛行体制御情報を算出し、飛行体100を制御する飛行体制御部110に飛行体制御情報を送信してよい。
なお、上記実施形態において、飛行制御方法におけるステップを実行する情報処理装置は、PC等による端末、飛行体の内部、若しくは基地のうちのいずれかに設けられる飛行制御処理部300、300A、300Bに有する例を示したが、他のプラットフォームにおいて情報処理装置を有し、飛行制御方法におけるステップを実行してよい。
以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10、10A、10B 飛行制御システム
100、100A、100B 飛行体
110 飛行体制御部
120 ジンバル
130 ジンバル制御部
140、140A、140B 相対位置測定部
141 測定部
142 対象物検出部
143 相対位置算出部
144 相対速度算出部
150 速度計測センサ
160、180 センサ融合部
170 速度・加速度計測センサ
300、300A、300B 飛行制御処理部
310 目標経路取得部
320、320A、320B 経路演算部
321 飛行体絶対位置算出部
322 目標経路情報算出部
323 飛行体絶対速度算出部
324 飛行体絶対加速度算出部
325 PID演算部
330 送信部
500、600、600A 基地
510、610 測定対象物
520、620 位置取得部
550、650 マーカー
630 速度計測センサ
640 速度・加速度計測センサ
1100 UAV本体
1110 UAV制御部
1150 通信インタフェース
1160 メモリ
1170 ストレージ
1200 ジンバル
1220 撮像部
1210 回転翼機構
1240 GPS受信機
1250 慣性計測装置(IMU)
1260 磁気コンパス
1270 気圧高度計
1280 超音波センサ
1290 レーザ測定器

Claims (9)

  1. 飛行体と、前記飛行体の可視範囲に存在する測定対象物を有する移動可能な基地と、を含む飛行制御システムにおける、前記飛行体の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置であって、
    処理部を備え、
    前記処理部は、
    前記飛行体から、前記飛行体において前記基地の前記測定対象物を随時計測することにより得られる前記飛行体と前記基地との相対位置を示す飛行体相対位置情報と、前記飛行体の速度を示す飛行体速度情報と、前記飛行体の加速度を示す飛行体加速度情報とを取得し、
    前記基地から、前記基地の絶対位置を示す基地絶対位置情報と、前記基地の速度を示す基地速度情報と、前記基地の加速度を示す基地加速度情報とを取得し、
    前記飛行体に設定された設定経路情報を入力して前記設定経路情報から現時点における目標経路情報を取得し、前記目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出し、
    前記飛行体相対位置情報と前記基地絶対位置情報とに基づいて前記飛行体の現在の絶対位置を算出し、
    前記飛行体速度情報と前記基地速度情報とに基づいて前記飛行体の絶対速度を算出し、
    前記飛行体加速度情報と前記基地加速度情報とに基づいて前記飛行体の絶対加速度を算出し、
    前記飛行体の現在の絶対位置、前記絶対速度及び前記絶対加速度前記目標位置とに基づき、前記飛行体の飛行制御を行うための飛行体制御情報を算出し、
    前記飛行体に前記飛行体制御情報を送信する、
    情報処理装置。
  2. 前記飛行体は、
    前記基地が有する前記測定対象物を計測し、
    前記測定対象物の検出及び追跡を行って、前記測定対象物の距離と角度の情報を取得し、
    前記測定対象物の距離と角度の情報に基づき、前記測定対象物と前記飛行体との相対的な三次元位置を推定して前記飛行体相対位置情報を算出する、
    請求項1に記載の情報処理装置。
  3. 前記測定対象物可視目標物であり、
    前記飛行体
    前記可視目標物を撮像する撮像部と、
    前記撮像部を前記可視目標物に向けるジンバルとを有し、
    前記撮像部によって撮像された前記可視目標物を含む撮像画像を用いて前記飛行体相対位置情報を算出する、
    請求項1又は2に記載の情報処理装置。
  4. 前記測定対象物再帰反射体であり、
    前記飛行体
    前記再帰反射体に対する距離と角度を測定するレーザスキャナと、
    前記レーザスキャナを前記再帰反射体に向けるジンバルとを有し、
    前記再帰反射体までの距離と角度の測定情報を用いて前記飛行体相対位置情報を算出する、
    請求項1又は2に記載の情報処理装置。
  5. 飛行体と、前記飛行体の可視範囲に存在する測定対象物を有する移動可能な基地と、前記飛行体の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置と、を含む飛行制御システムにおける飛行制御方法であって、
    前記情報処理装置において、
    前記飛行体から、前記飛行体において前記基地の前記測定対象物を随時計測することにより得られる前記飛行体と前記基地との相対位置を示す飛行体相対位置情報と、前記飛行体の速度を示す飛行体速度情報と、前記飛行体の加速度を示す飛行体加速度情報とを取得するステップと、
    前記基地から、前記基地の絶対位置を示す基地絶対位置情報と、前記基地の速度を示す基地速度情報と、前記基地の加速度を示す基地加速度情報とを取得するステップと、
    前記飛行体に設定された設定経路情報を入力して前記設定経路情報から現時点における目標経路情報を取得し、前記目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出するステップと、
    前記飛行体相対位置情報と前記基地絶対位置情報とに基づいて前記飛行体の現在の絶対位置を算出するステップと、
    前記飛行体速度情報と前記基地速度情報とに基づいて前記飛行体の絶対速度を算出するステップと、
    前記飛行体加速度情報と前記基地加速度情報とに基づいて前記飛行体の絶対加速度を算出するステップと、
    前記飛行体の現在の絶対位置、前記絶対速度及び前記絶対加速度前記目標位置とに基づき、前記飛行体の飛行制御を行うための飛行体制御情報を算出するステップと、
    前記飛行体に前記飛行体制御情報を送信するステップと、
    を有する飛行制御方法。
  6. 前記飛行体は、
    前記基地が有する前記測定対象物を計測するステップと、
    前記測定対象物の検出及び追跡を行って、前記測定対象物の距離と角度の情報を取得するステップと、
    前記測定対象物の距離と角度の情報に基づき、前記測定対象物と前記飛行体との相対的な三次元位置を推定して前記飛行体相対位置情報を算出するステップと、を有する
    請求項に記載の飛行制御方法。
  7. 前記測定対象物可視目標物であり、
    前記飛行体は、
    前記可視目標物を撮像する撮像部と、
    前記撮像部を前記可視目標物に向けるジンバルとを有し、
    前記撮像部によって撮像された前記可視目標物を含む撮像画像を用いて前記飛行体相対位置情報を算出するステップを含む、
    請求項又はに記載の飛行制御方法。
  8. 前記測定対象物再帰反射体であり、
    前記飛行体は、
    前記再帰反射体に対する距離と角度を測定するレーザスキャナと、
    前記レーザスキャナを前記再帰反射体に向けるジンバルとを有し、
    前記再帰反射体までの距離と角度の測定情報を用いて前記飛行体相対位置情報を算出するステップを含む、
    請求項又はに記載の飛行制御方法。
  9. 飛行体の飛行動作の制御を行う飛行制御システムであって、
    飛行体と、前記飛行体の可視範囲に存在する測定対象物を有する移動可能な基地と、前記飛行体の飛行動作の制御を行うための飛行体制御情報を生成する情報処理装置と、を含み、
    前記飛行体は、前記基地に設けられる前記測定対象物を随時計測し、前記基地との相対位置を示す飛行体相対位置情報と、前記飛行体の速度を示す飛行体速度情報と、前記飛行体の加速度を示す飛行体加速度情報とを算出し、
    前記基地は、前記基地の絶対位置を示す基地絶対位置情報と、前記基地の速度を示す基地速度情報と、前記基地の加速度を示す基地加速度情報と算出し、
    前記情報処理装置は、
    前記飛行体から、前記飛行体相対位置情報、前記飛行体速度情報及び前記飛行体加速度情報を取得し、
    前記基地から、前記基地絶対位置情報、前記基地速度情報及び前記基地加速度情報を取得し、
    前記飛行体に設定された設定経路情報を入力して前記設定経路情報から現時点における目標経路情報を取得し、前記目標経路情報に基づいて設定経路通りに飛行するための目標位置を算出し、
    前記飛行体相対位置情報と前記基地絶対位置情報とに基づいて前記飛行体の現在の絶対位置を算出し、
    前記飛行体速度情報と前記基地速度情報とに基づいて前記飛行体の絶対速度を算出し、
    前記飛行体加速度情報と前記基地加速度情報とに基づいて前記飛行体の絶対加速度を算出し、
    前記飛行体の現在の絶対位置、前記絶対速度及び前記絶対加速度前記目標位置とに基づき、前記飛行体の飛行制御を行うための飛行体制御情報を算出し、
    前記飛行体に前記飛行体制御情報を送信する、
    飛行制御システム。
JP2018203824A 2018-10-30 2018-10-30 情報処理装置、飛行制御方法及び飛行制御システム Active JP6927943B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018203824A JP6927943B2 (ja) 2018-10-30 2018-10-30 情報処理装置、飛行制御方法及び飛行制御システム
PCT/CN2019/113654 WO2020088399A1 (zh) 2018-10-30 2019-10-28 信息处理装置、飞行控制方法以及飞行控制系统
CN201980009026.3A CN111630466A (zh) 2018-10-30 2019-10-28 信息处理装置、飞行控制方法以及飞行控制系统
US17/233,431 US20210229810A1 (en) 2018-10-30 2021-04-16 Information processing device, flight control method, and flight control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018203824A JP6927943B2 (ja) 2018-10-30 2018-10-30 情報処理装置、飛行制御方法及び飛行制御システム

Publications (2)

Publication Number Publication Date
JP2020071580A JP2020071580A (ja) 2020-05-07
JP6927943B2 true JP6927943B2 (ja) 2021-09-01

Family

ID=70463676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018203824A Active JP6927943B2 (ja) 2018-10-30 2018-10-30 情報処理装置、飛行制御方法及び飛行制御システム

Country Status (4)

Country Link
US (1) US20210229810A1 (ja)
JP (1) JP6927943B2 (ja)
CN (1) CN111630466A (ja)
WO (1) WO2020088399A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022065316A (ja) * 2020-10-15 2022-04-27 国立研究開発法人宇宙航空研究開発機構 飛行支援装置、飛行支援プログラム及び飛行支援システム
CN116840824B (zh) * 2023-09-01 2023-11-07 天府兴隆湖实验室 飞行器定位方法、装置及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463459B2 (en) * 2010-08-24 2013-06-11 The Boeing Company Methods and apparatus for indicating a location
JP5618840B2 (ja) * 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
EP2538298A1 (en) * 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US9810789B2 (en) * 2012-12-19 2017-11-07 Elwha Llc Unoccupied flying vehicle (UFV) location assurance
JP6326237B2 (ja) * 2014-01-31 2018-05-16 株式会社トプコン 測定システム
JP6597603B2 (ja) * 2014-04-25 2019-10-30 ソニー株式会社 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム
US9545995B1 (en) * 2015-07-14 2017-01-17 Qualcomm Incorporated Control normalization for unmanned autonomous systems
US9862488B2 (en) * 2015-08-28 2018-01-09 Mcafee, Llc Location verification and secure no-fly logic for unmanned aerial vehicles
CN105159318B (zh) * 2015-09-23 2018-01-30 郑州大学 生态文明监测装置及系统
JP6813427B2 (ja) * 2016-08-31 2021-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 位置測定システム、位置測定方法、および移動ロボット
JP6575476B2 (ja) * 2016-09-30 2019-09-18 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、その制御方法、及びプログラム
WO2018072063A1 (zh) * 2016-10-17 2018-04-26 深圳市大疆创新科技有限公司 一种对飞行器的飞行控制方法、装置及飞行器
JP2018090012A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム
JP7108856B2 (ja) * 2017-01-25 2022-07-29 パナソニックIpマネジメント株式会社 運転制御システムおよび運転制御方法
US9952594B1 (en) * 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
JP6943988B2 (ja) * 2017-09-18 2021-10-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動可能物体の制御方法、機器およびシステム
CN108445900A (zh) * 2018-06-20 2018-08-24 江苏大成航空科技有限公司 一种无人机视觉定位替代差分技术

Also Published As

Publication number Publication date
US20210229810A1 (en) 2021-07-29
WO2020088399A1 (zh) 2020-05-07
JP2020071580A (ja) 2020-05-07
CN111630466A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
US10088332B2 (en) Flight plan preparing method and flying vehicle guiding system
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
JP6962775B2 (ja) 情報処理装置、空撮経路生成方法、プログラム、及び記録媒体
JP6302660B2 (ja) 情報取得システム、無人飛行体制御装置
JP6962812B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
US11029707B2 (en) Moving object, moving object control method, moving object control system, and moving object control program
US10146230B2 (en) Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor
JP6927943B2 (ja) 情報処理装置、飛行制御方法及び飛行制御システム
JP2020173138A (ja) 風向風速計測方法及び風向風速計測システム
EP4246088A1 (en) Surveying system, surveying method, and surveying program
JP6265576B1 (ja) 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
CN111213107B (zh) 信息处理装置、拍摄控制方法、程序以及记录介质
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
JP7067897B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体
JP6790206B1 (ja) 制御装置、制御方法、プログラム、及び記録媒体
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
JP2020095519A (ja) 形状推定装置、形状推定方法、プログラム、及び記録媒体
WO2022153392A1 (ja) 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210805

R150 Certificate of patent or registration of utility model

Ref document number: 6927943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150