JP2024022918A - 飛行体および飛行体の制御方法 - Google Patents

飛行体および飛行体の制御方法 Download PDF

Info

Publication number
JP2024022918A
JP2024022918A JP2022126369A JP2022126369A JP2024022918A JP 2024022918 A JP2024022918 A JP 2024022918A JP 2022126369 A JP2022126369 A JP 2022126369A JP 2022126369 A JP2022126369 A JP 2022126369A JP 2024022918 A JP2024022918 A JP 2024022918A
Authority
JP
Japan
Prior art keywords
aircraft
positioning function
gnss
rtk
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022126369A
Other languages
English (en)
Other versions
JP7333565B1 (ja
Inventor
悠輔 川崎
雅史 中川
一葉 齋藤
正三 西村
裕俊 藏重
正昭 武林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibaura Institute of Technology
Original Assignee
Shibaura Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shibaura Institute of Technology filed Critical Shibaura Institute of Technology
Priority to JP2022126369A priority Critical patent/JP7333565B1/ja
Application granted granted Critical
Publication of JP7333565B1 publication Critical patent/JP7333565B1/ja
Publication of JP2024022918A publication Critical patent/JP2024022918A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】GNSS環境と非GNSS環境を移動する場合でも安定して飛行させることができる飛行体および飛行体の制御方法を提供する【解決手段】飛行体UAVの位置情報に基づいて自律飛行する飛行体UAVの制御方法であって、飛行体UAVは、RTK-GNSS測位機能と、センサ測位機能と、測域機能と、方位取得機能と、これらの情報に基づいて飛行体の飛行を制御する飛行制御機能と、を有する制御部Cを備えており、RTK-GNSS測位機能およびセンサ測位機能による飛行体UAVの位置の把握を制御部Cが常時実施し、RTK-GNSS測位機能がFIX解を得た場合には、制御部Cは前記RTK-GNSS測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御し、RTK-GNSS測位機能がFIX解を得られない場合には、制御部Cはセンサ測位機能から得られる制御部Cの位置情報に基づいて飛行体の飛行を制御する。【選択図】図1

Description

本発明は、飛行体および飛行体の制御方法に関する。
近年、橋梁、構造物等(以下これらを構造物等という場合がある)の点検に小型無人航空機が使用されている。例えば、構造物等のひび割れや塗装剥離等の点検にも小型無人航空機は使用されている。また、小型無人航空機はインフラ構造物の健全度評価にも使用されている。例えば、マルチコプターに搭載した撮影装置(例えば、デジタルカメラや赤外線カメラ等)を使用して撮影した画像から3Dモデルおよび展開(オルソ)画像を作成することが行われている。かかる3Dモデルおよび展開(オルソ)画像が作成できれば、インフラ構造物の点検作業の効率化や点検の高精度化が可能になる。
このような小型無人航空機を利用した点検において、自律飛行による点検を行うことが検討されており、制御装置を搭載した小型無人航空機の開発、実用化が進められている。自律飛行制御装置を搭載した小型無人航空機(以下では単に自律飛行小型無人航空機という)では、汎地球航法衛星システム(Global Navigation Satellite System:GNSS)と連携して自己の現在位置の把握を行い、目的位置まで自律的に到達するように自律飛行制御が行われている。このような自律飛行小型無人航空機を橋梁、構造物等の点検に使用する場合、高精度で点検位置を把握することが必要であるが、GNSSを利用しても単独測位を行う方法では位置を推定する精度に十m程度の誤差が生じる。このため、橋梁、構造物等の点検では、cmオーダー位置推定精度を有する、RTK-GNSS測位方式を採用した自律飛行小型無人航空機を使用する必要がある。
また、RTK-GNSS測位方式では、4個以上のGNSS衛星からの発信された電波と基準局からの信号に基づいて自律飛行小型無人航空機は自己の位置を把握するため、GNSS衛星から受信できる電波の強度が弱い場合や4個以上のGNSS衛星からの電波を受信できない場合、基準局からの信号が得られない場合等には、自律飛行小型無人航空機は自己の位置を把握できなくなる。例えば、上述した橋梁等の構造物等において点検を行う場所として、橋梁などの下方の場所や構造物等の壁面に囲まれた場所などが含まれる場合には、GNSS衛星からの電波が届かず、GNSSを利用した自己の位置を把握ができなくなる可能がある。すると、自律飛行小型無人航空機は自己の位置を正確に把握できなくなるので、点検の精度が低下したり点検ができなかったりする可能性がある。
そこで、自律飛行小型無人航空機において、自己の位置を把握する際に、RTK-GNSS測位方式により自己の位置を把握する測位モード(RTK-GNSS測位モード)と、カメラによって撮影された画像や加速度センサ等を利用して自己の位置を把握する測位モード(センサ測位モード)と、を切り換える技術も開発されている(例えば特許文献1~4、非特許文献1参照)。具体的には、RTK-GNSS測位方式を利用して自己の位置把握ができる環境(以下、GNSS環境という場合がある)ではRTK-GNSS測位モードにより自己の位置を把握し、RTK-GNSS測位方式では自己の位置の把握ができない環境(以下、非GNSS環境という場合がある)ではセンサ測位モードで自己の位置を把握する技術が開発されている。また、非特許文献1には、RTK-GNSS測位解を利用して、自律飛行小型無人航空機がGNSS環境と非GNSS環境のいずれの状態にあるかを判断して測位モードの切替えを行うことも開示されている。
特開2016-111414号公報 特開2018-156660号公報 特開2021-157493号公報 特開2021-157494号公報
齋藤一葉他、"測位モードに切換えにRTK-GNSS測位解を利用した屋内外シームレス測位"、日本写真測量学会年次講演会発表論文集、2022年5月
しかるに、GNSS環境と非GNSS環境との間を自律飛行小型無人航空機が移動する際に、RTK-GNSS測位モードより把握される自己の位置とセンサ測位モードにおいて把握される自己の位置との間のズレが生じると、測位モードが切り替わった際に、自律飛行小型無人航空機の移動に異常が生じる可能性がある。例えば、センサ測位モードでは、初期状態では自律飛行小型無人航空機の絶対座標系における自己の位置とセンサ測位モードで把握される絶対座標系における自己の位置とが一致していても、一定時間経過すると累積誤差が蓄積されて、自律飛行小型無人航空機の絶対座標系における自己の位置とセンサ測位モードで把握される絶対座標系における自己の位置との間にずれが生じる。累積誤差が蓄積された状態でセンサ測位モードからRTK-GNSS測位モードに切り替わると、自律飛行小型無人航空機のフライトコントローラは、RTK-GNSS測位モードで把握される絶対座標系における位置まで小型無人航空機を移動させようとするので、急激に位置を変更しようとして小型無人航空機が異常な移動をする可能性があり、悪くすると小型無人航空機が墜落してしまう恐れもある。
本発明は上記事情に鑑み、GNSS環境と非GNSS環境を移動する場合でも安定して飛行させることができる飛行体および飛行体の制御方法を提供することを目的とする。
<飛行体の制御方法>
第1発明の飛行体の制御方法は、飛行体UAVの位置情報に基づいて所定の飛行ルートに沿って自律飛行する飛行体の制御方法であって、飛行体は、GNSS衛星信号に基づいてRTK-GNSS測位により飛行体の位置を推定するRTK-GNSS測位機能と、飛行体に搭載された光学センサによる測位により飛行体の位置を推定するセンサ測位機能と、飛行体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、飛行体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた飛行体UAVの位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて飛行体の飛行を制御する飛行制御機能と、を有する制御部を備えており、前記RTK-GNSS測位機能および前記センサ測位機能による飛行体の位置の把握を前記制御部が常時実施し、前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御することを特徴とする。
第2発明の飛行体の制御方法は、第1発明において、前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記制御部は前記センサ測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御する状態に移行することを特徴とする。
第3発明の飛行体の制御方法は、第2発明において、前記制御部は、前記センサ測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御する状態に移行する際に、前記センサ測位機能における測定原点として、前記RTK-GNSS測位機能がFIX解を得られない状況となる直前に前記RTK-GNSS測位機能で取得された位置を適用することを特徴とする。
第4発明の飛行体の制御方法は、第1発明において、前記制御部は、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整することを特徴とする。
第5発明の飛行体の制御方法は、第1発明において、前記光学センサが、複数の方向をそれぞれ撮影する複数のIMUステレオカメラを備えており、前記センサ測位機能は、前記複数のIMUステレオカメラの情報に基づいて、Visual Odometryにより飛行体の位置を推定することを特徴とする。
<飛行体>
第6発明の飛行体は、機体と、該機体に設けられた推進ロータと、GNSS衛星信号を受信するGNSS受信機と、前記機体の周囲の状況を測定する光学センサと、前記GNSS受信機が受信するGNSS衛星信号および/または前記光学センサが取得する情報に基づいて、前記推進ロータの作動を制御して前記機体の自律飛行を制御する制御部と、を備え、該制御部は、前記GNSS受信機が受信するGNSS衛星信号に基づいてRTK-GNSS測位により前記機体の位置を推定するRTK-GNSS測位機能と、前記機体に搭載された光学センサによる測位により該機体の位置を推定するセンサ測位機能と、前記機体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、前記機体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた前記機体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて該機体の飛行を制御する飛行制御機能と、を備えており、該制御部は、前記RTK-GNSS測位機能および前記センサ測位機能による前記機体の位置の把握を常時実施し、前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御する機能を有していることを特徴とする。
第7発明の飛行体は、第6発明において、前記制御部は、前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記センサ測位機能から得られる前記機体の位置情報に基づいて該機体の飛行を制御する状態に移行することを特徴とする。
第8発明の飛行体は、第6発明において、前記制御部は、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整することを特徴とする。
第9発明の飛行体は、第6発明において、前記光学センサが、複数の方向をそれぞれ撮影する複数のIMUステレオカメラを備えており、前記センサ測位機能は、前記複数のIMUステレオカメラの情報に基づいて、Visual Odometryにより前記機体の位置を推定することを特徴とする。
<飛行体の制御方法>
第1発明によれば、GNSS環境ではRTK-GNSS測位機能により飛行体の正確な位置を推定でき、非GNSS環境では光学センサの信号に基づいてセンサ測位機能が飛行体の位置を推定できるので、制御部の飛行制御機能はGNSS環境でも非GNSS環境でも飛行体を自律飛行させることができる。また、制御部は、常にRTK-GNSS測位機能とセンサ測位機能によってそれぞれ飛行体の位置を推定しており、しかも、RTK-GNSS測位機能がFIX解を得られるか否かで使用する位置情報を変更するので、GNSS環境と非GNSS環境との間を飛行体が移動してもシームレスに飛行体の自律飛行を維持することができる。
第2発明によれば、RTK-GNSS測位機能の位置情報による制御からセンサ測位機能の位置情報による制御に短時間で行うので、飛行体の位置制御の精度低下を防ぐことができる。
第3発明によれば、飛行体の位置制御の精度低下を防ぐことができる。
第4発明によれば、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御に切り換わった際に、飛行体の異常移動の発生を抑制できる。
第5発明によれば、センサ測位機能により得られる位置情報の精度を高めることができる。
<飛行体>
第6発明によれば、GNSS環境ではRTK-GNSS測位機能により機体の正確な位置を推定でき、非GNSS環境では光学センサの信号に基づいてセンサ測位機能が機体の位置を推定できるので、制御部の飛行制御機能はGNSS環境でも非GNSS環境でも機体を自律飛行させることができる。また、制御部は、常にRTK-GNSS測位機能とセンサ測位機能によってそれぞれ機体の位置を推定しており、しかも、RTK-GNSS測位機能がFIX解を得られるか否かで使用する位置情報を変更するので、GNSS環境と非GNSS環境との間を機体が移動してもシームレスに機体の自律飛行を維持することができる。
第7発明によれば、RTK-GNSS測位機能の位置情報による制御からセンサ測位機能の位置情報による制御に短時間で行うので、機体の位置制御の精度低下を防ぐことができる。
第8発明によれば、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御に切り換わった際に、機体の異常移動の発生を抑制できる。
第9発明によれば、センサ測位機能により得られる位置情報の精度を高めることができる。
本実施形態の飛行体UAVの飛行制御の概略説明図である。 本実施形態の飛行体UAVの概略ブロック図である。 本実施形態の飛行体UAVの概略説明図である。 GNSS環境から非GNSS環境に移動する際の概略制御フロー図である。 非GNSS環境からGNSS環境に移動する際の概略制御フロー図である。 飛行実験を行った四国三郎橋の概略写真である。 飛行体の通過ポイントを示した図である。 衛星画像上に飛行軌跡をプロットしたものであり、(A)はフライトコントローラで推定された飛行軌跡であり、(B)はモーションキャプチャで得られた飛行軌跡、つまり、実測データの飛行軌跡である。
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の飛行体の制御方法は、飛行体UAVの位置情報に基づいて自律飛行する飛行体の制御方法であって、GNSS環境と非GNSS環境との間を移動する場合でも、スムースな移動を可能としたことに特徴を有している。
本明細書でいうGNSS環境とは、RTK-GNSS測位方式を利用して飛行体が自己の位置把握ができる環境を意味しており、非GNSS環境とはRTK-GNSS測位方式による位置把握が難しい環境(または位置把握精度が低下する環境)を意味している。
また、本発明の飛行体の制御方法は、橋梁、構造物等(以下これらを構造物等という場合がある)の点検に使用する飛行体を自律飛行させる際に使用することに適している。つまり、cmオーダーの位置推定精度が必要な自律飛行を行う飛行体の制御に適している。かかる構造物等の点検を実施する場合には、構造物等において点検する対象を測定する測定機器を飛行体に設ける。例えば、構造物等を撮影する点検用カメラや赤外線カメラ、レーザスキャナ等が飛行体に設けられる。
なお、本発明の飛行体の制御方法によって飛行体を自律飛行させる用途は構造物等の点検に限られず、災害観測や環境調査などに使用する飛行体の自律飛行を制御する制御方法としても使用することができる。この場合には、点検用カメラや赤外線カメラ、レーザスキャナ等が飛行体に設けられる。
<飛行体UAV>
まず、本実施形態の飛行体の制御方法について説明する前に、本実施形態の飛行体UAVについて説明する。
以下の説明では、本実施形態の飛行体UAVの基本構成以外は、自律飛行の制御に必要な機器を説明し、自律飛行の制御にとくに必要のない機器(例えば点検用機器など)については適宜説明を割愛する。
<機体B>
図3示すように、飛行体UAVは機体Bを備えている。この機体Bは、機体本体BBと、機体本体BBの下方に設けられた飛行体UAVを地上に載置するための脚部BLと、を備えている。機体本体BBには、推進ロータRや制御部C、点検用の機器、これらの機器に電力を供給するバッテリなどが設けられている。
<推進ロータR>
図3に示すように、機体Bには、機体本体BBから側方に伸びた3本のアームBAが設けられており、各アームBAにはそれぞれ推進ロータRが設けられている。この各推進ロータRは、プロペラPとプロペラPを回転させるモータとをそれぞれ備えており、アームBAに対する姿勢を調整する姿勢調整機構RTを介してアームBAに取り付けられている。
なお、本実施形態の飛行体UAVに設ける推進ロータRの数はとくに限定されない。本実施形態の飛行体UAVは、安定して飛行できるのであれば、4つ以上の推進ロータRを有していてもよい。
また、推進ロータRは必ずしも姿勢調整機構RTを介してアームBAに取り付けなくてもよく、推進ロータRはアームBAに固定されていてもよい。
<制御部C>
飛行体UAVの機体本体BBには、飛行体UAVの作動を制御するための制御部Cが設けられている。制御部Cは、フライトコントローラFCと、コンパニオンコンピュータCCと、GNSS受信機GRと、IMUステレオカメラICと、磁気方位センサMSと、記憶部MRと、を有している(図2参照)。
<記憶部MR>
記憶部MRは、飛行体UAVの自律飛行や点検等の作業に必要な情報が記憶されたものである。例えば、記憶部MRには、飛行体UAVが自律飛行する飛行ルートに関する情報や、構造物等の点検を行う場合には点検を実施する対象物や点検する位置などに関する情報、ジンバルの角度、カメラの撮影情報等が記憶されている。なお、自律飛行する飛行ルートや点検を実施する対象物や位置などの情報は、WGS84座標系の情報として記憶部MRに記憶されているが、必ずしもWGS84座標系の情報に限られない。例えば、PZ座標系や、平面直交座標系の情報でもよい。
<フライトコントローラFC>
フライトコントローラFCは、飛行体UAVの飛行を制御する機能を有するものである。このフライトコントローラFCは、コンパニオンコンピュータCCから供給される情報に基づいて、飛行体UAVの姿勢や移動方向、移動速度などを制御するものである。つまり、フライトコントローラFCは、各推進ロータRのモータの回転数や姿勢調整機構を制御して、飛行体UAVの姿勢や移動方向、移動速度などを制御して、飛行体UAVがあらかじめ定められている所定の飛行ルート(図1(B)参照)に沿って移動するように制御するものである。
<コンパニオンコンピュータCC>
コンパニオンコンピュータCCは、フライトコントローラFCに対して飛行制御に必要な情報を提供する機能を有している。具体的には、コンパニオンコンピュータCCは、GNSS受信機GRやIMUステレオカメラIC、磁気方位センサMSからの情報と、記憶部MRに記憶されている飛行体UAVが自律飛行するルートや点検を実施する対象物や位置などの情報と、に基づいて、フライトコントローラFCが飛行体UAVの姿勢や移動方向、移動速度を調整する情報を作成し提供する機能を有している。そして、コンパニオンコンピュータCCは、RTK-GNSS測位機能とセンサ測位機能とに基づいて飛行体UAVの位置を把握する機能と、RTK-GNSS測位機能とセンサ測位機能のいずれの機能に基づいて飛行体UAVの飛行を制御する情報を作成するかを決定する機能(切り換え機能)も有している。また、コンパニオンコンピュータCCは、飛行体UAVと周囲の物体との距離を測定する測域機能と、飛行体UAVの機首方向を推定する方位取得機能も有している。
<GNSS受信機GR>
GNSS受信機GRは、GNSS衛星STから送信されるGNSS衛星信号を受信する機能を有するものであり、複数のGNSS衛星から発信される複数のGNSS衛星信号を受信する機能を有している。また、GNSS受信機GRは、基準局BSから送信される情報、つまり、基準局BSが受信した複数のGNSS衛星信号に関する情報を受信する機能を有している。そして、GNSS受信機GRは、受信した信号をコンパニオンコンピュータCCに供給する機能を有している。
<IMUステレオカメラIC>
IMUステレオカメラICは、ステレオカメラにInertial Measurement Unit(慣性計測装置:IMU)搭載されたが搭載されたものである。本実施形態の飛行体UAVでは、IMUステレオカメラICを6つ備えている(図2参照)。つまり、本実施形態の飛行体UAVは、飛行体UAVの前後左右と上下にそれぞれIMUステレオカメラICが設けられている。
IMUは加速度センサや角速度センサを備えたものであり、飛行体UAVの3次元の慣性運動(直行3軸方向の並進運動および回転運動)を検出する機能を有している。また、ステレオカメラは飛行体UAVの周囲の状況を撮影する機能を有している。そして、IMUステレオカメラICは、検出した飛行体UAVの3次元の慣性運動や撮影した画像をコンパニオンコンピュータCCに供給する機能を有している。
なお、IMUステレオカメラICは必ずしも6つ設けなくてもよく、少なくとも飛行体UAVの機体Bの前方等に1台設けられていればよい。しかし、IMUステレオカメラICを6つ設ければ、Visual Odometryによる飛行体UAVの位置を推定した場合に、飛行体UAVの位置を推定する精度を高くできる。
具体的には、コンパニオンコンピュータCCのセンサ測位機能は、6つのIMUステレオカメラICの情報に基づいてそれぞれ推定した飛行体UAVの位置姿勢の中央値を取得する。すると、簡便かつリアルタイムに計測エラーを除去することができるので、コンパニオンコンピュータCCのセンサ測位機能による飛行体UAVの位置推定のロバスト性を向上させることができる。
また、コンパニオンコンピュータCCは、飛行体UAVの飛行シーンを判断し、6つのIMUステレオカメラICの組み合わせ方法、つまり、飛行体UAVの位置推定に使用するIMUステレオカメラICの信号を飛行体UAVの飛行シーンにあわせて変更する機能を有している(カメラ選択機能)。カメラ選択機能を設ければ、Visual Odometryによる位置推定精度を向上させることができる。カメラ選択機能による飛行体UAVの飛行シーンの判別は、後述するように、RTK-GNSS測位機能がFIX解を得られているかどうかによるGNSS環境および非GNSS環境の判別と、Visual Odometryで推定された機首に対する飛行方向(前後左右上下)の判別で構成される。GNSS環境においては、上向きカメラは上空のみを撮影するためにVisual Odometryの推定精度が落ちることを想定し、前後左右向きのカメラの組み合わせでVisual Odometryの位置推定精度を向上させることができる。対地高度が高い場合は、下向きのカメラも組み合わせることで,Visual Odometryの位置推定精度を向上させることができる。非GNSS環境においては、前後左右方向より上下方向の撮影範囲に画像特徴が豊富となるため、上下カメラの推定結果の重みを大きくすることで,Visual Odometryによる位置推定精度を向上させることができる。
また、IMUステレオカメラICによって周囲の画像を測定すれば、その画像に基づいてコンパニオンコンピュータCCの測域機能によって飛行体UAVの周囲の物体、例えば、点検対象となる構造物等との距離を推定することもできる。すると、推定された距離の情報(距離情報)に基づいて、飛行体UAVを構造物等と所定の距離に保って飛行できる。例えば、飛行体UAVが構造物等との一定以上接近することを防止したり、点検等の作業を行う場合には点検対象となる構造物等との距離を作業に適した距離に保つように、測定された距離に基づいて飛行体UAVの飛行を制御することが可能になる。
上述したステレオカメラが、特許請求の範囲にいう光学センサに相当するものになる。なお、光学センサは、後述するようにVisual Odometryにより飛行体UAVの位置を推定するのでなければ、必ずしもステレオカメラを用いなくてもよい。例えば、ステレオカメラに代えて、単眼カメラやTOFカメラなどを光学センサとして設けて飛行体UAVの位置を推定してもよい。
なお、制御部Cは、上記センサ以外にも、レーザスキャナや超音波センサ、ミリ波レーダなどを備えていてもよい。このようなセンサを設ければ、これらのセンサからの信号に基づいて測域機能が飛行体UAVの周囲の物体、例えば、点検対象となる構造物等との距離を測定することもできる。
<磁気方位センサMS>
磁気方位センサMSは、例えば、MRセンサやMIセンサ等の地球の磁力を検出するセンサである。この磁気方位センサMSは、地球の磁力の向きを検出することによって飛行体UAVの向き(機首の向き)を検出するために設けられるものである。この磁気方位センサMSは、検出した地球の磁力の向きに関する情報をコンパニオンコンピュータCCに供給する機能も有している。コンパニオンコンピュータCCは方位取得機能を備えており、方位取得機能は、検出した地球の磁力の向きに関する情報に基づいて飛行体UAVの機首方向、つまり、WGS84座標系等における機首の向きを推定し、機首方向情報を作成する。例えば、飛行体UAVの機首の向きと磁気方位センサMSのx軸とが一致するように磁気方位センサMSを飛行体UAVの機体Bに設置しておけば、磁気方位センサMSが検出する磁力からWGS84座標系等における機首の向きを推定することができる。
<コンパニオンコンピュータCCの機能説明>
上述したように、コンパニオンコンピュータCCは、上述した種々の機能を実行するものである。つまり、RTK-GNSS測位機能と、センサ測位機能と、切り換え機能と、測域機能と、方位取得機能と、を実行する機能を有している(図2参照)。測域機能および方位取得機能は上述した機能を有している。以下では、RTK-GNSS測位機能と、センサ測位機能と、切り換え機能と、を詳細に説明する。
<RTK-GNSS測位機能>
RTK-GNSS測位機能は、GNSS受信機GRが受信したGNSS衛星信号に基づいて飛行体UAVの現在位置、つまり、WGS84座標系上における飛行体UAVの位置を算出する機能を有している。また、RTK-GNSS測位機能は、受信したGNSS衛星信号に基づいて、測位解を算出する機能を有している。この測位解は、FIX解やFLOAT解、DGPS解、単独測位解であり、コンパニオンコンピュータCCは、得られた測位解がFIX解である場合に、算出されたWGS84座標系上における飛行体UAVの位置をNMEAフォーマットの情報として作成する機能を有している。以下では、NMEAフォーマットの飛行体UAVの位置情報を、単に飛行体UAVの位置情報という場合がある。
<センサ測位機能>
センサ測位機能は、IMUステレオカメラICのステレオカメラによって得られた画像やIMUが測定した加速度などに基づいて、Visual Odometryを用いて飛行体UAVの移動距離や移動方向、移動速度、つまり、移動ベクトルを算出する機能である。例えば、図1(B)に示すように、ある位置P3(元位置)から位置P4(現在位置)まで飛行体UAVが移動した場合、位置P3においてステレオカメラによって得られた画像と位置P4においてステレオカメラによって得られた画像と、を比較することによって、センサ測位機能は、位置P3から位置P4までの移動ベクトルを算出する。そして、センサ測位機能は、算出された移動ベクトルの情報に基づいて、元位置の座標を基準とする局所座標系における飛行体UAVの現在位置の座標を算出する。局所座標系における飛行体UAVの現在位置の座標は、元位置の座標に移動ベクトルを加算することによって得られる情報から作成することができる。また、センサ測位機能は、局所座標系における飛行体UAVの位置情報を公知の方法によってWGS84座標系における飛行体UAVの位置情報に変換し、このWGS84座標系における飛行体UAVの位置情報に基づいてNMEAフォーマットの情報を作成する機能を有している。以下では、NMEAフォーマットの飛行体UAVの位置情報を、単に飛行体UAVの位置情報という場合がある。
なお、センサ測位機能が各位置で測定された画像を比較する方法は、とくに限定されない。一般的な画像マッチング方法を使用して実施することができる。各位置で測定された画像を比較する際には、IMUステレオカメラICのIMUが測定した加速度などの情報に基づいて得られる位置P3および位置P4における飛行体UAVの姿勢や向きなどの情報を利用して画像マッチングを実施する。
また、センサ測位機能は、基準とする元位置の座標には、元位置においてRTK-GNSS測位機能により位置情報が取得できている場合(つまりFIX解が得られている場合)には、RTK-GNSS測位機能により得られる座標を使用する機能も有している。
<切り換え機能>
コンパニオンコンピュータCCは、飛行体UAVが飛行している環境に応じて、RTK-GNSS測位機能により得られる飛行体UAVの位置情報に基づく位置制御と、センサ測位機能により得られる飛行体UAVの位置情報に基づく位置制御と、を切り換える機能を有している。具体的には、GNSS環境ではRTK-GNSS測位機能により得られる飛行体UAVの位置情報に基づいて位置制御を行い、非GNSS環境ではセンサ測位機能により得られる飛行体UAVの位置情報に基づいて位置制御を行う。切り換え機能は、GNSS環境から非GNSS環境への移行、および、非GNSS環境からGNSS環境への移行、の際に、位置制御を行う情報を、RTK-GNSS測位機能により得られる飛行体UAVの位置情報とセンサ測位機能により得られる飛行体UAVの位置情報との間で切り換える機能を有している。
切り換え機能は、この切り換えを以下の情報に基づいて実施する。
まず、コンパニオンコンピュータCCは、RTK-GNSS測位機能による測位解の算出と、センサ測位機能により得られるWGS84座標系における飛行体UAVの位置情報の作成と、を常時実施している。
RTK-GNSS測位機能が算出した測位解がFIX解である場合には、切り換え機能は、RTK-GNSS測位機能から得られる飛行体UAVの位置情報をフライトコントローラFCに供給する。つまり、RTK-GNSS測位機能から得られるNMEAフォーマットの飛行体UAVの位置情報に基づいてフライトコントローラFCが飛行体UAVの飛行を制御するように、切り換え機能はフライトコントローラFCに供給する情報を制御する。
一方、RTK-GNSS測位機能がFIX解を算出できない場合、つまり、RTK-GNSS測位機能がFLOAT解やDGPS解、単独測位解しか算出できない場合には、切り換え機能は、センサ測位機能から得られる飛行体UAVの位置情報をフライトコントローラFCに供給する。つまり、センサ測位機能から得られるNMEAフォーマットの飛行体UAVの位置情報に基づいてフライトコントローラFCが飛行体UAVの飛行を制御するように、切り換え機能はフライトコントローラFCに供給する情報を制御する。
<制御切り換え時間>
また、GNSS環境から非GNSS環境への移行する場合には、切り換え機能は、フライトコントローラFCに供給する飛行体UAVの位置情報を、RTK-GNSS測位機能の飛行体UAVの位置情報からセンサ測位機能の飛行体UAVの位置情報に切り換える。この際には、RTK-GNSS測位機能がFIX解を得られなくなったタイミングで飛行体UAVの位置情報をセンサ測位機能の飛行体UAVの位置情報に切り換える機能を切り換え機能は有している。つまり、GNSS環境の間は、切り換え機能はRTK-GNSS測位機能に基づく飛行体UAVの位置情報をフライトコントローラFCに供給するが、RTK-GNSS測位機能がFIX解を得られない状況になると、切り換え機能は短時間(例えば、1秒以内)でセンサ測位機能に基づく飛行体UAVの位置情報をフライトコントローラFCに供給するように切り換える。すると、切り換えの際におけるRTK-GNSS測位機能による飛行体UAVの位置情報とセンサ測位機能による飛行体UAVの位置情報との差が小さくなる。よって、情報が切り替わったことによる飛行体UAVの姿勢や位置などの急激な変化を防ぐことができるので、フライトコントローラFCによる飛行体UAVの位置制御の精度低下を防ぐことができる。
一方、非GNSS環境からGNSS環境への移行する場合には、切り換え機能は、フライトコントローラFCに供給する飛行体UAVの位置情報を、センサ測位機能の飛行体UAVの位置情報からRTK-GNSS測位機能の飛行体UAVの位置情報に切り換える。この際には、RTK-GNSS測位機能がFIX解を得られる状況となってから、一定時間をかけてセンサ測位機能の飛行体UAVの位置情報とRTK-GNSS測位機能の飛行体UAVの位置情報とが一致するように、飛行体UAVに供給する情報を調整する機能を切り換え機能は有している。つまり、切り換え機能は、非GNSS環境からGNSS環境への移行した場合には、飛行体UAVの制御に使用する飛行体UAVの位置情報をRTK-GNSS測位機能の飛行体UAVの位置情報に直ぐには切り換えない。一定の遷移期間の間にセンサ測位機能が算出する位置とRTK-GNSS測位機能が算出する位置とが一致する(一定の範囲に入ることも含まれる)ように、センサ測位機能が算出する飛行体UAVの位置情報を調整する。そして、切り換え機能は、調整したセンサ測位機能が算出する飛行体UAVの位置情報とRTK-GNSS測位機能が算出する飛行体UAVの位置情報とが一致すると、フライトコントローラFCに供給する飛行体UAVの位置情報をRTK-GNSS測位機能の飛行体UAVの位置情報に切り換える。
一定の遷移期間を設けて、この遷移期間にセンサ測位機能が算出する飛行体UAVの位置情報を切り換え機能が調整する理由は、以下のとおりである。
非GNSS環境では、センサ測位機能はVisual Odometryにより移動ベクトルを算出し、その移動ベクトルを積算することによって現在位置を把握している。しかし、移動ベクトルは実際の飛行体UAVの移動に対して誤差を有しており、移動ベクトルが積算されることによってその誤差も積算されることになる。つまり、センサ測位機能が算出する飛行体UAVの位置情報には累積誤差が含まれることになり、センサ測位機能によって飛行体UAVが飛行する飛行ルートと所定の飛行ルートとの間には誤差が生じる(図1(B)参照)。すると、非GNSS環境からGNSS環境への移行した際に、単純に、フライトコントローラFCに提供する情報をセンサ測位機能の飛行体UAVの位置情報からRTK-GNSS測位機能の飛行体UAVの位置情報に切り換えた場合、フライトコントローラFCは、飛行体UAVの位置を短時間で大きく修正しようとするため、飛行体UAVが制御不能になる可能性がある。そこで、切り換え機能は、一定の遷移期間(例えば数秒程度)を設けて、センサ測位機能が算出する飛行体UAVの位置情報とRTK-GNSS測位機能が算出する飛行体UAVの位置情報とが一致する状態になってから、フライトコントローラFCに供給する飛行体UAVの位置情報をRTK-GNSS測位機能の情報に切り換える。すると、センサ測位機能の飛行体UAVの位置情報による制御からRTK-GNSS測位機能の飛行体UAVの位置情報による制御に切り換わった際に、飛行体UAVの異常移動の発生を抑制できる。
センサ測位機能が算出する飛行体UAVの位置情報とRTK-GNSS測位機能が算出する飛行体UAVの位置情報とを一致させる方法はとくに限定されない。例えば、RTK-GNSS測位機能が算出する飛行体UAVの位置情報を利用してセンサ測位機能が算出する飛行体UAVの位置情報を徐々に補正することによって両者を一致させることができる。例えば、センサ測位機能が算出する飛行体UAVの位置情報がRTK-GNSS測位機能が算出する飛行体UAVの位置情報に一定の割合だけ近づいた値となるように、飛行体UAVの位置情報を補正した補正位置情報を作成し、補正位置情報をフライトコントローラFCに供給するようにする。この処理を繰り返すことによって、センサ測位機能が算出する位置とRTK-GNSS測位機能が算出する位置との差は小さくなるので、一定時間経過後(例えば数秒後)には、センサ測位機能が算出する位置とRTK-GNSS測位機能が算出する位置とを一致させることができる。
<本実施形態の飛行体UAVの飛行制御>
本実施形態の飛行体UAVが上記のごとき構成を有していれば、飛行体UAVは、GNSS環境と非GNSS環境との間をスムースに移動しながら、構造物等の検査を実施することができる。なお、以下では、橋梁BRの下を通過する飛行ルートを飛行する場合を代表として説明する。
<GNSS環境での移動>
図4に示すように、飛行体UAVがGNSS環境から飛行する場合には、まず、コンパニオンコンピュータCCは、RTK-GNSS測位機能によって飛行体UAVの現在位置を取得する。つまり、RTK-GNSS測位機能がFIX解を得ると、コンパニオンコンピュータCCは、RTK-GNSS測位機能が算出するWGS84座標系における位置を飛行体UAVの現在位置と判断する。また、コンパニオンコンピュータCCは、磁気方位センサMSからの信号に基づいて方位取得機能が飛行体UAVの向きを推定する。飛行体UAVの現在位置および向きが得られると、コンパニオンコンピュータCCは、RTK-GNSS測位機能の飛行体UAVの位置情報と、飛行体UAVの向きの情報と、記憶部MRに記憶されている飛行ルートの情報と、をフライトコントローラFCに供給する。すると、その情報に基づいて、フライトコントローラFCは、飛行体UAVが所定の飛行ルートに沿って移動するように、各推進ロータRのモータの回転数や姿勢調整機構を制御する。なお、コンパニオンコンピュータCCは、飛行体UAVが飛行している間は、測域機能によって飛行体UAVと周囲の物体との距離を測定している。
飛行体UAVが移動している間も、コンパニオンコンピュータCCはRTK-GNSS測位機能によって飛行体UAVの現在位置を連続して取得する。ここでいう「現在位置を連続して取得する」とは、所定の周期(時間間隔)で飛行体UAVの現在位置を測定することを意味している。例えば、5~10Hz程度で現在位置を取得し、得られたRTK-GNSS測位機能の飛行体UAVの位置情報と飛行体UAVの向きの情報(機首方向情報)とをフライトコントローラFCに供給する。すると、フライトコントローラFCは、取得した飛行体UAVの現在位置が所定の飛行ルート上に位置するか否かを確認し、所定の飛行ルート上からズレている場合には、所定の飛行ルート上に戻るように飛行体UAVを移動させる。すると、飛行体UAVは所定の飛行ルート上を安定して自律飛行することができる。
ここで、飛行体UAVが移動している間には、コンパニオンコンピュータCCはRTK-GNSS測位機能によって飛行体UAVの現在位置を取得すると同時に、センサ測位機能によっても飛行体UAVの現在位置を取得する。例えば、ある時間T1における飛行体UAVの位置(基準位置)から現在の飛行体UAVの位置までの移動ベクトルを算出し、基準位置に移動ベクトルを積算することによって飛行体UAVの現在位置を算出する。この場合には、時間T1にRTK-GNSS測位機能が算出したWGS84座標系の位置に移動ベクトルを積算した値を局所座標系の位置として、センサ測位機能は飛行体UAVの現在位置を算出する。ここで、GNSS環境においては、上向きカメラは上空のみを撮影するためにVisual Odometryの推定精度が落ちることを想定し、前後左右向きのカメラの組み合わせでVisual Odometryの位置推定精度を向上させる。対地高度が高い場合は、下向きのカメラも組み合わせることで,Visual Odometryの位置推定精度を向上させる。なお、RTK-GNSS測位機能の飛行体UAVの位置情報がフライトコントローラFCに供給されている間もセンサ測位機能では同様の処理が実施される。しかし、コンパニオンコンピュータCCは、センサ測位機能の飛行体UAVの位置情報はフライトコントローラFCには供給しない。
飛行体UAVが所定の飛行ルートを飛行している間において、GNSS受信機GRが受信するGNSS衛星信号の受信状態は一定ではなく変化する。しかし、FIX解が得られている間は、コンパニオンコンピュータCCは、RTK-GNSS測位機能が算出するWGS84座標系における位置を飛行体UAVの現在位置と判断する。
<GNSS環境から非GNSS環境への移動>
やがて、飛行体UAVが橋梁BR(図1参照)の下に進入しようとすると、GNSS衛星信号の受信状態が変化して、FIX解が得られない状態になる。すると、図4に示すように、コンパニオンコンピュータCCの切り換え機能は、RTK-GNSS測位機能の飛行体UAVの位置情報に代えて、センサ測位機能の飛行体UAVの位置情報をフライトコントローラFCに供給するようになる。例えば、短時間(例えば1秒以内)に、コンパニオンコンピュータCCの切り換え機能は、RTK-GNSS測位機能の飛行体UAVの位置情報をセンサ測位機能の飛行体UAVの位置情報にフライトコントローラFCに供給するようになる。つまり、タイムラグがほとんどない状態でフライトコントローラFCに供給する飛行体UAVの位置情報を変更できる。しかも、センサ測位機能の飛行体UAVの情報をフライトコントローラFCに供給するようになった際には、センサ測位機能は、最後にFIX解が得られたときのRTK-GNSS測位機能が算出した飛行体UAVの位置(基準位置)の位置情報に基づいて飛行体UAVの現在位置の位置情報を算出する。すると、基準位置と現在位置とのズレも小さくできるので、飛行制御の安定性を維持できる
しかも、センサ測位機能の飛行体UAVの位置情報は、RTK-GNSS測位機能の飛行体UAVの位置情報と同じNMEAフォーマットの情報としてフライトコントローラFCに供給される。すると、フライトコントローラFCは、センサ測位機能の飛行体UAVの位置情報を、RTK-GNSS測位機能の飛行体UAVの位置情報が継続して供給されているとみなして飛行体UAVの飛行を制御するので、フライトコントローラFCによる飛行体UAVの安定した飛行制御を維持できる。
<非GNSS環境での移動>
飛行体UAVが橋梁BRの下などの非GNSS環境に進入すると、RTK-GNSS測位機能はFIX解が得られない。したがって、図1に示すように、橋梁の下などを飛行体UAVが移動する間は、コンパニオンコンピュータCCはセンサ測位機能の飛行体UAVの位置情報をフライトコントローラFCに供給し、飛行ルートに沿って飛行体UAVが移動するように制御する。この場合でも、センサ測位機能は、6つのIMUステレオカメラICの情報に基づいたVisual Odometryによって飛行体UAVの位置を算出するので、算出される飛行体UAVの位置の精度を高くできる。ここで、非GNSS環境においては、前後左右方向より上下方向の撮影範囲に画像特徴が豊富となるため、カメラ選択機能は、上下カメラの推定結果の重みを大きくすることで,Visual Odometryによる位置推定精度を向上させる。なお、非GNSS環境においても、RTK-GNSS測位機能は測位解の算出を常時実施する。
<非GNSS環境からGNSS環境への移動>
飛行体UAVが橋梁BRの下から脱出すると、GNSS衛星信号の受信状態が変化して、FIX解が得られる状態になる。この状態では、現在の飛行体UAVの位置と切り換わる直前の飛行体UAVの位置との間に大きな差が生じている可能性がある。つまり、センサ測位機能の累積誤差に起因する位置の差が生じる可能性がある。その状態でRTK-GNSS測位機能の飛行体UAVの位置情報を用いて飛行体UAVが飛行ルートに沿って移動するように制御すると、急激な位置変更による飛行体UAVの異常移動が発生する可能性がある。
このため、図5に示すように、コンパニオンコンピュータCCの切り換え機能は、センサ測位機能が算出する飛行体UAVの位置情報をとRTK-GNSS測位機能が算出する飛行体UAVの位置情報とが一致するまでは、センサ測位機能が算出する飛行体UAVの補正位置情報をフライトコントローラFCに供給する。やがて、センサ測位機能が算出する位置とRTK-GNSS測位機能が算出する位置とが一致すると、コンパニオンコンピュータCCの切り換え機能は、RTK-GNSS測位機能の飛行体UAVの位置情報をフライトコントローラFCに供給し、フライトコントローラFCは、RTK-GNSS測位機能の飛行体UAVの位置情報を用いて飛行体UAVが飛行ルートに沿って移動するように制御する。
以上のように制御すれば、飛行体UAVがGNSS環境と非GNSS環境を跨いで移動する場合でも、スムースに飛行体UAVを自律飛行させることができる。
本発明の飛行体の制御方法によって、飛行体をGNSS環境と非GNSS環境との間をスムースに移行できることを確認した。
実験では、3つ推進ロータが機体の重心を中心とする円周上に等角度間隔で配設された飛行体(試験用トライコプタ)を使用した(図3参照)。
試験用トライコプタには、6台のIMUステレオカメラを搭載した。本実験では、IMUステレオカメラとして、視覚的オドメトリ処理機能が搭載されているトラッキングカメラ(Intel Real sense T265)を使用した。
RTK-GNSS測位モジュールには、mosaic-X5(Septentrio)およびアンテナを使用した。
磁気方位センサには、IST8310(CUAV NEOv2)を使用した。
コンパニオンコンピュータには、Jetson Nano(Nvidia)を使用した。フライトコントローラには、ArduCopter-4.0.7をカスタマイズしたNora(CUAV)を使用した。
図6に示すように、実験では、試験用トライコプタが徳島の四国三郎橋の外部から四国三郎橋の下に進入し、その後四国三郎橋の下から離脱するように自律飛行させた。また、図7に示すように、橋の橋台と橋脚の間にはウェイポイントを用意し、このウェイポイントを試験用トライコプタが通過するように、自律飛行ルートを設定した。
飛行体には光学マーカを取り付け、飛行体の飛行軌跡と飛行体の姿勢を実測データとして取得した。飛行体の飛行軌跡は、モーションキャプチャシステムにより取得した。
以下に実験結果を示す。
図8(B)はモーションキャプチャで得られた飛行軌跡、つまり、実測データの飛行軌跡であるが、図8(A)に示す衛星画像上にフライトコントローラで推定された飛行軌跡をプロットしたものと一致している。つまり、本発明の飛行制御方法によって、GNSS環境と非GNSS環境において、フライトコントローラで自己位置と軌道のデータがシームレスに推定されていることが確認できた。
本発明の飛行体の制御方法は、橋梁、構造物等の点検や災害観測や環境調査などに使用する飛行体の自律飛行を制御する制御方法としても適している。
UAV 飛行体
B 機体
BB 機体本体
BA アーム
R ロータ
RT 姿勢調整機構
C 制御部
CC コンパニオンコンピュータ
FC フライトコントローラ
GR GNSS受信機
IC IMUステレオカメラ
MS 磁気方位センサ
MR 記憶部
<飛行体の制御方法>
第1発明の飛行体の制御方法は、 飛行体の位置情報に基づいて所定の飛行ルートに沿って自律飛行する飛行体の制御方法であって、飛行体は、GNSS衛星信号に基づいてRTK-GNSS測位により飛行体の位置を推定するRTK-GNSS測位機能と、飛行体に搭載された光学センサによる測位により飛行体の位置を推定するセンサ測位機能と、飛行体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、飛行体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた飛行体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて飛行体の飛行を制御する飛行制御機能と、を有する制御部を備えており、前記RTK-GNSS測位機能および前記センサ測位機能は、いずれもNMEAフォーマットにより前記飛行制御機能に対して飛行体の位置情報を提供する機能を有しており、前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部の飛行制御機能は前記RTK-GNSS測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部の飛行制御機能は前記センサ測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記制御部の飛行制御機能は、前記センサ測位機能における測定原点として前記RTK-GNSS測位機能がFIX解を得られない状況となる直前に前記RTK-GNSS測位機能で取得された位置を適用して、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで前記センサ測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御する状態に短時間で移行し、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記制御部の飛行制御機能は、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整することを特徴とする。
第2発明の飛行体の制御方法は、第1発明において前記光学センサが、飛行体の前後方向、左右方向および上下方向をそれぞれ撮影する6つのIMUステレオカメラを備えており、前記センサ測位機能は、Visual Odometryにより、6つのIMUステレオカメラの情報に基づいてそれぞれ飛行体の位置を推定し、推定した複数の飛行体の位置の中央値に基づいて飛行体の位置を推定することを特徴とする。
第3発明の飛行体の制御方法は、第2発明において、前記制御部は、飛行体の位置推定に使用するIMUステレオカメラの信号を飛行体の飛行シーンにあわせて変更するカメラ選択機能を有しており、該カメラ選択機能は、GNSS環境においては、前後方向および左右方向を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置に基づいて飛行体の位置を推定し、非GNSS環境においては、6つの飛行体の位置の推定において、上下を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置の重みを大きくして飛行体の位置を推定することを特徴とする。
<飛行体>
第4発明の飛行体は、機体と、該機体に設けられた推進ロータと、GNSS衛星信号を受信するGNSS受信機と、前記機体の周囲の状況を測定する光学センサと、前記GNSS受信機が受信するGNSS衛星信号および/または前記光学センサが取得する情報に基づいて、前記推進ロータの作動を制御して前記機体の自律飛行を制御する制御部と、を備え、該制御部は、前記GNSS受信機が受信するGNSS衛星信号に基づいてRTK-GNSS測位により前記機体の位置を推定するRTK-GNSS測位機能と、前記機体に搭載された光学センサによる測位により該機体の位置を推定するセンサ測位機能と、前記機体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、前記機体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた前記機体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて該機体の飛行を制御する飛行制御機能と、を備えており、前記RTK-GNSS測位機能および前記センサ測位機能は、いずれもNMEAフォーマットにより前記飛行制御機能に対して飛行体の位置情報を提供する機能を有しており、前記制御部は、前記RTK-GNSS測位機能および前記センサ測位機能による前記機体の位置の把握を常時実施し、前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御する機能を有しており、前記制御部の飛行制御機能は、前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記センサ測位機能から得られる前記機体の位置情報に基づいて該機体の飛行を制御する状態に移行する機能と、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整する機能と、を有していることを特徴とする。
第5発明の飛行体の制御方法は、第4発明において、前記光学センサが、飛行体の前後方向、左右方向および上下方向をそれぞれ撮影する6つのIMUステレオカメラを備えており、前記センサ測位機能は、Visual Odometryにより、6つのIMUステレオカメラの情報に基づいてそれぞれ飛行体の位置を推定し、推定した複数の飛行体の位置の中央値に基づいて飛行体の位置を推定することを特徴とする。
第6発明の飛行体の制御方法は、第5発明において、前記制御部は、飛行体の位置推定に使用するIMUステレオカメラの信号を飛行体の飛行シーンにあわせて変更するカメラ選択機能を有しており、該カメラ選択機能は、GNSS環境においては、前後方向および左右方向を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置に基づいて飛行体の位置を推定し、非GNSS環境においては、6つの飛行体の位置の推定において、上下を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置の重みを大きくして飛行体の位置を推定する機能を有していることを特徴とする。
<飛行体の制御方法>
第1発明によれば、GNSS環境ではRTK-GNSS測位機能により飛行体の正確な位置を推定でき、非GNSS環境では光学センサの信号に基づいてセンサ測位機能が飛行体の位置を推定できるので、制御部の飛行制御機能はGNSS環境でも非GNSS環境でも飛行体を自律飛行させることができる。また、制御部は、常にRTK-GNSS測位機能とセンサ測位機能によってそれぞれ飛行体の位置を推定しており、しかも、RTK-GNSS測位機能がFIX解を得られるか否かで使用する位置情報を変更するので、GNSS環境と非GNSS環境との間を飛行体が移動してもシームレスに飛行体の自律飛行を維持することができる。また、RTK-GNSS測位機能の位置情報による制御からセンサ測位機能の位置情報による制御への切り換えを短時間で行うので、飛行体の位置制御の精度低下を防ぐことができる。さらに、飛行体の位置制御の精度低下を防ぐことができる。そして、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御からへの切り換えは一定の時間をかけて行うので、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御に切り換わった際に、飛行体の異常移動の発生を抑制できる。
第2発明によれば、簡便かつリアルタイムに計測エラーを除去することができるので、センサ測位機能による飛行体UAVの位置推定のロバスト性を向上させることができる。
第3発明によれば、センサ測位機能により得られる飛行体の位置を推定する精度を高めることができる。
<飛行体>
第4発明によれば、GNSS環境ではRTK-GNSS測位機能により飛行体の正確な位置を推定でき、非GNSS環境では光学センサの信号に基づいてセンサ測位機能が飛行体の位置を推定できるので、制御部の飛行制御機能はGNSS環境でも非GNSS環境でも飛行体を自律飛行させることができる。また、制御部は、常にRTK-GNSS測位機能とセンサ測位機能によってそれぞれ飛行体の位置を推定しており、しかも、RTK-GNSS測位機能がFIX解を得られるか否かで使用する位置情報を変更するので、GNSS環境と非GNSS環境との間を飛行体が移動してもシームレスに飛行体の自律飛行を維持することができる。また、RTK-GNSS測位機能の位置情報による制御からセンサ測位機能の位置情報による制御への切り換えを短時間で行うので、飛行体の位置制御の精度低下を防ぐことができる。さらに、飛行体の位置制御の精度低下を防ぐことができる。そして、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御からへの切り換えは一定の時間をかけて行うので、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御に切り換わった際に、飛行体の異常移動の発生を抑制できる。
第5発明によれば、センサ測位機能による飛行体UAVの位置推定のロバスト性を向上させることができる。
第6発明によれば、センサ測位機能により得られる飛行体の位置を推定する精度を高めることができる。

Claims (9)

  1. 飛行体UAVの位置情報に基づいて所定の飛行ルートに沿って自律飛行する飛行体の制御方法であって、
    飛行体は、
    GNSS衛星信号に基づいてRTK-GNSS測位により飛行体の位置を推定するRTK-GNSS測位機能と、
    飛行体に搭載された光学センサによる測位により飛行体の位置を推定するセンサ測位機能と、
    飛行体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、
    飛行体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた飛行体UAVの位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて飛行体の飛行を制御する飛行制御機能と、
    を有する制御部を備えており、
    前記RTK-GNSS測位機能および前記センサ測位機能による飛行体の位置の把握を前記制御部が常時実施し、
    前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御し、
    前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御する
    ことを特徴とする飛行体の制御方法。
  2. 前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記制御部は前記センサ測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御する状態に移行する
    ことを特徴とする請求項1記載の飛行体の制御方法。
  3. 前記制御部は、
    前記センサ測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御する状態に移行する際に、前記センサ測位機能における測定原点として、前記RTK-GNSS測位機能がFIX解を得られない状況となる直前に前記RTK-GNSS測位機能で取得された位置を適用する
    ことを特徴とする請求項2記載の飛行体の制御方法。
  4. 前記制御部は、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整する
    ことを特徴とする請求項1記載の飛行体の制御方法。
  5. 前記光学センサが、
    複数の方向をそれぞれ撮影する複数のIMUステレオカメラを備えており、
    前記センサ測位機能は、
    前記複数のIMUステレオカメラの情報に基づいて、Visual Odometryにより飛行体の位置を推定する
    ことを特徴とする請求項1記載の飛行体の制御方法。
  6. 機体と、
    該機体に設けられた推進ロータと、
    GNSS衛星信号を受信するGNSS受信機と、
    前記機体の周囲の状況を測定する光学センサと、
    前記GNSS受信機が受信するGNSS衛星信号および/または前記光学センサが取得する情報に基づいて、前記推進ロータの作動を制御して前記機体の自律飛行を制御する制御部と、を備え、
    該制御部は、
    前記GNSS受信機が受信するGNSS衛星信号に基づいてRTK-GNSS測位により前記機体の位置を推定するRTK-GNSS測位機能と、
    前記機体に搭載された光学センサによる測位により該機体の位置を推定するセンサ測位機能と、
    前記機体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、
    前記機体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、
    前記RTK-GNSS測位機能または前記センサ測位機能により得られた前記機体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて該機体の飛行を制御する飛行制御機能と、を備えており、
    該制御部は、
    前記RTK-GNSS測位機能および前記センサ測位機能による前記機体の位置の把握を常時実施し、
    前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御し、
    前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御する機能を有している
    ことを特徴とする飛行体。
  7. 前記制御部は、
    前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記センサ測位機能から得られる前記機体の位置情報に基づいて該機体の飛行を制御する状態に移行する
    ことを特徴とする請求項6記載の飛行体。
  8. 前記制御部は、
    前記制御部は、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整する
    ことを特徴とする請求項6記載の飛行体。
  9. 前記光学センサが、
    複数の方向をそれぞれ撮影する複数のIMUステレオカメラを備えており、
    前記センサ測位機能は、
    前記複数のIMUステレオカメラの情報に基づいて、Visual Odometryにより前記機体の位置を推定する
    ことを特徴とする請求項6記載の飛行体。
JP2022126369A 2022-08-08 2022-08-08 飛行体および飛行体の制御方法 Active JP7333565B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022126369A JP7333565B1 (ja) 2022-08-08 2022-08-08 飛行体および飛行体の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022126369A JP7333565B1 (ja) 2022-08-08 2022-08-08 飛行体および飛行体の制御方法

Publications (2)

Publication Number Publication Date
JP7333565B1 JP7333565B1 (ja) 2023-08-25
JP2024022918A true JP2024022918A (ja) 2024-02-21

Family

ID=87654356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022126369A Active JP7333565B1 (ja) 2022-08-08 2022-08-08 飛行体および飛行体の制御方法

Country Status (1)

Country Link
JP (1) JP7333565B1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3675787B2 (ja) * 2002-09-25 2005-07-27 川崎重工業株式会社 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム
WO2016059930A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
JP6978566B2 (ja) * 2017-03-27 2021-12-08 Kddi株式会社 制御装置、プログラム、及び制御方法
JP2020118641A (ja) * 2019-01-28 2020-08-06 一般財団法人電力中央研究所 マルチコプター
JP7350671B2 (ja) * 2020-02-25 2023-09-26 三菱重工業株式会社 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム
JP7058296B2 (ja) * 2020-02-28 2022-04-21 ソフトバンク株式会社 制御装置、プログラム、及びシステム
JP2021182721A (ja) * 2020-05-20 2021-11-25 東芝テック株式会社 撮影装置及びプログラム

Also Published As

Publication number Publication date
JP7333565B1 (ja) 2023-08-25

Similar Documents

Publication Publication Date Title
CN105184776B (zh) 目标跟踪方法
US10565732B2 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
US7693617B2 (en) Aircraft precision approach control
KR100556103B1 (ko) 자동촬영시스템을 이용한 항공촬영방법
Shen et al. Optical flow sensor/INS/magnetometer integrated navigation system for MAV in GPS-denied environment
US20080195316A1 (en) System and method for motion estimation using vision sensors
WO2016187757A1 (en) Sensor fusion using inertial and image sensors
US11099030B2 (en) Attitude estimation apparatus, attitude estimation method, and observation system
EP3734394A1 (en) Sensor fusion using inertial and image sensors
JP2008304260A (ja) 画像処理装置
Sohn et al. Vision-based real-time target localization for single-antenna GPS-guided UAV
JP6934116B1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
Konrad et al. State estimation for a multirotor using tight-coupling of gnss and inertial navigation
Tsai et al. Optical flow sensor integrated navigation system for quadrotor in GPS-denied environment
WO2018214121A1 (en) Method and apparatus for controlling unmanned aerial vehicle
JP2019191888A (ja) 無人飛行体、無人飛行方法及び無人飛行プログラム
KR20150041898A (ko) Gps/ins 위치 정보 보정 장치 및 방법
WO2020088399A1 (zh) 信息处理装置、飞行控制方法以及飞行控制系统
US11061145B2 (en) Systems and methods of adjusting position information
JP7333565B1 (ja) 飛行体および飛行体の制御方法
Stoven-Dubois et al. Cooperative navigation for an UAV tandem in GNSS denied environments
KR102591631B1 (ko) 군집 비행 드론의 위치 도출 장치 및 방법
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体
Andert et al. A flight state estimator that combines stereo-vision, INS, and satellite pseudo-ranges

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221031

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7333565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150