JP6100868B1 - 無人移動体の操縦方法および無人移動体監視装置 - Google Patents

Abstract

【課題】無人移動体をその近傍から三人称視点で視認しつつ操縦可能な無人移動体の操縦方法および無人移動体監視装置を提供する【解決手段】単数または複数の回転翼と、自機の周囲の映像を撮影可能な撮影手段と、を備え、空中の一点に静止することが可能な無人航空機である監視機を無人移動体の近傍に配置し、かかる監視機により撮影した三人称視点の映像を見ながら無人移動体を操縦することにより解決する。さらに、監視機が、無人移動体の移動に追従して自機を自動的に飛行させる随伴飛行手段を有することにより、操縦者は無人移動体の操縦のみに専念することが可能となる。【選択図】図１

Description

本発明は無人移動体の操縦方法および無人移動体監視装置に関し、さらに詳しくは、無人移動体を三人称視点で確認しながら操縦可能とする技術に関する。

従来、産業用無人ヘリコプターに代表される小型の無人航空機（ＵＡＶ）は、機体が高価で入手困難なうえ、安定して飛行させるためには操縦に熟練が必要とされるものであった。しかし近年、加速度センサや角速度センサなどの機体部品の高性能化および低価格化が進み、また、機体の制御操作の多くが自動化されたことでその操作性も飛躍的に向上した。こうした背景から現在、特に小型のマルチコプターについては、趣味目的だけでなく、広範な分野における種々のミッションへの応用が試行されている。

マルチコプターを手動で操縦する方法としては、一般に、機体の飛行状況を目視により把握する有視界内での操縦や、マルチコプターに搭載されたカメラが撮影した映像を手元で確認しながら機体を操縦するＦＰＶ（First-Person View）とよばれる方法がある。

特開２０１４−１０４７９７号公報

マルチコプターを目視により操縦する場合、機体が操縦者から遠ざかるにつれて目視対象が小さくなることから、その向きや飛行状況を把握することが困難になる。一方、ＦＰＶによりマルチコプターを操縦する場合、機体が遠く離れても通信圏内であればカメラで撮影した映像を見ることができるが、その映像が一人称視点であることから、機体自体や撮影方向以外の状況が把握できないという問題がある。

特許文献１には、建屋内を調査する飛行体を三人称視点で撮影可能な移動機構および中継飛行体が開示されている。しかし、特許文献１の移動機構等は、建屋の床面を起点として上方を飛行する飛行体を撮影する構成であることから、建屋内における飛行体のおおまかな位置を把握することはできても、飛行体の近傍からその詳細な飛行状況を撮影することはできない。

特許文献１から看取される飛行体の用途としては、カメラによる建屋内の撮影、およびその飛行位置における温度・湿度・放射線量の取得である。これらの用途であれば特許文献１の撮影方法でも特に支障はないと考えられるため、飛行体の飛行状況をさらに詳細に撮影可能とすべき課題は存在しないが、例えばより緻密で正確性が求められる作業を飛行体に行わせるような場合には、特許文献１の撮影方法では情報が不十分となり得る。また、移動機構等から見て死角となる領域を調査する際に、中継飛行体が着陸可能な中継地がない場合、その領域の調査を断念せざるを得ないという問題がある。

さらに、特許文献１の飛行体および中継飛行体は、操縦者によりそれぞれ別個に操縦される必要があり、また、中継飛行体は床面に着陸した状態で飛行体を撮影する構成とされている。そのため、飛行体離陸後に中継飛行体の位置を変更する場合、その手順が煩雑になるという問題もある。

上記問題に鑑み、本発明が解決しようとする課題は、無人移動体をその近傍から三人称視点で視認しつつ操縦することを可能にする無人移動体の操縦方法および無人移動体監視装置を提供することにある。

上記課題を解決するため、本発明の無人移動体の操縦方法は、単数または複数の回転翼と、自機の周囲の映像を撮影可能な撮影手段と、を備え、空中の一点に静止することが可能な無人航空機である監視機と、無線通信により無人移動体を遠隔操作可能な操縦端末と、前記監視機と無線接続され、前記撮影手段で撮影された映像をリアルタイムで表示可能な表示装置と、を用いた無人移動体の操縦方法であって、前記監視機を前記無人移動体の近傍でホバリングさせる手順と、前記撮影手段で撮影した前記無人移動体の映像を前記表示装置に表示し、その映像を確認しながら前記操縦端末を操作する手順と、を含むことを特徴とする。

マルチコプターである監視機を無人移動体の近傍でホバリングさせつつ、その撮影手段で無人航空機を撮影させることにより、操縦者は、無人移動体の詳細な飛行状況を三人称視点の映像で把握しながら無人移動体を操縦することができる。これにより操縦者は、無人移動体による作業をより緻密かつ正確に行うことが可能となる。

また、前記無人移動体は複数の回転翼を備えた無人航空機である構成としても良い。

本発明の監視機はマルチコプターであり、空間中の任意の位置へ移動し、その場で停止することができる。そのため、本発明の無人移動体の操縦方法は、無人移動体が同じく飛行体である場合にその長所が特に顕著に表れる。

上記課題を解決するため、本発明の無人移動体監視装置は、複数の回転翼と、該複数の回転翼による飛行を制御する制御部と、自機の周囲の映像を撮影可能な撮影手段と、を有する無人航空機である監視機と、前記監視機が前記撮影手段により撮影した映像を表示可能な表示装置と、を備える無人移動体監視装置であって、前記制御部は、撮影対象である無人移動体の移動に追従して自機を自動的に飛行させる随伴飛行手段を有することを特徴とする。

マルチコプターである監視機が、その撮影対象である無人移動体の移動に追従して自機を自動的に飛行させる随伴飛行手段を有していることにより、操縦者は無人移動体とその周囲の状況とを含む三人称視点での映像を見ながら、無人移動体の操縦のみに注意を向けることが可能となる。また、監視機は無人移動体を飛行しながら撮影可能であることから、無人移動体の状況に応じてその撮影位置や撮影方向を柔軟に修正することができる。

また、前記無人移動体は複数の回転翼を備えた無人航空機である構成としても良い。

本発明の監視機はマルチコプターであり、空間中の任意の位置へ移動し、その場で停止することができる。そのため、本発明の無人移動体の操縦方法は、無人移動体が同じく飛行体である場合にその長所が特に顕著に表れる。

また、前記無人移動体および前記監視機はそれぞれ、空中における自機の位置を示す情報である飛行位置情報を取得する手段を有しており、前記制御部は、前記無人移動体が検知した前記飛行位置情報を無線通信により取得可能であり、前記随伴飛行手段は、自機および前記無人移動体の前記飛行位置情報に基づいて、自機と前記無人移動体との相対的な位置関係を維持するとしても良い。

現在市場を流通しているマルチコプターは、一般に、ＧＰＳや、高度センサおよび方位センサを含むセンサ群を備えている。そのため、例えばこれらを応用して随伴飛行手段を構成することにより、比較的容易に本発明の無人移動体監視装置を製造することが可能となる。その他、例えば別途画像解析エンジンを備え、画像認識により機体周囲の映像の特徴点から自機の飛行位置を特定することも可能である。

また、前記制御部は、自機の前記飛行位置情報の測位精度が所定の閾値を下回ったときは、前記随伴飛行手段を停止して、前記測位精度が前記閾値以上となる位置まで前記監視機を後退させ、その位置で該監視機をホバリングさせることが好ましい。

監視機による飛行位置情報の測位精度が十分でなくなると、監視機の飛行位置が不安定になり、無人飛行体の作業状況の正確な把握が困難になる。また、監視機と無人飛行体との相対的な位置関係を推定する精度も不完全となり、無人飛行体と監視機とが空中で衝突するリスクが高くなる。監視機による飛行位置情報の測位精度が所定の閾値を下回ったときには、監視機の随伴飛行手段を自動的に停止し、監視機を安全な場所でホバリングさせるよう制御部を構成することにより、無人飛行体の撮影精度の低下を抑えつつ、衝突事故を未然に防止することができる。

また、前記随伴飛行手段は、前記監視機の前記撮影手段で撮影した前記無人移動体の画像から該無人移動体の現在位置を特定し、自機と前記無人移動体との相対的な位置関係を維持する構成としてもよい。

随伴飛行手段を画像認識による物体追跡機能で構成することにより、各種センサの検知精度や電波状況に左右されることなく、監視機の撮影手段の位置を基準として無人移動体の相対的な位置を特定することが可能となる。

また、前記無人移動体は、前記監視機の前記撮影手段で撮影されたときに、その画像内において標識として識別されるマーカー部を備えており、前記随伴飛行手段は、前記画像内における前記マーカー部の配置および形状から前記無人移動体の現在位置を特定し、自機と前記無人移動体との相対的な位置関係を維持することが好ましい。

無人移動体がマーカー部を有することにより、監視機はより正確に無人移動体の位置を特定することが可能となる。

また、前記無人移動体は操縦端末からの無線信号により遠隔操作され、前記監視機は、前記無線信号を中継可能な中継手段を有している構成としても良い。

無人移動体と操縦端末との通信の中継手段を監視機が有していることにより、例えば無人移動体が電波状況の悪い場所に進入して作業しなければならない場合でも、操縦端末との通信品質を維持することが可能となる。

また、前記制御部は、前記中継手段による疎通状態を監視する疎通監視手段を有しており、前記制御部は、前記疎通監視手段により前記中継手段の不通を検知したときは、前記随伴飛行手段を停止して前記操縦端末との無線通信が可能な位置まで前記監視機を後退させ、その位置で該監視機をホバリングさせることが好ましい。

監視機が必要に応じて自動的に随伴飛行手段を停止し、通信を中継可能な位置で待機することにより、例えば操縦者の判断の遅れにより無人移動体とともに監視機も電波状況の悪い場所に進入してしまうなど、中継自体が不可能な状況に陥ることを防止することができる。

また、前記監視機は、該監視機と周囲の障害物との距離を測定可能な測距手段を備えており、前記制御部は、前記測距手段の出力を監視し、前記監視機と前記障害物との距離を一定以上に維持する衝突回避手段を有することが好ましい。

監視機が周囲の障害物との衝突を自動的に回避することにより、操縦者は無人移動体の操縦により専念することが可能となる。

以上のように、本発明にかかる無人移動体の操縦方法および無人移動体監視装置によれば、無人移動体をその近傍から三人称視点で視認しつつ操縦することが可能となる。

第１および第２実施形態の無人移動体監視装置により実務機を監視する様子を示す模式図である。 第１実施形態の無人移動体監視装置の機能構成を示すブロック図である。 実務機の機能構成を示すブロック図である。 第２実施形態の無人移動体監視装置の機能構成を示すブロック図である。 第３実施形態の無人移動体監視装置により実務機を監視する様子を示す模式図である。 第３実施形態の無人移動体監視装置の機能構成を示すブロック図である。

以下、本発明にかかる無人移動体の操縦方法および無人移動体監視装置の実施形態について図面を用いて詳細に説明する。

＜第１実施形態＞
［無人移動体監視装置の構成］
図１は橋梁の表面調査を行う実務機２００（無人移動体）の作業状況を、本実施形態にかかる無人移動体監視装置９１により監視する様子を表す模式図である。無人移動体監視装置９１は、マルチコプター（複数の回転翼を備えた無人航空機）である監視機１０１と、監視機１０１が撮影した映像を表示可能なモニター１９２（表示装置）とにより構成されている。実務機２００は操縦者（操縦端末２９０）から死角となる橋脚の裏側に配置されている。一方、監視機１０１は操縦者から見通し可能な位置でホバリングしており、実務機２００およびその周囲の状況を矢示Ａ方向に撮影している。

［監視機の構成］
図２は無人移動体監視装置９１の機能構成を示すブロック図である。監視機１０１は、揚力を発生させる複数のローター１５０、各ローター１５０の動作を一元的に管理し、空中における機体の姿勢や飛行動作を制御するフライトコントローラＦＣ１、操縦者との無線通信を行う無線送受信器１７１、自機の周囲の映像を撮影可能なカメラ１６０（撮影手段）、およびこれらに電力を供給するバッテリー１８０により構成されている。

ローター１５０はモータ１５１およびブレード１５２により構成されている。モータ１５１はアウターロータ型ＤＣブラシレスモータであり、ブレード１５２はその出力軸に取り付けられている。本実施形態における監視機１０１は４基のローター１５０を備えるクアッドコプターである。監視機１０１のローター１５０の数は４基には限定されず、要求される飛行性能や、故障に対する信頼性、許容されるコスト等に応じて、ヘリコプター（１基）、トリコプター（３基）、ヘキサコプター（６基）、またはオクトコプター（８基）の構成にしても良い。尚、監視機１０１は後述する実務機２００とは異なり、映像の撮影に特化された機体であるため、比較的軽量で長時間運用可能な機体を選択することが望ましい。

フライトコントローラＦＣ１は、マイクロコントローラである制御装置ＭＣ１（制御部）を備えている。制御装置ＭＣ１は、中央処理装置であるＣＰＵ１１１、記憶装置であるＲＡＭ／ＲＯＭ（ＳＴ１）、および、ＥＳＣ１５３（Electronic Speed Controller）を介して各モータ１５１の回転数および回転速度を制御するＰＷＭコントローラ１１３を備えている。

フライトコントローラＦＣ１はさらに、飛行制御センサ群１２０およびＧＰＳ受信器１４０（以下、「センサ等」ともいう。）を備えており、これらは制御装置ＭＣ１に接続されている。本実施形態における監視機１０１の飛行制御センサ群１２０には、少なくとも加速度センサ、角速度センサ、気圧センサ（高度センサ）、地磁気センサ（方位センサ）が含まれている。制御装置ＭＣ１は、これらＧＰＳ受信器１４０および飛行制御センサ群１２０により、機体の傾きや回転のほか、飛行中の緯度経度、高度、および機首の方位角を含む自機の位置情報（以下、「飛行位置情報」ともいう。）を取得可能とされている。

制御装置ＭＣ１のＲＯＭやＲＡＭなどの記憶装置であるメモリＳＴ１には、監視機１０１の飛行時における姿勢や基本的な飛行動作を制御する飛行制御アルゴリズムが実装された飛行制御プログラムＦＣＰが記憶されている。飛行制御プログラムＦＣＰは、操縦者（操縦端末１９０）の指示に従い、センサ等から取得した飛行位置情報を基に各ローター１５０の回転数および回転速度を調節し、機体の姿勢や位置の乱れを補正しながら監視機１０１を飛行させる。監視機１０１の操縦は、操縦者が操縦端末１９０を用いて手動で行ってもよく、または、緯度経度、高度、飛行ルートなどのパラメータを飛行制御プログラムＦＣＰに予め登録しておき、目的地へ自律的に飛行させてもよい（以下、このような自律飛行のことを「オートパイロット」という。）。

監視機１０１のカメラ１６０は、監視機１０１の下部に連結された姿勢安定化装置である電動ジンバル１６１に支持されている。監視機１０１の揺動が電動ジンバル１６１に吸収されることで、カメラ１６０が撮影する映像のブレが低減されるとともに、監視機１０１の位置や姿勢を固定した状態でカメラ１６０の撮影方向のみを変更することが可能とされている。

［モニターの構成］
操縦端末１９０は、カメラ１６０が撮影した映像を監視機１０１（無線送受信器１７１）から受信可能な無線送受信器１９１と、受信した映像を表示するモニター１９２とを備えている。操縦者は、操縦端末１９０のモニター１９２を見ながら、監視機１０１をＦＰＶ方式により操縦することができる。

［実務機の構成］
図３は実務機２００の機能構成を示すブロック図である。実務機２００は監視機１０１と同じく４基のローター２５０（回転翼）を備えるマルチコプター（無人航空機）である。本実施形態の実務機２００は、監視機１０１が備えるモニター１９２の構成が必須でないことを除いて、監視機１０１と同様である。そのため、各部についての詳細な説明は省略する。

本実施形態における実務機２００は、橋脚表面における所定箇所の静止画を高解像度のカメラ２６０を用いて撮影する。実務機２００が行う作業は撮影には限定されず、例えば貨物の運搬や、鉄塔への送電線の架線、もしくは種々のデータを得るための試験飛行など、マルチコプターで実施可能なあらゆる作業を行わせることができる。さらに、本発明の無人移動体は実務機２００のような飛行体には限定されず、地上を移動する無人車両などであってもよい。

［実務機の操縦方法］
本実施形態の無人移動体監視装置９１を用いた実務機２００の操縦方法においては、（１）現場移動工程と、（２）作業監視工程とを、この順に実施する。

（１）現場移動工程では、実務機２００で作業を行う現場まで、手動もしくはオートパイロットで実務機２００を移動させる。そして実務機２００をその現場における作業開始位置でホバリングさせ、待機状態とする。次に、監視機１０１を、同じく手動もしくはオートパイロットで実務機２００の近傍まで移動させる。そしてモニター１９２に表示される映像を目視で確認しながら監視機１０１の位置および撮影方向を調節し、実務機２００の作業状態が詳細に把握できる位置で監視機１０１をホバリングさせる。（２）作業監視工程では、操縦者が、監視機１０１で撮影した実務機２００およびその周囲の映像をモニター１９２で目視確認しながら操縦端末２９０で実務機２００を操縦する。

マルチコプターである監視機１０１を実務機２００の近傍でホバリングさせ、そのカメラ１６０で実務機２００を撮影させることにより、操縦者は、実務機２００の詳細な作業状況を三人称視点の映像で把握しながら実務機２００を操縦することができる。これにより、緻密さや正確性が要求される作業をより確実に行うことが可能とされている。さらに、例えば図１に示す例のように、実務機２００が操縦者（操縦端末２９０）の死角（橋脚の背後）にあるような場合でも、監視機１０１からの映像により、実務機２００およびその周囲の状況を把握しながら実務機２００を操縦することが可能とされている。

＜第２実施形態＞
［無人移動体監視装置の構成］
以下に、本発明にかかる無人移動体の操縦方法および無人移動体監視装置の第２実施形態について説明する。図４は第２実施形態にかかる無人移動体監視装置９２および実務機２００の機能構成を示すブロック図である。なお、以下の説明では、先の実施形態と同様または同一の機能を有する構成については、先の実施形態と同一の符号を付してその詳細な説明を省略する。

本実施形態の無人移動体監視装置９２は、第１実施形態の監視機１０１に対して、以下に説明する種々の機能が付加された装置である。尚、実務機２００の構成は第１実施形態と同様である。

［随伴飛行機能］
無人移動体監視装置９２の監視機１０２のメモリＳＴ２には、撮影対象である実務機２００の移動に追従して監視機１０２を自動的に飛行させる随伴飛行プログラムＡＦＰ１（随伴飛行手段）が記憶されている。随伴飛行プログラムＡＦＰ１はさらに、そのサブプログラムとして、実務機２００が検知した自機の飛行位置情報を無線通信（矢示Ｂ）により取得する対象位置取得プログラムＯＭＰを有している。

監視機１０２は、随伴飛行プログラムＡＦＰ１が実行されることにより、実務機２００との相対的な位置関係を維持するように飛行する。より具体的には、監視機１０２は、随伴飛行プログラムＡＦＰ１が実行されると、対象位置取得プログラムＯＭＰで取得した実務機２００の飛行位置情報を基準として、水平面方向における実務機２００の側方または後方（または斜め後ろ）に所定の距離離れ、実務機２００の高度よりも上方または下方に所定の距離ずれた位置を飛行し、実務機２００の想定される飛行位置に対してカメラ１６０を向ける。対象位置取得プログラムＯＭＰは引き続き実務機２００の飛行位置情報の変化を監視する。随伴飛行プログラムＡＦＰ１は飛行制御プログラムＦＣＰと連携し、実務機２００の移動に追従して、実務機２００との相対的な位置関係を維持するように監視機１０２を飛行させる。

実務機２００と監視機１０２との位置関係は、実務機２００の作業現場の環境や、作業に求められる正確性、監視機１０２の撮影性能等に応じて、実務機２００の作業状況の把握が最も容易となるように設定すればよい。実務機２００と監視機１０２との位置関係は、予め随伴飛行プログラムＡＦＰ１に登録可能な構成としてもよく、現場において調節した位置関係をそのまま維持させる構成としてもよい。または、随伴飛行プログラムＡＦＰ１に複数の位置関係パターンを登録しておき、パターンを随時切り替え可能な構成としてもよい。例えば、実務機２００を作業現場まで飛行させるときには、監視機１０２が実務機２００の真後に配置されるパターンを指定することで、監視機１０２に実務機２００を追尾飛行させ、作業現場に到着した後は、実務機２００の作業状況を把握しやすいパターンに変更することなどが考えられる。

マルチコプターである監視機１０２が随伴飛行プログラムＡＦＰ１（および対象位置取得プログラムＯＭＰ）を有していることにより、操縦者は、実務機２００とその周囲の状況とを含む三人称視点での映像を見ながら、実務機２００の操縦のみに注意を向けることができる。また、監視機１０２は、実務機２００を飛行しながら撮影可能であることから、実務機２００の作業状況に応じて随時その撮影位置や撮影方向を変更することが可能とされている。

さらに、現在市場を流通しているマルチコプターは、一般に、ＧＰＳや、高度センサおよび方位センサを含むセンサ群を備えている。そのため、これらを応用して随伴飛行プログラムＡＦＰ１を構成することにより、比較的容易に随伴飛行プログラムＡＦＰ１を実現することが可能とされている。尚、実務機２００および監視機１０２は、その飛行位置情報の取得に必ずしも上記ＧＰＳやセンサ群を使う必要はなく、例えば別途画像解析エンジンを備え、画像認識により機体周囲の映像の特徴点を抽出することで自機の飛行位置を特定することも可能である。

また、本実施形態の監視機１０２は、センサ等で取得した飛行位置情報を随時メモリＳＴ２に記録しながら飛行している。監視機１０２の制御装置ＭＣ２は、上記飛行位置情報の測位精度が所定の閾値を下回ったときは、随伴飛行プログラムＡＦＰ１が実行中の場合はそれを停止し、メモリＳＴ２に記録された飛行位置の履歴をたどって上記測位精度が所定の閾値以上となる位置まで監視機１０２を後退させ、その位置で監視機１０２をホバリングさせる。

かかる機能により監視機１０２は、実務機２００から少し離れた位置において、安定して静止可能な状態で実務機２００を撮影することが可能とされている。尚、監視機１０２が上記ホバリング状態になったときには、操縦者が手動で監視機１０２を操縦するか、または随伴飛行プログラムＡＦＰ１を再実行することにより、ホバリング状態を解除することができる。

［通信中継機能］
監視機１０２にはさらに、実務機２００（無線送受信器２７１）とその操縦端末２９０（無線送受信器２９１）との無線通信を中継可能な中継器１７２（中継手段）を備えている。中継器１７２は、操縦端末２９０から実務機２００に送信された制御信号を受信し、受信した制御信号をそのまま実務機２００に転送するリピータ装置である。中継器１７２が起動されることにより、実務機２００は、操縦端末２９０から送信された制御信号を中継器１７２からも受信することが可能となる。

監視機１０２が中継器１７２を有していることにより、実務機２００を電波状況の悪い場所に進入させて作業しなければならない場合でも、実務機２００と操縦端末２９０との通信品質を維持することが可能とされている。例えば図１の例に示すように、操縦者（操縦端末２９０）から見て実務機２００が死角となる橋脚の背後にあるような場合でも、監視機１０２は操縦者から見通し可能な位置にあり、実務機２００は監視機１０２から見通し可能な位置にある。これにより操縦端末２９０から送信された実務機２００の制御信号は、橋脚を迂回して実務機２００に到達することができる。

また、監視機１０２のメモリＳＴ２には、中継器１７２を介した通信の疎通状態を監視する疎通監視プログラムＣＭＰ（疎通監視手段）が記憶されている。疎通監視プログラムＣＭＰが中継の異常（例えば操縦端末２９０からの信号を受信できなくなった場合）を検知すると、監視機１０２の制御装置ＭＣ２は、随伴飛行プログラムＡＦＰ１が実行中の場合はそれを停止し、メモリＳＴ２に記録された飛行位置の履歴をたどって操縦端末２９０との無線通信が可能な位置まで監視機１０２を後退させ、監視機１０２をその位置でホバリングさせる。

このように、監視機１０２が必要に応じて自動的に随伴飛行プログラムＡＦＰ１を停止し、操縦端末２９０からの制御信号を受信可能な位置で待機することにより、例えば操縦者の判断の遅れにより実務機２００とともに監視機１０２も電波状況の悪い場所に入り込んでしまうなど、中継自体が不可能な状況に陥ることが防止されている。尚、監視機１０２が上記ホバリング状態になったときには、操縦者が手動で監視機１０２を操縦するか、または随伴飛行プログラムＡＦＰ１を再実行することにより、ホバリング状態を解除することができる。

［衝突回避機能］
監視機１０２にはさらに、自機と周囲の障害物との距離を測定可能な測距センサ１２１（測距手段）を備えており、また、監視機１０２のメモリＳＴ２には、飛行中の監視機１０２が周囲の障害物や実務機２００と衝突することを防止する衝突回避プログラムＣＰＰ（衝突回避手段）が記憶されている。測距センサ１２１には、赤外線、超音波、またはレーザーなど種々の方式のものを使用することができる。また測距センサ１２１は、監視機１０２本体の外周面に周方向等間隔に複数配置されていてもよく、常に監視機１０２の移動方向と同じ方向を向く可動機構に配置されていてもよい。または機体の全方位を測定するライダー（LIDAR）などの装置を測距センサ１２１として用いることもできる。

衝突回避プログラムＣＰＰは、測距センサ１２１の出力を監視し、監視機１０２が障害物に対して所定の距離を超えて接近しようとしたときに、その障害物方向への移動指示をキャンセルする。これにより操縦者は、監視機１０２の周囲に存在する障害物に注意を払うことなく、実務機２００の操縦に専念することが可能とされている。また、衝突回避プログラムＣＰＰは、監視機１０２の移動をキャンセルしたときは、モニター１９２上にその旨を表示して操縦者に通知する。

［実務機の操縦方法］
本実施形態の無人移動体監視装置９２を用いた実務機２００の操縦方法においては、（１）現場移動工程と、（２）作業監視工程とを、この順に実施する。

（１）現場移動工程では、まず実務機２００と監視機１０２とを順番に離陸させ、その場でホバリング状態とする。そして監視機１０２の随伴飛行プログラムＡＦＰ１（および対象位置監視プログラムＯＭＰ）と、中継器１７２および疎通監視プログラムＣＭＰと、衝突回避プログラムＣＰＰとを起動する。その後、実務機２００で作業を行う現場まで、実務機２００を手動もしくはオートパイロットで移動させる。監視機１０２は、随伴飛行プログラムＡＦＰ１により、実務機２００との相対的な位置関係を保ちながら実務機２００の移動に追従して自動的に飛行する。（２）作業監視工程では、操縦者が、監視機１０２で撮影した実務機２００およびその周囲の映像をモニター１９２で目視確認しながら操縦端末２９０で実務機２００を操縦する。

本実施形態の監視機１０２は、随伴飛行プログラムＡＦＰ１により実務機２００との相対的な位置関係が自動的に維持され、また、衝突回避プログラムＣＰＰにより機体周囲の障害物との衝突も自動的に回避される。そのため、上記特許文献１の中継飛行体とは異なり、実務機２００を撮影させるために監視機１０２を予め安全な場所に着陸させておく必要がない。これにより、例えば図１に示す河川のように、周囲に監視機１０２を着陸させる場所がない環境でも、このような環境による制限を受けることなく実務機２００を撮影することが可能とされている。

＜第３実施形態＞
［無人移動体監視装置の構成］
以下に、本発明にかかる無人移動体の操縦方法および無人移動体監視装置の第３実施形態について説明する。図５は橋梁の表面調査を行う実務機２０３（無人移動体）の作業状況を本実施形態にかかる無人移動体監視装置９３により監視する様子を示す模式図である。図６は第３実施形態にかかる無人移動体監視装置９３の機能構成を示すブロック図である。なお、以下の説明では、先の実施形態と同様または同一の機能を有する構成については、先の実施形態と同一の符号を付してその詳細な説明を省略する。

本実施形態の無人移動体監視装置９３は、第１実施形態の監視機１０１に対して、以下に説明する種々の機能が付加された装置である。尚、実務機２０３の構成は、以下に説明するマーカー部Ｍを新たに備えることを除き、第１実施形態と同様である。

［画像認識機能］
本実施形態にかかる実務機２０３は、監視機１０３のカメラ１６０で撮影されたときに、その画像内において標識として識別されるマーカー部Ｍを備えている。また、監視機１０３のメモリＳＴ３には、画像内におけるマーカー部Ｍの配置および形状から実務機２０３の現在位置を特定する画像解析プログラムＩＡＰが記憶されている。

本実施形態におけるマーカー部Ｍは、実務機２０３の外面にプリントされた複数の二値画像により構成されている。マーカー部Ｍを用いた実務機２０３の飛行位置の特定は、例えば特開平７−９８２０８に開示されているような方法や、ＡＲ（Augmented Reality）分野において広く用いられているARToolKitなどのソフトウェアライブラリ、またはロボットアーム分野などで用いられている公知の画像認識技術を応用することができる。また、マーカー部Ｍの表示態様はプリントされた画像には限定されず、例えば赤外線ＬＥＤライトなどの光源を用いて構成することも可能である。さらに、マーカー部Ｍは必須の構成ではなく、画像認識処理の高度化・複雑化に伴うコスト増や、位置の推定精度の低下が許容される場合には、マーカーレスの画像認識技術を用いることもできる。

画像解析プログラムＩＡＰは、センサ等により取得した自機の飛行位置情報と、カメラ１６０の撮影方向とを基準として、カメラ１６０で撮影した画像から実務機２０３の飛行位置情報を出力する。

［随伴飛行機能］
監視機１０３のメモリＳＴ３には、撮影対象である実務機２０３の移動に追従して監視機１０３を自動的に飛行させる随伴飛行プログラムＡＦＰ２（随伴飛行手段）が記憶されている。上述の画像解析プログラムＩＡＰは随伴飛行プログラムＡＦＰ２のサブプログラムである。

監視機１０３は随伴飛行プログラムＡＦＰ２が実行されることにより、実務機２０３との相対的な位置関係を維持するように飛行する。より具体的には、監視機１０３は、随伴飛行プログラムＡＦＰ２が実行されると、画像解析プログラムＩＡＰで取得した実務機２０３の飛行位置情報を基準として、水平面方向における実務機２０３の側方または後方（または斜め後ろ）に所定の距離離れ、実務機２０３の高度よりも上方または下方に所定の距離ずれた位置を飛行し、実務機２０３の想定される飛行位置に対してカメラ１６０を向ける。画像解析プログラムＩＡＰは引き続き実務機２０３の飛行位置情報の変化を監視する。随伴飛行プログラムＡＦＰ２は飛行制御プログラムＦＣＰと連携し、実務機２０３の移動に追従して、実務機２０３との相対的な位置関係を維持するように監視機１０２を飛行させる。

実務機２０３と監視機１０３との位置関係の設定方法、実務機２０３を操縦するうえでの有利な効果は第２実施形態の随伴飛行プログラムＡＦＰ１と同様である。

随伴飛行プログラムＡＦＰ２を画像認識による物体追跡機能として実装することにより、センサ等の検知精度や電波状況に左右されることなく、監視機１０３のカメラ１６０の位置を基準として実務機２０３の相対的な位置を特定することが可能とされている。特に、本実施形態においては実務機２０３がマーカー部Ｍを有していることから、監視機１０３はより容易かつ正確に実務機２０３の位置を特定することが可能とされている。

［実務機の操縦方法］
本実施形態の無人移動体監視装置９３を用いた実務機２０３の操縦方法においては、（１）現場移動工程と、（２）作業監視工程とを、この順に実施する。

（１）現場移動工程では、まず実務機２００と監視機１０３を離陸させ、空中でホバリング状態とする。そして監視機１０３の随伴飛行プログラムＡＦＰ２（および画像解析プログラムＩＡＰ）を起動する。その後、実務機２００で調査を行う現場まで、実務機２００を手動もしくはオートパイロットで移動させる。監視機１０３は、随伴飛行プログラムＡＦＰ２により、実務機２０３との相対的な位置関係を保ちながら実務機２０３の移動に追従して自動的に飛行する。（２）作業監視工程では、操縦者が、監視機１０３で撮影した実務機２０３およびその周囲の映像をモニター１９２で目視確認しながら操縦端末２９０で実務機２０３を操縦する。

以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改変が可能である。例えば、上記第２実施形態においては、本発明の制御部として監視機１０２の制御装置ＭＣ２が種々の機能を一元的に管理しているが、本発明の制御部は必ずしも一つの制御装置により構成されている必要はなく、複数の制御装置にその機能が分散されていてもよい。

９１〜９３ 無人移動体監視装置
１０１〜１０３ 監視機（無人航空機）
ＦＣ１〜ＦＣ３ フライトコントローラ
ＭＣ１〜ＭＣ３ 制御装置（制御部）
ＦＣＰ 飛行制御プログラム
ＡＦＰ１，ＡＦＰ２ 随伴飛行プログラム（随伴飛行手段）
ＯＭＰ 対象位置監視プログラム
ＣＭＰ 疎通監視プログラム（疎通監視手段）
ＣＰＰ 衝突回避プログラム（衝突回避手段）
ＩＡＰ 画像解析プログラム
１２０ 飛行制御センサ群
１２１ 測距センサ（測距手段）
１４０ ＧＰＳ受信器
１５０ ローター（回転翼）
１６０ カメラ（撮影手段）
１７２ 中継器（中継手段）
１９０ 操縦端末
１９２ モニター（表示装置）
２００ 実務機（無人移動体（無人航空機））
２５０ ローター（回転翼）
Ｍ マーカー部

Claims (11)

1. 単数または複数の回転翼と、自機の周囲の映像を撮影可能な撮影手段と、を備え、空中の一点に静止することが可能な無人航空機である監視機と、
   無線通信により無人移動体を遠隔操作可能な操縦端末と、
   前記監視機と無線接続され、前記撮影手段で撮影された映像を表示可能な表示装置と、を用いた無人移動体の操縦方法であって、
   前記監視機を前記無人移動体の近傍でホバリングさせる手順と、
   前記撮影手段で撮影した前記無人移動体の映像を前記表示装置に表示し、その映像を確認しながら前記操縦端末を操作する手順と、を含むことを特徴とする無人移動体の操縦方法。
2. 前記無人移動体は複数の回転翼を備えた無人航空機であることを特徴とする請求項１に記載の無人移動体の操縦方法。
3. 複数の回転翼と、該複数の回転翼による飛行を制御する制御部と、自機の周囲の映像を撮影可能な撮影手段と、を有する無人航空機である監視機と、
   前記監視機が前記撮影手段により撮影した映像を表示可能な表示装置と、を備える無人移動体監視装置であって、
   前記制御部は、撮影対象である無人移動体の移動に追従して自機を自動的に飛行させる随伴飛行手段を有することを特徴とする無人移動体監視装置。
4. 前記無人移動体は複数の回転翼を備えた無人航空機であることを特徴とする請求項３に記載の無人移動体監視装置。
5. 前記無人移動体および前記監視機はそれぞれ、空中における自機の位置を示す情報である飛行位置情報を取得する手段を有しており、
   前記制御部は、前記無人移動体が検知した前記飛行位置情報を無線通信により取得可能であり、
   前記随伴飛行手段は、自機および前記無人移動体の前記飛行位置情報に基づいて、自機と前記無人移動体との相対的な位置関係を維持することを特徴とする請求項３または請求項４に記載の無人移動体監視装置。
6. 前記制御部は、自機の前記飛行位置情報の測位精度が所定の閾値を下回ったときは、前記随伴飛行手段を停止して、前記測位精度が前記閾値以上となる位置まで前記監視機を後退させ、その位置で該監視機をホバリングさせることを特徴とする請求項５に記載の無人移動体監視装置。
7. 前記随伴飛行手段は、前記監視機の前記撮影手段で撮影した前記無人移動体の画像から該無人移動体の現在位置を特定し、自機と前記無人移動体との相対的な位置関係を維持することを特徴とする請求項３または請求項４に記載の無人移動体監視装置。
8. 前記無人移動体は、前記監視機の前記撮影手段で撮影されたときに、その画像内において標識として識別されるマーカー部を備えており、
   前記随伴飛行手段は、前記画像内における前記マーカー部の配置および形状から前記無人移動体の現在位置を特定し、自機と前記無人移動体との相対的な位置関係を維持することを特徴とする請求項７に記載の無人移動体監視装置。
9. 前記無人移動体は操縦端末からの無線信号により遠隔操作され、
   前記監視機は、前記無線信号を中継可能な中継手段を有していることを特徴とする請求項３から請求項８のいずれか一項に記載の無人移動体監視装置。
10. 前記制御部は、前記中継手段による疎通状態を監視する疎通監視手段を有しており、
    前記制御部は、前記疎通監視手段により前記中継手段の不通を検知したときは、前記随伴飛行手段を停止して、前記操縦端末との無線通信が可能な位置まで前記監視機を後退させ、その位置で該監視機をホバリングさせることを特徴とする請求項９に記載の無人移動体監視装置。
11. 前記監視機は、該監視機と周囲の障害物との距離を測定可能な測距手段を備えており、
    前記制御部は、前記測距手段の出力を監視し、前記監視機と前記障害物との距離を一定以上に維持する衝突回避手段を有することを特徴とする請求項３から請求項１０のいずれか一項に記載の無人移動体監視装置。

Images