JP6986303B2 - 遠隔操縦システムおよびその操縦装置 - Google Patents

Description

本発明は移動体の遠隔操縦技術に関する。

下記特許文献１には、無人航空機の着陸操作装置が開示されている。

特開平３−５２９７号公報

本発明が解決しようとする課題は、遠方にある移動体をより高い精度で管理することにある。

上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および／または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、を有し、前記移動体情報には、前記移動体が撮影したその進行方向の映像と、前記移動体の現在位置情報とが含まれ、前記表示部には前記映像が表示され、前記映像には前記移動体の現在位置を表わす図形が重ねて表示されることを特徴とする。

このとき、前記移動体は無人航空機であり、前記現在位置情報には該移動体の飛行高度が含まれることが好ましい。

また、本発明の遠隔操縦システムは、前記移動体が前記操縦装置の位置からは目視不能な場所にあってもよい。

以上のように、本発明の遠隔操縦システムおよびその操縦装置によれば、遠方にある移動体をより高い精度で管理することが可能となる。

実施形態にかかる操縦装置の一例を示す模式図である。 操縦装置の機能構成を示すブロック図である。 マルチコプターの機能構成を示すブロック図である。 マルチコプターを第三者視点で撮影するカメラの例を示す部分拡大図である。 操縦装置のモニターに表示される地図データの例を示す模式図である。 三次元の地図データ上にマルチコプターの現在位置を示すアイコンを表示する例である。 三次元の地図データ上でマルチコプターの現在位置から特定の方向を見たときの地物の様子を表示する例である。 マルチコプターが撮影した映像上にマルチコプターの現在位置を示す立体画像を重ねて表示する例である。 ハンドルの操作量とマルチコプターの実舵角との関係を示すグラフである。 オペレーションセンターの施設内の様子を示す模式図である。 操縦者のペアが連携してマルチコプターの管理を行う操縦装置の模式図である。 管理装置を用いた遠隔監視システムの例を示すブロック図である。 操縦装置の変形例を示す模式図である。 変形例にかかる操縦装置の機能構成を示すブロック図である。

以下、本発明の実施形態について図面を用いて説明する。以下に説明する実施形態は、移動体であるマルチコプター１０を操縦装置５０により遠方から監視および操縦する遠隔操縦システムＳの例である。本形態のマルチコプター１０は、複数の水平回転翼で飛行する小型のＵＡＶ（Unmanned aerial vehicle：無人航空機）である。マルチコプター１０はこれに搭載された機器で取得した情報を操縦装置５０に送信し、操縦装置５０はマルチコプター１０自体やこれに搭載された機器の動作を遠隔制御する。マルチコプター１０および操縦装置５０の組み合わせは一対一とは限らず、一台の操縦装置５０で複数機のマルチコプター１０を管理することや、逆に複数台の操縦装置５０で一機のマルチコプター１０を管理することもあり得る。

［操縦装置］
以下、操縦装置５０の構成について説明する。図１は操縦装置５０の一例を示す模式図である。図２は操縦装置５０の機能構成を示すブロック図である。図３はマルチコプター１０の機能構成を示すブロック図である。

（モニタシステム）
操縦装置５０の操縦席５９は複数のモニター７０（表示部）に取り囲まれている。本形態のモニター７０は、操縦席５９の前に配置されたモニターである前方モニター７１、操縦席５９の左右に配置された側方モニター７２、操縦装置５０の床面に配置された下方モニター７３、操縦装置５０の天井面に配置された上方モニター７４、および、操縦席５９の背後に配置された後方モニター７５により構成されている。

本形態のマルチコプター１０には複数台のカメラ４１（撮影手段）が搭載されている。マルチコプター１０はこれらカメラ４１により機体の前後、左右、および上下の映像を撮影する。操縦装置５０の映像表示プログラム６１は、マルチコプター１０から受信したこれらの映像をその撮影方向に対応するモニター７０にそれぞれ表示する。具体的には、前方モニター７１にはマルチコプター１０の前方の映像が広範囲に表示され、側方モニター７２にはマルチコプター１０の左右の映像が、下方モニター７３にはマルチコプター１０の真下または前方斜め下の映像が、上方モニター７４にはマルチコプター１０の真上または前方斜め上の映像が、後方モニター７５にはマルチコプター１０の後方の映像が表示される。これにより操縦者は、あたかもマルチコプター１０に搭乗しているかのようにマルチコプター１０の周辺環境を把握することができる。

なお、本形態の下方モニター７３は操縦装置５０の床面に設置されているが、下方モニター７３の位置は床面には限られず、操縦者の足元付近（操縦者が視線を下に落として見る位置）に配置されていればよい。下方モニター７３は、例えばこれを見るときに操縦者の足で画面が隠れてしまわないよう、前方モニター７１の下に画面を斜め上に向けて配置されてもよい。同様に、本形態の上方モニター７４は操縦装置５０の天井面に設置されているが、上方モニター７４の位置は天井面には限られず、操縦者の頭上（操縦者が見上げる位置）に配置されていればよい。上方モニター７４は、例えば操縦者が視線を真上に向けなくても確認できるよう、前方モニター７１の上に、画面を斜め下に向けて配置されてもよい。

本形態の映像表示プログラム６１は、各カメラ４１で撮影された映像をそれぞれ別のモニター７０に表示するだけでなく、これらの映像を一つのモニター７０上に並べて又は重ねて同時に表示したり、逆に一つの広画角の映像を複数のモニター７０に分割して表示したりすることができる。例えば、マルチコプター１０の上下、左右、および後方の映像を前方の映像の端に重ねて前方モニター７１に同時に表示したり、全天球カメラや半天球カメラの映像を平面化および分割し、それぞれの撮影方向に対応するモニター７０に表示したりすることができる。

マルチコプター１０に搭載されるカメラ４１の台数や撮影方向は任意であり、その用途や目的に応じて適宜変更すればよい。マルチコプター１０は、例えば一台のカメラ４１でマルチコプター１０の前方やその斜め下のみを撮影してもよく、一台のカメラ４１をカメラジンバル４９で操作して所望の方向を撮影してもよい。さらには、マルチコプター１０にカメラ４１を搭載せず、他のセンサ装置の出力値またはその加工値のみを操縦装置５０に送信してもよい。

また、マルチコプター１０に搭載されるカメラ４１はＦＰＶ（First Person View）方式には限られず、例えば図４に示すように、マルチコプター１０の機体から延びるカメラ用アーム４２の先端にカメラ４１を搭載し、マルチコプター１０自身を第三者視点で撮影することも考えられる。カメラ用アーム４２は、可動式のファイバースコープのようにカメラ４１の撮影位置とその撮影方向を自在に変更することができる。これによりマルチコプター１０の胴部１１の上面や下面、周囲の環境を広く確認することができる。また、カメラ用アーム４２は図示しない駆動機構によりマルチコプター１０の胴部１１から伸ばしたり胴部１０の中に引っ込めたりすることができる。カメラ用アーム４２を使用しないときにはこれを胴部１１の中に収納しておくことにより、例えばマルチコプター１０の墜落時にカメラ用アーム４２が折損することが防止され、非常時におけるカメラ用アーム４２の信頼性が高められる。

その他、例えば地上に設置された固定カメラで撮影したマルチコプター１０の撮影や、他のＵＡＶにより撮影されたマルチコプター１０の映像を操縦装置５０に送信してもよい。実機の様子を外部から撮影すること（視認可能とすること）は移動体の目視外操縦において極めて有益である。このような映像をモニター７０に表示することで、操縦者は、マルチコプター１０の状態・状況をより客観的に把握することが可能となる。

操縦装置５０は、マルチコプター１０の機体情報またはマルチコプター１０が置かれた環境に関する情報である移動体情報ｉを受信する通信装置５２（情報取得部）を有している。なお、ここでいうマルチコプター１０の機体情報とはマルチコプター１０の内界（機体の姿勢やヘディングの方位、バッテリー残量など）に関する情報であり、マルチコプター１０が置かれた環境に関する情報とはマルチコプター１０の外界（経緯度や周辺物など）に関する情報である。なおここでいう「内界」および「外界」の定義は便宜上のものであり、個々のセンサ値や取得情報がどちらに分類されても構わない。マルチコプター１０の状態や状況に関するあらゆる情報が移動体情報ｉの候補となる。本形態の移動体情報ｉは、マルチコプター１０が撮影した画像または映像、マルチコプター１０が有するセンサ装置の出力値またはその加工値、マルチコプター１０とその周辺物との位置関係を示す情報、および、マルチコプター１０の現在地における風向および風速に関する情報である。

より具体的には、本形態のマルチコプター１０は、カメラ４１で撮影した映像、ＬｉＤＡＲ３７（Light Detection And Ranging）で取得した周辺物の点群データやその加工値、飛行制御センサ群Ｓ等で取得した機体の向きや姿勢、飛行位置（経緯度および気圧高度）、バッテリー残量、風向風速センサ３６で取得した現在地における風向および風速を示すデータを操縦装置５０に送信する。

なお、移動体情報ｉは必ずしもマルチコプター１０のみにより取得および送信される必要はない。移動体情報ｉには、例えばＵＴＭ（UAV Traffic Management）システムが有する、マルチコプター１０とその周辺物との位置関係に関する情報や、他のシステムで観測された気象情報、他のＵＡＶにより撮影された第三者視点でのマルチコプター１０の撮影映像などが含まれてもよい。

本形態の映像表示プログラム６１は、マルチコプター１０の周辺物のうち、最もマルチコプター１０の近くに存在する周辺物との距離を示す数値を映像上に表示する（例えば図６の例を参照）。映像表示プログラム６１は、周辺物との距離が危険域に近づいてきたときには、その周辺物近傍を赤く表示したり、数値を点滅させたりして操縦者の注意を促す。

（通信遅延対策）
図５は、操縦装置５０のモニター７０に表示される地図画像Ｍの表示例を示す模式図である。図６は、予め取得された三次元の地図データＮ上にマルチコプター１０の現在位置を示すアイコン（図形）を重ねて表示した例である。図７は、三次元の地図データＮ上でマルチコプター１０の現在位置から特定の方向を見たときの地物の様子を表示した例である。図８は、マルチコプター１０が撮影した映像上にマルチコプター１０の現在位置を示す立体画像を重ねて表示した例である。

マルチコプター１０の撮影制御装置４０は、操縦装置５０や他のシステムからの指示により、または予めプログラムされた条件に従い、カメラジンバル４９を操作したり、カメラ４１による撮影を開始・停止したり、カメラ４１で撮影された映像データを加工したりする。

マルチコプター１０がカメラ４１により撮影した映像のデータは、例えばマルチコプター１０の現在地などを示すテレメトリデータに比べてデータ量が著しく多く、転送時の遅延が大きくなりやすい。つまり、モニター７０に表示された映像から把握されるマルチコプター１０の周辺環境と、映像確認時点でのマルチコプター１０の実際の周辺環境にはずれが生じている。そのため操縦者は、映像を見ながら手動でマルチコプター１０を操縦するときには、自身の見ている映像がどの程度遅延して表示されているのか意識しながら操縦する必要がある。

本形態の撮影制御装置４０は、カメラ４１で撮影した映像について例えばハイパスフィルタによりエッジ検出を行い、抽出したエッジ情報のみを操縦装置５０に送信したり、さらに物体検出やセグメンテーションを行って、物体の輪郭情報やセグメント情報のみを操縦装置５０に送信したりすることができる。これによりマルチコプター１０から操縦装置５０に送信されるデータ量が抑えられ、カメラ４１のよる情報がモニター７０に表示されるまでのタイムラグが軽減される。また、本形態の撮影制御装置４０は、映像から検出された周辺物の中にマルチコプター１０との距離が所定の閾値よりも近いものがあったときに、その周辺物に関する映像情報のみを他に優先して送信することができる。これにより警戒すべき周辺物が速やかにモニター７０上に表示され、操縦者がこれに対処するための猶予時間をより長く確保することができる。

図５に示されるように、地図画像Ｍには、マルチコプター１０のテレメトリデータから特定されるマルチコプター１０の現在位置のアイコン１０ａと、モニター７０に表示されている映像がどの位置からどの方向に向かって撮影されたものかを示すアイコン１０ｂとが表示されている。また、アイコン１０ｂの近傍には遅延時間（本形態の例では３００ｍｓｅｃ）も表示されている。アイコン１０ｂの撮影ポイントや遅延時間は、例えば先に受信したＮＭＥＡセンテンス（ＧＰＳデータ）のタイムスタンプや経緯度情報と、ＲＴＰヘッダ（映像データ）のタイムスタンプとを組み合わせることで特定することができる。撮影方向に関する情報は映像データに含めてもよく、テレメトリデータに含めてもよい。

また本形態の映像表示プログラム６１は、図６に示すように、三次元の地図データＮ上にマルチコプター１０の現在位置を示すアイコン１０ａを重ねて表示することもできる。図６の例では操縦者はマルチコプター１０の飛行状況をあらゆる方向から第三者視点で確認することができる。例えば物流センター間の物品の輸送など、マルチコプター１０に同じ空路を繰り返し飛行させるような用途においては、その空路の地形や地物、標高を経緯度情報とともに取得しておき、またこれに地物の外観写真を重ねるなどして、空路の三次元の地図データＮを予め用意しておくことができる。なお、精度が十分であれば市販の三次元地図データを用いてもよい。マルチコプター１０の現在位置情報（経緯度と気圧高度）に基づいて操縦装置５０側でその飛行状況を仮想的に再現することにより、少ないデータ通信量でマルチコプター１０の飛行状況を把握することができる。またこれにより、マルチコプター１０に搭載される周辺監視用の機器を削減することもできる。

本形態の映像表示プログラム６１はこれに加え、図７に示すように、地図データＮにおけるマルチコプター１０の現在位置（経緯度と気圧高度）から特定の方向を見たときの地物の様子を仮想的に再現することもできる。ここでいう「特定の方向」は操縦者が任意に設定および変更してよい。これにより操縦者は、あたかもマルチコプター１０に搭乗しているかのようにマルチコプター１０の周辺環境を一人称視点で確認することができる。なお地図データＮは、図６や図７の例のように地物の輪郭のみを示す軽量なデータとしてもよく、写真画像を使ってよりリアリティのある眺望を再現してもよい。またはこれらを切替可能としてもよい。

本形態では、操縦者は映像表示プログラム６１によりこれら第三者視点の表示と一人称視点の表示とを任意に切り替えることができ、また、これらの表示を同時にモニター７０上に表示することもできる。

さらに、本形態の映像表示プログラム６１は、図８に示すように、マルチコプター１０が撮影したその進行方向の映像をモニター７０に表示し、そこに、マルチコプター１０のテレメトリデータから特定したマルチコプター１０の現在位置を示す立体画像を重ねて表示することもできる。マルチコプター１０が撮影したその進行方向の映像をモニター７０に表示するときに、その映像の撮影位置から見た現在のマルチコプター１０の位置を表わす画像を立体的に重ねて表示することにより、操縦者は、遅延した映像からでもマルチコプター１０の現在位置を誤解なく把握することができる。

例えばマルチコプター１０がその進行方向の映像を撮影しており、映像データの遅延がそれほど大きくないときには上述のＡＲ（Augmented Reality）的な手法（タイムラグのある進行方向の映像にマルチコプター１０の現在位置を示す立体画像を重ねる方法）により遅延に対処し、進行方向の映像がないときや遅延が大きいとき、または夜間には、上述のＶＲ（Virtual Reality）的な手法（予め取得した地図データを使ってマルチコプター１０の飛行環境を仮想的に再現する方法）に切り替えてもよい。これらＡＲ的手法またはＶＲ的手法によりモニター７０に表示する情報の種類は特に制限されず、マルチコプター１０の用途やその時々において注視すべき情報に応じてマルチコプター１０の各種センサ情報や事前に用意しておいた情報を追加表示すればよい。

（操舵システム）
操縦装置５０は、操縦桿であるハンドル５３および昇降レバー５４を有している。本形態の操縦装置５０は、ハンドル５３を傾倒させることによりマルチコプター１０のピッチおよびロールを制御し、ハンドル５３をひねることでマルチコプター１０のヨーを制御する。操縦者によるハンドル５３および昇降レバー５４の操作は制御信号送信プログラム６３によりマルチコプター１０に送信される。操縦装置５０と操縦者とのインタフェースは本形態のハンドル５３や昇降レバー５４には限られず、マルチコプター１０に対してスロットル、エルロン、ラダー、エレベータの各舵を打つことができれば、例えばラジコン用のプロポや家庭用ゲーム機のコントローラのようなものであってもよい。なお、操縦装置５０には一般的な入力装置であるタッチパネルやキーボード、マウス等も備えられており、これらからマルチコプター１０にコマンドを送ることもできる。。

また、本形態の操縦装置５０は、操縦者がハンドル５３や昇降レバー５４を操作する際の抵抗量を制御する抵抗制御プログラム６２を有している。抵抗制御プログラム６２は、マルチコプター１０の重量やマルチコプター１０の現在地における風向および風速に応じて、ハンドル５３や昇降レバー５４を各方向へ操作するときの抵抗量を変化させる。例えばマルチコプター１０の右前方からマルチコプター１０に向かって強い風が吹いている場合には、操縦者を右前方へ移動させる操作は重く、左後方へ移動させる操作は軽くする。これにより操縦者Ｐは、マルチコプター１０の性質や飛行環境をハンドル５３や昇降レバー５４の抵抗量から直感的に把握することができる。

図９は、ハンドル５３の操作量（操舵量）とマルチコプター１０の実舵角との関係を示すグラフである。マルチコプター１０のカメラ４１で撮影された映像が遅延してモニター７０に表示されている場合、操縦者がハンドル５３等を操作してもそのレスポンスが得られるまでにはタイムラグが生じる。特に経験の浅い操縦者の場合、レスポンスが遅れることで必要以上に深く舵を打つおそれがある。操縦装置５０の制御信号送信プログラム６３は、映像データの遅延が大きくなるに従って、操舵量と実舵角との本来の関係（図９のＰ）から舵のニュートラル付近を鈍感化し（図９のＥＸＰ）、また、実舵角の範囲を狭める（図９のＤＲ）。これにより映像の遅延に伴う過剰な操舵を軽減している。

その他、制御信号送信プログラム６３は、操舵量と実舵角との正比例関係は維持しつつ、映像データの遅延量に応じて実舵角の範囲のみを狭めてもよい。つまり映像データの遅延量に応じて飛行速度の上限のみを変化させてもよい。なお、制御信号送信プログラム６３による操舵量および実舵角の調節機能は、あくまで手動操縦時の機能であり、オートパイロット時には自動的に無効化されてもよい。

（制御共有機能）
図１０は、多数の操縦装置５０が一拠点に集められたオペレーションセンターＣの様子を示す模式図である。図１１は、二人の操縦者のペアが協働してマルチコプター１０を管理する操縦装置５０の模式図である。

操縦装置５０は、マルチコプター１０やこれに搭載された機器の制御主体を他の操縦装置５０に切り替える手段（制御切替手段）である制御切替プログラム６６を有している。制御切替プログラム６６は、マルチコプター１０の運航に異常が発生した際や難易度の高い操縦操作が必要となった場合に、その対処が可能な操縦者にマルチコプター１０の制御を委ねる機能である。またはマルチコプター１０やこれに搭載された機器のコントロール（制御権）をユーザに与えたり、単に他の操縦者に業務を引き継いだりするときにもこれを用いることができる。

ここでいう「制御主体」とは、例えばマルチコプター１０を操縦する権限やこれに搭載された機器を操縦する権限、移動体情報ｉを取得・表示する権限などが帰属する操縦装置５０または他の装置を意味している。制御切替プログラム６６はこれらの権限を一括で、または部分的に他の操縦装置５０やその他の装置に切り替えることができる。制御切替プログラム６６は手動でも実行可能であるが、以下に説明するように自動的に実行することもできる。

例えば図１１のような一組の操縦装置５０を用いて訓練中の下級操縦者とその指導にあたる上級操縦者とがペアになってマルチコプター１０の操縦にあたる場合、両方の操縦装置５０のモニター７０にマルチコプター１０の移動体情報ｉを表示しておき、上級操縦者による何らかの操縦操作が行われたときには、制御切替プログラム６６によりその制御主体を強制的に上級操縦者の操縦装置５０に切り替えることがなど考えられる。このときに用いられる制御切替プログラム６６は上級操縦者の操縦装置５０のものでも下級操縦者の操縦装置５０のものでもよく、またはこれら両方の操縦装置５０の制御切替プログラム６６が協働して行ってもよい。または後述するように、これら操縦装置５０の上位装置である管理装置８０が有する制御切替プログラム６６により行ってもよい。同様に、例えば現地に人員を配置してマルチコプター１０の操縦を支援する場合、現地の人員がプロポ等を使ってマルチコプター１０を直接操縦している間は操縦装置５０からの操作を無効にする（マルチコプター１０の制御主体を操縦装置５０から現地のプロポ等の装置に切り替える）ことも考えられる。なお、制御切替手段の実装形態はソフトウェア（プログラム）には限られず、ハードウェアで構成されてもよい。

また、制御切替プログラム６６が自動実行されるときにその切替先の操縦装置５０の候補が複数ある場合、制御切替プログラム６６は移動体情報ｉの内容に応じてその切替先を自動選択する。より具体的には、制御切替プログラム６６は、操縦者の熟練度や職権を予めクラス分けし、移動体情報ｉから判定された異常の種類、必要とされる判断や操縦操作の難易度、または緊急度等に応じて、どの操縦装置５０、すなわちどの操縦者に制御主体を切り替えるかを自動的に決定する。

例えばマルチコプター１０から機械的な異常が検知されたときには、墜落に備えてただちに安全を確保する必要があるため、高度な操縦技能と決定権とをもつ操縦者に制御主体を切り替える必要がある。また、例えば運搬・配送用の多数のマルチコプター１０がその飛行コース上で渋滞しているときは、基本的にはこれらマルチコプター１０の間隔や飛行速度に注意を払うだけなので経験の浅い操縦者でも対処することができる。しかしバッテリーの枯渇が懸念され始めた場合には、経路変更の判断や不時着陸の判断が可能な操縦者に切り替える必要がある。また、例えばプロペラが一部損傷した場合、揚力が十分であれば基本的には見守るだけだが、マルチコプター１０の運行が困難になった場合には不時着陸の判断が可能な操縦者に切り替える必要がある。プロペラの一部が損傷して揚力が不足した場合、マルチコプター１０の機体は徐々に降下するが、この際、残りのプロペラの回転域は限界に近い状態にあり、操縦には熟練した技能が要求される。また、例えばＧＰＳ受信機３２の動作に異常が生じた場合、異常の内容によってはマルチコプター１０が誤動作を起こすおそれがある。ＧＰＳ受信機３２が捕捉する衛星数の減少程度であれば経験の浅い操縦者でも対処可能であるが、測定精度の著しい低下により自律運航に支障がある場合には手動操縦が可能な操縦者に切り替える必要がある。また、例えば操縦装置５０とマルチコプター１０との通信に異常が生じた場合、マルチコプター１０からの映像が表示不能であっても、マルチコプター１０の操舵が可能であり、その他のテレメトリデータが受信可能な状態にあればさほど緊急性は高くない。しかしそれが飛行環境に起因する一時的な通信障害ではなく、通信機器の故障によるものである場合は緊急性が高くなる。その他、異常が生じた場所が人口集中地区であったり、故障時に低空を飛行中であった場合にはさらに高度な判断や高い操縦技能が求められる。制御切替プログラム６６はこのような状況・条件に基づいてこれに対処可能な操縦者（操縦装置５０）にマルチコプター１０の制御主体の一部または全部を自動的に切り替えることができる。

本形態の制御切替プログラム６６は、マルチコプター１０等の制御主体を他の操縦装置５０やその他の装置に切り替えるだけでなく、移動体情報ｉの内容に応じてマルチコプター１０との通信に使用する回線を自動的に切り替えることもできる。例えば、マルチコプター１０の平常飛行時にはベストエフォート型の通信回線を使用し、緊急時にはＱｏＳ（Quality of Service）が保証されたギャランティー型の通信回線に切り替えることなどが考えられる。なお、通信回線の切替は制御切替プログラム６６とは別のプログラムで行ってもよい。

なお、これまでにも述べたように、制御切替プログラム６６が制御主体を切り替える対象は他の操縦装置５０には限られず、操縦装置５０以外の他の装置に制御主体を切り替えることもできる。例えば遠隔操縦システムＳを用いたサービスのユーザ、すなわちそのユーザが使用する一般的なパソコンやタブレット端末等に、カメラ４１やカメラジンバル４９のコントロールを与え、ユーザに所望の画像・映像を撮影させることなどが考えられる。また例えば、操縦者がマルチコプター１０を操縦するためのカメラ４１と、ユーザが所望の画像・映像を撮影するためのカメラとを別々に搭載し、ユーザ用のカメラの通信経路を操縦装置５０とマルチコプター１０との通信経路とは別に設け、ユーザ用のカメラの通信経路やプロトコルをよりアクセスしやすいものとすることで（例えばウェブブラウザでのアクセスを可能にするなど）、ユーザが操縦装置５０から離れたところにいても容易にカメラ４１等にアクセスすることが可能となる。その他、ユーザ用のカメラで撮影した映像を操縦者と共有し、さらに、マルチコプター１０の現在位置情報をユーザと共有することにより、操縦者とユーザとがスムーズに連携しながら撮影作業を行うこともできる。なお、ユーザにコントロールを与えることができる機器はカメラには限られず、目的に応じて任意の機器のコントロールをユーザに与えることができる。

図１０に示すように、オペレーションセンターＣには多数の操縦装置５０が設置されている。この場合、例えば図１２に示すように、操縦装置５０の上位装置である管理装置８０に制御切替プログラム６６を実装し、管理装置８０で一元的に制御主体の切り替えを行ってもよい。なお図１２の例では遠隔操縦システムＳを用いたサービスのユーザ（他の装置９０）にカメラ４１のコントロールが与えられており、カメラ４１で撮影された映像は他の装置９０のモニター９１に表示されている。この場合でも、制御切替プログラム６６の本質的な機能や役割に変わりはない。単に個々の操縦装置５０に実装されているか、操縦装置５０から独立しているかの違いである。個々の操縦装置５０に制御切替プログラム６６が実装されている場合でも、これらを互い協働させたり、一の操縦装置５０の制御切替プログラム６６をマスターとし、他の操縦装置５０の制御切替プログラム６６をスレーブとすることで主従関係をもたせたりして、管理装置８０が行うことと同じことを行うことができる。

また、オペレーションセンターＣは、オペレーションセンターＣが管轄する複数の又は全てのマルチコプター１０に関する情報や、オペレーションセンターＣが管轄する空域の一部または全体を、色やレイヤーを分けるなどして網羅的・包括的に表示する中央監視スクリーン７９を有している。オペレーションセンターＣでは、場合によっては危険飛行している他社のドローンを乗っ取って危険を回避するようなことも考えられる。

また、例えば深刻な問題が生じたマルチコプター１０の撮影映像やテレメトリデータをこの中央監視スクリーン７９に表示し、管理者や複数人の操縦者のチームでその問題に対処するようなことも考えられる。その他、例えば状況を注視すべき複数のマルチコプター１０の情報を中央監視スクリーン７９に並べて表示したり、またはこれらの情報を所定秒ごとに切り替えて表示したりして、複数人でその状況の推移を監視することも可能である。

（カメラ固定機能）
本形態のマルチコプター１０は、マルチコプター１０の姿勢変化を吸収してカメラ４１の姿勢を維持するカメラジンバル４９（姿勢安定化装置）を有している。そして、操縦装置５０は、カメラジンバル４９の姿勢安定化動作を停止し、カメラ４１の向きを固定するカメラ固定ボタン５３１（カメラ固定手段）を有している。カメラ４１の向きを意図的に固定することにより、機体の実際の傾きや振動を実態的に把握することができ、例えばマルチコプター１０の着陸をより安全に行うことが可能となる。

本形態のマルチコプター１０は多方向に向けられた複数のカメラ４１を有しているが、例えばマルチコプター１０が１台のカメラ４１のみを備える場合には、カメラ固定ボタン５３１は、カメラ４１をマルチコプター１０の前方または下方に自動的に向けてからカメラ４１の向きを固定してもよい。

［マルチコプター］
以下、図３を参照してマルチコプター１０の機能構成について説明する。本形態のマルチコプター１０は、全国各地に配置された専用の離発着設備であるいわゆるドローンポートに格納されており、操縦装置５０または他のシステムからの指示により自動的にドローンポートから出航する。なお、このようなドローンポートは必須ではなく、例えば現地に人員を配置してマルチコプター１０の離発着の準備を行ったり、現地に配置された人員が操縦者と協働して手動操縦によるサポートを行ったりしてもよい。

本形態のマルチコプター１０は、主に、制御部であるフライトコントローラＦＣ、複数の水平回転翼であるロータＲ、操縦者（操縦装置５０）との通信を行う通信装置２５、複数台のカメラ４１およびこれらの全て又は一部を支持するカメラジンバル４９、並びにこれらに電力を供給するバッテリー（不図示）により構成されている。

フライトコントローラＦＣはマイクロコントローラである制御装置２０を有している。制御装置２０は、中央処理装置であるＣＰＵ２１と、ＲＡＭやＲＯＭ・フラッシュメモリなどの記憶装置からなるメモリ２２とを有している。制御装置２０は単体のマイクロコントローラには限られず、いわゆるコンパニオンコンピュータとの組み合わせであってもよい。その他、制御装置２０を例えばＦＰＧＡ（field-programmable gate array）やＡＳＩＣ（Application Specific Integrated Circuit）などで構成することも考えられる。

フライトコントローラＦＣはさらに、ＩＭＵ３１（Inertial Measurement Unit：慣性計測装置）、ＧＰＳ受信器３２、気圧センサ３４、および電子コンパス３５を含む飛行制御センサ群Ｓを有しており、これらは制御装置２０に接続されている。

ＩＭＵ３１はマルチコプター１０の傾きを検出するセンサであり、主に３軸加速度センサおよび３軸角速度センサにより構成されている。気圧センサ３４は、検出した気圧値からマルチコプター１０の海抜高度（標高）を得る高度センサである。電子コンパス３５はフライトコントローラＦＣのヘディング（機首）の方位角を検出するセンサであり、主に３軸地磁気センサで構成されている。ＧＰＳ受信器３２は、正確には航法衛星システム（ＮＳＳ：Navigation Satellite System）の受信器である。ＧＰＳ受信器３２は、全地球航法衛星システム（ＧＮＳＳ:Global Navigation Satellite System）または地域航法衛星システム（ＲＮＳＳ:Regional Navigational Satellite System）から現在の経緯度値を取得する。

フライトコンローラＦＣは、これら飛行制御センサ群Ｓにより、機体の傾きや回転のほか、飛行中の経緯度、高度、および機首の方位角を含む自機の位置情報を取得する。

制御装置２０は、マルチコプター１０の飛行時における姿勢や基本的な飛行動作を制御するプログラムである飛行制御プログラムＦＳを有している。飛行制御プログラムＦＳは、飛行制御センサ群Ｓから取得した情報を基に個々のロータＲの回転数を調節し、機体の姿勢や位置の乱れを補正しながらマルチコプター１０を飛行させる。

制御装置２０はさらに、マルチコプター１０を自律飛行させるプログラムである自律飛行プログラムＡＰを有している。そして、制御装置２０のメモリ２２には、マルチコプター１０を飛行させるコースの経緯度、飛行中の高度や速度などが指定されたパラメータである飛行計画ＦＰが登録されている。自律飛行プログラムＡＰは、操縦装置５０や他のシステムからの指示や所定の時刻などを開始条件として、飛行計画ＦＰに従ってマルチコプター１０を自律的に飛行させる。

その他、本形態のマルチコプター１０は、現在地における風向および風速を取得する風向風速センサ３６と、マルチコプター１０とその周辺物との位置関係や距離を取得するＬｉＤＡＲ３７とを備えている。本形態のマルチコプター１０では、ＬｉＤＡＲ３７により取得された点群データは主にフライトコントローラＦＣの内部処理で用いられ、必要に応じて周辺物との距離などの加工値が映像データとともに操縦装置５０に送信される。その他、例えばＬｉＤＡＲ３７で取得した点群データを適宜間引いて操縦装置５０にリアルタイムで転送することも考えられる。これにより操縦者は、カメラ４１で撮影された映像の転送を待つよりも速やかに周辺物の情報を得ることができる。

その他、例えばマイクアレイなどの集音器を別途搭載し、マルチコプター１０周辺の環境音を収集することもマルチコプター１０の飛行状態や飛行環境を把握する上で有意である。これに加え、操縦装置５０にマイクを備え、マルチコプター１０にスピーカーを備えることにより、操縦者はマルチコプター１０を介してその近傍の人間と会話することができる。また、マルチコプター１０に搭載されるカメラ４１は一般的な可視光カメラには限定されず、例えば暗視カメラ（高感度カメラや赤外線カメラ）、深度カメラなどであってもよい。その他、マルチコプター１０に搭載される装置や機材には特に制限はなく、例えばパラシュートやフラッシュライト、警告灯、アラーム・ブザー等を搭載してもよい。

マルチコプター１０の通信装置２５と操縦装置５０とは、制御信号やデータの送受信が可能であれば、その具体的な通信方式やプロトコル、使用する回線は問わない。例えば３ＧやＬＴＥ（Long Term Evolution）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、５Ｇなどの移動体通信網（以下、このような地上の基地局を用いた移動体通信網を「携帯電話通信網」という。）で操縦装置５０とマルチコプター１０とを接続することにより、操縦者（操縦装置５０）は、携帯電話通信網のサービスエリア内からであればどこからでもマルチコプター１０にアクセスすることが可能となる。または、マルチコプター１０の飛行経路上にアクセスポイントを適宜設置し、アクセスポイントと操縦装置５０とを光回線で接続することも考えられる。アクセスポイントとマルチコプター１０との接続方法は特に限定されず、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）や周波数ホッピング方式のＰＣＭ（pulse code modulation：パルス符号変調）信号でもよく、アクセスポイントから携帯電話通信網を使ってマルチコプター１０に接続してもよい。また、複数の通信方法を併用することでマルチコプター１０と操縦装置５０との間の通信経路を冗長化してもよい。その他、例えば中継器が搭載された他のＵＡＶを別途用意し、そのＵＡＶを介してマルチコプター１０と操縦装置５０やアクセスポイントを接続することも考えられる。

ここで、マルチコプター１０から操縦装置５０への通信遅延が問題となる場合には、例えばこれらを接続する通信経路のうち、その少なくとも一部の通信方式をアナログ方式とデジタル方式との間で切り替え可能とすることが考えられる。アナログ方式の通信は一般にデジタル方式の通信よりもデータの再現性に劣るが、アナログ方式の通信にはデジタル方式の通信よりも遅延が少ないという利点がある。通信方式の切り替えは操縦装置５０側で手動または自動で行ってもよく、マルチコプター１０側で自動的に行ってもよい。切替を自動的に行うときの条件としては、例えば送受信するデータ量や遅延量、通信障害、その他任意の条件が考えられる。

また、マルチコプター１０の移動範囲が、例えば沖合や山間部など、携帯電話通信網のサービス圏外にまで及ぶ場合には、例えばイリジウム（登録商標）やインマルサット（登録商標）などの衛星通信モジュールをマルチコプター１０に搭載することで、携帯電話通信網のサービス圏外でもマルチコプター１０との通信を保つことができる。ここで、マルチコプター１０に接続する手段を衛星通信回線と他の通信回線との間で切り替え可能とすることにより、マルチコプター１０との通信経路を冗長化することができるとともに、マルチコプター１０との通信品質を極力保ちつつマルチコプター１０の移動可能範囲を拡大することができる。例えば、マルチコプター１０と操縦装置５０とを５Ｇ回線で接続しているときには、カメラ４１による撮影映像を含む全情報を操縦装置５０に送信し、衛星通信回線に切り替えた後は経緯度や気圧高度のテレメトリデータのみを送信するようにしたり、衛星通信回線に切り替えた後は送信する映像データを物体のエッジ情報や輪郭情報、セグメント情報のみに絞って送信したりすることが考えられる。通信回線の切り替えは操縦装置５０側で手動または自動で行ってもよく、マルチコプター１０側で自動的に行ってもよい。切替を自動的に行うときの条件としては、例えば現在位置（経緯度や気圧高度）、携帯電話通信網などの他の通信回線の電波強度、その他任意の条件が考えられる。その他、衛星通信回線と他の通信回線の両方を常時併用して通信することも考えられる。

［操縦装置の変形例］
図１３は操縦装置５０の変形例である操縦装置５０ｂを示す模式図である。図１４は操縦装置５０ｂの機能構成を示すブロック図である。以下、図１３および図１４を参照して操縦装置５０ｂについて説明する。

操縦装置５０ｂでは、操縦者は球形状のモニターである球形モニター７６の中に入ってマルチコプター１０を操縦する。本変形例ではマルチコプター１０はそのカメラ４１として半天球カメラや全天球カメラを備えており、カメラ４１による撮影映像はそのまま球形モニター７６に表示される。本変形例では天球カメラおよび球形モニター７６を採用するにより、複数のカメラで全方向を撮影するときの映像の隙間や重なり、平面画像と球面画像とを変換する負荷が軽減され、映像データを効率的に取得・転送・表示することが可能とされている。なお球形モニター７６は本形態のような全球形状に限られず、半球形状であってもよい。

操縦装置５０ｂはさらに、操縦者の視線方向を検知可能な視線センサ５５を有している。映像表示プログラム６１は、視線センサ５５で検知された操縦者の視線方向の映像を拡大表示する。また、視線センサ５５の出力値はマルチコプター１０にも転送されている。マルチコプター１０の撮影制御装置４０はこの情報を受信し、操縦者の視線方向の映像は解像度を高く、その他の方向は解像度を低くした映像データを操縦装置５０ｂに送信する。これによりマルチコプター１０から送信される映像データの通信量が抑えられ、モニター７６に表示される映像の遅延が軽減される。その他、操縦者の視線方向とその周辺の映像のみを送信し、その他の範囲の映像については送信を省略してもよい。なお、操縦者の視線方向は眼球の向きには限られず、顔の向きであってもよい。

（スピーカーシステム）
また操縦装置５０ｂは、操縦者の周囲に配置された複数のスピーカー５６を有している。本形態のスピーカー５６は、操縦者の前後左右を周方向に取り囲むように配置されている。

操縦装置５０ｂはスピーカー５６の動作を制御するスピーカー制御プログラム６４（スピーカー制御部）を有している。スピーカー制御プログラム６４は、移動体情報ｉの内容に基いてスピーカー５６から操縦者に対して音を発することで、マルチコプター１０とのその周辺物との位置関係および距離を操縦者に通知する。例えばマルチコプター１０の右前方に障害物がある場合には、操縦者の右前方のスピーカー５６から音を発し、その障害物が近づくにつれ音量を大きくする。これにより操縦者は、障害物の位置やその距離を視覚によらず認識することができる。

スピーカー５６の配置は本形態のものには限られず、例えば操縦者の周囲に左右のスピーカー５６を含む３基または４基のスピーカー５６を配置し、位相制御により音源方向を擬似的に制御することも可能である。また、例えば周辺物の種類（建物等の構造物、他のＵＡＶ、人）に応じて音の種類を変化させることも考えられる。スピーカー５６の用途は本形態のものには限られず、例えばスピーカー５６から発する音によりマルチコプター１０の現在地における風向および風速を表現することも可能である。

（送風システム）
また操縦装置５０ｂは、操縦者の周囲に配置され、操縦者に対して風を吹き付ける送風装置５７と、送風装置５７による風向および風量を制御する送風制御プログラム６５（送風制御部）と、を有している。送風制御プログラム６５は、マルチコプター１０の現在地における風向および風速に応じて操縦者に吹き付ける風の風向および風量を変化させる。例えばマルチコプター１０の右前方からマルチコプター１０に向かって風が吹いている場合には、操縦者の右前方の送風装置５７から風速に応じた風量の風を操縦者に吹き付ける。これにより操縦者は、遠方にいながらあたかも現場にいるかのようにマルチコプター１０を操縦することができる。

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更を加えることができる。例えば、本発明の移動体は無人航空機には限られず、乗客を輸送するいわゆるパッセンジャードローンや、パイロットが搭乗する有人航空機であってもよい。また、本発明は航空機にも限られず、操縦可能な移動体であれば例えば車両や船舶であってもよい。

Ｓ：遠隔操縦システム，Ｃ：オペレーションセンター，１０：マルチコプター（移動体，無人航空機），１１：胴部，Ｒ：ロータ，ＦＣ：フライトコントローラ，ＦＳ：飛行制御プログラム，ＡＰ：自律飛行プログラム，ＦＰ：飛行計画，２５：通信装置，Ｓ：飛行制御センサ群，３１：ＩＭＵ，３２：ＧＰＳ受信器，３４：気圧センサ，３５：電子コンパス，３６：風向風速センサ，３７：ＬｉＤＡＲ，４０：撮影制御装置，４１：カメラ（撮影手段），４２：カメラ用アーム，４９：カメラジンバル（姿勢安定化装置），５０：操縦装置，５１：制御部，５１１：ＣＰＵ，５１２：メモリ，５２：通信装置（情報取得部），５３：ハンドル，５３１：カメラ固定ボタン（カメラ固定手段），５４：昇降レバー，５５：視線センサ，５６：スピーカー，５７：送風装置，５９：操縦席，６１：映像表示プログラム，６２：抵抗制御プログラム（抵抗制御部），６３：制御信号送信プログラム，６４：スピーカー制御プログラム（スピーカー制御部），６５：送風制御プログラム，６６：制御切替プログラム（制御切替手段），７０：モニター（表示部），７１：前方モニター，７２：側方モニター，７３：下方モニター，７４：上方モニター，７５：後方モニター，７６：球形モニター，７９：中央監視スクリーン，８０：管理装置，９０：他の装置，ｉ：移動体情報，Ｍ：地図画像，Ｎ：地図データ

Claims (3)

1. 無人航空機である移動体と、
   前記移動体を遠隔操作する操縦装置と、を備え、
   前記移動体は撮影手段を有し、
   前記操縦装置は、
   前記移動体の内界および／または外界に関する情報である移動体情報を取得する情報取得部と、
   表示部と、を有し、
   前記移動体情報には、前記移動体が撮影したその進行方向の映像と、前記移動体の飛行高度を含む現在位置情報と、が含まれ、
   前記表示部には前記映像が表示され、
   前記移動体が前記表示部に表示されている前記映像を撮影した位置と、前記移動体の現在位置とのずれを、前記映像の撮影位置から見た前記移動体を示す立体的な画像を前記映像中の前記移動体の現在位置に相当する位置に表示することで視認可能とする遠隔操縦システム。
2. 前記移動体は前記操縦装置の位置からは目視不能な場所にあることを特徴とする請求項１に記載の遠隔操縦システム。
3. 請求項１または請求項２に記載の前記操縦装置。

Images