JP7069416B2 - 無人航空機の操縦シミュレーションシステム及び方法 - Google Patents

Description

本発明は無人航空機の操縦シミュレーションシステム及び方法に関する。

国際公開第２０１６／０４９９２４号には、無人航空機の実機も操縦可能な送信機（コントローラ、プロポ）を用いて、仮想環境において仮想的な無人航空機の操縦シミュレーションを行う技術が開示されている。また、同文献には、実機による飛行で過去に収集・記録された障害物の場所、風向き、湿度、空気密度等の実センサデータに基づいて、仮想環境を作成することも開示されている。こうした技術を用いれば、実機を用いずに無人航空機の操縦訓練を行うことができる。

しかし、上記従来技術では、あくまで仮想環境において無人航空機の操縦訓練を行うので、実環境における無人航空機の操縦を試行する用途としては十分とは言えない。

本発明は上記事情に鑑みてなされたものであり、本開示では、より実環境に近い環境で無人航空機の操縦訓練を行うことができる無人航空機の操縦シミュレーションシステム及び方法を提供する。

本開示に係る無人飛行機の操縦シミュレーションシステムは、被訓練者による仮想無人航空機の操作データを取得する操作データ取得部と、実空間の地理空間データと、前記操作データと、に基づいて、前記仮想無人航空機の前記実空間における現在位置を算出するシミュレータ部と、前記実空間の前記現在位置に前記仮想無人航空機が視認されるよう前記仮想無人航空機の画像を生成し、表示器に出力する表示部と、を含む。

前記表示器は、前記実空間の光景に対して、前記現在位置にある前記仮想無人航空機の前記画像が重畳するようにして前記画像を表示する、光学シースルー方式又はビデオシースルー方式のヘッドマウントディスプレイであってよい。

前記システムは、前記実空間の環境データを取得する環境データ取得部をさらに含んでよい。前記シミュレータ部は、前記環境データにさらに基づいて、前記仮想無人航空機の前記現在位置を算出してよい。

前記環境データ取得部は、前記実空間の前記環境データを繰り返し検知してよい。前記シミュレータ部は、繰り返し検知される前記環境データに基づいて、実時間で繰り返し前記無人航空機の前記現在位置を更新してよい。

前記環境データは、前記実空間を飛行する実無人航空機により検知されてよい。前記無人航空機のシミュレーションシステムは、前記実無人航空機の飛行制御を行う飛行制御部をさらに含んでよい。

前記飛行制御部は、前記仮想無人航空機の前記現在位置に基づいて前記実無人航空機の位置を制御してよい。

前記飛行制御部は、前記仮想無人航空機の飛行が異常である場合、前記仮想無人航空機の前記現在位置に応じた動作を制限してよい。

前記飛行制御部は、前記被訓練者の位置及びその視線方向に基づいて、前記実無人航空機の位置を制御してよい。

本開示に係る無人航空機の操縦シミュレーション方法は、被訓練者による仮想無人航空機の操作データを取得するステップと、実空間の地理空間データを取得するステップと、前記地理空間データと、前記操作データと、に基づいて、前記仮想無人航空機の前記実空間における現在位置を算出するステップと、前記実空間の前記現在位置に前記仮想無人航空機が視認されるよう前記仮想無人航空機の画像を生成するステップと、を含む。

本開示に係るシミュレーションシステムを用いた無人航空機の操縦訓練を示す図である。 被訓練者が装着するＨＭＤ（Head Mounted Display）の見え方を示す図である。 ＨＭＤにより表示される画像を示す図である。 被訓練者が装着するＨＭＤの前方に広がる景色を示す図である。 訓練用コンピュータのハードウェア構成を示す図である。 ＨＭＤのハードウェア構成を示す図である。 訓練用コンピュータの機能ブロック図である。 変形例に係るシミュレーションシステムを用いた無人航空機の操縦訓練を示す図である。 変形例に係る訓練用コンピュータの機能ブロック図である。 変形例に係る訓練用コンピュータの動作フロー図である。 実無人航空機の飛行制御を示す図である。

以下、本開示の詳細について図面に基づいて詳細に説明する。なお、以下の説明においては、同一の又は対応する構成については同一符号を付し、その詳細説明を省略することがある。

図１は、本開示に係るシミュレーションシステムを用いた無人航空機の操縦訓練の様子を示している。本システムでは、被訓練者７０は、仮想ドローンを用いてドローンの操縦訓練を行う。ドローンは、飛行計画に従って自律飛行可能なマルチローターヘリコプターであるが、緊急時には、人間が操作する送信機から送信される具体的な動作指示、例えば上下への移動、前後への、左右への移動、左右の回転の指示に従って飛行することができる。これにより緊急時には飛行計画の無い動作をドローンに行わせ、例えば緊急着陸などを行うことができる。

被訓練者７０は、ドローンの飛行予定場所である実空間１０に立ち、ＨＭＤ（Head Mount Display）５０を頭部に装着する。実空間１０には、山のような自然地形２１が存在しており、木や建物のような実オブジェクト２２も存在している。

ＨＭＤ５０は訓練用コンピュータ４０に接続されている。訓練用コンピュータ４０には被訓練者７０が手にしている送信機３０や環境センサ６０も接続されている。訓練用コンピュータ４０は環境センサ６０から出力される、実空間１０の環境データを取得する。環境データは、環境センサ６０の設置位置における風向、風速、湿度、気温、空気密度、光量などである。送信機３０はプッシュボタン、スティック、スライドスイッチ、トグルスイッチなどの操作部材を備えており、本物のドローンを操作するための送信機と同じものである。被訓練者７０が送信機３０の操作部材を操作すると、それら操作部材の状態（スティック位置など）が操作データとして訓練用コンピュータ４０に送信される。

訓練用コンピュータ４０は実空間１０の地理空間データ（Geospatial Information）を保持している。地理空間データは、自然地形２１のデータのみならず、一部又は全部の実オブジェクト２２の位置、大きさ、形状などのデータも含んでいる。訓練用コンピュータ４０は、保持している実空間１０の地理空間データ、送信機３０から取得する操作データ、及び環境センサ６０から取得する環境データに基づいて、仮想空間に配置された仮想無人航空機（ドローン）８０の現在位置及び姿勢を実時間で繰り返し演算するシミュレーションを実行する。環境データとしては、風向及び風速のペア、湿度、気温、空気密度のうち少なくとも１つが用いられる。

訓練用コンピュータ４０は、シミュレーション結果に従って、仮想無人航空機８０の現在の見え方を実時間で繰り返し演算し、その画像（シミュレーション画像）を生成する。このとき、環境データに含まれる、環境センサ６０の設置位置における光量が用いられてよい。すなわち、仮想空間における太陽の位置（日付及び時刻から演算してよい）に光源を設定し、この光源の光量を環境データに含まれる光量に基づいて設定してよい。例えば、光源の光量が環境データに含まれる光量に比例するようにしてよい。シミュレーション画像は、こうして設定される光源に基づいて生成されてよい。

仮想無人航空機８０が配置された仮想空間には、実空間１０と同じ自然地形や実オブジェクトが配置されており、仮想空間は実空間１０の少なくとも一部を再現したものとなっている。すなわち仮想空間は実空間１０と少なくとも部分的に整合している。仮想空間におけるＨＭＤ５０の位置には、仮想カメラ（不図示）が配置されており、この仮想カメラの方向は、実空間１０におけるＨＭＤ５０の方向と一致している。また、仮想カメラの画角はＨＭＤ５０の視野角と一致している。このため、仮想カメラを用いて仮想空間をレンダリングすると、シミュレーション結果が示す現在位置及び姿勢に仮想無人航空機８０が存在していて、それがＨＭＤ５０から見える様子を可視化（画像化）することができる。

ここでは、ＨＭＤ５０は光学シースルー方式を採用しており、ハーフミラーなどを介して視認されるＨＭＤ５０の前方に広がる実風景に重畳して、訓練用コンピュータ４０により生成される画像が表示される。これにより、あたかも実空間１０で仮想無人航空機８０が現実に飛行しているかのように被訓練者７０に視認させることができる。図２（ａ）は、ＨＭＤ５０を通して被訓練者７０が視認する風景を示している。同図において仮想無人航空機８０は訓練用コンピュータ４０においてシミュレーション及びコンピュータグラフィックスにより生成された画像であり、その他は実風景である。同図（ｂ）は、訓練用コンピュータ４０においてシミュレーション及びコンピュータグラフィックスにより生成されたシミュレーション画像である。仮想無人航空機８０が表された領域外のピクセルには透明属性が付与されており、その位置には実風景である同図（ｃ）が視認される。これにより、図２（ａ）に示す複合現実の風景が被訓練者７０により視認される。

なお、ここではＨＭＤ５０に光学シースルー方式を採用したが、ビデオシースルー方式を採用してもよい。この場合には、ＨＭＤ５０に備えられるカメラによりＨＭＤ５０の前方に広がる実風景が撮影される。こうして得られる撮影画像にシミュレーション画像を重畳させることで、光学シースルー方式の場合に視認される風景と同様の風景の画像を被訓練者７０に視認させることができる。ただし、ビデオシースルー方式による実風景の表示ではレイテンシが大きくなるので、ＨＭＤ５０には光学シースルー方式を採用する方がよい。

以下、訓練用コンピュータ４０及びＨＭＤ５０の構成をさらに具体的に説明する。図３は、訓練用コンピュータ４０のハードウェア構成を示す図である。同図に示すように、訓練用コンピュータ４０は、ＣＰＵ４１、揮発性のメモリ４２、ＳＳＩＤやＨＤＤなどのストレージ４３、キーボードやマウスなどの入力部４４、ＨＭＤ５０とのインタフェース４５、送信機３０とのインタフェース４６、環境センサ６０とのインタフェース４７を含んでいる。これらのハードウェア要素は、例えばバスにより相互に接続されている。

図４は、ＨＭＤ５０のハードウェア構成を示す図である。同図に示すように、ＨＭＤ５０は、ＣＰＵ５１、揮発性のメモリ５２、訓練用コンピュータ４０とのインタフェース５３、ＬＣＤやＯＬＥＤなどのディスプレイパネル５４、位置センサ５５及び姿勢センサ５６を含んでいる。これらのハードウェア要素は、例えばバスにより相互に接続されている。ここで位置センサ５５はＨＭＤ５０の現在位置を測定するＧＰＳなどのデバイスである。また、姿勢センサ５６はＨＭＤ５０の現在の姿勢を測定するデバイスであり、例えばジャイロセンサや加速度センサから構成される。位置センサ５５及び姿勢センサ５６により取得されるＨＭＤ５０の位置及び姿勢は、インタフェース５３を介して訓練用コンピュータ４０に送信される。訓練用コンピュータ４０は、それらのデータを、シミュレーション画像をレンダリングするときの視点データとして用いる。なお、ＨＭＤ５０にカメラを設けて周囲の風景を撮影し、撮影された画像から訓練用コンピュータ４０においてＨＭＤ５０の位置及び姿勢を演算してもよい。この演算には、例えばＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる技術を用いることができる。また、設置位置及び方向が既知である訓練用コンピュータ４０にカメラを設けて、このカメラからＨＭＤ５０を撮影することで、ＨＭＤ５０の位置及び姿勢を演算してもよい。

図５は、訓練用コンピュータ４０の機能ブロック図である。訓練用コンピュータ４０の機能には、操作データ取得部４００、環境データ取得部４０１、ＨＭＤデータ取得部４０２、シミュレータ部４０３、レンダリング部４０４、画像出力部４０５、地理空間データ記憶部４０６が含まれる。これらの機能ブロックは、訓練用コンピュータ４０が本開示に係るプログラムを実行することにより実現される。このプログラムはストレージ４３に記憶されＣＰＵ４１により実行される。プログラムは、コンピュータ可読媒体に格納され、訓練用コンピュータ４０は該媒体からプログラムを読み出してよい。また、プログラムは、インターネットなどのネットワークからダウンロードされてよい。

操作データ取得部４００は、被訓練者７０による仮想無人航空機８０の操作データを取得する。操作データはインタフェース４６を介して送信機３０から取得される。環境データ取得部４０１は、実空間１０の環境データを取得する。環境データはインタフェース４７を介して環境センサ６０から、例えば実時間で繰り返して取得される。ＨＭＤデータ取得部４０２は、インタフェース４５を介してＨＭＤ５０の位置及び姿勢を取得する。

シミュレータ部４０３は、実空間１０の地理空間データと、送信機３０から取得される操作データと、実時間１０の環境データと、に基づいて、仮想無人航空機８０の実空間１０における現在位置及び姿勢を算出する。仮想無人航空機８０の現在位置及び姿勢は、実時間で繰り返し更新される。実空間１０の地理空間データは、地理空間データ記憶部４０６に事前に記憶されている。なお、地理空間データ記憶部４０６は、カメラ等の地理空間データを検知可能なセンサを備えたドローン等の無人航空機により実空間１０において取得されてよい。

レンダリング部４０４はシミュレータ部４０３による計算結果に基づいて仮想無人航空機８０の画像を生成する。生成される画像は、シミュレータ部４０３により算出される現在位置に、シミュレータ部４０３により算出される姿勢にて、実空間１０において仮想無人航空機８０が被訓練者７０により視認されるようにするためのものである。画像出力部４０５は、生成される仮想無人航空機８０の画像を、インタフェース４５を介してＨＭＤ５０に出力する。ＨＭＤ５０では、該ＨＭＤ５０の前方に広がる風景に重ねて、レンダリング部４０４で生成される画像を生成する。これにより、シミュレータ部４０３により算出される現在位置に、シミュレータ部４０３により算出される姿勢にて、実空間１０において仮想無人航空機８０があたかも存在するようにして、視認される。

以上説明したシミュレーションシステムによれば、被訓練者７０はＨＭＤ５０を介して、あたかも実空間１０に自分が送信機３０により操縦する仮想無人航空機８０が実在するように視認することができる。これにより、より実環境に近い環境で無人航空機の操縦訓練を行うことができる。

特に、仮想無人航空機８０の現在位置及び姿勢は、操縦訓練を行っている実空間１０に配置された環境センサ６０により実時間で取得される環境データに基づいて演算されているので、実空間１０の実際の環境、例えば風向及び風速のペア、湿度、気温、空気密度、光量を反映した操縦訓練を行うことができる。

なお、実空間１０の環境データは、環境センサ６０に代えて、又はそれに加えて、実空間１０を飛行する実無人航空機により検知されてよい。図７は、変形例に係るシミュレーションシステムを用いた無人航空機の操縦訓練を示す図である。同図に示すように、変形例に係るシステムでは、訓練用コンピュータ４０に通信機１００が接続されており、通信機１００はドローンである実無人航空機９０と通信している。実無人航空機９０は、環境センサ６０と同様、実空間１０の環境データを検知するセンサを搭載している。実無人航空機９０により検知される環境データは、実無人航空機９０の位置における風向、風速、湿度、気温、空気密度、光量などである。通信機１００は、検知された環境データを実無人航空機９０から受信する。

また、訓練用コンピュータ４０は通信機１００を介して実無人航空機９０に動作指示を送信する。訓練用コンピュータ４０は、シミュレータ部４０３により仮想無人航空機８０の現在位置を把握しており、この現在位置に基づいて実無人航空機９０の位置を制御する。このため、訓練用コンピュータ４０は実無人航空機９０の現在位置及び姿勢を実時間で繰り返し受信している。仮想無人航空機８０の飛行シミュレーションをより精緻に行うためには、実無人航空機９０は仮想無人航空機８０の出来るだけ近くに位置して環境データを取得することが望ましい。一方で、そうすると実無人航空機９０が被訓練者７０の視界に入り、場合によっては仮想無人航空機８０と位置が重なり、操縦訓練の邪魔となるおそれがある。そこで、訓練用コンピュータ４０は、実無人航空機９０が仮想無人航空機８０に連動しつつも、被訓練者７０の視線方向に位置しないように制御している。

図７は、変形例に係る訓練用コンピュータ４０の機能ブロック図である。同図に示される機能ブロック図は、図５に示されるものに比して、飛行制御部４０７が設けられている点で異なる。飛行制御部４０７は、シミュレータ部４０３において演算される仮想無人航空機８０の現在位置、ＨＭＤデータ取得部４０２において取得されるＨＭＤ５０の現在位置及び姿勢（視線方向）に基づいて、実無人航空機９０の現在位置を制御する。また、飛行制御部４０７には地理空間情報も供給されており、実無人航空機９０が、地面や実オブジェクト２２に衝突しないように制御している。

図８は、変形例に係る訓練用コンピュータ４０の動作フロー図である。同図に示す動作は、主に飛行制御部４０７が担うものであり、まず仮想無人航空機８０が異常かどうかを判断する（Ｓ２０１）。仮想無人航空機８０の状態を判定する手法としては種々の公知技術を採用してよいが、例えば速度が閾値を超えた場合、鉛直下向きの速度成分が閾値を超えた場合、送信機３０からの単位時間の操作データの変更量が閾値を超えた場合など、仮想無人航空機８０の速度や移動方向、送信機３０からの操作データが、事前に定める条件を満足するか否かにより、異常か正常かを判定してよい。

仮想無人航空機８０が異常でなければ、飛行制御部４０７は実無人航空機９０の移動先を決定する（Ｓ２０２～Ｓ２０７）。図９は、実無人航空機９０の移動先の決定方法を示す図である。まず、飛行制御部４０７は実無人航空機９０の現在位置ＰＲＮを取得する（Ｓ２０２）。また、仮想無人航空機８０の現在位置ＰＶをシミュレータ部４０３から取得する（Ｓ２０３）。さらに、ＨＭＤ５０の現在位置ＰＨ及び視線方向ＶＬ（ＨＭＤ５０の姿勢）をＨＭＤデータ取得部４０２から取得する（Ｓ２０４）。

次に、実無人航空機９０の複数の移動先候補ＰＲＤを設定する（Ｓ２０５）。移動先候補ＰＲＤは、実無人航空機９０の目標位置の候補であり、例えばＳ２０２で取得される現在位置ＰＲＮを中心に、上下左右前後の合計６方向に、それぞれ所定距離だけシフトした位置を移動先候補ＰＲＤとしてよい。但し、地理空間情報に基づき、実無人航空機９０が地面や実オブジェクト２２に衝突するような移動先候補ＰＲＤは選択しない。

次に、飛行制御部４０７は、各移動先候補ＰＲＤに対して評価値Ｅを演算する（Ｓ２０６）。そして、評価値Ｅが最小となる移動先候補ＰＲＤを、実無人航空機９０の実際の移動先として決定する（Ｓ２０７）。実無人航空機９０の移動先である位置は通信機１００により実無人航空機９０に送信され、実無人航空機９０は同位置に向けて移動を開始する（Ｓ２０８）。

Ｓ２０６で演算される評価値Ｅは、例えばＥ＝α×Ｌ１＋β×Ｌ２＋γ×１／Ｌ３に従って演算される。ここで、α、β、γは係数であり、実験等により適宜に設定される値である。Ｌ１は、仮想無人航空機８０の現在位置ＰＶと移動先候補ＰＲＤとの距離である。Ｌ２は、実無人航空機９０の現在位置ＰＲＮと移動先候補ＰＲＤとの距離である。Ｌ３は、移動先候補ＰＲＮから視線ＶＬまでの距離である。このようにすれば、仮想無人航空機８０の現在位置ＰＶと移動先候補ＰＲＤとの距離が小さいほど、評価値Ｅが小さくなるようにできる。このため、仮想無人航空機８０の現在位置ＰＶから近い位置が、実無人航空機９０の移動先として選ばれやすくなる。また、実無人航空機９０の現在位置ＰＲＮと移動先候補ＰＲＤとの距離が小さいほど、評価値Ｅが小さくなるようにできる。このため、実無人航空機９０の現在位置ＰＲＮから近い位置が、実無人航空機９０の移動先として選ばれやすくなる。さらに、移動先候補ＰＲＮから視線ＶＬまでの距離が遠いほど、その移動先候補ＰＲＮが実無人航空機９０の移動先として選ばれやすくなる。このようにして、実無人航空機９０の現在位置ＰＲＮや仮想無人航空機８０の現在位置ＲＶから近く、且つ視線ＶＬからできるだけ遠い位置が、実無人航空機９０の移動先として選択されるようになる。こうすれば、実無人航空機９０を仮想無人航空機８０に近づけ、しかし視線ＶＬ上に実無人航空機９０が位置しないようにできる。

Ｓ２０１において仮想無人航空機８０が異常であると判断されると、飛行制御部４０７は通信機１００により実無人航空機９０に対し、現在位置ＰＲＮでのホバリング（滞空）を指示する（Ｓ２０９）。こうすれば、仮想無人航空機８０に連動して、実無人航空機９０まで異常な動作状態になってしまうことを防止できる。すなわち、飛行制御部４０７は、仮想無人航空機８０が異常である場合、その現在位置に応じた動作を制限する。この制限には、例えば上記のように実無人航空機９０に対するホバリングの指示が含まれる。

以上説明した変形例に係るシステムによれば、仮想無人航空機８０により近い位置において環境データを取得することができ、仮想無人航空機８０のシミュレーションをよりリアルに行うことができる。このとき、環境データを取得する実無人航空機９０が視線ＶＬに近づかないようにしているので、実無人航空機９０の存在が仮想無人航空機８０の操縦の邪魔にならにようにできる。

Claims (6)

1. 被訓練者による仮想無人航空機の操作データを取得する操作データ取得部と、
   実空間を飛行する実無人航空機により検知される前記実空間の環境データを繰り返し取得する環境データ取得部と、
   前記実空間の地理空間データと、前記操作データと、前記環境データと、に基づいて、前記仮想無人航空機の前記実空間における現在位置を算出し、前記繰り返し取得される前記環境データに基づいて、実時間で繰り返し前記仮想無人航空機の前記実空間における現在位置を更新するシミュレータ部と、
   前記実空間の前記現在位置に前記仮想無人航空機が視認されるよう前記仮想無人航空機の画像を生成し、表示器に出力する表示部と、
   前記実無人航空機の飛行制御を行う飛行制御部と、
   を含む無人航空機の操縦シミュレーションシステム。
2. 請求項１に記載の無人航空機のシミュレーションシステムにおいて、
   前記表示器は、前記実空間の光景に対して、前記現在位置にある前記仮想無人航空機の前記画像が重畳するようにして前記画像を表示する、光学シースルー方式又はビデオシースルー方式のヘッドマウントディスプレイである、無人航空機の操縦シミュレーションシステム。
3. 請求項１又は２に記載の無人航空機のシミュレーションシステムにおいて、
   前記飛行制御部は、前記仮想無人航空機の前記現在位置に基づいて前記実無人航空機の位置を制御する、無人航空機のシミュレーションシステム。
4. 請求項３に記載の無人航空機のシミュレーションシステムにおいて、
   前記飛行制御部は、前記仮想無人航空機が異常である場合、前記仮想無人航空機の前記現在位置に応じた動作を制限する、無人航空機のシミュレーションシステム。
5. 請求項１乃至４のいずれかに記載の無人航空機のシミュレーションシステムにおいて、
   前記飛行制御部は、前記被訓練者の位置及びその視線方向に基づいて、前記実無人航空機の位置を制御する、無人航空機のシミュレーションシステム。
6. 操作データ取得手段が、被訓練者による仮想無人航空機の操作データを取得すること、
   地理空間データ取得手段が、実空間の地理空間データを取得すること、
   環境データ取得手段が、前記実空間を飛行する実無人航空機により検知される前記実空間の環境データを繰り返し取得すること、
   シミュレーション手段が、前記地理空間データと、前記操作データと、前記環境データと、に基づいて、前記仮想無人航空機の前記実空間における現在位置を算出し、前記繰り返し取得される前記環境データに基づいて、実時間で繰り返し前記仮想無人航空機の前記実空間における現在位置を更新すること、
   画像出力手段が、前記実空間の前記現在位置に前記仮想無人航空機が視認されるよう前記仮想無人航空機の画像を生成すること、
   飛行制御手段が、前記実無人航空機の飛行制御を行うこと、
   を含む無人航空機の操縦シミュレーション方法。
   

Images