JPWO2020105147A1 - 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 - Google Patents

飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 Download PDF

Info

Publication number
JPWO2020105147A1
JPWO2020105147A1 JP2020547431A JP2020547431A JPWO2020105147A1 JP WO2020105147 A1 JPWO2020105147 A1 JP WO2020105147A1 JP 2020547431 A JP2020547431 A JP 2020547431A JP 2020547431 A JP2020547431 A JP 2020547431A JP WO2020105147 A1 JPWO2020105147 A1 JP WO2020105147A1
Authority
JP
Japan
Prior art keywords
flight path
image
unmanned aerial
flight
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020547431A
Other languages
English (en)
Other versions
JP6890759B2 (ja
Inventor
満 中澤
満 中澤
裕章 岩瀬
裕章 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of JPWO2020105147A1 publication Critical patent/JPWO2020105147A1/ja
Application granted granted Critical
Publication of JP6890759B2 publication Critical patent/JP6890759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G01C23/005—Flight directors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

飛行中の無人航空機の様子と当該無人航空機の飛行経路とを同時に把握できる飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法を提供する。飛行経路情報取得部（５０）は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する。実空間位置方向特定部（５４）は、実空間における視認位置及び視認方向を特定する。飛行経路画像生成部（５８）は、飛行経路情報に基づいて、視認位置から視認方向を見た際の飛行経路が表現された飛行経路画像を生成する。表示制御部（６０）は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部に表示させる。

Description

本発明は、飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法に関する。
特許文献１には、自機の識別を容易にするマーカ画像、自機の移動方向を示す移動方向画像、所定時間後の予測位置を示す予測位置画像などの虚像画像を使用者に視認させる透過型のヘッドマウントディスプレイが記載されている。特許文献１に記載されている技術によれば、自機が遠くへ移動したり、複数の無人航空機が視野にあったりする場合であっても、使用者が自機を見失いにくい。また、自機の移動方向や予測位置などの把握も容易である。
特許文献２には、気象条件に基づいて、無人航空機の飛行経路を補正する運行管理技術が記載されている。特許文献２に記載されている運行管理技術により提供される飛行経路に従って無人航空機を飛行させることで、より安全に無人航空機を飛行させることが可能となる。
特開２０１８−１１２８０９号公報 特開２０１８−０８１６７５号公報
特許文献１や特許文献２に記載されている技術では、飛行中の無人航空機の様子と当該無人航空機の飛行経路との両方を無人航空機の操縦者や監督者などが同時に把握できない。そのため、無人航空機の操縦者や監督者などが、飛行中の無人航空機が飛行経路通りに飛行できているか否かを把握することが難しいことがある。また飛行経路から外れて無人航空機が飛行していてもどのようにすれば当該無人航空機を飛行経路に戻すことできるかを無人航空機の操縦者や監督者などが把握することが難しいことがある。
本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、飛行中の無人航空機の様子と当該無人航空機の飛行経路とを同時に把握できる飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法を提供することにある。
上記課題を解決するために、本発明に係る飛行経路案内システムは、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、前記実空間における視認位置及び視認方向を特定する特定手段と、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含む。
本発明の一態様では、前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定する。
あるいは、前記特定手段は、前記実空間を撮影するカメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、前記画像生成手段は、前記カメラにより撮影される画像に前記視認位置から前記視認方向を見た際の前記飛行経路が重畳された前記画像を生成する。
この態様では、前記特定手段は、映像透過型のヘッドマウントディスプレイが備える前記カメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、前記表示制御手段は、前記ヘッドマウントディスプレイが備える前記表示部に前記画像を表示させてもよい。
また、前記ヘッドマウントディスプレイは、前記無人航空機の操縦者の頭部に装着されていてもよい。
また、本発明の一態様では、前記飛行経路を表す仮想オブジェクトが配置された仮想空間を生成する仮想空間生成手段、をさらに含み、前記特定手段は、さらに、前記実空間における前記視認位置に対応付けられる前記仮想空間における視認位置、及び、前記実空間における前記視認方向に対応付けられる前記仮想空間における視認方向を特定し、前記画像生成手段は、前記仮想空間における前記視認位置から前記仮想空間における前記視認方向を見た様子を表す前記画像を生成する。
また、本発明の一態様では、前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する。
また、本発明の一態様では、前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段、をさらに含み、前記表示制御手段は、前記判定手段による判定の結果に応じて、前記飛行経路が表れている位置が補正された画像を表示させるか否かを制御する。
この態様では、前記判定手段は、計測される前記無人航空機の位置と前記飛行経路情報とに基づいて、前記無人航空機が前記飛行経路上にあるか否かを判定してもよい。
また、本発明の一態様では、前記飛行経路情報には、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が示されており、前記画像生成手段は、前記時刻がさらに表現された前記画像を生成する。
この態様では、前記画像生成手段は、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成してもよい。
また、本発明の一態様では、前記飛行経路情報には、選択可能な複数の前記飛行経路が示されており、前記画像生成手段は、選択されている前記飛行経路と選択されていない前記飛行経路とを識別可能な前記画像を生成する。
また、本発明の一態様では、前記画像生成手段は、前記飛行経路情報が示す、前記無人航空機の予定の飛行経路、及び、前記無人航空機の実際の飛行経路のうちの少なくとも一方が表現された前記画像を生成する。
また、本発明の一態様では、前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、前記画像生成手段は、前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成する。
この態様では、前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成してもよい。
また、本発明の一態様では、前記無人航空機は、自律飛行機能を備える。
また、本発明に係る飛行経路案内装置は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、前記実空間における視認位置及び視認方向を特定する特定手段と、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含む。
また、本発明に係る飛行経路案内方法は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得するステップと、前記実空間における視認位置及び視認方向を特定するステップと、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成するステップと、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させるステップと、を含む。
本発明の一実施形態に係る飛行経路案内システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係る無人航空機の構成の一例を示す図である。 仮想空間の一例を示す図である。 飛行経路画像の一例を示す図である。 ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像の一例を示す図である。 ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像の別の一例を示す図である。 ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像のさらに別の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る飛行経路案内システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る飛行経路案内システム１には、ヘッドマウントディスプレイ（ＨＭＤ）１０、無人航空機１２、運行管理システム１４、及び、操縦端末１６が含まれる。
ＨＭＤ１０は、ユーザが頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るＨＭＤ１０は、光学透過型（オプティカルシースルー型）であり、ＨＭＤ１０の装着者は装着している状態で実空間の様子を視認可能であることとする。
本実施形態に係るＨＭＤ１０には、例えば図２Ａに示すように、プロセッサ２０、記憶部２２、通信部２４、表示部２６、センサ部２８、が含まれる。
プロセッサ２０は、例えばＨＭＤ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部２２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。
通信部２４は、例えば無線ＬＡＮモジュールやブルートゥース（登録商標）モジュールなどの通信インタフェースである。
表示部２６は、例えばハーフミラーなどを利用することで、透過される実空間の様子とともに虚像画像をＨＭＤ１０の装着者に視認させることができるディスプレイである。表示部２６は、ＨＭＤ１０の装着者の眼前に配置される。また本実施形態に係る表示部２６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができる両眼タイプのディスプレイである。なお表示部２６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
センサ部２８は、例えばＧＰＳ（Global Positioning System）等のＧＮＳＳ（Global Navigation Satellite System）受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部２８は、ＨＭＤ１０の位置や姿勢を計測可能である。センサ部２８は、ＨＭＤ１０の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ２０に出力してもよい。またセンサ部２８に、ＨＭＤ１０の装着者の視野範囲の画像を撮影するカメラが含まれていてもよい。以下、当該画像を視野範囲画像と呼ぶこととする。
ＨＭＤ１０は、例えば、無人航空機１２の操縦者や、当該操縦者を監督する監督者の頭部に装着される。
無人航空機１２は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機（いわゆるドローン）である。
本実施形態に係る無人航空機１２には、例えば図２Ｂに示すように、プロセッサ３０、記憶部３２、通信部３４、センサ部３６、が含まれる。なお、無人航空機１２には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。
プロセッサ３０は、例えば無人航空機１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部３２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
通信部３４は、例えば無線ＬＡＮモジュールやブルートゥースモジュールなどの通信インタフェースである。
センサ部３６は、例えばＧＰＳ等のＧＮＳＳ受信機、気圧センサ、ＬＩＤＡＲ(Light Detection and Ranging)、音波センサ等の高度センサ、カメラ、慣性センサ、風速センサなどを含むデバイスである。センサ部３６は、無人航空機１２の位置や姿勢を計測可能である。センサ部３６は、無人航空機１２の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ３０に出力してもよい。
本実施形態に係る運行管理システム１４は、例えば、無人航空機１２の飛行経路の管理などの運行管理を行う、１又は複数のサーバコンピュータ等から構成されるコンピュータシステムである。
本実施形態に係る操縦端末１６は、例えば無人航空機１２を操縦するための機器である。
本実施形態に係る無人航空機１２が自律飛行機能を備えていてもよい。そしてこの場合、無人航空機１２の操縦者や監督者が自律飛行では予定飛行経路通りに飛行できないと判断した場合に、操縦者が操縦端末１６を用いて無人航空機１２を操縦するようにしてもよい。この場合、ＨＭＤ１０が、自律飛行している無人航空機１２を監督する監督者の頭部に装着されていてもよい。あるいは、ＨＭＤ１０が、自律飛行では予定飛行経路通りに飛行できないと判断した場合に無人航空機１２を操縦する操縦者の頭部に装着されていてもよい。
図１に示すように、操縦端末１６と無人航空機１２とは互いに通信可能となっている。またＨＭＤ１０と操縦端末１６とは互いに通信可能となっている。またＨＭＤ１０と運行管理システム１４とは、インターネット等のネットワーク１８を介して互いに通信可能となっている。なおＨＭＤ１０と無人航空機１２とは、操縦端末１６を介さずに直接互いに通信可能でも構わない。
本実施形態では例えば、運行管理システム１４に、無人航空機１２の飛行経路を示す飛行経路情報が予め記憶されている。飛行経路情報は、例えば、無人航空機１２の予定の飛行経路に沿った複数の位置を示す位置情報のリストであってもよい。ここで位置情報が、当該位置情報が示す位置を表す三次元座標値を含んでいてもよい。
当該三次元座標値のうち水平位置を表す座標値（例えばＸ座標値及びＹ座標値）は、ＧＰＳ等で用いられる地球中心座標系などにおける絶対的な座標値（例えば緯度及び経度）であってもよい。また、当該三次元座標値のうち水平位置を表す座標値（例えばＸ座標値及びＹ座標値）は、無人航空機１２の離陸地点を基準とした座標系における相対的な座標値であってもよい。同様に、当該三次元座標値のうち高度を表す座標値（例えばＺ座標値）についても上述の絶対的な座標値であってもよいし上述の相対的な座標値であってもよい。以下の説明では、水平位置を表す座標値は絶対的な座標値であり、高度を表す座標値は相対的な座標値であることとする。また操縦者や監督者などのＨＭＤ１０の装着者は、無人航空機１２の離陸地点付近に位置し、その高度は離陸地点の高度と装着者の身長との和であることとする。ここで当該身長を示す値は、所定値であってもよいし装着者等により入力される値であってもよい。
また飛行経路情報に、複数の位置のそれぞれについての、当該位置に無人航空機１２があるべき時刻が示された時刻情報が含まれていてもよい。例えば飛行経路情報に含まれる位置情報に、当該位置情報が示す位置に無人航空機１２があるべき時刻を示す時刻情報が関連付けられていてもよい。
そして本実施形態では例えば、飛行経路情報が運行管理システム１４からＨＭＤ１０に送信される。そしてＨＭＤ１０が、受信した飛行経路情報に基づいて、図３に示す仮想空間４０を生成する。図３に示す仮想空間４０は、例えば、飛行経路情報が示す飛行経路を表す仮想三次元オブジェクトである飛行経路オブジェクト４２が配置された仮想三次元空間である。ここで仮想空間４０内の位置は、実空間内の位置と１対１で対応付けられている。また仮想空間４０における向きは、実空間における向きと１対１で対応付けられている。
飛行経路オブジェクト４２は、例えば、飛行経路情報に含まれる位置情報のリストの順で、当該位置情報が示す位置を表す三次元座標値をつないだ線を表す仮想オブジェクトであってもよい。ここで例えば飛行経路オブジェクト４２が、関連付けられている時刻情報が示す時刻が早い順に飛行経路情報に含まれる位置情報が示す位置を表す三次元座標値をつないだ線を表す仮想オブジェクトであってもよい。また例えば、図３に示すように、飛行経路オブジェクト４２は、飛行経路情報に含まれる位置情報のリストの順で、当該位置情報が示す位置を表す三次元座標値をつないだ線を軸とする柱状あるいは筒状の仮想オブジェクトであってもよい。
そして本実施形態では例えば、実空間における視認位置及び視認方向が特定される。ここで例えば公知の推定手法による推定結果に基づいて、実空間における視認位置及び視認方向が特定されてもよい。ここで視認位置はＨＭＤ１０の装着者の位置に対応付けられるものであってもよい。また視認方向はＨＭＤ１０の装着者の頭部の姿勢に対応付けられるものであってもよい。
また当該視認位置は、例えば表示部２６の位置に対応付けられるものであってもよい。具体的には例えば、当該視認位置は、表示部２６の中心の位置であってもよい。また当該視認方向は、例えば表示部２６の向きに対応付けられるものであってもよい。具体的には例えば、当該視認方向は表示部２６の表示面に対する法線方向であってもよい。
そして本実施形態では例えば、実空間における視認位置に対応付けられる、仮想空間４０内における視認位置４４が特定される。また、実空間における視認方向に対応付けられる、仮想空間４０内における視認方向４６が特定される。上述のように仮想空間４０内の位置は、実空間内の位置と１対１で対応付けられており、仮想空間４０における向きは、実空間における向きと１対１で対応付けられているため、視認位置４４及び視認方向４６は一意に特定可能である。
そして本実施形態では例えば、実空間における視認位置から実空間における視認方向を見た際の飛行経路が表現された画像が生成される。ここで例えば、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す画像が生成されてもよい。以下、このようにして生成される画像を飛行経路画像と呼ぶこととする。図４は、飛行経路画像の一例を示す図である。図４に示す飛行経路画像には、飛行経路オブジェクト４２の像が含まれている。
そして本実施形態では実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像がＨＭＤ１０の表示部２６に表示される。ここで位置合わせされた状態とは、あたかもあるべき位置に飛行経路オブジェクト４２が配置されているかのような実空間がＨＭＤ１０の装着者に視認されるよう、飛行経路画像内における飛行経路オブジェクト４２の位置が調整された状態を指す。すると図５に示すように、ＨＭＤ１０の装着者は、無人航空機１２の飛行中に、実空間にある無人航空機１２及び表示部２６に表示される飛行経路画像を同時に視認できることとなる。ここで図５に示されている無人航空機１２は実像であり、飛行経路画像は表示部２６に表示された虚像画像である。
ここで例えば、センサ部２８による計測結果及び表示部２６の設計値に基づいて、表示部２６を通して視認できるＨＭＤ１０の装着者の視野が特定されてもよい。そして、ＨＭＤ１０は、装着者の視野と飛行経路情報とに基づいて、視野内に飛行経路が含まれるか否かを判定してもよい。そして視野内に飛行経路が含まれると判定される場合にＨＭＤ１０は飛行経路画像を表示部２６に表示させてもよい。
ここで無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって図５に示す状況が視認されている場合は、ＨＭＤ１０の装着者は無人航空機１２が飛行経路に沿って飛行していることを把握できる。
一方、無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって図６に示す状況が視認されている場合は、ＨＭＤ１０の装着者は無人航空機１２が飛行経路から外れて飛行していることを把握できる。
このようにして本実施形態によれば、無人航空機１２の操縦者や監督者などが、無人航空機１２が飛行経路通りに飛行できているか否かを容易に把握できることとなる。
また図６に示す状況がＨＭＤ１０の装着者によって視認されている場合、ＨＭＤ１０の装着者は、無人航空機１２を装着者から見て左上に移動させることで、無人航空機１２を飛行経路に戻すことができることを容易に把握できることとなる。
ところで本実施形態において、視認位置や視認方向の推定結果に誤差が含まれることがある。当該誤差は、視認位置や視認方向を推定する処理の精度だけでなく、ＨＭＤ１０のセンサ部２８によって計測されるＨＭＤ１０の位置や向きの誤差や、装着者の身長についての誤差によって、発生することがある。特に、ＨＭＤ１０の向きが加速度センサやジャイロセンサの計測値を積分することにより特定される場合は、ＨＭＤ１０の向きの誤差が蓄積されやすい。この場合、無人航空機１２が実際は飛行経路情報が示す飛行経路に沿って飛行しているにも関わらず、ＨＭＤ１０の装着者には無人航空機１２が飛行経路から外れて飛行しているように視認されることがある。
このことを踏まえ、本実施形態において、無人航空機１２が飛行経路上にあるか否かが判定されるようにしてもよい。ここで例えば無人航空機１２のセンサ部３６により計測される無人航空機１２の位置と、飛行経路情報と、に基づいて、無人航空機１２が飛行経路上にあるか否かが判定されてもよい。そして当該判定の結果に応じて、飛行経路が表れている位置が補正された画像が表示されるか否かが制御されるようにしてもよい。
例えば補正がされない状態では、図６に示す状況がＨＭＤ１０の装着者によって視認される場面を想定する。この場面において、無人航空機１２が飛行経路上にないと判定された場合は、補正は行われないようにしてもよい。一方、無人航空機１２が飛行経路上にあると判定された場合は、図７に示すように表示部２６に表示される画像の補正が行われるようにしてもよい。ここでは例えば、生成される飛行経路画像に対して平行移動や回転などの補正が行われるようにしてもよい。当該補正は、例えば、予めキャリブレーションされたＨＭＤ１０のカメラと表示部２６との関係、視野範囲画像、及び、飛行経路画像内における現在時刻に無人航空機１２があるべき位置に基づいて行われてもよい。
ここで例えば、現在時刻に無人航空機１２があるべき飛行経路画像内における位置が視野範囲画像における無人航空機１２の位置に一致するよう飛行経路画像が補正されてもよい。
また例えば、飛行経路画像に示されている飛行経路上の、視野範囲画像における無人航空機１２の位置に最も近い位置が特定されてもよい。そしてこのようにして特定される飛行経路画像内における飛行経路上の位置が視野範囲画像における無人航空機１２の位置に一致するよう飛行経路画像が補正されてもよい。
また例えば、視認位置４４や視認方向４６を補正した上で新たな飛行経路画像が生成されるようにしてもよい。
図７に示す状況が、無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって視認されている場合においては、ＨＭＤ１０の装着者は無人航空機１２が飛行経路に沿って飛行していることを把握できる。
以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。
図８は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
図８に示すように、本実施形態に係るＨＭＤ１０には、機能的には例えば、飛行経路情報取得部５０、仮想空間生成部５２、実空間位置方向特定部５４、仮想空間位置方向特定部５６、飛行経路画像生成部５８、表示制御部６０、判定部６２、が含まれる。
飛行経路情報取得部５０は、プロセッサ２０及び通信部２４を主として実装される。仮想空間生成部５２、仮想空間位置方向特定部５６、飛行経路画像生成部５８、判定部６２は、プロセッサ２０を主として実装される。実空間位置方向特定部５４は、プロセッサ２０及びセンサ部２８を主として実装される。表示制御部６０は、プロセッサ２０及び表示部２６を主として実装される。
以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給されてもよい。
飛行経路情報取得部５０は、本実施形態では例えば、実空間における無人航空機１２の飛行経路を示す飛行経路情報を取得する。ここで、飛行経路情報取得部５０は、無人航空機１２の予定の飛行経路を示す飛行経路情報を取得してもよい。上述のように飛行経路情報は、例えば、無人航空機１２の予定の飛行経路に沿った複数の位置を表す三次元座標値のリストを含んでいてもよい。また飛行経路情報に、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻が示された時刻情報が含まれていてもよい。
また、飛行経路情報取得部５０は、運行管理システム１４から送信される飛行経路情報を受信してもよい。また飛行経路情報取得部５０は、予めＨＭＤ１０の記憶部２２に記憶されている飛行経路情報を取得してもよい。
また、飛行経路情報取得部５０は、無人航空機１２の実際の飛行経路を示す飛行経路情報を取得してもよい。ここで例えば、無人航空機１２の通信部３４が、無人航空機１２のセンサ部３６によって計測される、無人航空機１２の実際の位置や向きを示す位置情報を所定の時間間隔でＨＭＤ１０に繰り返し送信するようにしてもよい。そして、飛行経路情報取得部５０が、所定の時間間隔で無人航空機１２から送信される一連の位置情報を、無人航空機１２の実際の飛行経路を示す飛行経路情報として受信してもよい。ここで当該飛行経路情報は、操縦端末１６を経由してＨＭＤ１０が受信してもよいし、ＨＭＤ１０が無人航空機１２から直接受信してもよい。
仮想空間生成部５２は、本実施形態では例えば、飛行経路に対応付けられる仮想オブジェクトが配置された仮想空間４０を生成する。ここで例えば、図３に示すような、飛行経路情報取得部５０が取得する飛行経路情報が示す飛行経路を表す飛行経路オブジェクト４２が配置された仮想空間４０が生成されてもよい。
実空間位置方向特定部５４は、本実施形態では例えば、実空間における視認位置及び視認方向を特定する。ここで実空間位置方向特定部５４は、実空間において視認位置から視認方向を見た様子とともに飛行経路画像をＨＭＤ１０の装着者に視認させる表示部２６の位置に対応付けられる視認位置、及び、表示部２６の向きに対応付けられる視認方向を特定してもよい。
仮想空間位置方向特定部５６は、本実施形態では例えば、実空間位置方向特定部５４により特定される実空間における視認位置に対応付けられる仮想空間４０における視認位置４４を特定する。また仮想空間位置方向特定部５６は、本実施形態では例えば、実空間位置方向特定部５４により特定される実空間における視認方向に対応付けられる仮想空間４０における視認方向４６を特定する。
飛行経路画像生成部５８は、本実施形態では例えば、飛行経路情報に基づいて、実空間における視認位置から実空間における視認方向を見た際の飛行経路が表現された、図４に示すような飛行経路画像を生成する。ここで飛行経路画像生成部５８が、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す飛行経路画像を生成してもよい。
また飛行経路画像生成部５８は、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻がさらに表現された飛行経路画像を生成してもよい。例えば色、明るさ、透過度などの視認性が上述の時刻によって異なる飛行経路画像が生成されてもよい。例えば、関連付けられている時刻情報が示す時刻が前のものであるほど視認性が低く（例えば薄く見え）、後のものであるほど視認性が高い（例えば濃く見える）飛行経路画像が生成されてもよい。このようにすれば、ＨＭＤ１０の装着者は、より後の時刻の飛行経路の方が把握しやすくなる。
また飛行経路画像生成部５８は、現在時刻に応じた飛行経路画像を生成してもよい。例えば、飛行経路画像生成部５８は、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻が現在時刻よりも前であるか後であるかが表現された飛行経路画像を生成してもよい。例えば、現在時刻よりも前の飛行経路は現在時刻よりも後の飛行経路よりも視認性が低い飛行経路画像が生成されてもよい。あるいは現在時刻よりも前の飛行経路については表現されない飛行経路画像が生成されてもよい。また現在時刻において無人航空機１２があるべき位置にマーカの画像が配置された飛行経路画像が生成されてもよい。このようにすればＨＭＤ１０の装着者は現在時刻に無人航空機１２があるべき位置を把握できる。また、ＨＭＤ１０の装着者は、これから無人航空機１２を飛行させるべき経路をより把握しやすくなる。
また飛行経路画像生成部５８は、飛行経路情報が示す、無人航空機１２の予定の飛行経路、及び、無人航空機１２の実際の飛行経路（実際の飛行経路の履歴）の少なくとも一方が表現された飛行経路画像を生成してもよい。ここで飛行経路画像生成部５８は、例えば、無人航空機１２の予定の飛行経路に加え、又は、予定の飛行経路に代えて、実際の飛行経路が表現された飛行経路画像を生成してもよい。なお、予定の飛行経路と実際の飛行経路の両方が表現された飛行経路画像が生成される場合に、予定の飛行経路と実際の飛行経路とを識別可能な飛行経路画像が生成されてもよい。例えば、予定の飛行経路と実際の飛行経路とで視認性が異なる飛行経路画像が生成されてもよい。
表示制御部６０は、本実施形態では例えば、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部２６に表示させる。すなわち、あたかもあるべき位置に飛行経路オブジェクト４２が配置されているかのような実空間がＨＭＤ１０の装着者に視認されるよう、飛行経路画像内における飛行経路オブジェクト４２の位置が調整された状態で飛行経路画像が表示部２６に表示される。このことにより、ＨＭＤ１０の装着者は、図５や図６に示す状況を把握できる。ここで表示制御部６０は、飛行経路画像生成部５８が生成する飛行経路画像を表示部２６に表示させてもよい。
なお表示制御部６０が、飛行経路画像に加え、無人航空機１２の速度、無人航空機１２の位置（緯度、経度及び高度など）、操縦者から無人航空機１２までの距離、目的地までの距離、バッテリー残量、などといった無人航空機１２に関する情報を表示させてもよい。
判定部６２は、本実施形態では例えば、無人航空機１２が飛行経路上にあるか否かを判定する。ここで判定部６２は、計測される無人航空機１２の位置と飛行経路情報とに基づいて、無人航空機１２が飛行経路上にあるか否かを判定してもよい。ここで無人航空機１２の位置は、無人航空機１２のセンサ部２８により計測されてもよい。
そしてこの場合に、表示制御部６０は、判定部６２による判定の結果に応じて、飛行経路が表れている位置が補正された画像を表示させるか否かを制御してもよい。ここで例えば、無人航空機１２が飛行経路上にあると判定された場合に、飛行経路画像生成部５８が、補正された飛行経路画像を生成してもよい。ここで飛行経路画像生成部５８が、視認位置４４や視認方向４６を補正した上で新たな飛行経路画像を生成するようにしてもよい。あるいは、表示制御部６０が、飛行経路画像生成部５８により生成される飛行経路画像に対して平行移動や回転などの補正を行うようにしてもよい。
以下、本実施形態に係るＨＭＤ１０で実行される処理の流れの一例を、図９に示すフロー図を参照しながら説明する。本処理例では、飛行経路情報が既に飛行経路情報取得部５０により取得されていることとする。そして仮想空間生成部５２により、図３に例示する仮想空間４０が生成されていることとする。
また本実施形態では例えば、所定のフレームレートで表示部２６に飛行経路画像が表示されることとする。そして当該所定のフレームレートでＳ１０１〜Ｓ１１０に示す処理が繰り返し実行されることとする。
まず、実空間位置方向特定部５４は、実空間における視認位置及び実空間における視認方向を特定する（Ｓ１０１）。
そして、仮想空間位置方向特定部５６が、仮想空間４０における視認位置４４及び仮想空間４０における視認方向４６を特定する（Ｓ１０２）。ここではＳ１０１に示す処理で特定された実空間における視認位置に対応付けられる仮想空間４０における視認位置４４が特定される。またＳ１０１に示す処理で特定された実空間における視認方向に対応付けられる仮想空間４０における視認方向４６が特定される。
そして、飛行経路画像生成部５８が、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す飛行経路画像を生成する（Ｓ１０３）。
そして、判定部６２が、ＨＭＤ１０が備えるカメラが撮影した視野範囲画像を取得する（Ｓ１０４）。
そして、判定部６２が、公知の画像認識技術を用いることにより、Ｓ１０４に示す処理で取得された視野範囲画像内における無人航空機１２の位置を特定する（Ｓ１０５）。
そして、判定部６２が、Ｓ１０３に示す処理で生成された飛行経路画像と、Ｓ１０５に示す処理で特定された無人航空機１２の位置と、に基づいて、ＨＭＤ１０の装着者に無人航空機１２が飛行経路から外れているように視認されるか否かを判定する（Ｓ１０６）。ここで当該判定は、予めキャリブレーションされたＨＭＤ１０が備えるカメラと表示部２６との関係、視野範囲画像から検出された無人航空機１２の位置、及び、生成された飛行経路画像において表現された飛行経路、に基づいて行われてもよい。
ＨＭＤ１０の装着者に無人航空機１２が飛行経路から外れているように視認されると判定された場合（Ｓ１０６：Ｙ）、飛行経路情報取得部５０が、無人航空機１２の現在位置を示す位置情報を取得する（Ｓ１０７）。
Ｓ１０７に示す処理では、飛行経路情報取得部５０が、現在位置を示す位置情報の送信を無人航空機１２に要求してもよい。そして飛行経路情報取得部５０が、当該要求に応じて無人航空機１２が送信する、無人航空機１２の現在位置を示す位置情報を受信してもよい。ここで当該位置情報は、操縦端末１６を経由してＨＭＤ１０が受信してもよいし、ＨＭＤ１０が無人航空機１２から直接受信してもよい。あるいは、飛行経路情報取得部５０は、飛行経路情報として無人航空機１２から繰り返し送信される位置情報のうちから、現在位置を示す位置情報を取得してもよい。
そして、判定部６２は、Ｓ１０７に示す処理で取得された位置情報と、飛行経路情報と、に基づいて、無人航空機１２が飛行経路上にあるか否かを判定する（Ｓ１０８）。ここで例えば、Ｓ１０７に示す処理で取得された位置情報が示す、三次元座標値で表現される位置と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置と、の間の距離が特定されてもよい。そして特定される距離を示す値が所定の閾値以下である場合には、無人航空機１２が飛行経路上にあると判定されてもよい。
なお無人航空機１２が飛行経路上にあるか否かの判定方法は上述の例には限定されない。例えばＳ１０７に示す処理で取得された位置情報が示す、三次元座標値で表現される位置と、飛行経路情報に基づいて特定される飛行経路を表す線と、の間の距離が特定されてもよい。そして、特定される距離を示す値が所定の閾値以下である場合には、無人航空機１２が飛行経路上にあると判定されてもよい。
また水平方向（例えばＸ座標値及びＹ座標値）と、高さ方向（例えばＺ座標値）とで異なる閾値が用いられてもよい。例えば、Ｓ１０７に示す処理で取得された位置情報が示すＸＹ座標値で表される二次元平面上の点と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置のＸＹ座標値で表される二次元平面上の点とが特定されてもよい。そして当該２点間の距離が第１の距離として特定されてもよい。そして例えば、Ｓ１０７に示す処理で取得された位置情報が示すＺ座標値で表される一次元直線上の点と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置のＺ座標値で表される一次元直線上の点とが特定されてもよい。そして当該２点間の距離が第２の距離として特定されてもよい。そして第１の距離を示す値が第１の閾値以下であり、かつ、第２の距離を示す値が第２の閾値以下である場合に、無人航空機１２が飛行経路上にあると判定されてもよい。
無人航空機１２が飛行経路上にあると判定された場合は（Ｓ１０８：Ｙ）、表示制御部６０は、図７に示すような、Ｓ１０３に示す処理で生成された飛行経路画像に対して飛行経路が表れている位置が補正された画像を表示させる（Ｓ１０９）。
無人航空機１２が飛行経路上にないと判定された場合は（Ｓ１０８：Ｎ）、表示制御部６０は、Ｓ１０３に示す処理で生成された飛行経路画像を表示させる（Ｓ１１０）。Ｓ１０６に示す処理でＨＭＤ１０の装着者に無人航空機１２が飛行経路上にあるように視認されると判定された場合（Ｓ１０６：Ｎ）も同様に、表示制御部６０は、Ｓ１０３に示す処理で生成された飛行経路画像を表示させる（Ｓ１１０）。Ｓ１１０に示す処理は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部２６に表示させる処理の一例に相当する。
そしてＳ１０１に示す処理に戻る。
なお上述の処理例において、Ｓ１０４〜Ｓ１０６に示す処理は実行されなくてもよい。この場合に、Ｓ１０３に示す処理の後にＳ１０７に示す処理が実行されてもよい。
また補正が行われないのであれば、Ｓ１０４〜Ｓ１０９に示す処理は実行される必要はない。この場合に、Ｓ１０３に示す処理の後にＳ１１０に示す処理が実行されてもよい。
本実施形態において例えば、飛行経路情報に、選択可能な複数の飛行経路が示されていてもよい。また飛行経路情報には、現時点で選択可能な飛行経路と、将来的に選択可能となるが現時点では選択不可能な飛行経路（例えば現在は安全ではないが将来的に安全になる予定のエリアを通る飛行経路など）が示されていてもよい。また飛行経路情報には、１つの飛行経路から複数に分岐する飛行経路が示されていてもよい。
このように飛行経路情報に複数の飛行経路が示されている場合に、飛行経路画像生成部５８は、選択されている飛行経路と選択されていない飛行経路とを識別可能な飛行経路画像を生成してもよい。例えば選択されている飛行経路と選択されていない飛行経路とで視認性が異なる飛行経路画像が生成されてもよい。例えば現在選択されている飛行経路が選択されていない飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。また、現時点で選択可能な飛行経路が選択不可能な飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。
また飛行経路画像生成部５８は、無人航空機１２が飛行経路上にあるか否かに応じた態様の飛行経路画像を生成してもよい。例えば、無人航空機１２が飛行経路上にあると判定される場合に、無人航空機１２が飛行経路に沿って飛行していることを示すマーカを含む飛行経路画像が生成されてもよい。また無人航空機１２が飛行経路上にないと判定される場合に、無人航空機１２が飛行経路から外れて飛行していることを示すマーカを含む飛行経路画像が生成されてもよい。無人航空機１２が飛行経路に沿って飛行していることを示すマーカと無人航空機１２が飛行経路から外れて飛行していることを示すマーカとは、両方が配置可能であってもよいし片方が配置可能であってもよい。無人航空機１２が飛行経路に沿って飛行していることを示すマーカと無人航空機１２が飛行経路から外れて飛行していることを示すマーカとの両方が配置可能な場合には、色等が異なるようにしてこれらのマーカが識別可能とすることが望ましい。なお当該マーカは、実空間において現在時刻に無人航空機１２があるべき位置に対応付けられる、飛行経路画像内の位置に配置されてもよい。
ここで飛行経路画像生成部５８は、視認位置から視認方向を見た際の飛行経路が表現された画像として、飛行経路オブジェクト４２の像とともに上述のマーカを含む画像を生成してもよい。また飛行経路画像生成部５８は、視認位置から視認方向を見た際の飛行経路が表現された画像として、飛行経路オブジェクト４２の像を含まず上述のマーカだけを含む画像を生成してもよい。
また飛行経路情報取得部５０は、複数の無人航空機１２の飛行経路を示す飛行経路情報を取得してもよい。そして飛行経路画像生成部５８は、複数の無人航空機１２の飛行経路が表現された飛行経路画像を生成してもよい。
ここで例えば、飛行経路画像生成部５８は、複数の無人航空機１２のそれぞれの飛行経路の視認性が異なる飛行経路画像を生成してもよい。例えば飛行経路画像生成部５８が、ＨＭＤ１０の装着者である操縦者、すなわち、飛行経路画像を見る操縦者が操縦している無人航空機１２の飛行経路と他の無人航空機１２の飛行経路とを識別可能な飛行経路画像を生成してもよい。
例えば、ＨＭＤ１０の装着者である操縦者が操縦している無人航空機１２の飛行経路が他の無人航空機１２の飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。あるいはＨＭＤ１０の装着者である操縦者が操縦している無人航空機１２の飛行経路が他の無人航空機１２の飛行経路よりも視認性が低い飛行経路画像が生成されてもよい。このようにすればＨＭＤ１０の装着者は、自らが操縦する無人航空機１２と他の無人航空機１２との接触の可能性を予期できる。そのため、自らが操縦する無人航空機１２と他の無人航空機１２とが接触する可能性を下げることができる。
また、無人航空機１２が離陸する際に、ＨＭＤ１０が備えるカメラにより撮影される視野範囲画像内における無人航空機１２の位置を検出して、無人航空機１２の位置とＨＭＤ１０の位置との関係が推定されるようにしてもよい。このようにすれば、無人航空機１２の離陸地点を基準とした座標系におけるＨＭＤ１０の装着者の位置をより高精度に推定できる。
また飛行経路画像生成部５８は、視認位置から見て無人航空機１２が飛行経路よりも手前にあるか奥にあるかに応じた飛行経路画像を生成してもよい。
例えば、ＨＭＤ１０が備えるカメラが、無人航空機１２までの距離が測定可能な測距部を備えたカメラであるとする。この場合に、当該測距部により測定される無人航空機１２までの距離と、飛行経路情報と、に基づいて、視認位置から見て無人航空機１２が飛行経路よりも手前にあるか奥にあるかが判定されてもよい。そして視認位置から見て無人航空機１２が飛行経路よりも手前にある場合に、飛行経路が赤で表現された飛行経路画像が生成されてもよい。また、視認位置から見て無人航空機１２が飛行経路よりも奥にある場合に、飛行経路が黄で表現された飛行経路画像が生成されてもよい。また視認位置から見た際の無人航空機１２までの距離と飛行経路までの距離との差を示す値が所定値よりも小さい場合に、飛行経路が青で表現された飛行経路画像が生成されてもよい。
また例えば、無人航空機１２が全方位カメラを備えている場合などにおいて、当該カメラが撮影する画像に対して画像認識を実行することで、障害物等のオブジェクトの位置が特定されてもよい。そして障害物や人物等のオブジェクトと飛行経路とが交差するか否かに応じた飛行経路画像が生成されるようにしてもよい。例えば、障害物や人物等のオブジェクトと飛行経路とが交差する場合には赤色の飛行経路画像が生成され、そうでない場合は青色の飛行経路画像が生成されるようにしてもよい。また例えば、障害物等のオブジェクトと交差する部分が赤くその他の部分が青い飛行経路画像が生成されてもよい。
なお、本発明は上述の実施形態に限定されるものではない。
例えば以上の説明ではＨＭＤ１０は光学透過型（オプティカルシースルー型）のＨＭＤ１０であることとしたが、本発明は、ＨＭＤ１０が映像透過型（ビデオシースルー型）のＨＭＤ１０の場合であっても適用可能である。この場合、実空間位置方向特定部５４が、映像透過型のＨＭＤ１０が備えるカメラの位置に対応付けられる視認位置、及び、当該カメラの撮影方向に対応付けられる視認方向を特定してもよい。当該カメラは例えば、ＨＭＤ１０の前方を撮影するカメラである。そして飛行経路画像生成部５８が、当該カメラにより撮影される画像に当該視認位置から当該視認方向を見た際の飛行経路が重畳された飛行経路画像を生成してもよい。例えば映像透過型のＨＭＤ１０が備えるカメラにより撮影される画像に図４に示す飛行経路画像が重畳された画像が生成されてもよい。このようにして生成される飛行経路画像は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で実空間の様子と飛行経路とが表現された画像の一例であるといえる。そして表示制御部６０は、当該飛行経路画像を映像透過型のＨＭＤ１０が備える表示部２６に表示させてもよい。こうすれば、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像が表示部２６に表示されることとなる。
また本発明の適用範囲はＨＭＤ１０にも限定されない。例えば、実空間に配置されたカメラが撮影する画像と図４に示す飛行経路画像が重畳された画像が表示される、ＨＭＤ１０ではないディスプレイを、無人航空機１２の操縦者や監督者が視認する場面についても本発明は適用可能である。なお当該カメラと当該ディスプレイとは分離されていても構わない。この場合に例えば、実空間位置方向特定部５４が、当該カメラの位置に対応付けられる視認位置、及び、当該カメラの撮影方向に対応付けられる視認方向を特定してもよい。そして飛行経路画像生成部５８が、当該カメラにより撮影される画像に当該視認位置から当該視認方向を見た際の飛行経路が重畳された画像を生成してもよい。そして表示制御部６０は、ＨＭＤ１０ではないディスプレイに当該飛行経路画像を表示させてもよい。
また本実施形態において、図８に示す機能の一部又は全部が、無人航空機１２、運行管理システム１４、又は、操縦端末１６において実装されてもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (18)

  1. 実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
    前記実空間における視認位置及び視認方向を特定する特定手段と、
    前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
    前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、
    を含むことを特徴とする飛行経路案内システム。
  2. 前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定する、
    ことを特徴とする請求項１に記載の飛行経路案内システム。
  3. 前記特定手段は、前記実空間を撮影するカメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、
    前記画像生成手段は、前記カメラにより撮影される画像に前記視認位置から前記視認方向を見た際の前記飛行経路が重畳された前記画像を生成する、
    ことを特徴とする請求項１に記載の飛行経路案内システム。
  4. 前記特定手段は、映像透過型のヘッドマウントディスプレイが備える前記カメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、
    前記表示制御手段は、前記ヘッドマウントディスプレイが備える前記表示部に前記画像を表示させる、
    ことを特徴とする請求項３に記載の飛行経路案内システム。
  5. 前記ヘッドマウントディスプレイは、前記無人航空機の操縦者の頭部に装着されている、
    ことを特徴とする請求項２又は４に記載の飛行経路案内システム。
  6. 前記飛行経路を表す仮想オブジェクトが配置された仮想空間を生成する仮想空間生成手段、をさらに含み、
    前記特定手段は、さらに、前記実空間における前記視認位置に対応付けられる前記仮想空間における視認位置、及び、前記実空間における前記視認方向に対応付けられる前記仮想空間における視認方向を特定し、
    前記画像生成手段は、前記仮想空間における前記視認位置から前記仮想空間における前記視認方向を見た様子を表す前記画像を生成する、
    ことを特徴とする請求項１から５のいずれか一項に記載の飛行経路案内システム。
  7. 前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する、
    ことを特徴とする請求項１から６のいずれか一項に記載の飛行経路案内システム。
  8. 前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段、をさらに含み、
    前記表示制御手段は、前記判定手段による判定の結果に応じて、前記飛行経路が表れている位置が補正された画像を表示させるか否かを制御する、
    ことを特徴とする請求項１から６のいずれか一項に記載の飛行経路案内システム。
  9. 前記判定手段は、計測される前記無人航空機の位置と前記飛行経路情報とに基づいて、前記無人航空機が前記飛行経路上にあるか否かを判定する、
    ことを特徴とする請求項８に記載の飛行経路案内システム。
  10. 前記飛行経路情報には、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が示されており、
    前記画像生成手段は、前記時刻がさらに表現された前記画像を生成する、
    ことを特徴とする請求項１から９のいずれか一項に記載の飛行経路案内システム。
  11. 前記画像生成手段は、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成する、
    ことを特徴とする請求項１０に記載の飛行経路案内システム。
  12. 前記飛行経路情報には、選択可能な複数の前記飛行経路が示されており、
    前記画像生成手段は、選択されている前記飛行経路と選択されていない前記飛行経路とを識別可能な前記画像を生成する、
    ことを特徴とする請求項１から１１のいずれか一項に記載の飛行経路案内システム。
  13. 前記画像生成手段は、前記飛行経路情報が示す、前記無人航空機の予定の飛行経路、及び、前記無人航空機の実際の飛行経路のうちの少なくとも一方が表現された前記画像を生成する、
    ことを特徴とする請求項１から１２のいずれか一項に記載の飛行経路案内システム。
  14. 前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、
    前記画像生成手段は、前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成する、
    ことを特徴とする請求項１から１３のいずれか一項に記載の飛行経路案内システム。
  15. 前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成する、
    ことを特徴とする請求項１４に記載の飛行経路案内システム。
  16. 前記無人航空機は、自律飛行機能を備える、
    ことを特徴とする請求項１から１５のいずれか一項に記載の飛行経路案内システム。
  17. 実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
    前記実空間における視認位置及び視認方向を特定する特定手段と、
    前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
    前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、
    を含むことを特徴とする飛行経路案内装置。
  18. 実空間における無人航空機の飛行経路を示す飛行経路情報を取得するステップと、
    前記実空間における視認位置及び視認方向を特定するステップと、
    前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成するステップと、
    前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させるステップと、
    を含むことを特徴とする飛行経路案内方法。
JP2020547431A 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 Active JP6890759B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043028 WO2020105147A1 (ja) 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法

Publications (2)

Publication Number Publication Date
JPWO2020105147A1 true JPWO2020105147A1 (ja) 2021-02-15
JP6890759B2 JP6890759B2 (ja) 2021-06-18

Family

ID=70774706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547431A Active JP6890759B2 (ja) 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法

Country Status (4)

Country Link
US (1) US20210118311A1 (ja)
JP (1) JP6890759B2 (ja)
CN (1) CN112204351A (ja)
WO (1) WO2020105147A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11912430B2 (en) 2022-04-28 2024-02-27 BETA Technologies, Inc. Systems and methods for displaying a pilot display for an aircraft

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251600A (ja) * 1996-03-18 1997-09-22 Commuter Herikoputa Senshin Gijutsu Kenkyusho:Kk 航空機衝突防止装置
JP2003076260A (ja) * 2001-09-06 2003-03-14 Suzuki Motor Corp 運転技能修得装置
JP2004113325A (ja) * 2002-09-25 2004-04-15 Taito Corp 移動体操縦ゲームトレーニング方法
JP2007267485A (ja) * 2006-03-28 2007-10-11 Chugoku Electric Power Co Inc:The 無人ヘリコプタ及びこれに搭載される切断装置
JP2010509946A (ja) * 2006-11-09 2010-04-02 パルロ ビデオゲームシステムのための表示の調整方法
JP2011215856A (ja) * 2010-03-31 2011-10-27 Ns Solutions Corp 情報処理システム及び情報処理方法
JP2013235367A (ja) * 2012-05-08 2013-11-21 Nec Corp フライトパス表示システム、方法及びプログラム
JP2016085613A (ja) * 2014-10-27 2016-05-19 日本無線株式会社 運航状況表示システム及び運航状況表示方法
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4033922B2 (ja) * 1995-10-02 2008-01-16 株式会社セガ 移動体相互間の仮想時間差測定方法、仮想距離測定方法及びそれらを実行する測定装置
JP4318834B2 (ja) * 2000-03-29 2009-08-26 株式会社バンダイナムコゲームス ゲーム装置及び情報記憶媒体
CN101750086B (zh) * 2008-11-28 2013-02-27 财团法人工业技术研究院 导航信息修正方法及其导航装置
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
FR3025919B1 (fr) * 2014-09-12 2021-03-19 Thales Sa Interface homme-machine pour la gestion de la trajectoire d'un aeronef
JP6662720B2 (ja) * 2015-07-17 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251600A (ja) * 1996-03-18 1997-09-22 Commuter Herikoputa Senshin Gijutsu Kenkyusho:Kk 航空機衝突防止装置
JP2003076260A (ja) * 2001-09-06 2003-03-14 Suzuki Motor Corp 運転技能修得装置
JP2004113325A (ja) * 2002-09-25 2004-04-15 Taito Corp 移動体操縦ゲームトレーニング方法
JP2007267485A (ja) * 2006-03-28 2007-10-11 Chugoku Electric Power Co Inc:The 無人ヘリコプタ及びこれに搭載される切断装置
JP2010509946A (ja) * 2006-11-09 2010-04-02 パルロ ビデオゲームシステムのための表示の調整方法
JP2011215856A (ja) * 2010-03-31 2011-10-27 Ns Solutions Corp 情報処理システム及び情報処理方法
JP2013235367A (ja) * 2012-05-08 2013-11-21 Nec Corp フライトパス表示システム、方法及びプログラム
JP2016085613A (ja) * 2014-10-27 2016-05-19 日本無線株式会社 運航状況表示システム及び運航状況表示方法
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法

Also Published As

Publication number Publication date
WO2020105147A1 (ja) 2020-05-28
US20210118311A1 (en) 2021-04-22
CN112204351A (zh) 2021-01-08
JP6890759B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
US9158305B2 (en) Remote control system
US11046429B2 (en) Head mounted display and method for maneuvering vehicle
EP3596588B1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
JP2018165066A (ja) 頭部装着型表示装置およびその制御方法
WO2017169841A1 (ja) 表示装置および表示制御方法
JP2019039892A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
US20230145665A1 (en) Multi-platform integrated display
JP6831949B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
JP6890759B2 (ja) 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
US10557718B2 (en) Auxiliary control method and system for unmanned aerial vehicle
US11409280B1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
JP6821864B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
JP7367922B2 (ja) 操縦支援システム
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR102181809B1 (ko) 시설물 점검 장치 및 방법
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
JP2021091276A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
WO2022175385A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
KR20200074023A (ko) 상대 항법 정보를 활용한 증강 현실 기반 무인 이동체 제어 방법 및 장치
CN117693663A (zh) 控制方法、头戴式显示设备、控制系统及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200910

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210421

R150 Certificate of patent or registration of utility model

Ref document number: 6890759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150