JP6831949B2 - 表示制御システム、表示制御装置及び表示制御方法 - Google Patents

表示制御システム、表示制御装置及び表示制御方法 Download PDF

Info

Publication number
JP6831949B2
JP6831949B2 JP2020547432A JP2020547432A JP6831949B2 JP 6831949 B2 JP6831949 B2 JP 6831949B2 JP 2020547432 A JP2020547432 A JP 2020547432A JP 2020547432 A JP2020547432 A JP 2020547432A JP 6831949 B2 JP6831949 B2 JP 6831949B2
Authority
JP
Japan
Prior art keywords
unmanned aerial
aerial vehicle
display control
display
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020547432A
Other languages
English (en)
Other versions
JPWO2020110292A1 (ja
Inventor
満 中澤
満 中澤
裕章 岩瀬
裕章 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of JPWO2020110292A1 publication Critical patent/JPWO2020110292A1/ja
Application granted granted Critical
Publication of JP6831949B2 publication Critical patent/JP6831949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示制御システム、表示制御装置及び表示制御方法に関する。
無人航空機を飛行させる際には、当該無人航空機やその周囲の安全を確保するため、原則として、当該無人航空機の操縦者が当該無人航空機を目視している必要がある。そして無人航空機の操縦者が当該無人航空機を視認可能でない状況においては、例えば当該無人航空機が備えたカメラが周囲を撮影する画像（以下、航空機撮影画像と呼ぶ。）などによって無人航空機の操縦者が当該無人航空機の周囲の状況を把握できるようにすることが求められる。
航空機撮影画像を当該無人航空機の操縦者に提示する技術の一例として、特許文献１には、無人ヘリコプタに取り付けられた全方位カメラにより撮影された全方位画像から作成された操縦用画像を操縦者に提示する遠隔操縦システムが記載されている。
また特許文献２には、操縦者の頭部に装着されるヘッドマウントディスプレイに、無人飛行体のカメラによって撮影された映像が表示されることが記載されている。
特開２００３−２６７２９５号公報 特開２０１７−１１９５０１号公報
無人航空機の操縦者が当該無人航空機を視認可能な状況においては、目視を妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機の操縦者が当該無人航空機を視認可能でない状況になったら当該抑制は解除される必要がある。
この点、特許文献１に記載の技術では、上述の操縦用画像は操縦者に常に提示されてしまう。また特許文献２に記載の技術においても、無人飛行体のカメラによって撮影された映像は、ヘッドマウントディスプレイに表示されたままとなる。
本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、無人航空機が備えたカメラが撮影する画像の表示状態を適切に制御できる表示制御システム、表示制御装置及び表示制御方法を提供することにある。
上記課題を解決するために、本発明に係る表示制御システムは、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。
本発明の一態様では、前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する。
あるいは、前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する。
また、本発明の一態様では、前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する。
また、本発明の一態様では、前記判定手段は、前記航空機撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する。
また、本発明の一態様では、前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する。
また、本発明の一態様では、前記表示制御手段は、前記判定手段による判定結果に応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。
また、本発明の一態様では、前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定し、前記表示制御手段は、前記判定手段による判定結果に応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。
また、本発明の一態様では、前記操縦者により前記無人航空機が視認可能であって、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む。
また、本発明に係る表示制御装置は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。
また、本発明に係る表示制御方法は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定するステップと、前記判定するステップでの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、を含む。
本発明の一実施形態に係る表示制御システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係る無人航空機の構成の一例を示す図である。 無人航空機の位置と操縦者の位置との関係の一例を模式的に示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る表示制御システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る表示制御システム１には、ヘッドマウントディスプレイ（ＨＭＤ）１０、無人航空機１２、及び、操縦端末１４が含まれる。
図１に示すように、操縦端末１４と無人航空機１２とは互いに通信可能となっている。またＨＭＤ１０と操縦端末１４とは互いに通信可能となっている。なおＨＭＤ１０と無人航空機１２とは、操縦端末１４を介さずに直接互いに通信可能でも構わない。
ＨＭＤ１０は、無人航空機１２の操縦者が頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るＨＭＤ１０は、映像透過型（ビデオシースルー型）であることとする。そのため、無人航空機１２の操縦者は、後述するカメラ部３０が撮影する画像（以下、操縦者撮影画像と呼ぶ。）を通して、ＨＭＤ１０を装着している状態で実空間の様子を視認可能である。
本実施形態に係るＨＭＤ１０には、例えば図２Ａに示すように、プロセッサ２０、記憶部２２、通信部２４、表示部２６、センサ部２８、カメラ部３０が含まれる。なお、ＨＭＤ１０に、スピーカなどの音声出力部が含まれていてもよい。
プロセッサ２０は、例えばＨＭＤ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部２２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。
通信部２４は、例えば無線ＬＡＮモジュールやブルートゥース（登録商標）モジュールなどの通信インタフェースである。
表示部２６は、ＨＭＤ１０の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部２６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部２６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
センサ部２８は、例えばＧＰＳ（Global Positioning System）等のＧＮＳＳ（Global Navigation Satellite System）受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部２８は、ＨＭＤ１０の位置や姿勢を計測可能である。センサ部２８は、ＨＭＤ１０の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ２０に出力してもよい。
カメラ部３０は、ＨＭＤ１０の装着者の視野の範囲の画像である操縦者撮影画像を撮影する１又は複数のカメラを含むデバイスである。カメラ部３０は、所定のサンプリングレートで操縦者撮影画像を撮影してもよい。
無人航空機１２は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機（いわゆるドローン）である。本実施形態に係る無人航空機１２が自律飛行機能を備えていてもよい。
本実施形態に係る無人航空機１２には、例えば図２Ｂに示すように、プロセッサ４０、記憶部４２、通信部４４、センサ部４６、カメラ部４８が含まれる。なお、無人航空機１２には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。
プロセッサ４０は、例えば無人航空機１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部４２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部４２には、プロセッサ４０によって実行されるプログラムなどが記憶される。
通信部４４は、例えば無線ＬＡＮモジュールやブルートゥースモジュールなどの通信インタフェースである。
センサ部４６は、例えばＧＰＳ等のＧＮＳＳ受信機、気圧センサ、ＬＩＤＡＲ(Light Detection and Ranging)、音波センサ等の高度センサ、慣性センサ、風速センサなどを含むデバイスである。センサ部４６は、無人航空機１２の位置や姿勢を計測可能である。センサ部４６は、無人航空機１２の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ４０に出力してもよい。また通信部４４が、当該計測結果を所定のサンプリングレートでＨＭＤ１０に送信してもよい。
カメラ部４８は、例えば無人航空機１２の周囲を撮影する１又は複数のカメラを含むデバイスである。カメラ部４８には、例えば無人航空機１２の周囲を全方位にわたって撮影可能な全方位カメラが含まれていてもよい。以下、無人航空機１２のカメラ部４８が撮影する画像を航空機撮影画像と呼ぶこととする。カメラ部４８は、所定のサンプリングレートで航空機撮影画像を撮影してもよい。また通信部４４が、所定のサンプリングレートで航空機撮影画像をＨＭＤ１０に送信してもよい。
本実施形態に係る操縦端末１４は、例えば無人航空機１２を操縦するための機器である。
本実施形態では例えば、原則として、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像がＨＭＤ１０の表示部２６に表示される。例えば、図３に示す位置Ｐ１に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ１は、位置Ｐ０からの距離が所定の距離より短く、無人航空機１２は操縦者撮影画像により視認可能であることとする。この場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像がＨＭＤ１０の表示部２６に表示される。そのため無人航空機１２の操縦者は、表示部２６に表示される操縦者撮影画像を介して無人航空機１２を視認可能である。なおこの場合は、無人航空機１２のカメラ部４８が撮影する航空機撮影画像は表示部２６に表示されない。
一方、図３に示す位置Ｐ２に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ２は、位置Ｐ０からの距離が所定の距離よりも長く、無人航空機１２は操縦者撮影画像により視認可能でないこととする。この場合は、無人航空機１２のカメラ部４８が撮影する航空機撮影画像が表示部２６に表示される。そのため無人航空機１２の操縦者は、表示部２６に表示される航空機撮影画像を介して無人航空機１２の周囲を視認可能である。なおこの場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像は表示部２６に表示されない。
また、図３に示す位置Ｐ３に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ３は、位置Ｐ０からの距離が所定の距離より短いが、位置Ｐ３と位置Ｐ０との間に存在する木５０などの障害物に阻まれ、位置Ｐ０において無人航空機１２は操縦者撮影画像により視認可能でないこととする。この場合も、無人航空機１２のカメラ部４８が撮影する航空機撮影画像が表示部２６には表示される。そのため無人航空機１２の操縦者は、表示部２６に表示される航空機撮影画像を介して無人航空機１２の周囲を視認可能である。なおこの場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像は表示部２６に表示されない。
なお、ＨＭＤ１０の表示部２６に操縦者撮影画像と航空機撮影画像の両方が表示されるようにしてもよい。この場合に例えば、図３に示す位置Ｐ１に無人航空機１２が存在している場合は、操縦者撮影画像が航空機撮影画像よりも大きく表示されるようにしてもよい。あるいは表示部２６の全画面に操縦者撮影画像が表示され、表示部２６の一部に航空機撮影画像がワイプ表示されるようにしてもよい。
また例えば、図３に示す位置Ｐ２あるいは位置Ｐ３に無人航空機１２が存在している場合は、航空機撮影画像が操縦者撮影画像よりも大きく表示されるようにしてもよい。あるいは表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるようにしてもよい。
無人航空機１２を飛行させる際には、無人航空機１２やその周囲の安全を確保するため、原則として、無人航空機１２の操縦者が無人航空機１２を目視している必要がある。そして無人航空機１２の操縦者が無人航空機１２を視認可能でない状況においては、航空機撮影画像などによって無人航空機１２の操縦者が無人航空機１２の周囲の状況を把握できるようにすることが求められる。また仮に無人航空機１２が自律飛行可能な場合であっても、操縦者が無人航空機１２を視認し、状況に応じて自律飛行から切り替えて操縦者が操縦を行うことでより安全を確保できる。
無人航空機１２の操縦者が無人航空機１２を視認可能な状況においては、目視を妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機１２の操縦者が無人航空機１２を視認可能でない状況になったら当該抑制は解除される必要がある。
本実施形態では、無人航空機１２の操縦者が当該無人航空機１２を視認可能な状況であるか否かが随時判定される。そして無人航空機１２の操縦者が当該無人航空機１２を視認可能な状況であるか否かに応じて、表示部２６における航空機撮影画像の表示状態が制御される。このようにして本実施形態によれば、航空機撮影画像の表示状態を適切に制御できる。
なお無人航空機１２を操縦者が視認可能な間は目視で操縦し、無人航空機１２が視認可能でなくなったら操縦者がＨＭＤ１０を装着して航空機撮影画像を見ながら操縦を行うという運用も考えられる。しかしこの場合操縦者にとってＨＭＤ１０を着脱するといった余計な作業が発生し、また、操縦者が操縦できない期間が発生してしまう。本実施形態によればこのような運用を行う必要がない。
以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。
図４は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。
図４に示すように、本実施形態に係るＨＭＤ１０には、機能的には例えば、センシングデータ取得部６０、判定部６２、表示制御部６４、案内部６６、が含まれる。センシングデータ取得部６０は、プロセッサ２０、通信部２４、センサ部２８、及び、カメラ部３０を主として実装される。判定部６２は、プロセッサ２０を主として実装される。表示制御部６４、案内部６６は、プロセッサ２０及び表示部２６を主として実装される。
以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給されてもよい。
センシングデータ取得部６０は、本実施形態では例えば、無人航空機１２及び当該無人航空機１２の操縦者のうちの少なくとも一方に関するセンシングデータを取得する。センシングデータ取得部６０は、例えば、ＨＭＤ１０のセンサ部２８や無人航空機１２のセンサ部４６による計測結果を示すセンシングデータを取得してもよい。またセンシングデータ取得部６０が取得するセンシングデータに、飛行中の無人航空機１２が備えるカメラ部４８により撮影される航空機撮影画像が含まれてもよい。またセンシングデータ取得部６０が取得するセンシングデータに、無人航空機１２の操縦者の頭部に配置されたカメラ部３０により撮影される操縦者撮影画像が含まれてもよい。
またセンシングデータ取得部６０は、所定のサンプリングレートで生成される航空機撮影画像及び操縦者撮影画像を含むセンシングデータを、所定のサンプリングレートで取得してもよい。
判定部６２は、本実施形態では例えば、無人航空機１２及び無人航空機１２の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機１２が視認可能であるか否かを判定する。ここでは例えば、センシングデータ取得部６０により取得されるセンシングデータに基づいて、操縦者により無人航空機１２が視認可能であるか否かが判定される。
また本実施形態において、判定部６２が、無人航空機１２と操縦者との間の距離に基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。ここでＨＭＤ１０の位置を操縦者の位置とみなしてもよい。そして判定部６２が、無人航空機１２の位置とＨＭＤ１０の位置との間の距離に基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。
また、判定部６２が、操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、当該操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。ここで例えば、センシングデータ取得部６０により取得される、ＨＭＤ１０が備えるカメラ部３０により撮影される操縦者撮影画像に基づいて、当該操縦者により無人航空機１２が視認可能であるか否かが判定されてもよい。また例えば、操縦者撮影画像が白飛びしているか否かに基づいて、操縦者により無人航空機１２が視認可能であるか否かが判定されてもよい。
また、判定部６２が、航空機撮影画像に基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。例えば、判定部６２が、センシングデータ取得部６０により取得される航空機撮影画像からＨＭＤ１０の像が検出されるか否かに基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。
また判定部６２が、航空機撮影画像から、ＨＭＤ１０の像の代わりに、あるいは、ＨＭＤ１０の像に加えて、ＨＭＤ１０の操縦者の像が検出されるか否かに基づいて、操縦者により無人航空機１２が視認可能であるか否かを判定してもよい。例えば操縦者が、無人航空機１２が存在する向きとは逆の向きを向いている際には、ＨＭＤ１０はカメラ部４８から見た際に操縦者の頭部に隠れた死角にある可能性が高い。このような場合には、判定部６２は、操縦者の像の方がＨＭＤ１０の像よりも航空機撮影画像から検出しやすいものと思われる。
また判定部６２は、操縦者により無人航空機１２が視認可能であると判定された場合、当該操縦者が無人航空機１２を目視しているか否かを、さらに判定してもよい。例えば、判定部６２は、カメラ部３０の視野（Field of View (FOV)）の範囲に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。
表示制御部６４は、本実施形態では例えば、判定部６２による判定結果に応じて、ＨＭＤ１０が備える表示部２６における航空機撮影画像の表示状態を制御する。表示制御部６４は、判定部６２による判定結果に応じて、表示部２６に航空機撮影画像を表示させるか否かを制御してもよい。なお表示制御部６４が、無人航空機１２の速度、無人航空機１２の位置（緯度、経度及び高度など）、操縦者から無人航空機１２までの距離、目的地までの距離、バッテリー残量、などといった無人航空機１２に関する情報を表示させてもよい。
案内部６６は、本実施形態では例えば、操縦者により無人航空機１２が視認可能であって、操縦者が無人航空機１２を目視していない場合に、無人航空機１２を目視できるよう操縦者を案内する案内情報を操縦者に提供する。例えば、判定部６２によって、操縦者により無人航空機１２が視認可能であり、かつ、当該操縦者が無人航空機１２を目視していないと判定される場合に、案内情報が操縦者に提供されてもよい。ここで例えば案内部６６が、無人航空機１２が存在する向きを示す矢印の画像などといった案内画像が重畳された操縦者撮影画像を生成してもよい。
なお本実施形態における操縦者とは、無人航空機１２を操縦可能な状態にある者であればよく、操縦者が無人航空機１２を実際に操縦している必要はない。例えば無人航空機１２が自律飛行機能を備えており自律飛行している状態と自律飛行していない状態とが切替可能な場合に、無人航空機１２が自律飛行をしている際において、操縦端末１４を把持している者は、本実施形態における操縦者に相当することとなる。
以下、本実施形態に係るＨＭＤ１０で実行される処理の流れの一例を、図５に示すフロー図を参照しながら説明する。
また本実施形態では例えば、上述の所定のサンプリングレートに相当する所定のフレームレートで表示部２６に画像が表示されることとする。そして当該所定のフレームレートでＳ１０１〜Ｓ１０８に示す処理が繰り返し実行されることとする。
まず、センシングデータ取得部６０が、当該フレームにおけるセンシングデータを取得する（Ｓ１０１）。当該センシングデータには、当該フレームにおける航空機撮影画像、及び、当該フレームにおける操縦者撮影画像が含まれる。
そして、判定部６２が、Ｓ１０１に示す処理で取得されたセンシングデータに基づいて、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であるか否かを判定する（Ｓ１０２）。ここでＨＭＤ１０の位置として、センサ部２８により計測される位置や、センサ部２８による計測結果に基づいて特定されるカメラ部３０の位置などが用いられてもよい。また無人航空機１２の位置として、センサ部４６により計測される位置や、センサ部４６による計測結果に基づいて特定されるカメラ部４８の位置などが用いられてもよい。
また上述の所定の距離は、表示部２６の解像度や画角などの設計値や、カメラ部３０の解像度や画角などの設計値などに基づいて予め決定されていてもよい。また、上述の所定の距離は、三次元空間における距離であってもよいし、水平面上における、ＨＭＤ１０を当該水平面に投影した位置と無人航空機１２を当該水平面に投影した位置との間の距離であってもよい。
また水平方向と高さ方向とで上述の所定の距離が異なっていてもよい。例えば水平面上における、ＨＭＤ１０を当該水平面に投影した位置と無人航空機１２を当該水平面に投影した位置との間の距離が第１の距離として特定されてもよい。また、鉛直線上における、ＨＭＤ１０を当該鉛直線に投影した位置と無人航空機１２を当該鉛直線に投影した位置との間の距離が第２の距離として特定されてもよい。そして第１の距離が第１の所定の距離以下であり、かつ、第２の距離を示す値が第２の所定の距離以下である場合に、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であると判定されてもよい。そしてそうでない場合に、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下ではないと判定されてもよい。
Ｓ１０２に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であると判定されたとする（Ｓ１０２：Ｙ）。この場合、判定部６２が、Ｓ１０１に示す処理で取得された航空機撮影画像からＨＭＤ１０の像が検出されるか否かを判定する（Ｓ１０３）。ここで公知の画像認識技術を用いて当該検出が行われてもよい。
Ｓ１０３に示す処理で、航空機撮影画像からＨＭＤ１０の像が検出されると判定されたとする（Ｓ１０３：Ｙ）。この場合、判定部６２は、Ｓ１０１に示す処理で取得された操縦者撮影画像が白飛びしているか否かを判定する（Ｓ１０４）。ここで公知の画像処理技術を用いて当該判定が行われてもよい。
Ｓ１０４に示す処理で、操縦者撮影画像が白飛びしていると判定されたとする（Ｓ１０４：Ｙ）。この場合、表示制御部６４が、Ｓ１０１に示す処理で取得された航空機撮影画像を表示部２６に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。Ｓ１０２に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下でないと判定された場合（Ｓ１０２：Ｎ）も同様に、表示制御部６４が、当該航空機撮影画像を表示部２６に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。また、Ｓ１０３に示す処理で航空機撮影画像からＨＭＤ１０の像が検出されないと判定された場合（Ｓ１０３：Ｎ）も同様に、表示制御部６４が、当該航空機撮影画像を表示部２６に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。
Ｓ１０４に示す処理で、操縦者撮影画像が白飛びしていないと判定されたとする（Ｓ１０４：Ｎ）。この場合、判定部６２が、無人航空機１２がカメラ部３０の視野の範囲内であるか否かを判定する（Ｓ１０６）。
ここでカメラ部３０の視野の範囲とは、例えば、操縦者の頭部の姿勢、操縦者の位置、及び、カメラ部３０の画角等の設計値に基づいて特定される三次元空間内の錐台が占める範囲を指す。なお操縦者の頭部の姿勢、及び、操縦者の位置は、例えば、センサ部２８による計測結果に基づいて特定される。
なおＳ１０６に示す処理におけるカメラ部３０の視野の範囲とは、障害物の影響を考慮しない視野の範囲を意味する。そのため、例えば、図３に示す位置Ｐ３に無人航空機１２が存在しており、操縦者が位置Ｐ０から位置Ｐ３を向いている際には、無人航空機１２がカメラ部３０の視野の範囲内であると判定される。
なお、判定部６２は、上述のようにカメラ部３０の視野の範囲を特定して上述の判定を行う代わりに、操縦者撮影画像から無人航空機１２を検出できるか否かに基づいて、無人航空機１２が視野の範囲内であるか否かを判定してもよい。あるいは、判定部６２は、上述のようにして特定されるカメラ部３０の視野の範囲、及び、操縦者撮影画像から無人航空機１２を検出できるか否かに基づいて、無人航空機１２が視野の範囲内であるか否かを判定してもよい。ここで、操縦者撮影画像からの無人航空機１２の検出は公知の画像認識技術を用いて行われてもよい。
Ｓ１０６に示す処理で無人航空機１２がカメラ部３０の視野の範囲内であると判定されたとする（Ｓ１０６：Ｙ）。この場合、表示制御部６４が、Ｓ１０１に示す処理で取得された操縦者撮影画像を表示部２６に表示させて（Ｓ１０７）、Ｓ１０１に示す処理に戻る。
一方、Ｓ１０６に示す処理で無人航空機１２がカメラ部３０の視野の範囲内でないと判定されたとする（Ｓ１０６：Ｎ）。この場合、表示制御部６４が、無人航空機１２が視認可能となるよう操縦者を案内する案内画像が重畳された操縦者撮影画像を表示部２６に表示させて（Ｓ１０８）、Ｓ１０１に示す処理に戻る。
Ｓ１０８に示す処理では、例えば、案内部６６が、カメラ部３０の視野の範囲と無人航空機１２の位置とに基づいて、無人航空機１２が存在する向きを特定してもよい。この向きは例えば、無人航空機１２がカメラ部３０の視野の範囲内となるようにするためにカメラ部３０を動かすべき向きに相当する。そして案内部６６が、特定される向きを表す矢印の画像である案内画像が重畳された操縦者撮影画像を生成してもよい。例えば、カメラ部３０の向きに対して無人航空機１２が左上に存在する場合は、左上を向いた矢印の画像である案内画像が重畳された操縦者撮影画像が生成されてもよい。そして表示制御部６４が、このようにして生成された案内画像が重畳された操縦者撮影画像を表示部２６に表示させてもよい。
上述の処理例では、Ｓ１０２〜Ｓ１０４に示す処理において、操縦者により当該無人航空機１２が視認可能であるか否かが判定されている。ここでは例えば、ＨＭＤ１０を適切な方向に向けた場合に無人航空機１２の像を含む操縦者撮影画像を操縦者が目視できる状況であれば、操縦者により当該無人航空機１２が視認可能な状態であると判定される。一方、ＨＭＤ１０をどの方向に向けても無人航空機１２の像を含む操縦者撮影画像を操縦者が目視できない状況であれば、操縦者により当該無人航空機１２が視認可能な状態でないと判定される。
上述の処理例では一般的に、Ｓ１０２に示す処理よりもＳ１０３に示す処理の方が、処理負荷が高い。またＳ１０２に示す処理よりもＳ１０４に示す処理の方が、処理負荷が高い。そのため、Ｓ１０２に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下でないと判定された場合は、処理負荷が高い処理が実行されることなく航空機撮影画像を表示部２６に表示させることが可能となる。
なお、Ｓ１０２〜Ｓ１０４に示す処理の順序は図５に示すものに限定されない。Ｓ１０２〜Ｓ１０４に示す処理が図５に示すものとは異なる順序で実行されてもよい。またＳ１０２〜Ｓ１０４に示す処理がすべて実行される必要はない。
またＳ１０２〜Ｓ１０４に示す処理は、操縦者により当該無人航空機１２が視認可能であるか否かを判定する処理の一例にすぎず、操縦者により当該無人航空機１２が視認可能であるか否かを判定する処理はＳ１０２〜Ｓ１０４に示す処理には限定されない。
またＳ１０６〜Ｓ１０８に示す処理が実行されなくてもよい。この場合に例えば、Ｓ１０４に示す処理で操縦者撮影画像が白飛びしていないと判定された際に、表示制御部６４が、操縦者撮影画像を表示部２６に表示させて、Ｓ１０１に示す処理に戻ってもよい。
また表示制御部６４は、判定部６２による判定結果に応じて、表示部２６に表示される航空機撮影画像のサイズを制御してもよい。例えばＳ１０７及びＳ１０８に示す処理において、表示制御部６４が、操縦者撮影画像が航空機撮影画像よりも大きく表示されるよう制御してもよい。そしてこの場合にＳ１０５に示す処理において、表示制御部６４が、航空機撮影画像が操縦者撮影画像よりも大きく表示されるよう制御してもよい。
あるいは例えばＳ１０７及びＳ１０８に示す処理において、表示制御部６４が、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。そしてこの場合にＳ１０５に示す処理において、表示制御部６４が、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。
また、表示部２６に表示される画像が、航空機撮影画像から操縦者撮影画像に切り替わる場合、又は、操縦者撮影画像から航空機撮影画像に切り替わる場合に、ＨＭＤ１０がその旨を表示出力あるいは音声出力などにより操縦者に通知してもよい。またこの場合に例えば、画像を切り替えるか否かにつき操縦者が選択可能であってもよい。例えば操縦者の操作に応じてＨＭＤ１０は表示部２６に表示される画像を切り替えてもよい。
また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機１２が視認可能であると判定された場合に、操縦者撮影画像が表示部２６に表示されるようにしてもよい。また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機１２が視認可能でないと連続して判定された場合に、航空機撮影画像が表示部２６に表示されるようにしてもよい。ここで上述の所定回数や所定時間にヒステリシスが設けられていてもよい。例えば操縦者撮影画像が表示される際の所定回数と航空機撮影画像が表示される際の所定回数とは異なっていてもよい。また例えば操縦者撮影画像が表示される際の所定時間と航空機撮影画像が表示される際の所定時間とは異なっていてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。
また、Ｓ１０２に示す処理において、操縦者撮影画像が表示されている際の所定の距離と航空機撮影画像が表示されている際の所定の距離とが異なっていてもよい。例えば、操縦者撮影画像が表示されている際の所定の距離よりも航空機撮影画像が表示されている際の所定の距離の方が長くてもよい。あるいは、航空機撮影画像が表示されている際の所定の距離よりも操縦者撮影画像が表示されている際の所定の距離の方が長くてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。
また案内部６６が、矢印の画像に加えて、あるいは、矢印の画像に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する文章を表す文字列の画像が配置された案内画像を生成してもよい。そして案内部６６が、当該案内画像が重畳された操縦者撮影画像を生成してもよい。また案内部６６が、案内画像の重畳に加えて、あるいは、案内画像の重畳に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する音声を操縦者に出力してもよい。
なお、本発明は上述の実施形態に限定されるものではない。
例えば以上の説明ではＨＭＤ１０は映像透過型（ビデオシースルー型）のＨＭＤ１０であることとしたが、本発明は、ＨＭＤ１０が光学透過型（オプティカルシースルー型）のＨＭＤ１０の場合であっても適用可能である。ここで例えば、表示制御部６４が、Ｓ１０５に示す処理では、航空機撮影画像を表示部２６に表示させ、Ｓ１０７やＳ１０８に示す処理では、航空機撮影画像を表示部２６に表示させないよう制御してもよい。航空機撮影画像を表示部２６に表示させないよう制御されている場合は、操縦者は、表示部２６を透過する実空間の様子を見ることができる。あるいは、Ｓ１０５に示す処理では、航空機撮影画像を大きく表示させ、Ｓ１０７やＳ１０８に示す処理では、航空機撮影画像を小さく表示させてもよい。航空機撮影画像の表示が抑制されると、操縦者は無人航空機１２を目視しやすくなる。
なおこの場合、Ｓ１０６に示す処理では、カメラ部３０の視野の範囲の代わりに、操縦者の視野の範囲が用いられてもよい。ここで操縦者の視野の範囲は、例えば、操縦者の頭部の姿勢と、所与の操縦者の視野角と、に基づいて特定されてよい。またＳ１０２に示す処理における所定の距離は、操縦者の視力に応じて設定されてもよい。またこの場合、カメラ部３０により撮影される操縦者撮影画像は、Ｓ１０４に示す処理においてのみ用いられてもよい。
またこの場合、表示制御部６４は、Ｓ１０８に示す処理において、案内画像を表示部２６にＡＲ（Augmented Reality）表示させてもよい。
またＳ１０７やＳ１０８に示す処理において、表示制御部６４が、操縦支援のための情報を表示部２６にＡＲ表示させてもよい。この場合、当該情報は無人航空機１２の目視の邪魔にならないよう、中央部を避けて配置されたり、透過度が高い状態で配置されたりすることが望ましい。
また本発明の適用範囲はＨＭＤ１０にも限定されない。例えば、操縦者がＨＭＤ１０ではないディスプレイを見ながら無人航空機１２を操縦する場面についても本発明は適用可能である。この場合に、ＨＭＤ１０のカメラ部３０の代わりに、無人航空機１２の離陸地点や着陸地点に設けられたカメラが撮影する画像が操縦者撮影画像として用いられてもよい。また当該カメラは、固定カメラである必要はなく、例えば操縦者が姿勢を制御可能なカメラ（パンチルトカメラ等）であってもよい。
また本実施形態において、図４に示す機能の一部又は全部が、無人航空機１２、又は、操縦端末１４において実装されてもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (13)

  1. 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
    前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、
    前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
    を含むことを特徴とする表示制御システム。
  2. 前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する、
    ことを特徴とする請求項１に記載の表示制御システム。
  3. 前記表示制御手段は、前記判定手段による判定結果に応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する、
    ことを特徴とする請求項１に記載の表示制御システム。
  4. 前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する、
    ことを特徴とする請求項１から３のいずれか一項に記載の表示制御システム。
  5. 前記判定手段は、前記航空機撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する、
    ことを特徴とする請求項１から４のいずれか一項に記載の表示制御システム。
  6. 前記表示制御手段は、前記判定手段による判定結果に応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
    ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。
  7. 前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
    ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。
  8. 前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定する、
    ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。
  9. 前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記操縦者により前記無人航空機が視認可能であるか否かを判定し、
    前記表示制御手段は、前記判定手段による判定結果に応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
    ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。
  10. 前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
    ことを特徴とする請求項８又は９に記載の表示制御システム。
  11. 前記操縦者により前記無人航空機が視認可能であって、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む、
    ことを特徴とする請求項１から１０のいずれか一項に記載の表示制御システム。
  12. 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
    前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定する判定手段と、
    前記判定手段による判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
    を含むことを特徴とする表示制御装置。
  13. 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
    前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該操縦者により当該無人航空機が視認可能であるか否かを判定するステップと、
    前記判定するステップでの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
    を含むことを特徴とする表示制御方法。
JP2020547432A 2018-11-30 2018-11-30 表示制御システム、表示制御装置及び表示制御方法 Active JP6831949B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044181 WO2020110292A1 (ja) 2018-11-30 2018-11-30 表示制御システム、表示制御装置及び表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2020110292A1 JPWO2020110292A1 (ja) 2021-02-15
JP6831949B2 true JP6831949B2 (ja) 2021-02-17

Family

ID=70854147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547432A Active JP6831949B2 (ja) 2018-11-30 2018-11-30 表示制御システム、表示制御装置及び表示制御方法

Country Status (4)

Country Link
US (1) US12019441B2 (ja)
JP (1) JP6831949B2 (ja)
CN (1) CN112105559B (ja)
WO (1) WO2020110292A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119013B (zh) * 2018-11-30 2024-09-13 乐天集团股份有限公司 显示控制系统、显示控制装置及显示控制方法
PL4047434T3 (pl) * 2021-02-19 2024-04-15 Anarky Labs Oy Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar
CN113537198B (zh) * 2021-07-31 2023-09-01 北京晟天行科技有限公司 一种无人机图像采集时自动拍照的控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012749B2 (ja) 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
KR101529863B1 (ko) 2012-03-25 2015-06-19 인텔 코포레이션 절전을 위한 방법 및 장치
CN103587708B (zh) * 2013-11-14 2016-05-25 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
KR101546717B1 (ko) * 2015-02-23 2015-08-25 김영권 무인비행체가 탑재된 이동통신단말기
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
WO2017022179A1 (ja) * 2015-08-06 2017-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
JP6682379B2 (ja) 2015-08-06 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
JP6633460B2 (ja) * 2015-09-04 2020-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通知方法、通知装置及び端末
JP6687488B2 (ja) * 2015-12-24 2020-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体及びその制御方法
EP3438775A1 (en) * 2016-03-31 2019-02-06 Nikon Corporation Flight device, electronic device and program
JP6785412B2 (ja) * 2016-07-22 2020-11-18 パナソニックＩｐマネジメント株式会社 無人航空機システム
US10409276B2 (en) 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
JP6919206B2 (ja) * 2017-01-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6699944B2 (ja) * 2017-03-27 2020-05-27 東芝情報システム株式会社 表示システム
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
US10678238B2 (en) 2017-12-20 2020-06-09 Intel IP Corporation Modified-reality device and method for operating a modified-reality device
CN112119013B (zh) * 2018-11-30 2024-09-13 乐天集团股份有限公司 显示控制系统、显示控制装置及显示控制方法

Also Published As

Publication number Publication date
JPWO2020110292A1 (ja) 2021-02-15
CN112105559A (zh) 2020-12-18
US12019441B2 (en) 2024-06-25
CN112105559B (zh) 2024-09-13
WO2020110292A1 (ja) 2020-06-04
US20210018911A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
JP2013014318A (ja) 航空機内の合成ビジョンシステムを動作させる方法
US10377487B2 (en) Display device and display control method
JP6831949B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
CN107205111B (zh) 摄像装置、移动装置、摄像系统、摄像方法和记录介质
JP2018165066A (ja) 頭部装着型表示装置およびその制御方法
US11669088B2 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
JP6821864B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
JP7024997B2 (ja) 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
JP6890759B2 (ja) 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
US20210191392A1 (en) Vehicle control system
KR20110136225A (ko) 지피에스를 이용한 지능형 항공로봇
KR101896239B1 (ko) 모션인식을 이용한 드론 제어 시스템
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
KR102019942B1 (ko) 시뮬레이션 멀미 탐지 및 조종객체 제어 장치와 방법
KR20240126735A (ko) 드론 영상의 ar글래스를 이용한 뷰어 시스템 동작 방법
CN117678235A (zh) 可移动平台的控制方法、头戴式设备、系统和存储介质
WO2022175385A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200910

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210129

R150 Certificate of patent or registration of utility model

Ref document number: 6831949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350