JP6957806B2 - 無人航空機(uav)の地上局 - Google Patents

無人航空機(uav)の地上局 Download PDF

Info

Publication number
JP6957806B2
JP6957806B2 JP2019511717A JP2019511717A JP6957806B2 JP 6957806 B2 JP6957806 B2 JP 6957806B2 JP 2019511717 A JP2019511717 A JP 2019511717A JP 2019511717 A JP2019511717 A JP 2019511717A JP 6957806 B2 JP6957806 B2 JP 6957806B2
Authority
JP
Japan
Prior art keywords
screen
ground station
uav
housing
control processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019511717A
Other languages
English (en)
Other versions
JP2020503703A (ja
Inventor
ワ チャン、マン
Original Assignee
エックスダイナミクス リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エックスダイナミクス リミテッド filed Critical エックスダイナミクス リミテッド
Publication of JP2020503703A publication Critical patent/JP2020503703A/ja
Application granted granted Critical
Publication of JP6957806B2 publication Critical patent/JP6957806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、以下に限定されるわけではないが、ドローンまたはマルチコプタといった小型UAVの操作を無線制御するための地上局に関する。
しばしば「ドローン」と呼ばれるマルチロータまたはマルチコプタは、普通は2つより多くのロータを備えた回転翼機である。マルチコプタ航空機の利点は、飛行制御に必要とされるロータ機構がより単純なことである。飛行の安定性および制御を目的としたブレードの回転に伴ってピッチが変化する複雑な可変ピッチロータを使用するシングルロータヘリコプタおよびダブルロータヘリコプタとは違って、マルチコプタは通常、固定ピッチブレードを使用している。結果的に、各ロータの相対速度を変えて各ロータにより生成される推力およびトルクを変えることにより、車両運動の制御が達成される。
従来から利用可能なマルチコプタなどといったUAVは通常、無線のリンクまたは接続を介してマルチコプタを遠隔制御する、一般に「地上局」と呼ばれるハンドヘルドデバイスを使用している。地上局およびマルチコプタの各々に、飛行制御信号およびテレメトリ信号などを含む、無線信号を送信および受信するのに適した無線トランシーバが設けられている。従来から利用可能な係るマルチコプタのうちの多くが、マルチコプタ上のカメラから受信され、かつ、地上局と関連付けられるスクリーンを介して見られる、一人称視点(FPV)画像を使って飛行中に制御される。使用されるスクリーンが地上局の不可欠な構成要素を備えず、地上局により提供されるブラケットに装着されている、スマートフォン、ファブレットまたはタブレットコンピュータなどの汎用電子デバイスを備えることは普通である。地上局とそれに装着されている汎用電子デバイスとの間の通信は、BlueTooth(登録商標)無線接続などの近距離無線接続を介して行われるのが通常であるが、WiFi(登録商標)無線接続を介して行われるのがより普通である。とはいえ、汎用電子デバイスがiPhone(登録商標)またはiPad(登録商標)などのApple(登録商標)社製品である場合は、Apple(登録商標)社により提供されるLightning(登録商標)コネクタなどの物理ケーブルが使用されてよい。
マルチコプタ地上局の典型的セットアップで、マルチコプタカメラにより撮影されたライブ映像シーンが、マルチコプタから地上局へ無線伝送される。地上局では、受信された映像信号を処理し、近距離無線接続または専有物理ケーブル接続で、地上局のFPVスクリーンとして機能する汎用電子デバイスに再伝送しなければならない。この構成では更に、地上局スクリーンとして使用する前に汎用電子デバイスに最適なソフトウェアをダウンロードして、汎用電子デバイスがFPVスクリーンとして機能できるようにする必要がある。
汎用電子デバイスをUAV地上局のFPVスクリーンとして使用すると、複数の問題が生じる。典型的構成で生じる係る問題のうちの1つは、映像信号処理における不要なレイテンシが比較的高いことである。これは、複数の理由、特に、地上局で処理される、受信されたデジタル映像信号を地上局から汎用電子デバイスに無線で再伝送しなければならないこと、または、地上局と汎用電子デバイスとの間で接続される専有物理ケーブルで再伝送されるように再フォーマットしなければならないことから起きる。更には、汎用電子デバイスがUAV地上局のFPVスクリーンとして機能するように最適化されていないことによって、ユーザがFPV画像の中に見るものと、UAVのカメラが見ているものとの間のレイテンシレベルが上昇することもある。レイテンシの量が増えるほど、UAVの制御が難しくなり、UAVの飛行制御および画像収集のユーザ体験が低下する。
上記のような典型的構成で生じる別の問題は、汎用電子デバイスが地上局のブラケットから取り外されるのが珍しくないことである。汎用電子デバイスがブラケットから取り外されると、ユーザがUAVの飛行制御を実行する妨げになるだけではなく、視界からFPV画像がなくなることで飛行制御が危うくなることがある。UAVが建物のような障害物の近くまたは木の上空などを飛行するように制御されている場合、これは重大な問題になり得る。
典型的構成における更なる問題は、多くの汎用電子デバイスがHDMI(登録商標)画像などの高解像度(HD)映像を出力できるようになっているが、これらの汎用電子デバイスには、デジタルHD映像を受信するための入力が全く設けられてないことが多いことである。結果的に、デジタルHD映像がUAVから汎用電子デバイスに搬送されるルートは、信号レイテンシの観点から見て、最適化されていないものである。
更に、典型的構成において、汎用電子デバイスは、マップのプロビジョニングなど、地上局の他の機能を幾つか提供する必要がある。マップのプロビジョニングにおいて、汎用モバイルデバイスは、マップアプリケーションを実行し、近距離無線接続または専有ケーブルで地上局とマップ信号およびマップデータを交換する必要がある。ここでもやはり、これにはシステム信号の伝送に不要なレイテンシが伴う。
地上局により提供されるブラケットに装着されている、携帯電話などの汎用電子デバイスを使用するUAV地上局にとって、ユーザが携帯電話にモバイルアプリケーション(「app」)をインストールすること、および、Wi−Fi(登録商標)接続またはBlueTooth(登録商標)接続で携帯電話とUAV地上局とを接続することは普通である。従って、UAVの飛行を制御するためのデバイスが別個に2つある。他の既知の構成において、UAVの地上局は、シングルスクリーンを装備してよい。普通、シングルスクリーンは、UAV搭載用カメラの視野の表示、または、UAV設定の表示のうちのどちらか一方しか行うことができない。一部のユーザにとって、これは、彼らがUAV設定の調整を行うと同時に搭載用カメラの視野を見ようと試みることの難しさを体験する、複雑な飛行体験となる。更に他の構成では、携帯電話または同様のデバイスが、UAVのジョイスティックコントローラとして使用されてもよい。ここでもやはり、ユーザは、UAVを制御するための仮想ジョイスティックおよび仮想ボタンを提供するために、1つまたは複数の最適なappを携帯電話にインストールしなければならない。この構成では、機内からの視野が、UAVを制御するための仮想ジョイスティックおよび仮想ボタンと重なった状態で、携帯電話のスクリーンに示される。更に別の構成において、ユーザは、ジョイスティックコントローラを握ったまま、外付けゴーグルを着用してUAV搭載用カメラの視野を受信する必要がある。これは、ユーザにとって不快な飛行体験をもたらすことがある。なぜなら、ジョイスティックコントローラに対するユーザの視界が妨げられるからである。そのゴーグルによってユーザが実際の視野に切り替えることができる場合でも、UAV搭載用カメラの視野および実際の視野の両方を同時に得ることは不可能である。
結果的に、上記のようなUAV地上局の典型的構成において、データ転送路、信号変換プロセス、無線通信経路、アプリケーション処理、処理された画像データを地上局と関連付けられる汎用電子デバイスのスクリーンまたはゴーグルに表示することは、UAV操作におけるユーザ体験の質を低下させる高いシステムレイテンシにつながる。
本発明の目的は、幾つかの固定翼UAVを含む、ドローン、マルチコプタまたは他のタイプの小型UAVといった無人航空機(UAV)の地上局を改良することにある。
本発明の別の目的は、ユーザ体験を向上させるための、マルチコプタなどのUAVの地上局を提供することにある。
本発明の更なる目的は、既知のUAV地上局と関連付けられる1つまたは複数の問題をある程度まで軽減または回避すること、または、少なくとも有用な代替手段を提供することにある。
上記の目的は、独立請求項の特徴の組み合わせにより達成され、従属請求項は、本発明の更なる有利な実施形態を開示する。
当業者であれば、以下の説明から本発明の他の目的を導き出すであろう。従って、上述の目的の記述は、包括的なものではなく、本発明の多くの目的のうちの幾つかを示す役割を果たすに過ぎない。
第1の主な態様において、本発明は、UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを含むシステムオンチップ(SoC)回路を収容するためのハウジングと、第1スクリーンと、第2スクリーンとを備える、UAV、例えば、ドローンまたはマルチコプタの地上局を提供する。ここでは、一方または両方のスクリーンが、SoC制御プロセッサにより直接制御される。
第2の主な態様において、本発明は、制御プロセッサを収容するための第1ハウジング部材と、当該第1ハウジング部材に重ね合わせる第1閉鎖位置と第2開放位置との間で当該第1ハウジング部材に対して移動可能な第2ハウジング部材とを有するクラムシェル型ハウジングを備えたUAV地上局を提供する。これは、第2ハウジング部材が開放位置にあるときにユーザから両方のスクリーンが見えるように、第1ハウジング部材に第1スクリーンが装着され、第2ハウジング部材に第2スクリーンが装着されるといった構成であり、両方のスクリーンが制御プロセッサにより直接制御される。
第3の主な態様において、本発明は、デジタルフォーマットで出力された高解像度(HD)画像信号をUAVのカメラから無線受信するように構成されている無線周波モジュールと、受信された当該デジタルフォーマットのHD画像信号をMIPI信号に変換するための画像信号処理モジュールと、第1地上局スクリーンおよび第2地上局スクリーンのうちの一方または両方に当該MIPI信号を非無線接続で出力するためのプロセッサとを備えるUAV地上局を提供する。
第4の主な態様において、本発明は、UAVと、本発明の前述の態様のうちの何れか1つに係る地上局とを備えるUAVシステムを提供する。
本発明の第5の主な態様では、プロセッサにより実行されるとUAVの地上局に本発明に従って動作させるプログラム命令を記憶する非一時的コンピュータ可読媒体が提供される。
本発明の第6の主な態様では、UAV、例えば、マルチコプタの機能を無線制御するソフトウェアを実行するための制御プロセッサを含むシステムオンチップ(SoC)回路が提供される。当該システムオンチップ(SoC)回路は、第1スクリーンおよび第2スクリーンに信号を出力するための1つまたは複数の出力を有する。ここでは、一方または両方のスクリーンがSoC制御プロセッサにより直接制御される。
本発明の概要は、必ずしも本発明を定義するのに不可欠な特徴を全て開示しているわけではなく、本発明は、開示されている特徴の部分的組み合わせに属するかもしれない。
以下の好ましい実施形態の説明からは、本発明の上述の特徴および更なる特徴が明らかになるであろう。これらの好ましい実施形態は、添付図との関連で単なる例として提供される。
本発明に係る地上局のある実施形態の斜視図である。ここでは、第2ハウジング部材が第1の主なハウジング部材に対して開放位置に見えている。
図1の地上局の前部である。
図1の地上局の側面図である。
図1の地上局の上面図である。
第1スクリーンおよび第2スクリーンの好ましい使用を示した、図1の地上局の別の斜視図である。
地上局と、ユーザが地上局を用いて制御しているUAVとに対するユーザ(パイロット)の視野を示している。
システムを通じたFPVビデオ信号の経路を示す、図1の地上局のシステムオンチップ(SoC)回路のブロック図の一部である。
図1の地上局のシステムオンチップ(SoC)回路の別の実施形態のブロック図の一部である。
図1の地上局の好ましいアーキテクチャを示している。
図1の地上局のマッププレロード機能のフローチャートを示している。
以下の説明は、好ましい実施形態を単なる例として説明したものであり、本発明を実行に移すのに必要な特徴の組み合わせに限定しているわけではない。
本明細書では、「1つの実施形態(one embodiment)」または「ある実施形態(an embodiment)」に言及することによって、その実施形態との関連で説明する特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれていることを意味する。本明細書の様々な場所に現れる「1つの実施形態において(in one embodiment)」という言い回しは、必ずしも全てが同じ実施形態を指しているわけでも、他の実施形態と相互排他的な別個の実施形態または代替実施形態であるわけでもない。更には、幾つかの実施形態では示されるが、他の実施形態では示されないこともある、様々な特徴について説明する。同様に、幾つかの実施形態にとっては要件であるが、他の実施形態にとっては要件でないこともある、様々な要件について説明する。
図面を参照しながら、マルチコプタの地上局10の実施形態を提供する。以下の説明では、無人航空機(UAV)、特に、重量が約40kgまでの小型UAVの例として、マルチコプタの実施形態を説明するが、これによって重量サイズが限定されるわけではない。地上局10は、ハウジング20を備える。好ましい実施形態において、ハウジング20は2つの部分にあってよく、第1ハウジング部材20Aおよび第2ハウジング部材20Bを有するクラムシェル型ハウジングを備えてよい。図面に見られるように、第2ハウジング部材20Bは、第1ハウジング部材20Aに重ね合わせる第1閉鎖位置と第2開放位置との間で当該第1ハウジング部材20Aに対して移動可能であることが好ましい。
第2ハウジング部材20Bは、当該第1ハウジング部材20Aに枢動可能に装着されることが好ましい。図面に示されている開放位置は全開位置であるが、第2ハウジング部材20Bは、ユーザの必要に応じて、閉鎖位置と開放位置との間の任意の位置まで開けられてよい。第1ハウジング部材20Aと第2ハウジング部材20Bとの間のピボット連結30がこれらのハウジング部材間に十分な摩擦を提供し得ることで、第2ハウジング部材20Bは、閉鎖位置と開放位置との間の任意の位置まで開けられたときにその位置を保つことができる。とはいえ、閉鎖位置と開放位置との間の任意の位置まで第2ハウジング部材20Bを開けるのに適した任意のメカニズムが利用されてよいことが解るであろう。
地上局10は、第1ハウジング部材20Aに装着される第1スクリーン40と、第2ハウジング部材20Bに装着される第2スクリーン50とを含むことが好ましい。これは、第2ハウジング部材20Bが少なくとも全開位置または全開位置の近くにあるとき、ユーザからスクリーン40、50の両方が見えるような構成である。
図面に示されている好ましい実施形態からは、第2スクリーン50のサイズが第1スクリーン40のサイズよりも大きいことが好ましいと分かる。第1スクリーン40が第2スクリーン50よりも高いスクリーン解像度を有することも好ましい。第1スクリーン40および第2スクリーン50を地上局10の通常の操作構成で見たときに、これらのスクリーンのスクリーン構成が図面に見られるように概して「T」字型となるように、第2スクリーン50が通常の視線方向に対して横向きに配置されること、および、第1スクリーン40が好ましくは通常の視線方向に対して縦向きに配置されることも好ましい。
図4に見られるように、第1スクリーン40の中心軸Y−Yは、第2スクリーン50の中心軸X−Xと位置合わせされることが好ましく、第2スクリーン50は、通常の視線方向から見て、図示の通り第1スクリーン40の上方に配置されることが好ましい。
図5からよりはっきりと分かるように、使用中に、第2スクリーン50がマルチコプタ上のカメラから受信された映像を表示するように制御されること、および、好ましくはこれがユーザによるマルチコプタの飛行制御を支援するFPV映像60を含むことが好ましい。通常の視線方向に対して第1スクリーン40の上方に第2スクリーン50を設置すると、飛行中のマルチコプタの直接見ることから第2スクリーン50上のFPV画像60を見ることに切り替えるとき、地上局10のユーザが頭を上方または下方に傾けなければならない量が減るという利点が少なくともある。更に、第2スクリーン50を通常の視線方向に対して横向きに配置すると、大アスペクト比のFPV画像60を用いて飛行制御を実行するユーザ能力が高まる。しかしながら、第1スクリーン40および第2スクリーン50の機能は可逆的であってよいことが解るであろう。
これも図5からよりはっきりと分かるように、飛行中のマルチコプタの位置を特定する地上局10の周辺領域または少なくとも前方領域の少なくともマップビュー70、および、マップビュー70内の地理的特徴を表示するために、第1スクリーン40を使用することが好ましい。幾つかの実施形態では、マルチコプタが見えない、または、ほとんど見えないとき、すなわち、マルチコプタがユーザから例えば、約200mから300m以上ほど離れた、視覚的に識別困難な距離にあるときに、第1スクリーン40で提供されるマップビュー70によって、ユーザがマルチコプタの飛行を制御することができる。マップビューの倍率は、ユーザにより異なってよい。第1スクリーン40は、マップビューの倍率を制御するユーザ入力および他のユーザ入力を受信するためのタッチセンシティブスクリーンとして設けられてよい。
第1スクリーン40を縦向きに配置する少なくとも1つの利点は、地上局10の前方向におけるマップビュー70の範囲または規模が増えることにある。通常、地上局を用いてマルチコプタの飛行を制御するユーザは、地上局を飛行中のマルチコプタの一般的方向に向ける傾向があり、係る方向を向く傾向もある。第1スクリーン40に示されるマップビュー70は、固定されたマップビューでないことが好ましいが、検出された地上局10の向きに応じて向きを調整するように配置される。結果的に、第1スクリーン40を縦向きに配置すると、地上局10の操作における典型的な、または、予想されるユーザの行動に基づいて、当該スクリーン40が、マルチコプタの飛行方向Fに直交する方向Zよりも、当該飛行方向Fと概して一致する方向において、より広い範囲のマップビュー70を示すことから、予想外の利益がある。飛行方向Fに言及することで、マルチコプタの絶対的な地理的飛行方向を指しているではないが、ユーザが地上局10を概して飛行中のマルチコプタの方向を向いた状態に保っている時点での、地上局10に対する飛行方向を指していることが解るであろう。
マップビュー70に加えて、第1スクリーン40は、ユーザ制御アイコン、マルチコプタ設定、およびマルチコプタセンサ測定値のうちの何れかを表示するように構成されてよい。これらの更なる表示特徴は、マップビュー70上のオーバーレイまたは第1スクリーン40の別個の部分に表示されてよい。
第2スクリーン50は、ユーザのタッチ入力を受信するように構成されているタッチセンシティブスクリーンとして設けられてもよい。第2スクリーン50は、ユーザ制御アイコン、マルチコプタ設定、マルチコプタセンサ測定値、および、第1スクリーン40に示されているよりも任意選択的に高い異なる倍率のマップビューうちの何れかを表示するように構成されてよい。第2スクリーン50は、ソフトボタン、インジケータ、グラフィックスおよびテキストのうちの何れかを表示するように構成されてよい。任意選択的な代替倍率のマップビューは、マップビュー70の、第1スクリーン40に示される部分を含んでよい。これらの更なる表示特徴は、FPV画像ビュー60上のオーバーレイ、または、第2スクリーン50の別個の部分に表示されてよい。
1つの実施形態では、第2スクリーン50の画面がある方の平面が、第2ハウジング部材20Bが第1ハウジング部材20Aに対して全開位置にあるとき、第1スクリーン40の画面がある方の平面に対して110度から170度の範囲の角度をなす。別の実施形態において、当該角度は125度から145度の範囲、または、130度から140度の範囲にある。しかしながら、当該角度は約135度であることが好ましい。なぜなら、この角度は、第1スクリーン40または第2スクリーン50を見ることと、飛行中のマルチコプタを見ることとを切り替えるときに、地上局10のユーザに最良の人間工学的体験を提供するものとみなされるからである。
ある好ましい実施形態において、第1スクリーン40の対角寸法サイズは約12.5cmである。第1スクリーン40を縦向きに配置する更なる利点の1つは、これによって、地上局の幅を減らしながらも、第1ハウジング部材20Aに比較的大きなスクリーンを提供できること、および、第1スクリーン40の両側に制御ジョイスティック100A、100Bのためのスペースを提供できることにある。
制御ジョイスティック100A、100Bは、第2ハウジング部材20Bが閉鎖位置にあるときにジョイスティック100A、100Bの最上部が、地上局の閉鎖を妨げることなく、更には比較的コンパクトなプロファイルを維持するように、第1ハウジング部材20Aの凹部に置かれる。
ある好ましい実施形態において、第2スクリーンの対角寸法サイズは約17.5cmである。
ある好ましい実施形態では、第2スクリーン50のアスペクト比が、マルチコプタ上のカメラから無線受信された画像信号から処理される一人称視点(FPV)画像ビュー60のアスペクト比と同じであるか、または、密接な関係がある。
図1から図5を再び参照すると、地上局10の第1ハウジング部材20Aは、UAVのスロットル方向およびヨー方向を制御する第1制御ジョイスティック(左側のジョイスティック)100Aと、UAVのピッチ方向およびロール方向を制御する第2制御ジョイスティック(右側のジョイスティック)100Bとを備える。第1表示スクリーン40は、左側のジョイスティック100Aと右側のジョイスティック100Bとの間に位置決めされ、UAV飛行データおよび地上局の設定をパイロットに表示する。パイロットがUAVを飛ばしている間、ユーザは、UAVを視界に保ちながら、更には、第2スクリーン50でFPVを見ながら、第1スクリーン40を素早く見て、飛行制御パラメータの確認、または、これらのパラメータの修正を行うことができる。
本発明は、既知の構成と比べてより良好なユーザインタフェース(UI)を、単一デバイス(地上局)において提供する。FPV表示および飛行コントローラインタフェースが別々に、すなわち、別個のスクリーンに示される場合は、2つの表示スクリーン40、50が同期的に動作するが、これらのスクリーンは、統合された単一の地上局デバイスに一体的に提供される。
図面に示されているように、第1スクリーン40は、左側のジョイスティック100Aと右側のジョイスティック100Bとの間に位置決めされ、UIディスプレイとして機能する。オペレーティングシステム(OS)が提供するUIによって、パイロットは、第1スクリーン40および/または第2スクリーン50に触れることによりUAVを制御することができる。
左側のジョイスティック100Aおよび右側のジョイスティック100Bがあること、および、第1スクリーン40が縦向きであることにより、パイロットは、親指を用いて第1スクリーン40上のUIにアクセスすることができる。結果的に、パイロットは、親指をコントローラジョイスティック100A、100Bから第1タッチスクリーン40へと、容易にかつ人間工学的に切り替えることができる。
既に説明したように、第2スクリーン50は、入力ボタンもタッチスクリーン機能も全く有さない単なる表示スクリーンとして機能する、表示モニタであることが好ましい。とはいえ、幾つかの実施形態ではこれらが提供されてよい。第1スクリーンは、例えば、UAVカメラから届くFPVなどの情報、並びに、飛行領域のマップおよび任意のUAVアラートを表示するように配置されることが好ましい。図6は、地上局10と、ユーザ210が地上局10を用いて制御しているUAV200とに対するユーザ(パイロット)の視野を示している。第1スクリーン40および第2スクリーン50の両方、並びに、飛行中のUAV200が、ユーザ210にはっきりと見えていることが分かる。より具体的に言うと、パイロット210は、図6の点線25で表されている視野220の角度を維持することができる。ここでは、UAV200、第2スクリーン50および第1スクリーン40を、同じ略視線方向に見ること、すなわち、飛行中のUAV200に向かって一直線上に見ることができる。
地上局10は、第2ハウジング部材20B内の1つまたは複数の適切な位置にインストールされる、マルチコプタとの無線通信を実行するための1つまたは複数のアンテナ80を備える。図2の破線で示されているように、1つまたは複数のアンテナ80は、それらがハウジング部材20Bまたは地上局10から突出しないように、すなわち、地上局10が外部アンテナを有さないように、第2ハウジング部材20B内に装着されることが好ましい。1つまたは複数のアンテナ80は、スクリーンに対して概して垂直の向きに、第2スクリーン50の隣および/または上方に位置決めされてよい。1つまたは複数のアンテナ80を第2ハウジング部材20Bに位置決めする少なくとも1つの利点は、これによって、ユーザが、1つまたは複数のアンテナ80の位置合わせを誤る、例えば、使用中の地上局10を、1つまたは複数のアンテナ80が地面と水平になるような向きに保つ可能性が減ることにある。
第1ハウジング部材20Aは、図7に示されているように、非無線接続で第1スクリーン40および第2スクリーン50の両方を直接制御するように構成されている制御プロセッサ110を収容すべく配置されることが好ましい。この非無線接続は、1つまたは複数の有線接続120を備えることが好ましい。制御プロセッサ110は、システムオンチップ(SoC)回路130に提供されることが好ましい。システムオンチップ(SoC)回路130は、SoC集積回路を備えてよく、かつ、他のプロセッサ、入力ポートおよび出力ポートを含んでもよいし、他のプロセッサ、入力ポートおよび出力ポートと関連付けられてもよい。第1スクリーン40および第2スクリーン50はそれぞれ、1つまたは複数の有線接続120で当該SoC回路130上の当該制御プロセッサ110に接続される。
システムオンチップ(system on a chip)またはシステムオンチップ(system on chip、SoC)は通常、コンピュータまたは他の電子システムの全ての構成要素を単一のチップ基板に統合した集積回路(IC)である。それは、デジタル信号、アナログ信号、混合信号、および無線周波機能を全て単一のチップ基板に含んでよい。それは、集積回路または集積回路のPCBに更なるプロセッサおよび入力/出力ポートを含んでもよい。
地上局10は、マルチコプタ上のカメラからデジタル画像信号を無線受信するように構成され、SoC回路130は、受信された当該画像信号を処理することによって、当該第2スクリーン50に少なくともFPVビュー60を表示するように構成される。地上局10は、カメラから高解像度(HD)デジタル映像を受信し、かつ、SoC回路130内の当該HD映像をモバイルインダストリプロセッサインタフェース(MIPI)フォーマットに変換して、第1スクリーン40および第2スクリーン50のうちの一方または両方に出力するように構成される。
SoC回路130は、地上局10および/またはマルチコプタの制御機能および他の機能を実装するオペレーティングシステム(OS)ソフトウェアを実行するように構成されることが好ましい。ここで、OSはAndroid(登録商標)OSを備えることが好ましい。更に、SoC回路130で実行されるAndroid(登録商標)OSソフトウェアは、地上局およびマルチコプタの制御命令に加えて、汎用モバイルデバイス・ソフトウェアアプリケーションを実装するように構成されることが好ましい。
より具体的には、図7に示されているように、地上局10は、マルチコプタカメラから高解像度(HD)画像信号を無線受信するように構成されている無線周波用受信機またはトランシーバ140と、受信された当該HD画像信号をMIPI信号に変換するための画像信号処理モジュール150とを備える。制御プロセッサ110は、当該有線接続120で第1スクリーン40および第2スクリーン50のうちの一方または両方に当該MIPI信号を出力するように構成される。画像信号処理モジュール150およびプロセッサ110はどちらも、SoC130に設けられることが好ましいが、SoC回路基板/PCBに共存してよい。
地上局10は、スプリッタモジュール160を備えてよく、スプリッタモジュール160は、受信された当該HD画像信号を、スプリッタモジュール160から画像信号処理モジュール150に出力される第1HD画像信号、および、スプリッタモジュール160からHDユーザ出力コネクタ170に出力される第2HD画像信号に分割する。スプリッタモジュール160は、SoC130に設けられることが好ましいが、SoC回路基板/PCBに共存してよい。無線周波用受信機またはトランシーバ140は、一人称視点(FPV)画像モジュールを備えてよい。デジタルビデオ・ダウンリンクモジュール(画像モジュール)の受信機部分は、レイテンシが少ないビデオストリーミング機能を提供する。HD画像信号は、高解像度マルチメディアインタフェース(HDMI)信号であることが好ましい。
地上局10上のデュアルスクリーン40、50は、SoC130により制御される。地上局10などのスタンドアロンシステムにおいて係る埋め込み式チップを使用すると、既知の地上局構成を用いた場合よりも速いコンピューティング処理を提供することで、デュアルスクリーン40とデュアルスクリーン50との間により良好な同期をもたらす。図8に示されているように、SoC130は、HDビデオ信号を処理すること、および、CSIポート111およびHDMI−DSIポート112をそれぞれ介してビデオデータをストリーミングすることができる2つのビデオ処理チップ150A、150Bを含むように適合させられることが好ましい。
SoC130は、スクリーン40、50の両方でマルチアラートを示すことによりデュアルスクリーン地上局10を支援するように構成されてよい。デュアルスクリーン40、50は、例えば、一方のスクリーン40に写真編集メニューを示すこと、および、もう一方のスクリーン50に完了した写真編集プロセスを示すことにより、UAV飛行制御に加えて、他のコンピューティング機能の利益になることもある。
UAV画像データは、UAVのカメラから取り出され、好ましくは、UAV上のAmimon(登録商標)モジュールおよび地上局10内の同様のモジュールを用いて、WiFi(登録商標)システムを通じて地上局10に伝送される。受信される画像のフォーマットは、HDMIフォーマットである。地上局10は、HDMIスプリッタ160を介してFPVを搬送すること、および、任意選択的に、HDMI出力ポート114/出力コネクタ170を介して外部ディスプレイ180にFPVを送信することができる。しかしながら、Android(登録商標)OSチップ110にHDMIデータをインポートすることは不可能である。なぜなら、このフォーマットは、Android(登録商標)のビデオ入力としてサポートされていないからである。結果的に、第1ビデオ処理チップ150Aにおいて、HDMIをCSI2に変換することにより、HDMIビデオ信号を、Android(登録商標)OSでの受信に適したカメラ信号へと変換する必要がある。ここで、CSIは、カメラシリアルインタフェース(CSI)として表されている。CSIは、ビデオ入力のAndroid(登録商標)OS基準である。この段階でAndroid(登録商標)OSを使用する利点は以下の通りである。第1に、これは、パイロットが容易にメニューへアクセスできるタッチスクリーンOSである。第2に、Android(登録商標)OSは、他のセンサへの接続に利用可能なプログラミング機能を多く有していることから、開発に対してオープンであり、他の構成要素でのプログラミングが容易である。
SoC130の1つの機能は、2つのスクリーン40、50に画像データおよび/またはAndroid(登録商標)インタフェースを表示することである。ビデオ/画像データは、Android(登録商標)OSチップ110のMIPI DSIポート111を介して一方のスクリーン50に出力される。標準的なAndroid(登録商標)SoC130は、MIPI DSIポート111を1つだけ有する。従って、Android(登録商標)OSチップ110で利用可能なHDMI出力115を用いてHDMI−DSIポート112上でもう一方のスクリーン40にビデオ/画像データを搬送すべく、SoC130は、更なるHDMI−MIPI DSI変換器チップ150Bを備える第2ビデオ処理チップで構成される。
Android(登録商標)OSで構成されているデバイスのシングルスクリーンに加えて更なるスクリーンを提供することによって、Android(登録商標)HDMI出力をMIPI DSI出力に変換すべく、SoC130内にHDMI−DSI集積回路(変換器チップ)150Bが構成される。ここで、地上局スクリーン40、50のうちの一方には、結果として得られた画像が表示されてよく、もう一方のスクリーンは、Android(登録商標)SoCチップ110の通常のMIPI DSI出力に接続される。
図9は、地上局10の好ましいアーキテクチャを示している。ユーザ層または入力層300は、無線チャネル(RC)制御304を含む主な操作と、appユーザ操作302およびジョイスティック作動306を含むユーザ操作とを示している。
アプリケーションは、ユーザ層300と物理層500との間でデータを伝送するインタフェース層400で実行される。インタフェース層は主に、Android(登録商標)アプリケーションプログラムインタフェース(API)402およびUSB−I2Cシリアルインタフェース404を備える。
物理層またはハードウェア層500は、地上局10の制御下におけるUAVの操作を可能にするための物理回路部品を備える。物理層500は、好ましくはAndroid(登録商標)システムオンチップであり、かつ、地上局10の中央処理ユニットを備える、SoC130と、画像がUAVのカメラから取り出され、この地上局に伝送される、UAV航空画像の1080p 60fpsをサポートするAmimon(登録商標)モジュール502と、ユーザ制御の航空機ジョイスティック入力プロセス、および、航空機飛行制御データ伝送を提供するRCテレメトリモジュール504とを含む。物理層500は、地上局のボタン信号およびスクロールホイール入力信号を受信するスクロールホイールインタフェース・スモールボード信号処理ユニット506と、カメラドライバおよび任意の光センサを含む、UAVカメラをSoC130に接続するために使用される「蓋板」508と、地上局バッテリおよび/またはUAVバッテリの充電管理のための「充電板」510とを含む様々なボタンを含んでよい。
Android(登録商標)OSと同期的に動作する2つの地上局スクリーン40、50を組み合わせると、地上局10によるUAV制御のレベルが高まる。これにより、2つのスクリーン40、50は、互いにインタラクトして、より良好な飛行体験を提供することができる。第1スクリーン40は、通常のOS機能を実行する。第2スクリーンは、UAVからの5GビデオWiFi(登録商標)伝送により届くFPVを示すだけではなく、appにより制御される。結果的に、パイロットは、OSにアクセスさせるための命令、ひいては、FPVビューを修正させるための命令、および、別のページまたはアプリケーションを表示するように変更させるための命令を容易に与えることができる。OSの操作が、向きをロックできるように、つまり、実行中のOSが画像の向きを変更しないように構成される一方で、パイロットは、飛行操作中に地上局10を移動または回転させて、パイロットの妨げになるのを回避する。更には、appによって、2つのスクリーン40、50の実際の表示がシングルスクリーン上で分割され得る、2次スクリーン50を表示することができる。BlueTooth(登録商標)接続またはWiFi(登録商標)接続で外部モニタを用いて2つのスクリーン40、50のうちの一方または両方を表示することもできる。
OSがHDMI信号の受信を検出すると、Android(登録商標)OS提示APIがオンになって、Android(登録商標)提示対話が可能となる。2つのスクリーン40、50はそれぞれ、同期的にOSにアクセスする。これは、Android(登録商標)OSが2次ディスプレイの開発をしていること、および、バージョン4.2 Android(登録商標)OSがapp開発者向けの係る開発を始めていることにより可能である。
2つのコントローラジョイスティック100A、100Bは、ゲーム機で構成されているジョイスティックを使用している既知の地上局とは対照的に、OSに命令を与えることができる。
スクリーン40、50のうちの一方またはもう一方を共有スクリーンにおいて分割することによって、地上局10を操作しているときにUAVパイロットに対してより多くのアプリケーションを表示できるように、Androidの2次表示機能は有効化され得る。このように、本明細書で開示する単一のUAVデュアルスクリーン地上局は、2つまたはそれより多くのアプリケーションを同期的に表示することができる。
更に、コントローラジョイスティック100A、100Bおよびボタンは、OSに命令を提供するため、ひいては、Android(登録商標)OSの制御下で地上局のメニューに更なるアナログ入力を提供するために使用され得る。
地上局10は、統合された2つのスクリーン40、50を利用する写真編集機能をサポートするように構成される。写真を含む画像データがUAVからダウンロードされ得ることで、パイロットは受信された画像データを修正することができる。操作中は、好ましくは第1スクリーン40に、写真編集メニューが表示される。第2スクリーン50には、写真のプレビュー版が表示されることが好ましい。編集版は、第1スクリーン40上の編集メニューの表示と同期的に、第2スクリーン50に表示されることが好ましい。パイロットは、第1スクリーン40に表示されるメニューにより提供される写真編集オプションを用いて、第2スクリーン50でプレビューされる写真に対する編集を行ってよい。これによって、パイロットは、第2スクリーン50に表示される写真の編集版を保持または破棄するかどうかを決定することができる。
更に、写真編集機能を使用すると、パイロットは、表示される写真の一部をメニュースクリーン40で拡大し、かつ、写真の元の解像度を表示スクリーン50に保持することができる。これによって、パイロットは、写真の拡大部分と元の解像度との比較を迅速に行うことができる。
UAVおよび/または地上局が、問題または操作状態の変化を検出した場合、地上局10は、任意の係るアラート信号を受信し、かつ、パイロットにアラートを表示するように構成される。アラートは、スクリーン40、50の両方に表示されることが好ましい。1つより多くのアラートがある場合、地上局10は、アラートリスト内の係るアラートを全て受信して処理するように構成され、当該アラートリストも、スクリーン40、50の両方に表示される。FPVをできるだけ鮮明に保つため、第2スクリーン50は、スクリーンの縁にアラートを表示するのが好ましい。アラートのリストは、リストフォーマットで第1スクリーン40に表示されるのが好ましい。これによって、パイロットは、自らがアラートに対処すべきかアラートを破棄すべきか、または、アラートリストの優先順位を変えるべきかを決定する柔軟性を与えられる。アラートは、バッテリレベル、限界付近のテレメトリ範囲、弱いGPS信号などを含んでよい。
地上局は、振動を用いて、および、任意選択的な音声アラートによって、パイロットに警告をする振動モータを備えてもよい。
既知の地上局構成において、UAVの飛行中に、地上局がインターネットなどのネットワークに接続してマップ情報をダウンロードすることは普通である。マップ情報は、それが道路および建物の位置を示すだけではなく、あらゆる「飛行禁止区域」の定義をすることから、非常に重要である。このように、マップ情報は、飛行経路計画にとって必要かつ重要な情報を提供する。しかしながら、ユーザが飛行中にインターネットへ接続する必要があることは不便である。従って、本発明の地上局10は、飛行前に十分なマップ情報をダウンロードするマッププレロード機能で構成される。
普通のUAVアプリケーションは、1つまたは複数の所望の中間地点を通って自律的に飛行している。詳しい道路マップデータは、道路および建物の位置情報を提供する。この情報は、パイロットが飛行経路上の必要な中間地点を計画するのに必要である。更に、「飛行禁止区域」は、パイロットが考慮すべき、ますます重要なマップ情報を含む。飛行禁止区域は、例えば、空域規定に従って、UAVを飛ばすことが認められていない領域を定義するものである。これらの領域は普通、空港などの重要施設の近くにあるが、住宅地を含んでよい。これらの領域における飛行は、民間機または自家用機といった他の空域ユーザに潜在的危害を及ぼすことがある。加えて、各国の軍隊は、特に、国家安全上の理由から、UAVを飛ばすことが認められていない領域も定義している。
多くの既知の地上局構成において、地上局は、スマートフォンなどを用いて、UAVカメラの視野、および、UAVの位置情報を表示する。その結果、マップ情報は、インターネットからスマートフォンにリアルタイムでダウンロードされる。飛行中にインターネットが利用できない場合は、マップ情報にアクセスすることができない。
本願において、地上局は、インターネットが利用可能なときにマップ情報をプレロードして、マップ情報なしでのUAV飛行を回避するように構成される。その結果、UAVは、インターネット接続がなくても、十分なマップ情報を用いて飛行することができる。
マッププレロード機能は、地上局10のスクリーン40、50をどちらも利用することが好ましい。第1スクリーン40には、ユーザが何らかのマップ情報をダウンロードすることに関心を持っている領域が表示される。上側のスクリーンは、関心領域周辺のズームアウト画像を同時に表示することが好ましい。このようにして、ユーザは、ダウンロードされることが好ましい、領域周辺の広い視野を得る。関心領域を選択することによって、マップ情報サイズが最小化されてもよい。このように、ユーザが関心を持たない領域に過剰な内部メモリが使用されることはない。
図10は、マッププレロード機能600のフローチャートを示している。第1ステップ610では、マッププレロード機能600が初期化される。第2の任意選択的なステップ620では、既にプレロードされたマップ情報レコードが回収され、更なる任意選択的なステップ630では、これらのレコードが表示される。任意選択的なステップ620および630では、既にダウンロードされたマップ情報レコードをパイロットが選択して再使用することができる。その場合、マッププレロード機能600は終了してよい。既にプレロードされたマップ情報レコードは、地上局10自体またはサーバから回収されてよい。ユーザにより必要とされる、既にダウンロードされたマップ情報レコードがない場合、当該方法は、新たなレコードを生成する、すなわち、新たなマップデータを生成するステップ640に移行する。次のステップ650では、ユーザが関心領域を選択する。ユーザは、GPS座標、他のマップ資料、領域または場所の名前などから関心領域を選択してよい。ステップ650でひとたび関心領域が特定されると、ユーザは、ステップ660で、表示されたマップ画像をズームインまたはズームアウトすること、および/または、表示されたマップ画像を動かすことにより、表示されたマップ画像を操作して、その後のUAV飛行のために実際の関心がある領域をより正確に特定してよい。ひとたびユーザが定義された関心領域に満足すると、UAVの飛行経路の計画、および/または、定義された領域でのUAV飛行にユーザがその後使用できるよう、ステップ670で、その領域のマップデータが、マップ情報サーバから地上局10にダウンロードされてよい。結果的に、地上局10には、選択された飛行に足りる程度のマップデータだけが予め提供され得る。これによって、地上局10により記憶および処理されるマップデータの量が減り、飛行中にインターネット接続または他の通信ネットワーク接続が必要とされない。 一般に、本発明は、マルチコプタの機能を無線制御するソフトウェアを実行するための、制御プロセッサを含むシステムオンチップ(SoC)集積回路、および、更なるプロセッサおよび入力/出力ポートを有する関連PCBを収容するためのハウジングと、第1スクリーンと、第2スクリーンとを備えるマルチコプタ地上局に関する。ここでは、一方または両方のスクリーンが、SoC制御プロセッサおよび関連回路により直接制御される。ハウジングは、制御プロセッサを収容するための第1ハウジング部材と、当該第1ハウジング部材に重ね合わせる第1閉鎖位置と第2開放位置との間で当該第1ハウジング部材に対して移動可能な第2ハウジング部材とを有するクラムシェル型ハウジングを備えてよい。これは、第2ハウジング部材が開放位置にあるときにユーザから両方のスクリーンが見えるように、第1ハウジング部材に第1スクリーンが装着され、第2ハウジング部材に第2スクリーンが装着されるといった構成である。
本発明に係る地上局は、埋め込み式のHDビデオ処理機能を持つ、SoC回路と、更なるプロセッサおよび入力/出力ポートを含む関連PCBとを有する地上局を提供する。第2スクリーンに表示される画像ビューは、完全にカスタマイズ可能である。なぜなら、受信されたUAV画像信号は、第2スクリーンに出力される前に、SoC集積回路を含むSoC回路で処理されるからである。
更に、地上局は、HD出力コネクタを用いてHD映像を外部デバイスに出力するためのスタンドアロンデバイスとして使用され得る。これによって、UAVからの映像をリアルタイムで外部デバイスにストリーミング配信するため、および、インターネットなどのネットワークを介して係る映像をリアルタイムで伝送するために、地上局を使用することができる。地上局は、オーディオエディタおよび他の機能として使用されてもよい。ここで、2つのスクリーンを設けることは、依然として更なる利点である。
本発明に係る地上局は、マルチコプタ(ドローン)カメラの視野を示すことに特化した一方のスクリーンまたはディスプレイを提供する一方で、別のスクリーンまたはディスプレイに、全てではないが、ほとんどの飛行情報を保持する。一方のスクリーンだけが提供される場合、多くの従来型地上局と同様に、ユーザは、例えば、FPV画像ビューとマップビューとを切り替えるか、または、非常に雑然としたFPVビューに耐える必要があるかもしれない。
本発明に係る地上局は、レイテンシが少ないモジュールおよび回路を用いることにより、および更には、マルチコプタカメラ画像信号が処理されるべき、伝送されるべき、または、信号フォーマット間で変換されるべき回数を最小限にすることにより、従来のマルチコプタシステムで通常生じるレイテンシ遅延を克服または低減する。
本発明に係る地上局によって、ユーザは、特に高環境光条件においてより快適に見られるよう、第2スクリーンの傾きを容易に操作または調整することができる。地上局は、明るい光条件における可読性を上げるために高光出力スクリーンも使用する。地上局は、感知される状況および/またはユーザの好みに従ってスクリーンバックライトを自動調整する内蔵式光センサを含んでよい。
本発明に係る地上局、好ましくは、その第2ハウジング部材20Bには、ユーザの画像を撮影する前方向きカメラが設けられてよい。
本発明は概して、2つのジョイスティックを備えたドローン(UAV)地上局、すなわち、ドローンコントローラに関する。これによって、ユーザ(パイロット)は、地上局に一体的に提供されるデュアルモニタスクリーンを用いてドローンの操作を制御することができる。通常の操作構成で見るデュアルスクリーンのレイアウトは、制御設定、および、ドローンのカメラ視野の表示の両方を考慮して、ユーザが2つの別個のスクリーンを維持することを可能にする「T」字型である。下側のスクリーン、すなわち、第1スクリーンは、主なコントローラユニット内の2つのコントローラジョイスティック間に縦向きに位置決めされる。第1スクリーンは、タッチスクリーンであり、かつ、コンピュータオペレーティングシステムにより制御されることが好ましい。このことは、第1スクリーンに表示されるメニュースクリーン内のドローン設定をユーザが調整するのに役立つ。上側のスクリーン、すなわち、第2スクリーンは、折り畳み可能なカバーに横向きに位置決めされる。第2スクリーンの1つの機能は、ドローンカメラの一人称視点(FPV)、および、例えば、バッテリレベルおよびドローンの状態といった他の重要なドローン情報を表示する、表示スクリーンとして機能することである。2つのスクリーンは、インタラクティブ型であり、2つのスクリーンを同期的にリンクする、Android(登録商標)オペレーティングシステム(OS)がインストールされた共有プログラムにより制御される。これをより効率的に達成すべく、地上局は、より効率的なインタラクション/相互運用のため、埋め込み式のAndroid(登録商標)SoC基板を用いて2つのスクリーンを接続する。本発明に係る新規のデュアルスクリーンUAV地上局は、単一ユニットで物理的体験および視覚的体験の両方が得られる、UAV操作の容易な手動制御をユーザに提供する。
本説明は、本発明の原理を示している。故に、本明細書で明示的に説明または図示されているわけではないが、本発明の原理を具現化し、かつ、本発明の主旨および範囲に含まれている、様々な構成を、当業者であれば考案できることが解るであろう。
更に、本明細書において本発明の原理、態様および実施形態、ならびにこれらの具体的な例を記載した全ての記述は、これらの構造的等価物および機能的等価物の両方を包含するように意図されている。加えて、係る等価物は、現在知られている等価物と、将来開発される等価物、すなわち、構造に関わらず同じ機能を実行する、開発される任意の要素とを両方含むように意図されている。
図面および上述の説明には、本発明が詳しく示され、説明されているが、これは例示的なものとみなされるべきであり、特徴を制限するものとみなされるべきではない。ここには典型的な実施形態だけが図示および説明されており、これらはいかなる方式によっても本発明の範囲を限定するものではないことが理解されよう。本明細書で説明される特徴は何れも、任意の実施形態とともに使用されてよいことが理解され得る。例示的な実施形態は、互いに排除し合うものでも、本明細書に記載されていない他の実施形態を排除するものでもない。結果的に、本発明は、上記の例示的な実施形態のうちの1つまたは複数の組み合わせを含む実施形態も提供する。本明細書に記載の本発明に対する修正および変更が、本発明の主旨および範囲から逸脱することなく行われ得る。従って、添付の請求項により示されるような限定だけが課されるべきである。
本明細書の請求項において、指定されている機能を実行するための手段として表されている要素は何れも、その機能を実行する任意のやり方を包含するように意図されている。係る請求項により定義される本発明は、記載されている様々な手段で提供される機能が、請求項に求められる方式で組み合わされ、結集されているという事実において成立する。故に、これらの機能を提供し得る手段は何れも、本明細書に示されている手段に相当するものとみなされる。
以下の請求項、および、本発明の前述の説明では、明示的な言葉または必然的な示唆によって文脈上他の意味に解すべき場合を除き、単語「備える(comprise)」、または「備える(comprises)」もしくは「備える(comprising)」などの派生語は、包括的な意味で使用されるもの、すなわち、述べられている特徴の存在を規定するために使用されるものであり、本発明の様々な実施形態における更なる特徴の存在または追加を排除するために使用されるものではない。
本明細書において任意の先行技術に言及する場合、係る先行技術は、その先行技術が当該分野における技術常識の一部を形成すると認めているわけではないことを理解すべきである
[項目1]
無人航空機(UAV)の地上局であって、
UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
第1スクリーンと、
第2スクリーンと
を備え、上記第1スクリーンは、上記ハウジングに対して縦向きに配置され、上記第2スクリーンは、上記ハウジングに対して横向きに配置され、一方または両方のスクリーンが、上記制御プロセッサにより制御される、地上局。
[項目2]
上記第1スクリーンは、通常の視線方向から見ると、上記ハウジングに対して上記第2スクリーンの下方に位置決めされる、項目1に記載の地上局。
[項目3]
上記第1スクリーンおよび上記第2スクリーンのスクリーン構成は、「T」字型である、項目1または2に記載の地上局。
[項目4]
上記ハウジングは、上記制御プロセッサを含むシステムオンチップ(SoC)回路を収容する、項目1から3の何れか一項に記載の地上局。
[項目5]
両方のスクリーンが、非無線接続で上記制御プロセッサにより直接制御され、上記非無線接続は、上記制御プロセッサと上記第1スクリーンおよび上記第2スクリーンの各々との間の有線接続であることが好ましい、項目4に記載の地上局。
[項目6]
上記第2スクリーンのサイズが、上記第1スクリーンのサイズよりも大きい、項目1から5の何れか一項に記載の地上局。
[項目7]
上記制御プロセッサは、Android(登録商標)オペレーティングシステム(OS)で構成される、項目5に記載の地上局。
[項目8]
上記第1スクリーンは、飛行制御データを表示するように構成され、上記第2スクリーンは、上記UAVのカメラにより撮影された画像データの一人称視点を表示するように構成される、項目1から7の何れか一項に記載の地上局。
[項目9]
上記飛行制御データは、飛行制御メニューを含み、上記第1スクリーンは、飛行制御ジョイスティックを親指で操作しているユーザが、上記飛行制御メニューに手の親指でアクセスすることができるように、左側の上記飛行制御ジョイスティックと右側の上記飛行制御ジョイスティックとの間に位置決めされる、項目8に記載の地上局。
[項目10]
無人航空機(UAV)の地上局であって、
UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを含むシステムオンチップ(SoC)回路を収容するハウジングと、
第1スクリーンと、
第2スクリーンと
を備え、両方のスクリーンが、Android(登録商標)オペレーティングシステム(OS)で構成されている上記制御プロセッサにより直接制御されて、2つ以上のアプリケーションを同期的に表示する、地上局。
[項目11]
上記SoC回路は、受信されたHDMI信号をCSI信号へと処理して、Android(登録商標)オペレーティングシステム(OS)で構成されている上記制御プロセッサに入力する、第1ビデオ処理チップと、上記制御プロセッサにより出力されたHDMI信号をDSI信号へと処理する第2ビデオ処理チップとを搭載する、項目10に記載の地上局。
[項目12]
無人航空機(UAV)の地上局であって、
UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
インタラクティブ型の第1スクリーンと、
第2スクリーンと
を備え、上記第1スクリーンは、写真編集メニューを表示するように構成され、上記第2スクリーンは、上記第1スクリーンで受信されたユーザ入力に応じて、編集される写真を表示するように構成される、地上局。
[項目13]
無人航空機(UAV)の地上局であって、
UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
第1スクリーンと、
第2スクリーンと
を備え、上記制御プロセッサは、上記第1スクリーンおよび上記第2スクリーンの両方に同時にアラート信号を表示するように構成される、地上局。
[項目14]
無人航空機(UAV)の地上局であって、
UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
インタラクティブ型の第1スクリーンと、
第2スクリーンと
を備え、上記第1スクリーンは、選択された領域のマップを表示するように構成され、上記第2スクリーンは、同じ領域ではあるが周辺領域を含んだズームアウトマップを同時に表示するように構成され、上記第1スクリーンで受信されたユーザ入力に応じて、上記選択された領域のマップを操作することによって、上記地上局にダウンロードするためのマップ領域を選択することができる、地上局。
[項目15]
UAVと、
項目1から14の何れか一項に記載の地上局と
を備える、UAVシステム。

Claims (12)

  1. 無人航空機(UAV)の地上局であって、
    UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
    第1スクリーンと、
    第2スクリーンと
    を備え、
    一方または両方のスクリーンが、前記制御プロセッサにより制御され、
    前記第1スクリーンは、前記ハウジングに対して縦向きに配置され、前記第2スクリーンは、前記ハウジングに対して横向きに配置され、
    前記第1スクリーンは、通常の視線方向から見ると、前記ハウジングに対して前記第2スクリーンの下方に位置決めされ、それにより、「T」字型のスクリーン構成を形成し、
    前記第1スクリーンは、飛行制御データを表示するように構成され、前記第2スクリーンは、前記UAVのカメラにより撮影された画像データの一人称視点を表示するように構成される、
    上局。
  2. 前記ハウジングは、前記制御プロセッサを含むシステムオンチップ(SoC)回路を収容する、請求項1に記載の地上局。
  3. 両方のスクリーンが、非無線接続で前記制御プロセッサにより直接制御され、前記非無線接続は、前記制御プロセッサと前記第1スクリーンおよび前記第2スクリーンの各々との間の有線接続であることが好ましい、請求項2に記載の地上局。
  4. 前記第2スクリーンのサイズが、前記第1スクリーンのサイズよりも大きい、請求項1から3の何れか一項に記載の地上局。
  5. 前記制御プロセッサは、Android(登録商標)オペレーティングシステム(OS)で構成される、請求項3に記載の地上局。
  6. 前記飛行制御データは、飛行制御メニューを含み、前記第1スクリーンは、飛行制御ジョイスティックを親指で操作しているユーザが、前記飛行制御メニューに手の親指でアクセスすることができるように、左側の前記飛行制御ジョイスティックと右側の前記飛行制御ジョイスティックとの間に位置決めされる、請求項1に記載の地上局。
  7. 両方のスクリーンが、Android(登録商標)オペレーティングシステム(OS)で構成されている前記制御プロセッサにより直接制御されて、2つ以上のアプリケーションを同期的に表示する、請求項5に記載の地上局。
  8. 前記ハウジングは、前記制御プロセッサを含むシステムオンチップ(SoC)回路を収容し、
    前記SoC回路は、受信されたHDMI信号をCSI信号へと処理して、Android(登録商標)オペレーティングシステム(OS)で構成されている前記制御プロセッサに入力する、第1ビデオ処理チップと、前記制御プロセッサにより出力されたHDMI信号をDSI信号へと処理する第2ビデオ処理チップとを搭載する、請求項7に記載の地上局。
  9. 無人航空機(UAV)の地上局であって、
    UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
    第1スクリーンと、
    第2スクリーンと
    を備え、
    一方または両方のスクリーンが、前記制御プロセッサにより制御され、
    前記第1スクリーンは、前記ハウジングに対して縦向きに配置され、前記第2スクリーンは、前記ハウジングに対して横向きに配置され、
    前記第1スクリーンは、通常の視線方向から見ると、前記ハウジングに対して前記第2スクリーンの下方に位置決めされ、それにより、「T」字型のスクリーン構成を形成し、
    記第1スクリーンは、写真編集メニューを表示するように構成され、前記第2スクリーンは、前記第1スクリーンで受信されたユーザ入力に応じて、編集される写真を表示するように構成される
    上局。
  10. 前記制御プロセッサは、前記第1スクリーンおよび前記第2スクリーンの両方に同時にアラート信号を表示するように構成される、請求項1に記載の地上局。
  11. 無人航空機(UAV)の地上局であって、
    UAVの機能を無線制御するソフトウェアを実行するための制御プロセッサを収容するハウジングと、
    第1スクリーンと、
    第2スクリーンと
    を備え、
    一方または両方のスクリーンが、前記制御プロセッサにより制御され、
    前記第1スクリーンは、前記ハウジングに対して縦向きに配置され、前記第2スクリーンは、前記ハウジングに対して横向きに配置され、
    前記第1スクリーンは、通常の視線方向から見ると、前記ハウジングに対して前記第2スクリーンの下方に位置決めされ、それにより、「T」字型のスクリーン構成を形成し、
    記第1スクリーンは、選択された領域のマップを表示するように構成され、前記第2スクリーンは、同じ領域ではあるが周辺領域を含んだズームアウトマップを同時に表示するように構成され、前記第1スクリーンで受信されたユーザ入力に応じて、前記選択された領域のマップを操作することによって、前記地上局にダウンロードするためのマップ領域を選択することができる
    上局。
  12. UAVと、
    請求項1から11の何れか一項に記載の地上局と
    を備える、UAVシステム。
JP2019511717A 2016-10-18 2017-10-18 無人航空機(uav)の地上局 Active JP6957806B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2016/102363 WO2018072082A1 (en) 2016-10-18 2016-10-18 Ground station for unmanned aerial vehicle (uav)
CNPCT/CN2016/102363 2016-10-18
PCT/CN2017/106758 WO2018072718A1 (en) 2016-10-18 2017-10-18 A ground station for an unmanned aerial vehicle (uav)

Publications (2)

Publication Number Publication Date
JP2020503703A JP2020503703A (ja) 2020-01-30
JP6957806B2 true JP6957806B2 (ja) 2021-11-02

Family

ID=62018636

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019511756A Pending JP2019533921A (ja) 2016-10-18 2016-10-18 無人航空機(uav)の地上局
JP2019511717A Active JP6957806B2 (ja) 2016-10-18 2017-10-18 無人航空機(uav)の地上局

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019511756A Pending JP2019533921A (ja) 2016-10-18 2016-10-18 無人航空機(uav)の地上局

Country Status (5)

Country Link
US (2) US11067980B2 (ja)
EP (2) EP3529670B1 (ja)
JP (2) JP2019533921A (ja)
CN (2) CN209803578U (ja)
WO (2) WO2018072082A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL256941A (en) * 2018-01-15 2018-03-29 Colugo Systems Ltd A free-wing multi-blade that includes vertical and horizontal engines
WO2020198437A1 (en) * 2019-03-27 2020-10-01 Drone Technology LLC System and method for structure inspection
JP2023505258A (ja) 2019-12-04 2023-02-08 インサイト・コーポレイション Fgfr阻害剤としての三環式複素環
CN113492990B (zh) * 2020-04-07 2023-07-28 隆安良 一种用于多旋翼无人机的便携式快速测绘装置
CN111459068A (zh) * 2020-04-14 2020-07-28 中国人民解放军32180部队 无人机载昼夜光电系统地面综合显示操控系统及方法
US20220119125A1 (en) * 2020-06-10 2022-04-21 Olympic Aero Services, Inc. Distant measurement system for locating powerline marker ball positions with respect to longitudinal displacement
US11682307B2 (en) * 2020-07-07 2023-06-20 Honeywell International Inc. Situation-aware, intelligent data-synchronization methods for UAV-inspection applications
CN114385099B (zh) * 2021-11-26 2023-12-12 中国航空无线电电子研究所 基于主动推显的多无人机动态监控界面显示方法和装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3919994B2 (ja) * 2000-01-13 2007-05-30 三菱電機株式会社 撮影システム
JP2001309233A (ja) * 2000-04-19 2001-11-02 Japan Aviation Electronics Industry Ltd 撮影装置の遠隔操作システム
US20060007200A1 (en) * 2004-07-08 2006-01-12 David Young Method and system for displaying a sequence of image frames
JP2006053629A (ja) * 2004-08-10 2006-02-23 Toshiba Corp 電子機器、制御方法及び制御プログラム
US8581981B2 (en) * 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
JP2008263622A (ja) * 2008-03-11 2008-10-30 Tetsuo Murayama 分離式携帯電話
US20120300134A1 (en) * 2011-04-06 2012-11-29 Christopher Slowinski Remote control operable stands for tv display
CN102591346A (zh) * 2011-12-05 2012-07-18 大连理工大学 一种手持式小型无人机地面监控系统
US8948589B2 (en) * 2012-03-30 2015-02-03 Alcatel Lucent Apparatus and method for testing fibers in a PON
JP6038475B2 (ja) * 2012-04-02 2016-12-07 シャープ株式会社 表示装置、情報処理装置、表示駆動方法、表示駆動プログラムおよびコンピュータ読取可能な記録媒体
US8874283B1 (en) * 2012-12-04 2014-10-28 United Dynamics Advanced Technologies Corporation Drone for inspection of enclosed space and method thereof
US9014874B2 (en) * 2013-01-29 2015-04-21 Foster-Miller, Inc. Tactical robot controller
US20170300051A1 (en) * 2013-02-06 2017-10-19 Dylan T X Zhou Amphibious vertical take off and landing unmanned device with AI data processing apparatus
CN203588001U (zh) 2013-11-20 2014-05-07 天津全华时代航天科技发展有限公司 无人机地面控制站
WO2015180180A1 (en) * 2014-05-30 2015-12-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
JP2016039387A (ja) * 2014-08-05 2016-03-22 株式会社デンソー 映像信号処理装置及び映像信号処理プログラム
WO2016065519A1 (en) * 2014-10-27 2016-05-06 SZ DJI Technology Co., Ltd. Uav flight display
WO2016076586A1 (en) * 2014-11-14 2016-05-19 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR20160076179A (ko) * 2014-12-22 2016-06-30 삼성디스플레이 주식회사 전계발광 디스플레이 장치 및 그 구동 방법
CN204406748U (zh) * 2014-12-24 2015-06-17 何军 一种用于无人机器操控的虚拟驾驶系统
CN204790576U (zh) * 2015-07-10 2015-11-18 江苏首控制造技术有限公司 多功能便携式无人机地面站控制装置
CN204989832U (zh) 2015-08-04 2016-01-20 安徽泽众安全科技有限公司 一种无人机手持便携式控制终端
CN104991478A (zh) * 2015-08-04 2015-10-21 安徽泽众安全科技有限公司 一种无人机手持便携式控制终端
CN205210692U (zh) * 2015-12-04 2016-05-04 中国航空工业集团公司沈阳飞机设计研究所 一种小型无人机航路规划系统
CN205644102U (zh) * 2016-04-07 2016-10-12 天津航天中为数据系统科技有限公司 一种便携式地面站
KR20170136750A (ko) * 2016-06-02 2017-12-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN105867422A (zh) * 2016-06-08 2016-08-17 南京钟山苑航空技术有限公司 一种无人飞行器的手持地面控制站
US10452064B1 (en) * 2016-07-21 2019-10-22 Biraj Debin Ray Portable universal ground control system

Also Published As

Publication number Publication date
CN209803579U (zh) 2019-12-17
EP3529670A1 (en) 2019-08-28
EP3529671A4 (en) 2020-06-17
WO2018072718A1 (en) 2018-04-26
WO2018072082A1 (en) 2018-04-26
US20210286355A1 (en) 2021-09-16
EP3529670A4 (en) 2020-05-27
JP2020503703A (ja) 2020-01-30
CN209803578U (zh) 2019-12-17
US11067980B2 (en) 2021-07-20
EP3529670B1 (en) 2021-04-28
US20190235491A1 (en) 2019-08-01
EP3529671A1 (en) 2019-08-28
JP2019533921A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
JP6957806B2 (ja) 無人航空機(uav)の地上局
US20210141518A1 (en) Graphical user interface customization in a movable object environment
US10086954B2 (en) UAV flight display
US9442290B2 (en) Headset computer operation using vehicle sensor feedback for remote control vehicle
CN105929838B (zh) 一种飞行器的飞行控制方法和移动终端以及飞行控制端
TW201831955A (zh) 顯示裝置、及顯示裝置之控制方法
JP6225147B2 (ja) コントローラ端末及び、無線航空機のコントロール方法
KR101954926B1 (ko) 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법 및 이를 위한 증강현실 관광 시스템
JP2023057120A (ja) 飛行体の制御に関する情報表示方法
WO2023193611A1 (zh) 无人飞行器及其控制方法、装置、系统
WO2023025204A1 (zh) 远程控制方法、装置及第一、第二控制端
WO2023025202A1 (zh) 云台方向的控制方法、装置及终端
CN110622086A (zh) 可移动物体应用框架
JP6582270B1 (ja) 飛行体の制御に関する情報表示方法
WO2023085027A1 (ja) 装置及びシステム
US20240143128A1 (en) Multimodal decision support system using augmented reality
KR102542181B1 (ko) 360도 vr 영상 제작을 위한 무인 비행체 제어 방법 및 장치
JP6582264B1 (ja) 飛行体の制御に関する情報表示方法
JP6582267B1 (ja) 飛行体の制御に関する情報表示方法
JP6582266B1 (ja) 飛行体の制御に関する情報表示方法
JP6582268B1 (ja) 飛行体の制御に関する情報表示方法
JP6582265B1 (ja) 飛行体の制御に関する情報表示方法
JP6582269B1 (ja) 飛行体の制御に関する情報表示方法
JP2019195153A (ja) 飛行体の制御に関する情報表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210810

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210910

R150 Certificate of patent or registration of utility model

Ref document number: 6957806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150