JP7218321B2 - 無人航空機のビューを生成するためのシステムおよび方法 - Google Patents

Description

本明細書は、概して、無人航空機のビュー(view)を生成するためのシステムおよび方法に関し、より具体的には、無人航空機のルートに基づいて選択される利用可能な撮像装置に基づいて、無人航空機のビューを生成するためのシステムおよび方法に関する。

無人航空機は、農業、セキュリティと監視、品物とサービスの配達、および電気通信を含む種々の産業において使用されている。しかし、アメリカ連邦航空局規則（例えば、規制ゾーン、人間オペレータの視線規制、目視および回避要件など）は、無人航空機の機能を制限する。特に、無人航空機が長距離を飛行するときは、無人航空機は、広範囲にわたる規制ゾーンの影響を受け、人間オペレータの視線から外れてしまうことが起こり得、そのため、目視および回避要件を満たすことができない可能性がある。

従って、長距離を飛行する無人航空機のリアルタイムビューを得るための必要性が存在する。

１つの実施形態においては、無人航空機に対するビューを生成するための方法が提供される。該方法は、無人航空機の出発地(origin)および目的地(destination)を得ることと、無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定することと、撮像装置のグループによりキャプチャされる無人航空機の画像に基づいて、ルートに従う無人航空機のビューを得ることを含んでいる。

他の実施形態においては、無人航空機に対するビューを生成するためのシステムが提供される。該システムは、無人航空機の出発地および目的地を得、無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定し、撮像装置のグループによりキャプチャされる画像を受信し、受信画像に基づいて、ルートに従う無人航空機のビューを得るように構成されている電子制御ユニットを含んでいる。

更に他の実施形態においては、無人航空機に対するビューを生成するための方法が提供される。該方法は、無人航空機の現在の位置に基づいて、無人航空機に対するルートを決定することと、ルートに基づいて、撮像装置のグループを選択することと、撮像装置のグループによりキャプチャされる画像に基づいて、ルートに従う無人航空機のビューを得ることを含んでいる。

本開示の実施形態により提供される、これらのおよび追加的特徴は、図面と連携して、下記の詳細な記述を考慮することで、より完全に理解されるであろう。

図面において記述される実施形態は、本質的に説明のためおよび例示のためであり、開示を制限することは意図されていない。説明のための実施形態の下記の詳細な記述は、類似の構造物は、類似の参照番号で示されている下記の図面と連携して読まれると理解できる。

ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを生成するためのシステムを示している。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを生成するためのシステムの模式図を示している。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワーク間のハンドオーバ（接続移行）を示している。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、無人航空機がカメラセンサネットワークから出て行く、例としてのシナリオを示している。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを得るためのフローチャートである。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、例としてのカメラセンサネットワークを示している。 ここにおいて示され且つ記述される他の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを得るためのフローチャートである。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、例としてのカメラセンサネットワークを示している。 ここにおいて示され且つ記述される他の実施形態に係る、無人航空機の出発地および目的地をシステムが知らないときに、カメラセンサネットワークを使用して、無人航空機のビューを得るためのフローチャートを示している。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、例としてのカメラセンサネットワークを示している。 ここにおいて示され且つ記述される１つ以上の実施形態に係る、例としてのカメラセンサネットワークを示している。

ここにおいて開示される実施形態は、無人航空機のリアルタイムビューを得るためのシステムおよび方法を含んでいる。図１から図５を全体的に参照すると、無人航空機に対するビューを生成するための方法が提供される。方法は、無人航空機１０４の出発地１６２および目的地１６４を得ることと、無人航空機１０４の出発地１６２と目的地１６４との間のルートに基づいて、撮像装置のグループを決定することと、撮像装置のグループによりキャプチャされる無人航空機の画像に基づいて、ルートに従う無人航空機のビューを得ることを含んでいる。

撮像装置のグループは、１つ以上の共同作業するカメラセンサネットワークを形成する。共同作業するカメラセンサネットワークは無人航空機を識別して、無人航空機の人間オペレータのビューを作成する。無人航空機のルートは、カメラセンサネットワークの撮像装置の利用可能性に基づいて決定される。無人航空機のルートは、撮像装置の利用可能性に基づいて変更できる。無人航空機がカメラセンサネットワーク領域から出て行くときは常に、無人航空機の飛行を連続的に監視するために、図３に示されているように、カメラセンサネットワーク間で水平方向および／または垂直方向のハンドオーバが実行される。無人航空機が、カメラセンサネットワークによりカバーされない位置のときは、図４において示されているように、特殊任務のドローンを無人航空機に近接して位置させることができる。カメラセンサネットワークにより得られる画像データは、エッジサーバおよび／またはクラウドサーバに転送され、エッジサーバおよび／またはクラウドサーバは、キャプチャされた画像を人間オペレータに送信する。

図１は、ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを生成するためのシステムを示している。図１において、システム１００は、クラウドサーバ１０２、無人航空機１０４、エッジサーバ１４０と１５０、およびカメラセンサネットワーク１１０と１２０を含むことができる。

無人航空機１０４のユーザ１６０は、無人航空機１０４から遠く離れて位置している。ユーザ１６０は、カメラセンサネットワーク、例えばカメラセンサネットワーク１１０から受信される無人航空機のビューに基づいて、無人航空機１０４を遠隔制御できる。

実施形態においては、無人航空機１０４は、その出発地および目的地情報を、エッジサーバおよび／またはクラウドサーバと共有できる。例えば、無人航空機１０４は、その出発地１６２および目的地１６４を、近くのエッジサーバ、例えば、エッジサーバ１４０、またはクラウドサーバ１０２に送信できる。エッジサーバ１４０および／またはクラウドサーバ１０２は、無人航空機１０４の出発地１６２と目的地１６４との間のルート、および利用可能な撮像装置に基づいて、１つ以上の共同作業するカメラセンサネットワークを動的に形成できる。例えば、図１においては、第１および第２の共同作業するカメラセンサネットワーク１１０および１２０が形成されている。第１の共同作業するカメラセンサネットワーク１１０は、複数の撮像装置を含んでいる。例えば、第１の共同作業するカメラセンサネットワーク１１０は、移動している車両の撮像装置１１２と１１４、および道路沿いの(road-side)撮像装置１１６、１１８および１１９を含んでいる。第２の共同作業するカメラセンサネットワーク１２０は、移動している車両の撮像装置１２２、１２４、１２６、および１２８、および道路沿いの撮像装置１３２、１３４、１３６、１３８、および１３９を含んでいる。

無人航空機１０４が、出発地１６２から目的地１６４に向けて、ルート１６６に従い移動するときに、無人航空機１０４のビューは、共同作業するカメラセンサネットワークの複数の撮像装置によりキャプチャされる無人航空機１０４の画像に基づいて得られる。例えば、撮像装置１１４は、無人航空機１０４が、ルート１６６に従い移動するときに、無人航空機１０４のキャプチャを開始できる。撮像装置１１４は、エッジサーバ１４０またはクラウドサーバ１０２に常にキャプチャされた画像を送信でき、エッジサーバ１４０またはクラウドサーバ１０２は、キャプチャされた画像をユーザ１６０（例えば、ユーザ１６０の装置１６３）に送信する。無人航空機１０４が、道路沿いの撮像装置１１６に近接すると（例えば、無人航空機１０４が、道路沿いの撮像装置１１６の視距離内のときは）、道路沿いの撮像装置１１６は無人航空機１０４の画像をキャプチャでき、その画像をエッジサーバ１４０またはクラウドサーバ１０２に送信でき、エッジサーバ１４０またはクラウドサーバ１０２はその画像をユーザ１６０に送信する。

実施形態においては、２つ以上の撮像装置が無人航空機１０４の画像を同時にキャプチャできる。例えば、撮像装置１１４および撮像装置１１６の両者は無人航空機１０４の画像を、異なる視点から同時にキャプチャできる。撮像装置１１４および１１６の両者は、キャプチャされた画像をエッジサーバ１４０に送信できる。エッジサーバ１４０は画像を合成でき、無人航空機１０４の向上されたビュー（例えば、無人航空機１０４の３６０度のビュー）を得ることができる。または、エッジサーバ１４０はキャプチャ画像をクラウドサーバ１０２に送信し、クラウドサーバ１０２は画像を合成でき、無人航空機１０４の向上されたビューを得ることができる。

実施形態においては、エッジサーバ１４０または１５０、またはクラウドサーバ１０２は、撮像装置によりキャプチャされる画像を処理して、無人航空機１０４が何らかの異常な動きを示しているかどうかを決定する。無人航空機１０４が何らかの異常な動きを示していると決定された場合、エッジサーバ１４０または１５０、またはクラウドサーバ１０２は、ユーザ１６０に警報を送信できる。幾つかの実施形態においては、エッジサーバ１４０または１５０、またはクラウドサーバ１０２は、キャプチャされた画像に基づいて無人航空機１０４の現在の位置を決定でき、位置および規制ゾーンについての予め格納されている情報に基づいて、無人航空機１０４は規制ゾーン内であるかどうかを決定できる。無人航空機１０４は規制ゾーン内であると決定された場合、エッジサーバ１４０または１５０、またはクラウドサーバ１０２はユーザ１６０に警報を送信できる。

図２は、ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを生成するためのシステムの模式図を示している。

無人航空機１０４は、１つ以上のプロセッサ２０２、１つ以上のメモリモジュール２０４、サテライトアンテナ２０６、ネットワークインタフェースハードウェア２０８、１台以上のカメラ、およびビーコン装置２１２を含んでいる。

無人航空機１０４の１つ以上のプロセッサ２０２のそれぞれは、機械読取り可能命令を実行できる任意の装置であってよい。従って、１つ以上のプロセッサ２０２のそれぞれは、コントローラ、集積回路、マイクロチップ、コンピュータ、または任意の他の演算装置であってよい。１つ以上のプロセッサ２０２のそれぞれは、通信経路２１４により、無人航空機１０４の他の構成要素に通信可能に結合されている。従って、通信経路２１４は、任意の数のプロセッサを相互に通信可能に結合でき、通信経路２１４に結合された構成要素が、分散型演算環境において動作することを可能にできる。具体的には、構成要素のそれぞれは、データを送り、および／または受信できるノードとして動作できる。

無人航空機１０４の１つ以上のメモリモジュール２０４のそれぞれは通信経路２１４に結合され、１つ以上のプロセッサ２０２に通信可能に結合されている。１つ以上のメモリモジュール２０４のそれぞれは、ＲＡＭ、ＲＯＭ，フラッシュメモリ、ハードドライブ、または、機械読取り可能命令が、１つ以上のプロセッサ２０２によりアクセスされて実行されることが可能なように、機械読取り可能命令を格納できる任意の装置を備えることができる。機械読取り可能命令は、例えば、１つ以上のプロセッサ２０２により直接実行され得る機械言語、またはアセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、スクリプト言語、マイクロコードなどのような、機械読取り可能命令にコンパイルまたはアセンブルでき、１つ以上のメモリモジュール２０４に格納できる、任意の世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、または５ＧＬ）の任意のプログラミング言語で記述されるロジックまたはアルゴリズムを備えることができる。または、機械読取り可能命令は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成、または特定用途向け集積回路（ＡＳＩＣ）の何れか、またはそれらの等価物を介して実現されるロジックのような、ハードウェア記述言語（ＨＤＬ）で記述できる。従って、ここにおいて記述される機能は、予めプログラムされたハードウェア要素として、または、ハードウェアおよびソフトウェア構成要素の組み合わせとして、任意の従来のコンピュータプログラミング言語において実現できる。

１つ以上のメモリモジュール２０４は、エッジサーバ１４０またはクラウドサーバ１０２から受信する、無人航空機１０４の出発地および目的地と、出発地と目的地との間の割り当てられたルートを含むことができる。１つ以上のプロセッサ２０２は、無人航空機１０４が割り当てられたルートに従うために、無人航空機１０４の１つ以上の電気モータを動作させることができる。

更に図２を参照すると、サテライトアンテナ２０６は、通信経路２１４がサテライトアンテナ２０６を、無人航空機１０４の他のモジュールに通信可能に結合するように、通信経路２１４に結合されている。サテライトアンテナ２０６は、全地球測位システム衛星から信号を受信するように構成されている。具体的には、１つの実施形態においては、サテライトアンテナ２０６は、全地球測位システム衛星から送信される電磁信号と相互作用する１つ以上の伝導性要素を含んでいる。受信信号は、１つ以上のプロセッサ２０２により、サテライトアンテナ２０６、またはサテライトアンテナ２０６の近くに位置している物体の位置（例えば、緯度、経度、および高度）を示すデータ信号に変換される。１つ以上のメモリモジュール２０４は、サテライトアンテナ２０６が受信する位置を、エッジサーバ１４０またはクラウドサーバ１０２に送信するための命令を含むことができる。

更に図２を参照すると、ネットワークインタフェースハードウェア２０８は通信経路２１４に結合され、１つ以上のプロセッサ２０２に通信可能に結合されている。ネットワークインタフェースハードウェア２０８は、ネットワークを介してデータを送信および／または受信できる任意の装置であってよい。従って、ネットワークインタフェースハードウェア２０８は、任意の有線または無線通信を送る、および／または受信するための通信トランシーバを含むことができる。例えば、ネットワークインタフェースハードウェア２０８は、アンテナ、モデム、ＬＡＮポート、Ｗｉ－Ｆｉカード、ＷｉＭａｘカード、移動体通信ハードウェア、近距離通信ハードウェア、衛星通信ハードウェア、および／または、他のネットワークおよび／または装置と通信するための任意の有線または無線ハードウェアを含むことができる。幾つかの実施形態においては、ネットワークインタフェースハードウェア２０８は、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース（登録商標））無線通信プロトコルに従って動作するように構成されているハードウェアを含んでいる。他の実施形態においては、ネットワークインタフェースハードウェア２０８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）以外の無線通信プロトコルに従って動作するように構成されているハードウェアを含んでいる。無人航空機１０４のネットワークインタフェースハードウェア２０８は、エッジサーバ１４０またはクラウドサーバ１０２と通信できる。

更に図２を参照すると、１台以上のカメラ２１０は、通信経路２１４が１台以上のカメラ２１０を、無人航空機１０４の他のモジュールに通信可能に結合するように、通信経路２１４に結合されている。１台以上のカメラ２１０のそれぞれは、紫外線波長帯、可視光波長帯、または赤外線波長帯における放射を検出できる感知装置（例えば、画素）のアレイを有している任意の装置であってよい。１台以上のカメラ２１０のそれぞれは、任意の解像度を有することができる。１台以上のカメラ２１０は、全方位カメラまたはパノラマカメラを含むことができる。幾つかの実施形態においては、ミラー、魚眼レンズ、または任意の他のタイプのレンズのような１つ以上の光学構成要素を、１台以上のカメラ２１０の少なくとも１つに光学的に結合できる。１台以上のカメラ２１０は、他の無人航空機の画像をキャプチャするために使用できる。

更に図２を参照すると、通信経路２１４は、例えば、伝導性ワイヤ、伝導性トレース、光導波路などのような、信号を送信できる任意の媒体から形成できる。更に、通信経路２１４は、信号を送信できる媒体の組み合わせから形成できる。１つの実施形態においては、通信経路２１４は、電気データ信号の、プロセッサ、メモリ、センサ、入力装置、出力装置、および通信装置などのような構成要素への送信を許容するように共同で作業する、伝導性トレース、伝導性ワイヤ、コネクタ、およびバスの組み合わせを備えている。従って、通信経路２１４はバスを備えることができる。追加的に、「信号」という用語は、媒体を通して伝搬できる、ＤＣ、ＡＣ、正弦波、三角波、矩形波、振動などのような波形（例えば、電気的、光学的、磁気的、機械的、または電磁気的）を意味するということを記しておく。通信経路２１４は、無人航空機１０４の種々の構成要素を通信可能に結合する。ここにおいて使用されているような「通信可能に結合されている」という用語は、結合されている構成要素は、例えば、電気信号は伝導性媒体を介して、電磁信号は空気を介して、光信号は光導波路を介してなどのように、データ信号を相互に交換できるということ意味している。

更に図２を参照すると、ビーコン装置２１２は通信経路２１４に結合され、１つ以上のプロセッサ２０２に通信可能に結合されている。ビーコン装置２１２は、近くの装置に無線ビーコン信号を送信できる。ビーコン信号は、無人航空機１０４についての識別情報を含むことができる。例えば、図１に示されている撮像装置１１４は、無人航空機１０４から無線ビーコン信号を受信して、無人航空機１０４を識別する。

ここでクラウドサーバ１０２を参照すると、１つ以上のプロセッサ２２０は、上記の１つ以上のプロセッサ２０２に類似しているプロセッサであってよい。１つ以上のメモリモジュール２３０は、上記の１つ以上のメモリモジュール２０４に類似しているメモリであってよい。ネットワークインタフェースハードウェア２４０は、上記のネットワークインタフェースハードウェア２０８に類似しているインタフェースハードウェアであってよい。通信経路２５０は、上記の通信経路２１４に類似している通信経路であってよい。１つ以上のメモリモジュール２３０の組み合わせにおける１つ以上のプロセッサ２２０は、クラウドサーバ１０２に対する電子制御ユニットとして動作できる。

１つ以上のメモリモジュール２３０は、カメラデータベース２３２、無人航空機情報データベース２３４、ルートプラナーモジュール(route planner module)２３６、およびリモートパーソンビューモジュール(remote person view module)２３８を含んでいる。カメラデータベース２３２は、撮像装置の位置および仕様を格納している。撮像装置は、可動撮像装置、例えば、モバイルフォンの撮像装置、無人航空機の撮像装置、車両の撮像装置などを含むことができる。加えて、撮像装置は、例えば、交通信号機における撮像装置、監視カメラの撮像装置、道路沿いのユニットの撮像装置などのような、固定位置における撮像装置を含むことができる。可動撮像装置に対して、カメラデータベース２３２は、特別な時間における可動撮像装置の予測される位置を含むことができる。固定位置における撮像装置に対して、撮像装置の位置は、カメラデータベース２３２に格納されている。撮像装置の仕様は、各撮像装置の画角(view angle)、解像度、および視距離(viewing distance)を含んでいる。

無人航空機情報データベース２３４は、無人航空機の識別情報、および各無人航空機に対する出発地および目的地情報を含むことができる。各無人航空機の出発地および目的地は、無人航空機のそれぞれから受信できる。他の例として、無人航空機のユーザは、無人航空機に対するコントローラ上で出発地および目的地を入力することで、無人航空機の出発地および目的地をクラウドサーバ１０２に送信できる。

ルートプラナーモジュール２３６は、カメラデータベース２３２および無人航空機情報データベース２３４に格納されている情報に基づいて、各無人航空機に対するルートを決定できる。例えば、無人航空機１０４に対しては、無人航空機１０４の出発地および目的地、およびカメラデータベース２３２に格納されている出発地と目的地との間の撮像装置の位置に基づいて、ルートに従う無人航空機１０４が、撮像装置の少なくとも１つにより常にキャプチャされるようにルートが計画される。

リモートパーソンビューモジュール２３８は、無人航空機のビューを、無人航空機のユーザ１６０または、ユーザ１６０のウェアラブル装置１６３に提供する。実施形態においては、リモートパーソンビューモジュール２３８は撮像装置から、無人航空機１０４のキャプチャされた画像を受信でき、キャプチャされた画像をユーザ１６０または、ユーザのウェアラブル装置１６３に送信できる。幾つかの実施形態においては、リモートパーソンビューモジュール２３８は、無人航空機１０４を含んでいるキャプチャされた画像を合成でき、合成画像をユーザ１６０に送信できる。幾つかの実施形態においては、リモートパーソンビューモジュール２３８は各撮像装置に、ユーザ１６０またはユーザ１６０のウェアラブル装置１６３と直接通信するように指示できる。例えば、リモートパーソンビューモジュール２３８は撮像装置１１４に、無人航空機１０４のキャプチャされた画像をユーザ１６０に送信するように指示できる。無人航空機１０４が撮像装置１１４から遠ざかるように動き、撮像装置１１６に接近すると、リモートパーソンビューモジュール２３８は撮像装置１１６に、無人航空機１０４のキャプチャされた画像をユーザ１６０に送信するように指示できる。幾つかの実施形態においては、撮像装置１１４および撮像装置１１６の両者は、キャプチャされた画像をエッジサーバ１４０に送信でき、エッジサーバ１４０は、無人航空機１０４の向上されたビューを得るために、キャプチャされた画像を合成または結び付けることができる。そして、エッジサーバ１４０は、合成または結びつけられた画像をユーザ１６０に転送できる。

ルートプラナーモジュール２３６およびリモートパーソンビューモジュール２３８のそれぞれは、オペレーティングシステムの形状のプログラムモジュール、アプリケーションプログラムモジュール、および１つ以上のメモリモジュール２３０に格納されている他のプログラムモジュールであってよい。幾つかの実施形態においては、プログラムモジュールは、クラウドサーバ１０２と通信できるリモート格納装置に格納できる。そのようなプログラムモジュールは、下記に制限されないが、下記に記述するような特定の作業を実行するため、または、特定のデータタイプを実行するためのルーチン、サブルーチン、プログラム、オブジェクト、構成要素、データ構造、などを含むことができる。

エッジサーバ１４０は、クラウドサーバ１０２の構成要素と類似している構成要素を含むことができる。例えば、エッジサーバ１４０は、１つ以上のプロセッサ、１つ以上のメモリモジュール、およびネットワークハードウェアインタフェースを含むことができる。１つ以上のメモリモジュールは、クラウドサーバ１０２の１つ以上のメモリモジュール２３０に類似して、カメラデータベース、無人航空機情報データベース、ルートプラナーモジュール、およびリモートパーソンビューモジュールを含むことができる。

図３は、ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワーク間のハンドオーバを示している。図３においては、時刻ｔ＝ｔ₀において、無人航空機１０４は、第１の共同作業するカメラセンサネットワーク１１０によりカバーされる領域にいる。第１の共同作業するカメラセンサネットワーク１１０は複数の撮像装置を含んでいる。例えば、第１の共同作業するカメラセンサネットワーク１１０は、移動している車両の撮像装置１１２および１１４と、道路沿いの撮像装置１１６、１１８、および１１９を含んでいる。第２の共同作業するカメラセンサネットワーク１２０は、移動している車両の撮像装置１２２、１２４、１２６、および１２８と、道路沿いの撮像装置１３２、１３４、１３６、１３８、および１３９を含んでいる。

無人航空機１０４が、カメラセンサネットワーク１１０によりカバーされる領域内のときは、撮像装置１１４は、無人航空機１０４がルート１６６従い移動するときに、無人航空機１０４のキャプチャを開始できる。撮像装置１１４はキャプチャされた画像を、エッジサーバ１４０に常に送信でき、エッジサーバ１４０はその画像を、クラウドサーバ１０２またはユーザ１６０（例えば、ユーザ１６０のウェアラブル装置１６３）に送信する。幾つかの実施形態においては、撮像装置１１４はキャプチャされた画像を、クラウドサーバ１０２に送信でき、クラウドサーバ１０２はそのキャプチャされた画像をユーザ１６０に送信する。

無人航空機１０４が、カメラセンサネットワーク１１０によりカバーされる領域を出て行くと、つまり、共同作業するカメラセンサネットワーク１２０の撮像装置の何れも無人航空機１０４の画像をキャプチャできなくなると、他のカメラセンサネットワークへのハンドオーバを実行できる。例えば、時刻ｔ＝ｔ₁において、無人航空機１０４は、カメラセンサネットワーク１１０によりカバーされる領域から出て行く。現在、無人航空機１０４は、カメラセンサネットワーク１２０によりカバーされる領域内であり、撮像装置の１つ、例えば、撮像装置１２４は無人航空機１０４の画像をキャプチャでき、その画像をエッジサーバ１５０に送信でき、エッジサーバ１５０はその画像を、クラウドサーバ１０２またはユーザ１６０に送信する。この点について、無人航空機１０４がルート１６６に沿って移動するときに、カメラセンサネットワーク１１０と１２０との間でハンドオーバが実現される。

図４は、ここにおいて示され且つ記述される１つ以上の実施形態に係る、無人航空機がカメラセンサネットワークから出て行く、例としてのシナリオを示している。図４においては、無人航空機１０４は、位置Ｐ₁から位置Ｐ₂に移動する。無人航空機１０４が位置Ｐ₁のときは、撮像装置の１つ、例えば、撮像装置１１４は、無人航空機１０４の画像をキャプチャして、そのキャプチャされた画像を、エッジサーバ１４０および／またはクラウドサーバ１０２を介してユーザ１６０に送信する。無人航空機１０４が位置Ｐ₂に移動すると、無人航空機１０４は、カメラセンサネットワーク１１０および１２０によりカバーされる領域の外となる。そのため、カメラセンサネットワーク１１０および１２０の撮像装置の何れも、無人航空機１０４の画像をキャプチャできない。エッジサーバ１４０または１５０は、無人航空機１０４は、利用可能なカメラセンサネットワーク、例えば、カメラセンサネットワーク１１０および１２０によりカバーされる領域の外であるという通知をクラウドサーバ１０２に送信できる。そして、クラウドサーバ１０２は、無人航空機１０４の現在の位置を識別でき、無人航空機４１０に、無人航空機１０４の現在に位置に向けて移動するように指示できる。無人航空機４１０は、無人航空機１０４の画像をキャプチャする撮像装置４１２を含んでいる。無人航空機４１０は、無人航空機４１０および／またはクラウドサーバ１０２に近接するエッジサーバを介して、キャプチャされた画像をユーザ１６０に送信できる。

実施形態においては、無人航空機４１０は無人航空機１０４を追尾して、無人航空機４１０の画像を連続的にキャプチャする。幾つかの実施形態においては、無人航空機４１０は無人航空機１０４を、カメラセンサネットワーク１１０または１２０によりカバーされる領域に移動して戻るように誘導できる。例えば、無人航空機４１０は、カメラセンサネットワーク１１０または１２０によりカバーされる領域への方向を無人航空機１０４に提供できる。幾つかの実施形態においては、クラウドサーバ１０２は、カメラセンサネットワーク１１０または１２０によりカバーされる領域への方向を無人航空機１０４に提供できる。

図５は、ここにおいて示され且つ記述される１つ以上の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを得るためのフローチャートである。

ステップ５１０において、システムは無人航空機を識別する。実施形態においては、無人航空機は、無人航空機から発せられる無線ビーコンに基づいて、エッジサーバにより識別できる。例えば、図１を参照すると、エッジサーバ１４０または、カメラセンサネットワーク１１０における撮像装置の１つは、無人航空機１０４から無線ビーコン信号を受信でき、無人航空機１０４を識別できる。他の実施形態においては、無人航空機は、カメラセンサネットワーク１１０における撮像装置による、画像ベースの深度推定に基づいて識別できる。例えば、図１を参照すると、カメラセンサネットワーク１１０における撮像装置の１つは、画像ベースの深度推定(image-based depth estimation)を使用して無人航空機１０４を識別できる。

ステップ５２０において、システムは、識別された無人航空機の出発地および目的地を得る。実施形態においては、無人航空機はその出発地および目的地を、エッジサーバまたはクラウドサーバに通信することができる。例えば、図１を参照すると、無人航空機１０４は、出発地１６２および目的地１６４についての情報を、無人航空機１０４の識別情報と共に、エッジサーバ１４０またはクラウドサーバ１０２に通信することができる。幾つかの実施形態においては、無人航空機の識別情報と関連付けられている、無人航空機の出発地および目的地を、クラウドサーバ１０２に予め格納できる。例えば、クラウドサーバ１０２は、無人航空機の識別情報と共に、無人航空機のユーザから、無人航空機の出発地および目的地を受信して格納できる。

ステップ５３０において、システムは、無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定する。実施形態においては、クラウドサーバ１０２は、無人航空機の出発地および目的地に基づいて、無人航空機に対するルートを決定できる。例えば、図６を参照すると、クラウドサーバ１０２は、無人航空機１０４の出発地１６２および目的地１６４を受信できる。クラウドサーバ１０２は、経路６０２、経路６０４、および経路６０６を含んでいるルートを決定できる。実施形態においては、クラウドサーバ１０２は、ルートに従う無人航空機１０４の画像をキャプチャするために利用可能な撮像装置を決定できる。

クラウドサーバ１０２、または対応するエッジサーバは、種々の要因に基づいて、無人航空機の画像をキャプチャするために撮像装置が利用可能かどうかを決定でき、利用可能な撮像装置を、撮像装置のグループとして選択できる。例えば、クラウドサーバ１０２、または対応するエッジサーバは、撮像装置が無人航空機のルートに近接していることに基づいて、無人航空機の画像をキャプチャするために撮像装置が利用可能かどうかを決定できる。

他の例として、クラウドサーバ１０２、または対応するエッジサーバは、可動撮像装置の予期される位置に基づいて、無人航空機の画像をキャプチャするために撮像装置が利用可能かどうかを決定できる。可動撮像装置は、下記に制限されないが、モバイルフォンの撮像装置、他の無人航空機の撮像装置、または車両の撮像装置を含むことができる。クラウドサーバ１０２、または対応するエッジサーバは、無人航空機１０４が、経路６０２、６０４、６０６を含んでいるルートに従うときに、可動撮像装置の予期される位置を決定でき、可動撮像装置の予期される位置が、ルートに近接しているかどうかを決定できる。具体的には、図６を参照すると、クラウドサーバ１０２は、無人航空機１０４が経路６０２従うときに、他の無人航空機６５０の撮像装置の予期される位置を決定できる。他の無人航空機の予期される位置６５２が、無人航空機１０４が経路６０２従うときに、経路６０２に近接している場合、クラウドサーバ１０２は、他の無人航空機６５０の撮像装置は、無人航空機１０４の画像をキャプチャするために利用可能であると決定できる。

他の例として、クラウドサーバ１０２、または対応するエッジサーバは、撮像装置の向いている方向に基づいて、無人航空機の画像をキャプチャするために撮像装置が利用可能かどうかを決定できる。撮像装置の向いている方向は、クラウドサーバ、例えば、図２におけるカメラデータベース２３２、または対応するエッジサーバに格納できる。クラウドサーバ１０２、または対応するエッジサーバは、撮像装置の向いている方向、および、ルートに従う無人航空機１０４の移動方向に基づいて、ルートに従う無人航空機１０４の方を撮像装置が向いているかどうかを決定できる。撮像装置は、無人航空機１０４がルートに従うときに、無人航空機１０４の方を向いていると決定されると、クラウドサーバ１０２は、無人航空機１０４の画像をキャプチャするために撮像装置は利用可能であると決定できる。具体的には、図６を参照すると、撮像装置６１０－１は、無人航空機１０４が経路６０２従うときに、無人航空機１０４の方を向いている。そのため、クラウドサーバ１０２、または対応するエッジサーバは、無人航空機１０４の画像をキャプチャするために撮像装置６１０－１は利用可能であると決定できる。対照的に、撮像装置６１０－２は、無人航空機１０４が経路６０に従うときに、無人航空機１０４の方を向いていない。そのため、クラウドサーバ１０２、または対応するエッジサーバは、無人航空機１０４の画像をキャプチャするために撮像装置６１０－２は利用可能でないと決定できる。

他の例として、クラウドサーバ１０２は、撮像装置がシステムに登録されているかどうかに基づいて、無人航空機の画像をキャプチャするために撮像装置が利用可能かどうかを決定できる。例えば、撮像装置６２０－１が、カメラセンサネットワーク、例えば、図６におけるカメラセンサネットワーク６２０に関与するために加わることを選択していた場合、クラウドサーバ１０２は、無人航空機１０４の画像をキャプチャするために撮像装置６２０－１は利用可能であると決定できる。他の例として、撮像装置６２０－２が、カメラセンサネットワークに関与することに加わらないことを選択していた場合、クラウドサーバ１０２は、無人航空機１０４の画像をキャプチャするために撮像装置６２０－１は利用可能でないと決定できる。

実施形態においては、１つ以上のカメラセンサネットワークは、無人航空機の画像をキャプチャするために利用可能な撮像装置に基づいて形成される。例えば、図６を参照すると、カメラセンサネットワーク６１０、カメラセンサネットワーク６２０、およびカメラセンサネットワーク６３０が形成されている。カメラセンサネットワーク６１０、６２０、および６３０のそれぞれは、無人航空機１０４の画像をキャプチャするために利用可能な１つ以上の撮像装置を含んでいる。図６は、３つの異なるカメラセンサネットワークを示しているが、３つのカメラセンサネットワークよりも多い、または少ないカメラセンサネットワークを、撮像装置間の距離によって形成できる。

実施形態においては、システムは、より多くの撮像装置が、カメラセンサネットワークに関与するために加わることが選択されるように、無人航空機の画像をキャプチャするために利用可能な撮像装置にインセンティブ(incentives)を提供できる。インセンティブは、ルートと各撮像装置との間の距離、各撮像装置の画角、または各撮像装置の視距離の少なくとも１つに基づいて決定できる。

図６に戻って参照すると、ステップ５４０において、システムは、無人航空機が撮像装置のグループの少なくとも１つのビュー内であるかどうかを決定する。図６を参照すると、クラウドサーバ１０２、または、カメラセンサネットワーク６１０、６２０、６３０の１つ対するエッジサーバは、無人航空機１０４が撮像装置のグループの少なくとも１つのビュー内であるかどうかを決定できる。例えば、クラウドサーバ１０２は、無人航空機１０４の現在の位置を受信でき、無人航空機１０４の現在の位置は、カメラセンサネットワーク６１０、６２０、および６３０の撮像装置のビュー内であるかどうかを決定できる。

ステップ５４０において、無人航空機１０４は、撮像装置のグループの少なくとも１のビュー内であると決定されると、ステップ５５０において、システムは、撮像装置のグループによりキャプチャされる無人航空機の画像に基づいて、ルートに従う無人航空機のビューを得る。例えば、図６を参照すると、無人航空機１０４が出発地１６２にいるときは、撮像装置６１０－１は無人航空機１０４の画像のキャプチャを開始できる。撮像装置６１０－１はキャプチャされた画像を、カメラセンサネットワーク６１０に対するエッジサーバ、または図１に示されているクラウドサーバ１０２に送信でき、エッジサーバまたはクラウドサーバ１０２はキャプチャされた画像を、ユーザ１６０の装置１６３に送信する。無人航空機１０４が撮像装置６１０－１を通過するとき、撮像装置６１０－３は無人航空機１０４の画像をキャプチャでき、キャプチャされた画像をエッジサーバまたはクラウドサーバに送信できる。無人航空機１０４が経路６０４に従うときに、撮像装置６２０－１は無人航空機１０４の画像をキャプチャでき、キャプチャされた画像をエッジサーバまたはクラウドサーバに送信できる。このとき、ハンドオーバが、カメラセンサネットワーク６１０とカメラセンサネットワーク６２０との間で実現される。この点について、カメラセンサネットワーク６１０、６２０、６３０における少なくとも１つの撮像装置は、無人航空機１０４の画像をリアルタイムでキャプチャして、ユーザ１６０が無人航空機１０４のリアルタイムビューを見ることができるように、キャプチャされた画像をユーザ１６０に送信する。

幾つかの実施形態においては、カメラセンサネットワークの撮像装置は、所定の時間、無人航空機のキャプチャされた画像を格納できる。撮像装置は、キャプチャされた画像に対して前処理を行うことができ、無人航空機を含んでいる画像を所定の時間格納できる。

幾つかの実施形態においては、エッジサーバまたはクラウドサーバは、撮像装置のグループの中で、正しく機能していない(misbehaving)撮像装置を決定できる。エッジサーバまたはクラウドサーバは、撮像装置のグループによりキャプチャされる無人航空機の画像を比較できる。エッジサーバまたはクラウドサーバは、撮像装置のグループの他の撮像装置により提供される画像と一致しない画像を提供する、撮像装置のグループの正しく機能していない撮像装置を識別できる。エッジサーバまたはクラウドサーバは、撮像装置６１０－１、６２０－１、６２０－２によりキャプチャされる画像を比較でき、撮像装置６２０－２により提供される画像は、撮像装置６１０－１および６２０－１により提供される画像と一致していないと決定できる。例えば、撮像装置６２０－２は、無人航空機１０４の位置が、撮像装置６１０－１および６２０－１によりキャプチャされる画像における無人航空機１０４の位置と一致していない無人航空機１０４の画像を送信する可能性がある。他の例として、撮像装置６２０－２は、撮像装置６１０－１および６２０－１は無人航空機１０４を含んでいる画像を送信するが、無人航空機が写っていない画像を送信する可能性がある。そして、エッジサーバまたはクラウドサーバは、正しく機能していない撮像装置、例えば、撮像装置６２０－２により提供される画像を破棄できる。

ステップ５４０において、無人航空機１０４は、撮像装置のグループの少なくとも１つのビュー内ではないと決定された場合、ステップ５６０において、システムは、無人航空機が、撮像装置のグループのビューの外であることに応答して、無人航空機に近接する他の無人航空機を送る。例えば、無人航空機１０４が図６における位置Ｐ₃に移動すると、無人航空機１０４は、カメラセンサネットワーク６１０、６２０、および６３０によりカバーされる領域の外になる。そのため、カメラセンサネットワーク６１０、６２０、および６３０の撮像装置の何れも無人航空機１０４の画像をキャプチャできない。カメラセンサネットワークに対するエッジサーバは、無人航空機１０４はカメラセンサネットワーク６１０、６２０、および６３０によりカバーされる領域の外であるという通知をクラウドサーバ１０２に送信できる。そして、クラウドサーバ１０２は、可動撮像装置、例えば、無人航空機６６０に、無人航空機１０４に向けて移動するように指示できる。無人航空機６６０は、無人航空機１０４の画像をキャプチャする撮像装置を含んでいる。無人航空機６６０はキャプチャされた画像を、無人航空機６６０および／またはクラウドサーバ１０２に近接するエッジサーバを介して、ユーザ１６０に送信できる。

図７は、ここにおいて示され且つ記述される他の実施形態に係る、カメラセンサネットワークを使用して、無人航空機のビューを得るためのフローチャートである。

ステップ７１０において、システムは無人航空機の出発地および目的地を得る。無人航空機は、上記のステップ５１０において記述したように、エッジサーバまたは撮像装置により前もって識別できる。実施形態においては、無人航空機はその出発地および目的地を、エッジサーバまたはクラウドサーバに通信することができる。幾つかの実施形態においては、無人航空機の識別情報と関連付けられている、無人航空機の出発地および目的地は、クラウドサーバ１０２に前もって格納できる。

ステップ７２０において、システムは、無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定する。実施形態においては、クラウドサーバ１０２は、無人航空機の出発地および目的地に基づいて、無人航空機に対するルートを決定できる。例えば、図６を参照すると、クラウドサーバ１０２は、無人航空機１０４の出発地１６２および目的地１６４を受信できる。クラウドサーバ１０２は、経路６０２、６０４、および６０６を含んでいるルートを決定できる。実施形態においては、クラウドサーバ１０２は、ルートに従う無人航空機１０４の画像をキャプチャするために利用可能な撮像装置を決定できる。

ステップ７３０において、システムは、撮像装置のグループの１つ以上が利用不可かどうかを決定する。図６を参照すると、クラウドサーバ１０２、またはカメラセンサネットワーク６１０、６２０、６３０の１つ対するエッジサーバは、撮像装置のグループの１つ以上が利用不可かどうかを決定できる。

ステップ７３０で、撮像装置のグループが利用可能であると決定された場合、ステップ７４０において、システムは、撮像装置のグループによりキャプチャされる無人航空機の画像に基づいて、ルートに従う無人航空機のビューを得る。例えば、図６を参照すると、無人航空機１０４が出発地１６２にいるときは、撮像装置６１０－１は、無人航空機１０４の画像のキャプチャを開始する。撮像装置６１０－１はキャプチャされた画像を、カメラセンサネットワーク６１０に対するエッジサーバ、または図１に示されているクラウドサーバ１０２に送信でき、エッジサーバまたはクラウドサーバ１０２はキャプチャされた画像を、ユーザ１６０の装置１６３に送信する。無人航空機１０４が撮像装置６１０－１を通過するとき、撮像装置６１０－３は、無人航空機１０４の画像をキャプチャでき、キャプチャされた画像をエッジサーバまたはクラウドサーバに送信できる。無人航空機１０４が経路６０４に従うとき、撮像装置６２０－１は無人航空機１０４の画像をキャプチャでき、キャプチャされた画像をエッジサーバまたはクラウドサーバに送信できる。この点について、カメラセンサネットワーク６１０、６２２、６３０における少なくとも１つの撮像装置は、無人航空機１０４の画像をリアルタイムでキャプチャして、ユーザ１６０が無人航空機１０４のリアルタイムビューを見ることができるように、キャプチャされた画像をユーザ１６０に送信する。

ステップ７３０において、撮像装置のグループの１つ以上が利用不可であると決定された場合、ステップ７５０において、システムは、撮像装置の他のグループを選択できる。例えば、図８を参照すると、撮像装置５４２および５４４は、無人航空機１０４の画像をキャプチャするために利用可能ではない可能性がある。例えば、撮像装置５４２および５４４は、適切に動作しない可能性がある。他の例として、撮像装置５４２および５４４は、カメラセンサネットワーク６２０に加わらないことを選択している可能性がある。他の例として、撮像装置５４２および５４４は可動撮像装置であり、図６におけるカメラセンサネットワーク６２０によりカバーされる領域から出て行く可能性がある。図６におけるカメラセンサネットワーク６２０は、撮像装置５４２および５４４が利用不可であるために、図８におけるカメラセンサネットワーク６２２に変更できる。この場合、無人航空機１０４のルートは、カメラセンサネットワーク６１０、６２２、および６３０の何れにもカバーされない領域のために、カメラセンサネットワーク６１０、６２２、および６３０により連続的には監視できない。そして、システムは、例えば、図８におけるカメラセンサネットワーク８１０を構成する撮像装置である撮像装置の他のグループを選択できる。

ステップ７６０において、システムは、撮像装置の他のグループの位置に基づいて、無人航空機に対する他のルートを決定する。例えば、図８を参照すると、カメラセンサネットワーク８１０に対する撮像装置の位置に基づいて、経路６０２、経路６０４－１、経路８１２、および経路６０６－２を含む経路が、無人航空機１０４に対して選択される。

ステップ７７０において、システムは、他のルートについての情報を無人航空機に送信する。実施形態においては、クラウドサーバ１０２、または無人航空機１０４に近接しているエッジサーバは、他のルート、例えば、経路６０２、経路６０４－１、経路８１２、および経路６０６－２を含むルートについての情報を無人航空機１０４に送信できる。そして、カメラセンサネットワーク６１０、６２２、８１０、および６３０の撮像装置は、ルートに従う無人航空機１０４をキャプチャできる。

図９は、ここにおいて示され且つ記述される他の実施形態に係る、無人航空機の出発地および目的地をシステムが知らないときに、カメラセンサネットワークを使用して、無人航空機のビューを得るためのフローチャートを示している。

ステップ９１０において、システムは、無人航空機の現在の位置、現在の位置の前の無人航空機の飛行経路(trajectory)、および利用可能な撮像装置の位置の少なくとも１つに基づいて、無人航空機に対するルートを決定する。実施形態においては、無人航空機の出発地および目的地を、システムは知らないこともあり得る。図１０Ａを参照すると、無人航空機の将来のルート１０２０を、その現在の位置の前の無人航空機の飛行経路１０１０に基づいて予測できる。例えば、１つ以上の撮像装置は、無人航空機１０４の動きを監視できる。移動方向、速度などを含む、無人航空機１０４の監視された動きに基づいて、エッジサーバまたはクラウドサーバは、無人航空機１０４のルート１０２０をリアルタイムで予測できる。

ステップ９２０において、システムは、予測されたルートに基づいて、撮像装置のグループを選択できる。例えば、クラウドサーバ１０２、または、無人航空機１０４に近接しているエッジサーバは、予測されたルートに近接している撮像装置、例えば、図１０Ａにおける撮像装置１０３０、１０３２、１０３４のグループを選択できる。

ステップ９３０において、システムは、撮像装置のグループによりキャプチャされる画像に基づいて、ルートに従う無人航空機のビューを得る。例えば、図１０Ａを参照すると、撮像装置１０３０は、予測されたルート１０２０に従う無人航空機１０４の画像のキャプチャを開始する。撮像装置１０３０はキャプチャされた画像を、図１に示されているエッジサーバまたはクラウドサーバ１０２に送信でき、エッジサーバまたはクラウドサーバ１０２はキャプチャされた画像を、ユーザ１６０の装置１６３に送信する。無人航空機１０４が撮像装置１０３０を通過するとき、撮像装置１０３２は、無人航空機１０４の画像をキャプチャでき、キャプチャされた画像をエッジサーバまたはクラウドサーバに送信できる。無人航空機１０４の予測されたルートはリアルタイムで変更でき、システムは、変更された予測ルートに基づいて、撮像装置の異なるグループを選択できる。

幾つかの実施形態においては、システムは、利用可能な撮像装置の位置に基づいて、無人航空機に対するルートを決定できる。例えば、図１０Ｂを参照すると、無人航空機の出発地および目的地をシステムは知らない。そして、システムは、無人航空機１０４の現在の位置からある距離以内の利用可能な撮像装置、例えば、撮像装置１０４０、１０４２、および１０４４の位置を決定できる。撮像装置１０４０、１０４２、１０４４の位置に基づいて、システムは、無人航空機１０４に対するルート１０５０を決定でき、ルート１０５０を無人航空機１０４に送信できる。撮像装置１０４０、１０４２、および１０４４は、ルート１０５０に従う無人航空機１０４の画像をキャプチャでき、キャプチャされた画像を、エッジサーバまたはクラウドサーバを介してユーザ１６０に送信できる。

ここにおいて記述されている実施形態は、無人航空機のビューを得るための方法およびシステムに向けられているということは理解されるべきである。該方法は、無人航空機の出発地および目的地を得ることと、無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定することと、撮像装置のグループによりキャプチャされる無人航空機の画像に基づいて、ルートに従う無人航空機のビューを得ることを含んでいる。

撮像装置のグループは、共同作業するカメラセンサネットワークを形成する。共同作業するカメラセンサネットワークは無人航空機を識別して、無人航空機の人間オペレータのビューを作成する。無人航空機のルートは、カメラセンサネットワークの利用可能性に基づいて決定される。無人航空機のルートは、撮像装置の利用可能性に基づいて変更できる。無人航空機がカメラセンサネットワーク領域から出て行くときは常に、無人航空機の飛行を連続的に監視するために、図３に示されているように、カメラセンサネットワーク間で水平方向および／または垂直方向のハンドオーバを実行できる。無人航空機が、カメラセンサネットワークによりカバーされない位置のときは、図４に示されているように、特殊任務のドローンを無人航空機に近接して位置させることができる。カメラセンサネットワークにより得られる画像データは、エッジサーバおよび／またはクラウドサーバに転送され、エッジサーバおよび／またはクラウドサーバは、キャプチャされた画像を人間オペレータに送信する。

本開示によれば、無人航空機のルートだけでなく、選択されたカメラも、撮像装置の利用可能性に基づいて変更できる。撮像装置は、動的に、静的に、および／または所定の距離に基づいて選択できる。短期および／または長期にわたり、関与する撮像装置が利用不可のときは、代替の撮像装置を選択できる。本開示によれば、無人航空機は、共同作業するカメラセンサネットワークを介して連続的に追尾および／または監視され、無人航空機の一人称視点が、人間オペレータのために構築される。

「実質的に」および「ほぼ」という用語は、ここにおいては、如何なる量的比較、値、測定、または他の表現に起因すると考えることができる、不確定性の固有の程度を表わすために利用できるということが分かる。これらの用語はまた、ここにおいては、検討されている主題の基本機能における変化という結果になることなく、量的表現が、記述された基準から変化できる程度を表わすためにも利用される。

特別な実施形態がここにおいて例示され記述されてきたが、種々の他の変更および修正を、請求項に係る主題の精神および範囲を逸脱することなく実行できるということは理解されるべきである。更に、請求項に係る主題の種々の態様をここにおいて記述したが、そのような態様は、組み合わせて利用する必要はない。従って、付随する請求項は、請求項に係る主題の範囲内であるそのような変更および修正すべてを含むことが意図されている。

〔例１〕無人航空機に対するビューを生成するための方法であって、該方法は、
無人航空機の出発地および目的地を得ることと、
無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定することと、
撮像装置のグループによりキャプチャされる無人航空機の画像に基づいて、ルートに従う無人航空機のビューを得ることを含んでいる。
〔例２〕例１の方法であって、撮像装置のグループは、撮像装置のグループの位置、撮像装置のグループの予測される位置、または、撮像装置のグループの仕様の少なくとも１つに基づいて決定される。
〔例３〕例１の方法であって、仕様は、画角、解像度、または視距離の少なくとも１つ含んでいる。
〔例４〕例１の方法であって、
撮像装置のグループは、１つ以上の可動撮像装置を含んでおり、
１つ以上の可動撮像装置が、無人航空機がルートに沿って移動するときに、ルートに近接していると予期されている。
〔例５〕例４の方法であって、１つ以上の可動撮像装置は、モバイルフォンの撮像装置、他の無人航空機の撮像装置、または、車両の撮像装置の少なくとも１つを含んでいる。
〔例６〕例１の方法であって、無人航空機の出発地および目的地を得ることは、
無人航空機を識別することと、
識別された無人航空機の出発地および目的地を検索することと、を含んでいる。
〔例７〕例１の方法であって、
ルートに近接している撮像装置のグループの１つ以上が利用不可であることに応答して、撮像装置の他のグループを選択することと、
撮像装置の他のグループの位置に基づいて、他のルートを決定することと、
他のルートについての情報を、無人航空機に送信することと、を更に含んでいる。
〔例８〕例１の方法であって、撮像装置のグループは、交通信号機における撮像装置、監視カメラの撮像装置、道路沿いのカメラの撮像装置、モバイルフォンの撮像装置、他の無人航空機の撮像装置、または車両の撮像装置の少なくとも１つを含んでいる。
〔例９〕例１の方法であって、
撮像装置のグループによりキャプチャされる無人航空機の画像を比較することと、
撮像装置のグループの他の撮像装置により提供される画像と一致しない画像を提供する、撮像装置のグループの正しく機能していない撮像装置を識別することと、
正しく機能していない撮像装置により提供される画像を破棄することと、を更に含んでいる。
〔例１０〕例１の方法であって、無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定することは、
撮像装置の位置、予測される位置、および向いている方向の少なくとも１つに基づいて、撮像装置の利用可能性についての情報を決定することと、
撮像装置の利用可能性についての情報に基づいて、撮像装置のグループを選択することと、を含んでいる。
〔例１１〕例１０の方法であって、
選択された撮像装置のグループにインセンティブを提供することを更に含んでいる。
〔例１２〕例１１の方法であって、インセンティブは、ルートと各撮像装置との間の距離、各撮像装置の画角、または各撮像装置の視距離の少なくとも１つに基づいて決定される。
〔例１３〕例１の方法であって、
無人航空機が、撮像装置のグループの少なくとも１つのビュー内であるかどうかを決定することと、
無人航空機が、撮像装置のグループのビューの外であることに応答して、無人航空機に近接する他の無人航空機を送ることと、を更に含んでいる。
〔例１４〕無人航空機に対するビューを生成するためのシステムであって、
無人航空機の出発地および目的地を得、
無人航空機の出発地と目的地との間のルートに基づいて、撮像装置のグループを決定し、
撮像装置のグループによりキャプチャされる画像を受信し、
受信画像に基づいて、ルートに従う無人航空機のビューを得るように構成されている電子制御ユニットを備えている。
〔例１５〕例１４のシステムであって、電子制御ユニットは、
ルートに近接している撮像装置のグループの１つ以上が利用不可であることに応答して、撮像装置の他のグループを選択し、
撮像装置の他のグループの位置に基づいて、他のルートを決定し、
他のルートについての情報を、無人航空機に送信するように更に構成されている。
〔例１６〕例１４のシステムであって、電子制御ユニットは、
撮像装置のグループに、所定の時間、画像を格納することを指示するように更に構成されている。
〔例１７〕例１４のシステムであって、電子制御ユニットは、
無人航空機が、撮像装置のグループの少なくとも１つのビュー内であるかどうかを決定し、
無人航空機が、撮像装置のグループのビューの外であることに応答して、警報を送信するように更に構成されている。
〔例１８〕無人航空機に対するビューを生成するための方法であって、該方法は、
無人航空機の現在の位置に基づいて、無人航空機に対するルートを決定することと、
ルートに基づいて、撮像装置のグループを選択することと、
撮像装置のグループによりキャプチャされる画像に基づいて、ルートに従う無人航空機のビューを得ることと、
を含んでいる。
〔例１９〕例１８の方法であって、
現在の位置の前の無人航空機の飛行経路に更に基づいて、無人航空機に対するルートを決定することを更に含んでいる。
〔例２０〕例１８の方法であって、
利用可能な撮像装置の位置に更に基づいて、無人航空機に対するルートを決定することを更に含んでいる。

Claims (15)

1. 無人航空機と、１つ以上の共同作業するカメラセンサネットワークを形成する撮像装置のグループと、電子制御ユニットとを含むシステムにおいて実行される、無人航空機に対するビューを生成するための方法であって、
   前記電子制御ユニットが、
   前記無人航空機の出発地および目的地を得ることと、
   前記無人航空機の前記出発地と前記目的地との間のルートに基づいて、撮像装置のグループを決定することと、
   前記無人航空機が、撮像装置のグループの少なくとも１つのビュー内であるかどうかを決定することと、
   前記無人航空機が、前記撮像装置のグループのビューの外であることに応答して、無人航空機を監視するために前記撮像装置のグループに加わるように他の無人航空機に指示することと、
   前記他の無人航空機及び前記撮像装置のグループによりキャプチャされる前記無人航空機の画像に基づいて、前記ルートに従う前記無人航空機のビューを得ることと、
   を含んでいる、方法。
2. 前記撮像装置のグループを決定することは、前記撮像装置のグループの位置、前記撮像装置のグループの予測される位置、または、前記撮像装置のグループの仕様の少なくとも１つに基づいてなされる、請求項１に記載の方法。
3. 前記仕様は、画角、解像度、または視距離の少なくとも１つ含んでいる、請求項２に記載の方法。
4. 前記撮像装置のグループは、１つ以上の可動撮像装置を含んでおり、
   前記１つ以上の可動撮像装置が、前記無人航空機が前記ルートに沿って移動するときに、前記ルートに近接していると予期されている、請求項１に記載の方法。
5. 前記１つ以上の可動撮像装置は、モバイルフォンの撮像装置、他の無人航空機の撮像装置、または、車両の撮像装置の少なくとも１つを含んでいる、請求項４に記載の方法。
6. 前記無人航空機の出発地および目的地を得ることは、
   前記無人航空機を識別することと、
   識別された無人航空機の出発地および目的地を検索することと、
   を含んでいる、請求項１に記載の方法。
7. 前記電子制御ユニットが、
   前記ルートに近接している前記撮像装置のグループの１つ以上が利用不可であることに応答して、撮像装置の他のグループを選択することと、
   前記撮像装置の他のグループの位置に基づいて、他のルートを決定することと、
   前記他のルートについての情報を、前記無人航空機に送信することと、
   を更に含んでいる、請求項１に記載の方法。
8. 前記撮像装置のグループは、交通信号機における撮像装置、監視カメラの撮像装置、道路沿いのカメラの撮像装置、モバイルフォンの撮像装置、他の無人航空機の撮像装置、または車両の撮像装置の少なくとも１つを含んでいる、請求項１に記載の方法。
9. 前記電子制御ユニットが、
   前記撮像装置のグループによりキャプチャされる前記無人航空機の画像を比較することと、
   前記撮像装置のグループの他の撮像装置により提供される画像と一致しない画像を提供する、前記撮像装置のグループの正しく機能していない撮像装置を識別することと、
   前記正しく機能していない撮像装置により提供される前記画像を破棄することと、
   を更に含んでいる、請求項１に記載の方法。
10. 前記無人航空機の前記出発地と前記目的地との間のルートに基づいて、前記撮像装置のグループを決定することは、
    前記撮像装置の位置、予測される位置、および向いている方向の少なくとも１つに基づいて、撮像装置の利用可能性についての情報を決定することと、
    前記撮像装置の利用可能性についての情報に基づいて、前記撮像装置のグループを選択することと、
    を含んでいる、請求項１に記載の方法。
11. 前記電子制御ユニットが、前記選択された撮像装置のグループにインセンティブを提供することを更に含んでいる、請求項１０に記載の方法。
12. 前記インセンティブは、前記ルートと各撮像装置との間の距離、各撮像装置の画角、または各撮像装置の視距離の少なくとも１つに基づいて決定される、請求項１１に記載の方法。
13. 無人航空機に対するビューを生成するためのシステムであって、
    前記無人航空機の出発地および目的地を得て、
    前記無人航空機の前記出発地と前記目的地との間のルートに基づいて、撮像装置のグループを決定し、
    前記無人航空機が、撮像装置のグループの少なくとも１つのビュー内であるかどうかを決定し、
    前記無人航空機が、前記撮像装置のグループのビューの外であることに応答して、無人航空機を監視するために前記撮像装置のグループに加わるように他の無人航空機に指示し、
    前記他の無人航空機及び前記撮像装置のグループによりキャプチャされる画像を受信し、
    受信画像に基づいて、前記ルートに従う前記無人航空機のビューを得るように構成されている電子制御ユニットを備えている、
    システム。
14. 無人航空機と、１つ以上の共同作業するカメラセンサネットワークを形成する撮像装置のグループと、電子制御ユニットとを含むシステムにおいて実行される、無人航空機に対するビューを生成するための方法であって、
    前記電子制御ユニットが、
    前記無人航空機の現在の位置に基づいて、前記無人航空機に対するルートを決定することと、
    利用可能な撮像装置の位置に基づいて、前記無人航空機のルートを動的に更新することと、
    更新されたルートに基づいて、前記利用可能な撮像装置から撮像装置のグループを選択することと、
    前記撮像装置のグループによりキャプチャされる画像に基づいて、前記更新されたルートに従う前記無人航空機のビューを得ることと、
    を含んでいる、方法。
15. 前記電子制御ユニットが、更に前記現在の位置の前の前記無人航空機の飛行経路に基づいて、前記無人航空機に対する前記ルートを決定することを更に含んでいる、請求項１４に記載の方法。

Images