JP6885485B2 - 複数カメラネットワークを利用して静止シーン及び／又は移動シーンを取り込むためのシステム及び方法 - Google Patents

Description

本開示の様々な実施形態は、静止シーン及び／又は移動シーンの取り込みに関する。具体的には、本開示の様々な実施形態は、複数カメラネットワークを利用して静止シーン及び／又は移動シーンを取り込むことに関する。

デジタルカメラ及び低コストセンサシステムの登場及びその後の発展以来、今やこの技術は複数カメラネットワークシステムに向かって進んでいる。このような複数カメラネットワークシステムは、スマートホーム、オフィスオートメーション、メディア及びエンターテイメント、保安及び監視、モバイル及びロボットネットワーク、人間−コンピュータインターフェイス、仮想現実システム、３Ｄ物体再構成及び／又はモーションキャプチャなどの様々な用途に使用することができる。

通常、競技場などの施設では、複数カメラネットワークシステムと集中型画像処理サーバとに通信可能に接続されたユーザ端末が、１又は２以上の物体を選択するユーザ入力を受け取ることができる。複数カメラネットワークシステムは、既製のカメラ、埋め込みカメラ及び／又は通信可能に結合されたカメラなどの複数の固定カメラを含むことができる。複数の固定カメラは、施設内の選択された１又は２以上の物体のリアルタイムな３６０°の動きを取り込むように、施設周辺の様々な戦略的な場所に様々な角度で設置することができる。集中型画像処理サーバは、施設周辺に設置されたこのような複数の固定カメラを較正することができる。集中型画像処理サーバは、複数の固定カメラの部分毎のばらつき、焦点レンズ差分及びレンズ歪みを解消するために較正を実行することができる。

集中型画像処理サーバは、ユーザ入力を受け取って複数カメラネットワークシステムに制御コマンドを通信することができる。この制御コマンドは、１又は２以上の物体の選択と、（照明、影及び／又は反射などの）１又は２以上の環境因子とに基づくことができる。この制御コマンドは、複数カメラネットワークシステム内の固定カメラの１又は２以上のパラメータを調整することができる。従って、複数カメラネットワークシステムは、制御コマンドに基づいて複数の画像を取り込むことができる。取り込んだ画像は、集中型画像処理サーバに返送することができる。

集中型画像処理サーバは、受け取った取り込み画像を処理し、処理画像を表示及び分析のためにユーザ端末に送信することができる。しかしながら、場合によっては、複数カメラネットワークシステムにおける固定カメラの配置が、選択された１又は２以上の物体を含む所定の領域を十分にカバーできるほど適切でないこともある。従って、複数カメラネットワークシステムは、様々な用途の目的に基づいて所定の領域を特定の解像度で最大限にカバーできるように施設内に最適に配置できる非固定カメラを含むことが望ましいと考えられる。さらに、集中型画像処理サーバは、最小限の時間で正確な較正を行えるほど十分にロバストであることが望ましいと考えられる。

当業者には、説明したシステムと本出願の残り部分において図面を参照しながら説明する本開示のいくつかの態様との比較を通じて、従来の伝統的な方法のさらなる制限及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、複数の撮像装置を用いた画像処理システム及び方法。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態によるネットワーク環境を示すブロック図である。 本開示の実施形態による例示的な無人航空機（ＵＡＶ）の様々なコンポーネントを示すブロック図である。 本開示の実施形態による例示的なサーバを示すブロック図である。 本開示の実施形態による、３Ｄ構造を分散処理モードで再構成するための、複数のＵＡＶとユーザ端末とを含む第１のネットワーク環境を示すブロック図である。 本開示の実施形態による、３Ｄ構造を集中処理モードで再構成するための、複数のＵＡＶとサーバとを含む第２のネットワーク環境を示すブロック図である。 本開示の実施形態による、３Ｄ構造をクラスタ処理モードで再構成するための、複数のＵＡＶ及び／又はサーバを含む第３のネットワーク環境を示すブロック図である。 本開示の実施形態による、例示的なＵＡＶの位置を決定するための例示的な三角測量法を示す図である。 本開示の実施形態による、例示的なＵＡＶの位置を決定するための例示的な三角測量法を示す図である。 本開示の実施形態による、例示的なＵＡＶの位置を決定するための例示的な三角測量法を示す図である。 本開示の実施形態による、例示的なＵＡＶの位置を決定するための例示的な三角測量法を示す図である。 本開示の実施形態による、例示的な画像処理方法を実施するための例示的なシナリオを示す図である。 本開示の実施形態による、例示的な画像処理方法を実施するための例示的なシナリオを示す図である。 本開示の実施形態による、例示的な画像処理方法を実施するための例示的なシナリオを示す図である。 本開示の実施形態による、例示的な画像処理方法を実施するための第１のフローチャートである。 本開示の実施形態による、例示的な画像処理方法を実施するための第１のフローチャートである。 本開示の実施形態による、例示的な画像処理方法を実施するための第２のフローチャートである。 本開示の実施形態による、例示的な画像処理方法を実施するための第３のフローチャートである。 本開示の実施形態による、例示的な画像処理方法を実施するための第３のフローチャートである。

複数の撮像装置を用いた画像処理システム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、１又は２以上の他の無人航空機（ＵＡＶ）をさらに含むネットワーク内の第１のＵＡＶに実装される方法を含むことができる。（第１のＵＡＶと１又は２以上の他のＵＡＶとを含む）複数のＵＡＶの各々は、複数の画像を取り込むように構成された撮像装置を伴うことができる。複数のＵＡＶのうちの第１のＵＡＶは、１又は２以上の静止物体及び／又は移動物体の第１の一連の画像を取り込むように構成された第１の撮像装置を含むことができる。

方法は、１又は２以上の撮像装置から、これらの撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取ることを含むことができる。１又は２以上の撮像装置は、複数のＵＡＶのうちの１又は２以上の他のＵＡＶに関連することができる。受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて、１又は２以上の撮像装置の目標位置及び目標配向を決定することができる。１又は２以上の他のＵＡＶに、１又は２以上の撮像装置の現在位置及び現在の配向を修正するための制御情報を通信することができる。現在位置及び現在の配向は、１又は２以上の撮像装置の決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、通信される制御情報が、取り込み情報をさらに含むことができる。取り込み情報は、１又は２以上の撮像装置が決定された目標位置及び決定された目標配向において１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込めるようにすることができる。方法は、取り込まれた第１の一連の画像及び取り込まれた第２の一連の画像から３次元（３Ｄ）構造を再構成することをさらに含むことができる。

ある実施形態によれば、方法は、３Ｄ構造を再構成するために、取り込まれた第１の一連の画像と取り込まれた第２の一連の画像とを動的に同期させることを含むことができる。ある実施形態によれば、方法は、１又は２以上の他のＵＡＶに較正情報を通信することを含むことができる。較正情報は、受け取った焦点レンズ情報と予め定められた較正物体の複数の画像とに基づく１又は２以上の撮像装置の較正を可能にするために通信することができる。ある実施形態によれば、１又は２以上の撮像装置の較正は、これらの撮像装置の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するために行うことができる。

本開示の別の態様によれば、複数の撮像装置を用いて画像処理を実行する別の方法が開示される。この方法は、画像処理のために複数のＵＡＶに通信可能に結合されたサーバに実装することができる。複数のＵＡＶは、複数の画像を取り込むように構成された１又は２以上の撮像装置を伴うことができる。方法は、複数のＵＡＶに関連する１又は２以上の撮像装置から、これらの撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取ることを含むことができる。方法は、１又は２以上の撮像装置の目標位置及び目標配向を決定することをさらに含むことができる。この決定は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、取り込むべき１又は２以上の静止物体及び／又は移動物体の現在位置とに基づくことができる。複数のＵＡＶに、１又は２以上の撮像装置の現在位置及び現在の配向を修正するための制御情報を通信することができる。現在位置及び現在の配向は、１又は２以上の撮像装置の決定された目標位置及び決定された目標配向に修正することができる。

ある実施形態によれば、通信される制御情報が、取り込み情報をさらに含むことができる。取り込み情報は、１又は２以上の撮像装置が決定された目標位置及び決定された目標配向において１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込めるようにすることができる。ある実施形態によれば、方法は、取り込まれた第１の一連の画像及び取り込まれた第２の一連の画像から３次元（３Ｄ）構造を再構成することをさらに含むことができる。ある実施形態によれば、方法は、３Ｄ構造を再構成するために、取り込まれた一連の画像を動的に同期させることを含むことができる。

ある実施形態によれば、方法は、複数のＵＡＶに較正情報を通信することを含むことができる。較正情報の通信は、受け取った焦点レンズ情報と予め定められた較正物体の複数の画像とに基づく１又は２以上の撮像装置の較正を可能にすることができる。

本開示の別の態様によれば、複数の撮像装置を用いて画像処理を実行する別の方法が開示される。この方法は、第１のネットワークと第２のネットワークとを含むシステムに実装することができる。第１のネットワークは、第１の一連のＵＡＶを含むことができ、第２のネットワークは、第２の一連のＵＡＶを含むことができる。第１の一連のＵＡＶ及び第２の一連のＵＡＶの各々は、複数の画像を取り込むように構成できる撮像装置を伴うことができる。方法は、第１の一連のＵＡＶのうちの第１のＵＡＶに実装することができる。第１のＵＡＶは、１又は２以上の静止物体及び／又は移動物体の第１の一連の画像を取り込むように構成できる第１の撮像装置を含むことができる。方法は、第１の一連のＵＡＶに関連する第１の一連の撮像装置から、第１の一連の撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取ることを含むことができる。方法は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて、第１の一連の撮像装置の目標位置及び目標配向を決定することをさらに含むことができる。第１の一連のＵＡＶに、第１の一連の撮像装置の現在位置及び現在の配向を修正するための制御情報を通信することができる。現在位置及び現在の配向は、第１の一連の撮像装置の決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第１のＵＡＶによって通信される制御情報は、決定された目標位置及び決定された目標配向における、第１の一連の撮像装置による取り込み情報をさらに含むことができる。取り込み情報は、１又は２以上の静止物体及び／又は移動物体の第１の一連の画像の取り込みを可能にすることができる。

ある実施形態によれば、第２の一連のＵＡＶのうちの第２のＵＡＶが、１又は２以上の静止物体及び／又は移動物体の第２の一連の画像を取り込むように構成された第２の撮像装置を含むことができる。第２のＵＡＶに実装される方法は、第２の一連のＵＡＶに関連する第２の一連の撮像装置から、第２の一連の撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取ることができる。ある実施形態によれば、方法は、第２の一連の撮像装置の目標位置及び目標配向を決定することを含むことができる。この決定は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、１又は２以上の静止物体及び／又は移動物体の現在位置とに基づくことができる。第２の一連のＵＡＶに、第２の一連の撮像装置の現在位置及び現在の配向を修正するための制御情報を通信することができる。現在位置及び現在の配向は、第２の一連の撮像装置の決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第２のＵＡＶによって通信される制御情報は、決定された目標位置及び決定された目標配向における、第２の一連の撮像装置による取り込み情報をさらに含む。取り込み情報は、１又は２以上の静止物体及び／又は移動物体の第２の一連の画像の取り込みを可能にすることができる。ある実施形態によれば、方法は、１又は２以上の静止物体及び／又は移動物体の３Ｄ構造を再構成するために、取り込まれた第１の一連の画像と取り込まれた第２の一連の画像とを動的に同期させることを含むことができる。

図１は、本開示の実施形態によるネットワーク環境を示すブロック図である。図１に示すネットワーク環境１００は、複数のＵＡＶ１０２と、複数の撮像装置１０４と、サーバ１０６と、通信ネットワーク１０８と、ユーザ端末１１０とを含む。複数のＵＡＶ１０２は、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ、第３のＵＡＶ１０２ｃ及び第４のＵＡＶ１０２ｄなどの２又は３以上のＵＡＶを含むことができる。複数の撮像装置１０４は、第１の撮像装置１０４ａ、第２の撮像装置１０４ｂ、第３の撮像装置１０４ｃ及び第４の撮像装置１０４ｄなどの２又は３以上の撮像装置を含むことができる。第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ、第３のＵＡＶ１０２ｃ及び第４のＵＡＶ１０２ｄは、それぞれ第１の撮像装置１０４ａ、第２の撮像装置１０４ｂ、第３の撮像装置１０４ｃ及び第４の撮像装置１０４ｄを伴うことができる。複数のＵＡＶ１０２、複数の撮像装置１０４、サーバ１０６及びユーザ端末１１０は、通信ネットワーク１０８を介して互いに通信するように構成することができる。

複数のＵＡＶ１０２は、遠隔システムによって制御される又は自律飛行が可能な無人航空機又はシステムに対応することができる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。無人航空機又はシステムは、地上制御ステーションの遠隔パイロットによって制御することができる。無人航空機又はシステムは、事前プログラムされた様々な飛行計画又は複雑な動的自動システムに基づいて自律的に飛行することもできる。複数のＵＡＶ１０２は、飛行中に通信ネットワーク１０８を介して互いに通信するように構成することができる。複数のＵＡＶ１０２の配列は、動的に決定される処理モードに基づくことができる。複数のＵＡＶ１０２の例は、以下に限定するわけではないが、ドローン、スマートプレーン、或いはパイロットが乗っていない、又は事前プログラムされた飛行計画及び／又は自動化システムによって制御される他のこのような航空機を含むことができる。モータのフレーム型及び個数に基づけば、複数のＵＡＶ１０２の様々な例は、以下に限定するわけではないが、アームが３つでモータが１つのトライコプター、アームが４つでモータが１つのクワッドコプター、アームが６つでモータが１つのヘキサコプター、アームが６つでモータが６つのＹ６コプター、アームが８つでモータが１つのオクトコプター、及び／又はアームが８つでモータが８つのＸ８を含むことができる。

複数の撮像装置１０４は、対応するＵＡＶの視野（ＦＯＶ）内の複数の画像及び／又はビデオフレームを取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。さらに、複数の撮像装置１０４は、取り込まれた１又は２以上の画像及び／又はビデオフレームの視覚表現を生成することもできる。複数の撮像装置１０４は、１又は２以上の画像及び／又はビデオフレームの取り込みを可能にするレンズアセンブリと画像センサとを含むことができる。複数の撮像装置１０４の画像センサは、電荷結合素子（ＣＣＤ）技術、相補的金属酸化物半導体（ＣＭＯＳ）技術、及び／又は同様のものを用いて実装することができる。複数の撮像装置１０４の例は、以下に限定するわけではないが、小型カメラ、ブリッジ回路カメラ、カムコーダ、デジタルカメラ、視点（ＰＯＶ）カメラ、サーモグラフィーカメラ、一眼レフカメラ、及び／又は内蔵カメラに相当することができる。

サーバ１０６は、複数の撮像装置１０４によって取り込まれた複数の画像及び／又はビデオフレームを通信ネットワーク１０８を介して受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、サーバ１０６は、受け取った複数の画像及び／又はビデオフレームの３Ｄ再構成のための画像処理を実行することができる。サーバ１０６の例は、以下に限定するわけではないが、データベースサーバ、ウェブサーバ、ファイルサーバ、メディアサーバ、プロキシサーバ、及び／又は通信サーバを含むことができる。

通信ネットワーク１０８は、複数のＵＡＶ１０２をサーバ１０６及びユーザ端末１１０に通信可能に接続できるようにする媒体を含むことができる。通信ネットワーク１０８の例は、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電話線（ＰＯＴＳ）、無線ＷＡＮ、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続することができる。このような有線及び無線通信プロトコルの例は、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、無線メッシュネットワーク（ＷＭＮ）赤外線（ＩＲ）、ＩＥＥＥ ８０２．１１、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、ＵＶＮｅｔ、フライングアドホックネットワーク（ＦＡＮＥＴ）、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルを含むことができる。

ユーザ端末１１０は、ユーザ入力を受け取って、受け取ったユーザ入力を複数のＵＡＶ１０２及び／又はサーバ１０６に通信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ユーザ端末１１０の例は、以下に限定するわけではないが、スマートフォン、カメラ、タブレットコンピュータ、ラップトップ、ウェアラブル電子装置、テレビ、インターネットプロトコルテレビ（ＩＰＴＶ）、及び／又は他のこのような表示端末を含むことができる。

動作時には、複数のＵＡＶ１０２の各々が、これらのＵＡＶ１０２に関連するシステム制御及び状態変数をモニタする飛行前診断プロセスを実行することができる。このようなシステム制御の例は、以下に限定するわけではないが、飛行及びその他の制御変数、無線通信リンク、センサユニット、バッテリレベル、中央処理装置、及びヘリコプター回転翼などの他のハードウェアコンポーネントを含むことができる。対応する複数のＵＡＶ１０２の様々な計算リソースに相当する状態変数の例は、以下に限定するわけではないが、計算帯域幅及び／又メモリ利用率、及び／又はバッテリレベルを含むことができる。飛行前診断プロセスが正常に終了すると、複数のＵＡＶ１０２は飛行を開始して浮遊することができる。その後、この時点で浮遊している複数のＵＡＶ１０２は、それぞれのシステム制御及び状態変数を定期的にモニタする飛行中診断プロセスを実行することができる。

ある実施形態によれば、複数のＵＡＶ１０２は、事前プログラムされた飛行計画に従って、（Ｗｉ−Ｆｉなどの）通信ネットワーク１０８を介して互いに通信するように構成することができる。特定の事例によれば、複数のＵＡＶ１０２は、各ＵＡＶが当業で周知の様々な無線プロトコルに基づいて他のＵＡＶと通信できるようにするメッシュネットワークを形成することができる。ある実施形態によれば、メッシュネットワークは、複数のＵＡＶ１０２に加えてサーバ１０６をさらに含むことができる。別の事例によれば、複数のＵＡＶ１０２は、当業で周知の様々な無線プロトコルに基づいてこのような無線通信を可能にするアドホックネットワークを形成することができる。

ある実施形態によれば、複数のＵＡＶ１０２及び／又はサーバ１０６のうちの１つは、これらのＵＡＶ１０２及び／又はサーバ１０６のシステム制御及び状態変数を中心的にモニタするようにさらに構成することができる。ある例によれば、第１のＵＡＶ１０２ａを、複数のＵＡＶ１０２及び／又はサーバ１０６のシステム制御及び状態変数をモニタして記録するように構成することができる。ある例によれば、サーバ１０６を、複数のＵＡＶ１０２及び／又はサーバ１０６のシステム制御及び状態変数をモニタして記録するように構成することができる。従って、複数のＵＡＶ１０２及び／又はサーバ１０６のうちの１つは、これらのＵＡＶ１０２及び／又はサーバ１０６の状態変数を記憶して定期的に更新できる状態変数テーブルを生成するようにさらに構成することができる。このような複数のＵＡＶ１０２及び／又はサーバ１０６のうちの１つは、これらのＵＡＶ１０２及び／又はサーバ１０６をモニタするマスター装置として事前構成及び／又は事前プログラムすることができる。

ある実施形態によれば、ユーザ端末１１０は、ユーザ端末１１０に関連するユーザから（タッチ画面などの）Ｉ／Ｏ装置を介してユーザ入力を受け取るように構成することができる。受け取られるユーザ入力は、１又は２以上の静止物体及び／又は移動物体の選択を含むことができる。ユーザは、Ｉ／Ｏ装置を介してこの選択を行うことができる。例示的なシナリオでは、動いている選手が放つ特定のシュートを分析したいと望むことができるスポーツ解説者をユーザとすることができる。従って、ユーザは、ディスプレイ画面でタッチ入力を行って、動いている選手を選択することができる。

本開示の第１の態様によれば、ユーザ端末１１０は、受け取ったユーザ入力を第１のＵＡＶ１０２ａなどの複数のＵＡＶ１０２のうちの１つに通信するように構成することができる。当業者であれば、第１のＵＡＶ１０２ａへのユーザ入力の通信は例示目的での説明であり、本開示を限定するものとして解釈されるものではないと理解するであろう。この例では、（計算リソースが十分であるという理由で）第１のＵＡＶ１０２ａを、複数のＵＡＶ１０２及び／又はサーバ１０６をモニタするマスター装置として事前構成及び／又は事前プログラムできると仮定することができる。しかしながら、本開示は、第１のＵＡＶ１０２ａをマスター装置又はコントローラとして事前プログラムする構成に限定されるものではない。本開示の範囲から逸脱することなく、複数のＵＡＶ１０２のうちの十分な計算リソースを有する他のＵＡＶ１０２をマスター装置として構成又はプログラムすることもできる。

ある実施形態によれば、複数のＵＡＶ１０２のうちの第１のＵＡＶ１０２ａは、第１の撮像装置１０４ａを伴うことができる。第１の撮像装置１０４ａは、第１の一連の画像を取り込むように構成することができる。同様に、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の他のそれぞれの撮像装置１０４ｂ〜１０４ｄを伴うことができる。１又は２以上の他の撮像装置１０４ｂ〜１０４ｄは、第２の一連の画像を取り込むように構成することができる。ある実施形態によれば、第１のＵＡＶ１０２ａは、ユーザ入力に基づいて１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから情報を受け取るように構成することができる。このような場合、複数のＵＡＶ１０２及びサーバ１０６は、Ｗｉ−Ｆｉなどの無線通信チャネルを介してメッシュネットワーク内に存在することができる。この情報は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、ジャイロスコープなどの内蔵された第１の一連のセンサに基づいてこの情報を決定することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、画像センサなどの内蔵された第２の一連のセンサに基づいてこの情報を精細化することができる。第１のＵＡＶ１０２ａは、受け取ったユーザ入力において選択された１又は２以上の静止物体又は移動物体の現在位置を特定するようにさらに構成することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、受け取った焦点レンズ情報と、チェッカー盤などの共通の予め定められた較正物体の複数の画像とに基づいて、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの較正情報を決定するように構成することができる。予め定められた較正物体の複数の画像は、複数の撮像装置１０４によって１又は２以上の角度及び方向から取り込むことができる。第１のＵＡＶ１０２ａは、決定された較正情報を１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄに通信するように構成することができる。従って、１又は２以上の他のそれぞれのＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの較正を行うことができる。

１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの１又は２以上の内部及び／又は外部パラメータを調整するためにこれらの撮像装置の較正を行うことができる。内部パラメータは、像点の画素座標を撮像装置の基準座標系における対応する座標にリンクさせるために必要な１又は２以上のパラメータに相当することができる。内部パラメータの例は、以下に限定するわけではないが、焦点距離、画像センサフォーマット、主点及び／又はレンズ歪みを含むことができる。外部パラメータは、既知の世界座標系（ｗｏｒｌｄ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）に対する撮像装置の基準座標系の位置及び配向を定める１又は２以上のパラメータに相当することができる。外部パラメータの例は、限定するわけではないが、３Ｄ世界座標から３Ｄカメラ座標への座標系変換を含むことができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体又は移動物体の現在位置とに基づいて決定することができる。第１のＵＡＶ１０２ａは、図５で説明するような三角測量法に従って自機の目標位置及び目標配向を決定するように構成することができる。当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。複数のＵＡＶ１０２の最適な配列は、選択された１又は２以上の静止物体又は移動物体を含む３Ｄシーン構造を複数の撮像装置１０４の予め定められた解像度で最大限にカバーする配列に対応する。

ある実施形態によれば、第１のＵＡＶ１０２ａは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに制御情報を通信するように構成することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、受け取った制御情報に基づいて１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向を修正することができる。１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第１のＵＡＶ１０２ａは、自機の現在位置及び現在の配向を、三角測量法を通じて決定された目標位置及び目標配向に修正するように構成することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体又は移動物体の一連の画像を取り込むことができる。この一連の画像は、第１のＵＡＶ１０２ａの第１の撮像装置１０４ａによって取り込まれた第１の一連の画像を含むことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの１又は２以上の撮像装置１０４ｂ〜１０４ｄは、第２の一連の画像をそれぞれ取り込むことができる。第１の一連の画像は、第１のＵＡＶ１０２ａによって送信される同期信号に基づいて第２の一連の画像と動的に同期させることができる。この同期信号は、第１の一連の画像と第２の一連の画像とが実時間で最小時間の時間差しか示さないように複数の撮像装置１０４間のタイミング相関を定めることができる。

複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。ある実施形態によれば、複数の撮像装置１０４は、当業で周知のマーカー情報を含む１又は２以上の静止物体及び／又は移動物体の１又は２以上の球面位置に基づいて、協働して動き情報を取り込むことができる。例えば、このマーカー情報は、複数のＵＡＶ１０２が継続的に追跡できる様々な骨質部分を表す１又は２以上の有色斑点によって示すことができる。ある実施形態によれば、複数の撮像装置１０４は、当業で周知のマーカー情報を含んでいない１又は２以上の静止物体及び／又は移動物体の１又は２以上の球面位置に基づいて、協働して動き情報を取り込むことができる。例えば、複数のＵＡＶ１０２に、（当業で周知の）ＣｏｎｖＮｅｔに基づく接合部検出アルゴリズム（ｊｏｉｎｔ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）から推定される１又は２以上の静止物体及び／又は移動物体の本体部分の検出を推定できるマーカーレス物体追跡アルゴリズムを実装することができる。さらに、マーカーレス物体追従アルゴリズムは、当業で周知のガウス和フレームワークに基づいて、本体部分の検出を発生モデルに基づく追跡アルゴリズムに融合させることもできる。当業者であれば、上記の例は例示目的にすぎず、本開示の範囲を限定するものとして解釈されるものではないと理解することができる。

第１のＵＡＶ１０２ａは、複数の撮像装置１０４によって取り込まれた一連の画像を処理することができる処理モードを動的に決定するようにさらに構成することができる。この処理モードは、分散処理モード、集中処理モード又はクラスタ処理モードに対応することができる。第１のＵＡＶ１０２ａは、最新の飛行中診断プロセス中に更新される状態変数テーブルから検索された計算リソースの状態に基づいて、処理モードを動的に決定することができる。計算リソースは、複数のＵＡＶ１０２及びサーバ１０６の計算帯域幅、メモリ利用率及び／又はバッテリレベルに対応することができる。従って、第１のＵＡＶ１０２ａは、複数のＵＡＶ１０２又はサーバ１０６のうちの１つを選択して一連の画像を最適に処理することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、計算リソースの状態に基づいて、複数のＵＡＶ１０２及びサーバ１０６の中で第１のＵＡＶ１０２ａ自体が最大の計算帯域幅、メモリ利用率及び／又はバッテリレベルを示すと判断することができる。このような場合、第１のＵＡＶ１０２ａは、第１及び第２の一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するように構成することができる。第１のＵＡＶ１０２ａは、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶの異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

第１のＵＡＶ１０２ａは、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて３Ｄ構造の再構成を実行することができる。選択された１又は２以上の静止物体又は移動物体の３Ｄシーン解釈及び／又は点群生成は、一連の画像が取り込まれる複数のＵＡＶ１０２の目標位置及び目標配向に基づいて実行することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。従って、このような場合、ユーザ端末１１０は、再構成後の３Ｄ構造を受け取って表示することができる。ある実施形態によれば、ユーザ端末１１０は、３Ｄ再構成画像の視点を修正するための別のユーザ入力をさらに受け取ることができる。この修正された視点に対応する要求を第１のＵＡＶ１０２ａに戻すことができる。第１のＵＡＶ１０２ａは、この要求に基づいて、再び１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの新たな目標位置及び目標配向をそれぞれ決定することができる。第１のＵＡＶ１０２ａは、上記と同様に１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから新たな一連の画像を受け取ることができる。上記と同様に再び３Ｄ構造の再構成を実行し、通信ネットワーク１０８を介してユーザ端末１１０に通信することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、計算リソースの状態に基づいて、複数のＵＡＶ１０２及びサーバ１０６の中でサーバ１０６が最大の計算帯域幅、メモリ利用率及び／又はバッテリレベルを示すと判断することができる。このような場合、第１のＵＡＶ１０２ａは、取り込まれた第１の一連の画像と受け取った第２の一連の画像とをサーバ１０６に通信するように構成することができる。サーバ１０６は、受け取った第１及び第２の一連の画像に基づいて、選択された１又は２以上の静止物体又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。サーバ１０６は、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。当業者であれば、上述した３Ｄ構造の再構成は、例示目的で第１の用途に従って実行されると理解することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶの異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、計算リソースの状態に基づいて、複数のＵＡＶ１０２及びサーバ１０６の中で第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃの両方が最大の計算帯域幅、メモリ利用率及び／又はバッテリレベルを示すと判断することができる。このような場合、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、物理的近接性及び／又は対応する状態変数の値などの１又は２以上の基準に基づいて第１及び第２の一連のＵＡＶをそれぞれ識別するように構成することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのうちのどのＵＡＶを第１及び第２の一連のＵＡＶに含めることができるかを判断するようにさらに構成することができる。例えば、第１のＵＡＶ１０２ａは、第２のＵＡＶ１０２ｂを第１の一連のＵＡＶに含めることができると見なすことができる。第２のＵＡＶ１０２ｂは、不十分なメモリ利用率などの限られた計算リソースを有する、第１のＵＡＶ１０２ａに最も距離が近いものと見なすことができる。従って、第１のＵＡＶ１０２ａと第２のＵＡＶ１０２ｂとを含む第１のネットワークを確立することができる。第１のネットワークは、第１のクラスタと呼ぶこともできる。同様に、第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄを第２の一連のＵＡＶに含めることができると見なすことができる。第４のＵＡＶ１０２ｄは、わずかなバッテリレベルなどの限られた計算リソースを有する、第３のＵＡＶ１０２ｃに最も距離が近いものと見なすことができる。従って、第３のＵＡＶ１０２ｃと第４のＵＡＶ１０２ｄとを含む第２のネットワークを確立することができる。第２のネットワークは、第２のクラスタと呼ぶこともできる。

このような場合、第２のＵＡＶ１０２ｂは、取り込んだ一連の画像を第１のＵＡＶ１０２ａに通信することができる。第１のクラスタ内の第１のＵＡＶ１０２ａ及び第２のＵＡＶ１０２ｂによって取り込まれた一連の画像は、まとめて第１の一連の画像と呼ぶことができる。同様に、第４のＵＡＶ１０２ｄは、取り込んだ一連の画像を第３のＵＡＶ１０２ｃに通信する。第２のクラスタ内の第３のＵＡＶ１０２ｃ及び第４のＵＡＶ１０２ｄによって取り込まれた一連の画像は、まとめて第２の一連の画像と呼ぶことができる。

第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、それぞれ第１の一連の画像及び第２の一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。当業者であれば、上述した３Ｄ構造の再構成は、例示目的で第１の用途に従って実行されると理解することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶの異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、選択された１又は２以上の静止物体又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて２つの３Ｄ構造の再構成を実行することができる。選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成は、一連の画像が取り込まれる複数のＵＡＶ１０２の目標位置及び目標配向に基づいて実行することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、第１の一連の画像及び第２の一連の画像からの再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。従って、このような場合、ユーザ端末１１０は、２つの再構成後の３Ｄ構造を受け取って表示することができる。計算リソースの利用可能性を示す状態制御変数に基づいて、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃなどのマスターＵＡＶのうちの１つを選択して最終的な３Ｄ構造再構成を実行することができる。ユーザ端末１１０において最終的な再構成を実行して単一の３Ｄ構造を生成し、これをユーザ端末１１０に通信することもできる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、最新の状態変数の値に基づいて、今回は第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとが限られたリソースを示し、サーバ１０６が利用可能なリソースを示すと判断することができる。このような場合、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、最終的な３Ｄ構造をさらに再構成するために２つの３Ｄ再構成画像をサーバ１０６に送信することができる。サーバ１０６は、最終的な再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。既に上述したように、ある実施形態によれば、３Ｄ構造の再構成は、ユーザ端末１１０から修正された視点の変更要求が受け取られた時に再び実行することができる。

本開示の第２の態様によれば、ユーザ端末１１０は、受け取ったユーザ入力をサーバ１０６に通信するように構成することができる。サーバ１０６は、このユーザ入力に基づいて、複数の撮像装置１０４に関連する複数のＵＡＶ１０２から情報を受け取るように構成することができる。このような場合、複数のＵＡＶ１０２及びサーバ１０６は、Ｗｉ−Ｆｉなどの無線通信チャネルを介してメッシュネットワーク内に存在することができる。この情報は、複数の撮像装置１０４に関連する複数のＵＡＶ１０２の焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。複数のＵＡＶ１０２は、ジャイロスコープなどの内蔵された第１の一連のセンサに基づいてこの情報を決定することができる。複数のＵＡＶ１０２は、画像センサなどの内蔵された第２の一連のセンサに基づいてこの情報を精細化することができる。

ある実施形態によれば、サーバ１０６は、受け取った焦点レンズ情報と、チェッカー盤などの共通の予め定められた較正物体の複数の画像とに基づいて、複数のＵＡＶ１０２の較正情報を決定するように構成することができる。予め定められた較正物体の複数の画像は、複数の撮像装置１０４によって１又は２以上の角度及び方向から取り込むことができる。サーバ１０６は、決定された較正情報を複数のＵＡＶ１０２に関連する複数の撮像装置１０４に通信するように構成することができる。従って、複数のＵＡＶ１０２のそれぞれのＵＡＶは、複数の撮像装置１０４の較正を行うことができる。上述したように、複数のＵＡＶ１０２は、複数の撮像装置１０４の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置の較正を行うことができる。

ある実施形態によれば、サーバ１０６は、複数の撮像装置１０４の目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。複数のＵＡＶ１０２の最適な配列は、選択された１又は２以上の静止物体及び／又は移動物体を含む３Ｄシーン構造を複数の撮像装置１０４の予め定められた解像度で最大限にカバーする配列に対応する。

ある実施形態によれば、サーバ１０６は、複数のＵＡＶ１０２に制御情報を通信するように構成することができる。複数のＵＡＶ１０２は、受け取った制御情報に基づいて複数の撮像装置１０４の現在位置及び現在の配向を修正することができる。複数の撮像装置１０４の現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込むことができる。この一連の画像は、複数の撮像装置１０４によって同期的に取り込まれた画像に相当することができる。一連の画像内の各画像は、サーバ１０６によって送信される同期信号に基づいて他の画像に対して動的に同期させることができる。この同期信号は、一連の画像が実時間で最小時間の時間差しか示さないように複数の撮像装置１０４間のタイミング相関を定めることができる。

複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。ある実施形態によれば、複数の撮像装置１０４は、当業で周知のマーカー情報を含む又は含まない１又は２以上の静止物体又は移動物体の１又は２以上の球面位置に基づいて、協働して動き情報を取り込むことができる。複数のＵＡＶ１０２は、選択された１又は２以上の静止物体及び／又は移動物体の取り込まれた一連の画像と動き情報とをサーバ１０６に通信することができる。

ある実施形態によれば、サーバ１０６は、受け取った一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。サーバ１０６は、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶの異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

図３で詳細に説明するように、サーバ１０６は、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて３Ｄ構造の再構成を実行することができる。サーバ１０６は、再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。ユーザ端末１１０は、受け取った再構成後の３Ｄ構造を表示することができる。

本開示の第３の態様によれば、ユーザ端末１１０は、受け取ったユーザ入力を、第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃなどの、複数のＵＡＶ１０２のうちの複数のＵＡＶに通信するように構成することができる。当業者であれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃへのユーザ入力の通信は例示目的での説明であり、本開示を限定するものとして解釈されるものではないと理解するであろう。この例では、（計算リソースが十分であるという理由で）第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃを、複数のＵＡＶ１０２をモニタするマスター装置又はコントローラ装置として事前構成及び／又は事前プログラムできると仮定することができる。しかしながら、本開示は、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃをマスター装置又はコントローラとして事前プログラムする構成に限定されるものではない。本開示の範囲から逸脱することなく、複数のＵＡＶ１０２のうちの十分な計算リソースを有する他のＵＡＶ１０２をマスター装置又はコントローラとして構成又はプログラムすることもできる。

ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、第１及び第２の一連のＵＡＶをそれぞれ識別するように構成することができる。この識別は、物理的近接性及び／又は対応する計算リソース状態などの１又は２以上の基準に基づくことができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのうちのどのＵＡＶを第１及び第２の一連のＵＡＶに含めることができるかを判断するようにさらに構成することができる。例えば、第１のＵＡＶ１０２ａは、第２のＵＡＶ１０２ｂを第１の一連のＵＡＶに含めることができると見なすことができる。第２のＵＡＶ１０２ｂは、不十分なメモリ利用率などの限られた計算リソースを有する、第１のＵＡＶ１０２ａに最も距離が近いものと見なすことができる。従って、第１のＵＡＶ１０２ａと第２のＵＡＶ１０２ｂとを含む第１のネットワークを確立することができる。第１のネットワークは、第１のクラスタと呼ぶこともできる。同様に、第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄを第２の一連のＵＡＶに含めることができると見なすことができる。第４のＵＡＶ１０２ｄは、わずかなバッテリレベルなどの限られた計算リソースを有する、第３のＵＡＶ１０２ｃに最も距離が近いものと見なすことができる。従って、第３のＵＡＶ１０２ｃと第４のＵＡＶ１０２ｄとを含む第２のネットワークを確立することができる。第２のネットワークは、第２のクラスタと呼ぶこともできる。

ある実施形態によれば、第１のクラスタ内の第１のＵＡＶ１０２ａは、ユーザ入力に基づいて第２のＵＡＶ１０２ｂから情報を受け取るように構成することができる。同様に、第２のクラスタ内の第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄから情報を受け取るように構成することができる。この情報は、第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄにそれぞれ関連する第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄは、ジャイロスコープなどの内蔵された第１の一連のセンサに基づいてこの情報を決定することができる。第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄは、画像センサなどの内蔵された第２の一連のセンサに基づいてこの情報を精細化することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、受け取ったユーザ入力において選択された１又は２以上の静止物体及び／又は移動物体の現在位置を特定するようにさらに構成することができる。

ある実施形態によれば、第１のクラスタ内の第１のＵＡＶ１０２ａは、第２の撮像装置１０４ｂの較正情報を決定するように構成することができる。上述したように、この較正は、受け取った焦点レンズ情報と、共通の予め定められた較正物体の複数の画像とに基づくことができる。同様に、第２のクラスタ内の第３のＵＡＶ１０２ｃは、第４の撮像装置１０４ｄの較正情報を決定するように構成することができる。この較正は、受け取った焦点レンズ情報と、共通の予め定められた較正物体の複数の画像とに基づくことができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、決定された較正情報を第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄにそれぞれ通信するように構成することができる。

第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄは、第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの較正を実行することができる。この較正は、第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの１又は２以上の内部パラメータ及び／又は外部パラメータを調整するために行うことができる。

ある実施形態によれば、第１のクラスタ内の第１のＵＡＶ１０２ａは、第２の撮像装置１０４ｂの目標位置及び目標配向を決定するように構成することができる。同様に、第２のクラスタ内の第３のＵＡＶ１０２ｃは、第４の撮像装置１０４ｄの目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、自機の目標位置及び目標配向をそれぞれのクラスタ内で三角測量法に従って決定するように構成することができる。当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体及び／又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。複数のＵＡＶ１０２の最適な配列は、選択された１又は２以上の静止物体及び／又は移動物体を含む３Ｄシーン構造を複数の撮像装置１０４の予め定められた解像度で最大限にカバーする配列に対応する。

ある実施形態によれば、第１のクラスタ内の第１のＵＡＶ１０２ａは、第２のＵＡＶ１０２ｂに制御情報を通信するように構成することができる。同様に、第２のクラスタ内の第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄに制御情報を通信するように構成することができる。第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄは、受け取った制御情報に基づいて、第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの現在位置及び現在の配向をそれぞれ修正することができる。第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、自機の現在位置及び現在の配向を、三角測量法を通じて決定された目標位置及び目標配向に修正するように構成することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の複数の画像を取り込むことができる。複数の画像は、異なるクラスタ内の複数の撮像装置１０４によって取り込むことができる。第１の複数の画像は、第１のクラスタ内の第１のＵＡＶ１０２ａの第１の撮像装置１０４ａと、第２のＵＡＶ１０２ｂの第２の撮像装置１０４ｂとによって取り込まれた画像を含むことができる。第２の複数の画像は、第２のクラスタ内の第３のＵＡＶ１０２ｃの第３の撮像装置１０４ｃと、第４のＵＡＶ１０２ｄの第４の撮像装置１０４ｄとによって取り込まれた画像を含むことができる。第１の複数の画像は、第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとの間で通信される同期信号に基づいて第２の複数の画像と動的に同期させることができる。この同期信号は、第１の複数の画像と第２の複数の画像とが実時間で最小時間の時間差しか示さないように第１のクラスタと第２のクラスタとの間のタイミング相関を定めることができる。

異なるクラスタ内の複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。ある実施形態によれば、複数の撮像装置１０４は、当業で周知のマーカー情報を含む又は含まない１又は２以上の静止物体及び／又は移動物体の１又は２以上の球面位置に基づいて、協働して動き情報を取り込むことができる。

第１のＵＡＶ１０２ａは、第１の複数の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。同様に、第３のＵＡＶ１０２ｃは、第２の複数の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するように構成することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。当業者であれば、上述した３Ｄ構造の再構成は、例示目的で第１の用途に従って実行されると理解することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶの異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて２つの３Ｄ構造の再構成を実行することができる。選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成は、一連の画像が取り込まれる複数のＵＡＶ１０２の目標位置及び目標配向に基づいて実行することができる。ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、第１の一連の画像及び第２の一連の画像から再構成された２つの３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。従って、このような場合、ユーザ端末１１０は、２つの再構成後の３Ｄ構造を受け取って表示することができる。ある実施形態によれば、ユーザ端末１１０は、再構成後の３Ｄ構造の視点を修正するための別のユーザ入力をさらに受け取ることができる。この修正された視点に対応する要求を第１のＵＡＶ１０２ａに戻すことができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、この要求に基づいて、第１及び第２のクラスタ内のＵＡＶの新たな目標位置及び目標配向を再びそれぞれ決定することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、上記と同様にこれらのＵＡＶから新たな一連の画像を受け取ることができる。上記と同様に再び３Ｄ構造の再構成を実行し、通信ネットワーク１０８を介してユーザ端末１１０に通信することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、最新の状態変数の値に基づいて、今回は第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとが限られたリソースを示し、サーバ１０６が利用可能なリソースを示すと判断することができる。このような場合、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、最終的な３Ｄ構造をさらに再構成するために２つの３Ｄ再構成された構造をサーバ１０６に送信することができる。サーバ１０６は、最終的な再構成後の３Ｄ構造を表示のために通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。ユーザ端末１１０は、３Ｄ再構成された構造の視点を修正するための別のユーザ入力をさらに受け取ることができる。サーバ１０６には、修正された視点に対応する要求を戻すことができる。上記と同様に、サーバ１０６は、この要求に基づいて、複数のＵＡＶ１０２の新たな目標位置及び目標配向を再び決定し、ＵＡＶ１０２から新たな一連の画像を受け取ることができる。サーバ１０６は、再び３Ｄ構造を再構成し、再構成された３Ｄ構造を表示のために通信ネットワーク１０８を介してユーザ端末１１０に通信してすることができる。

図２は、本開示の実施形態による例示的なＵＡＶを示すブロック図である。図２には、複数のＵＡＶ１０２からの第１のＵＡＶ１０２ａのブロック図を示す。第１のＵＡＶ１０２ａは、プロセッサ２０２などの１又は２以上のプロセッサと、フライトコントローラ２０４と、メモリユニット２０６と、二次記憶ユニット２０８と、センサユニット２１０と、第１の撮像装置１０４ａと、トランシーバ２１２とを含むことができる。第１のＵＡＶ１０２ａは、モータ２１６、プロペラ２１８及び電子速度コントローラ（ＥＳＣ）２２０を含む推進システム２１４と、バッテリ２２２とをさらに含むことができる。プロセッサ２０２は、フライトコントローラ２０４、メモリユニット２０６、二次記憶ユニット２０８、センサユニット２１０、第１の撮像装置１０４ａ、トランシーバ２１２及び推進システム２１４に通信可能に接続することができる。

プロセッサ２０２は、メモリユニット２０６から読み出された１又は２以上の命令を実行できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０２は、トランシーバ２１２を介して１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから受け取った複数の画像を処理するようにさらに構成することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又はその他のプロセッサとすることができる。

フライトコントローラ２０４は、センシングユニットに通信可能に結合されて第１のＵＡＶ１０２ａを自動制御するプログラマブルマイクロコントローラを含むように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。フライトコントローラ２０４は、様々な制御システム変数を決定してメモリユニット２０６及び／又は二次記憶ユニット２０８に記憶することができる。制御変数の例は、以下に限定するわけではないが、（自動／手動）動作モード、（位置及び／又は速度などの）コントローラ状態変数、及び／又はエラー通知を含むことができる。フライトコントローラ２０４は、第１のＵＡＶ１０２ａを飛ばして安定させるためにセンシングユニットと無線制御入力とを使用する方法に基づく１又は２以上の飛行モードに関連することができる。フライトコントローラ２０４は、当業で周知の様々なハードウェアコンポーネント及び構成と、ソフトウェアコンポーネント及び構成とに基づいて実装することができる。

メモリユニット２０６は、プロセッサ２０２が実行できる少なくとも１つのコード区分を有する機械コード及び／又はコンピュータプログラムを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２０６の実装例は、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、サイリスタランダムアクセスメモリ（Ｔ−ＲＡＭ）、ゼロキャパシタランダムアクセスメモリ（Ｚ−ＲＡＭ）、及び／又はキャッシュメモリを含むことができる。

二次記憶ユニット２０８は、複数のＵＡＶ１０２及びサーバ１０６のメモリ空間、記憶能力及び情報処理能力などの異なる計算パラメータを記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。二次記憶ユニット２０８は、複数のＵＡＶ１０２のコントローラ状態変数を記憶するように構成することができる。二次記憶ユニット２０８は、プロセッサ２０２が決定できる経路プランナを記憶するようにさらに構成することができる。二次記憶ユニット２０８の例は、以下に限定するわけではないが、メモリ内データベース、アクティブデータベース、クラウドデータベース、演繹データベース、分散データベース、埋め込みデータベース、リアルタイムデータベース、並列データベース、空間データベース及び／又は時間データベースを含むことができる。

センサユニット２１０は、１又は２以上のセンサによって検出されたセンサデータを処理するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。センサユニット２１０の例は、以下に限定するわけではないが、地理的測位システム（ＧＰＳ）、ジャイロスコープ、動きセンサ、光センサ、熱センサ、高度センサ、慣性センサ、光電センサ、赤外線センサ、光検出器、圧力センサ、磁気コンパス、加速度計及び／又は光位置センサを含むことができる。例えば、ＧＰＳは、気圧高度センサと連動して第１のＵＡＶ１０２ａの３Ｄ位置及び配向情報を決定することができる。

トランシーバ２１２は、通信ネットワーク１０８を介して他の装置との間でコマンド、情報及び／又は画像を送信／受信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。トランシーバ２１２は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、同調器、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。トランシーバ２１２は、無線通信を介して、インターネット、イントラネット、及び／又はセルラー電話網、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールプロトコル、インスタントメッセージング及び／又はショートメッセージサービスなどの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。

推進システム２１４は、飛行中に第１のＵＡＶ１０２ａを上方及び前方に押しやるための推力を生み出す一連の機械的及び電気的コンポーネントである。推力は、モータ２１６と、プロペラ２１８と、ＥＳＣ２２０と、バッテリ２２２とによって連動して生み出すことができる。

モータ２１６は、外側ケーシング又は内側ケーシングのいずれかにコイルが固定されて磁石が回転するブラシレス直流（ＢＬＤＣ）モータであることが好ましい。ブラシレスＤＣモータは、所与の電圧での回転速度に基づいて、インランナーモータ、アウトランナーモータ又はハイブリッドランナーモータのうちの１つとすることができる。

プロペラ２１８は、予め構成された速度で回転して第１のＵＡＶ１０２ａのための最低限の推力を生じる、予め指定された直径のロータブレードを含むことができる。プロペラ２１８は、予め指定された直径に加えて、ロータブレードの形状、迎角、ピッチ及び表面積をさらに伴う。プロペラは、射出成形プラスチック、繊維強化ポリマー、又は（木などの）天然材料などの異なる材料によって製造することができる。プロペラ２１８は、プロペラ２１８の周囲に固定リング／クッションを提供するプロペラガード（又は「プロップガード」）にさらに接続することができる。

ＥＳＣ２２０は、フライトコントローラ２０４によるモータ２１６の速度及び方向の制御を可能にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。典型的なＥＳＣは、バッテリ２２２に接続された電源入力部と、モータ２１６に接続された弾丸コネクタと、無線制御信号を受け入れて第１のＵＡＶ１０２ａの電子機器に給電する無線制御式サーボコネクタとを含むことができる。

バッテリ２２２は、第１のＵＡＶ１０２ａの１又は２以上の電気回路又は負荷のための電力源とすることができる。例えば、この負荷は、以下に限定するわけではないが、モータ２１６、第１の撮像装置１０４ａなどの電動調整式コンポーネント、及び／又はラジオ、スピーカ、電子ナビゲーションシステム、電気的に制御、駆動及び／又は補助されるステアリングシステムなどのその他の車載システムを含むことができる。バッテリ２２２は、リチウム−マンガンなどの様々な変形形態を含む専らリチウムポリマー（ＬｉＰｏ）の充電式バッテリとすることができる。

動作時には、プロセッサ２０２とフライトコントローラ２０４とが協働して、第１のＵＡＶ１０２ａに関連するシステム制御及び状態変数をモニタする飛行前診断プロセスを実行することができる。飛行前診断プロセスが正常に終了すると、フライトコントローラ２０４と推進システム２１４とが協働して飛行を開始して浮遊することができる。その後、この時点で浮遊している第１のＵＡＶ１０２ａは、そのシステム制御及び状態変数を定期的にモニタする飛行中診断プロセスを実行することができる。

ある実施形態によれば、プロセッサ２０２は、フライトコントローラ２０４と協働して、（Ｗｉ−Ｆｉなどの）通信ネットワーク１０８を介して１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄ、サーバ１０６及びユーザ端末１１０と通信するように構成することができる。この通信は、飛行計画に従って行うことができる。ある実施形態によれば、飛行前に予め飛行計画を指定して、メモリユニット２０６及び／又は二次記憶ユニット２０８に予め記憶しておくことができる。ある実施形態によれば、プロセッサ２０２とセンサユニット２１０とが協働して、飛行中に動的に飛行計画を決定することができる。

ある実施形態によれば、プロセッサ２０２は、当業で周知の様々な無線プロトコルに基づいて、メッシュネットワーク又はアドホックネットワーク内の１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄと通信することができる。ある実施形態によれば、プロセッサ２０２は、複数のＵＡＶ１０２及び／又はサーバ１０６のシステム制御及び状態変数を中心的にモニタするようにさらに構成することができる。ある例によれば、プロセッサ２０２は、複数のＵＡＶ１０２及び／又はサーバ１０６のシステム制御及び状態変数を状態変数テーブルに記録するように構成することができる。プロセッサ２０２は、状態変数テーブルをメモリユニット２０６及び／又は二次記憶ユニット２０８に記憶することができる。さらに、プロセッサ２０２は、複数のＵＡＶ１０２及び／又はサーバ１０６の最新の状態変数に基づいて定期的に状態変数テーブルを更新することもできる。ある実施形態によれば、プロセッサ２０２は、複数のＵＡＶ１０２及び／又はサーバ１０６をモニタするマスター装置として事前構成及び／又は事前プログラムしておくことができる。

ある実施形態によれば、トランシーバ２１２は、通信ネットワーク１０８を介してユーザ端末１１０からユーザ入力を受け取るように構成することができる。ユーザ端末１１０におけるユーザは、（タッチ画面などの）Ｉ／Ｏ装置を介してユーザ入力を提供することができる。受け取られたユーザ入力は、１又は２以上の静止物体及び／又は移動物体の選択を含むことができる。この１又は２以上の静止物体及び／又は移動物体は、ユーザ端末１１０においてビデオストリームの形で表示することができる。例えば、ユーザ端末１１０にライブのサッカーの試合を表示することができる。ユーザは、サッカーの試合中に動いている選手が放つ特定のシュートを分析したいと望むことができるスポーツアナリストとすることができる。このため、ユーザは、ユーザ端末１１０のディスプレイ画面でタッチ入力を行って、動いている選手を選択することができる。

ある実施形態によれば、プロセッサ２０２は、第１の撮像装置１０４ａのＦＯＶから１又は２以上の静止物体及び／又は移動物体を自動的に決定するように構成することができる。このような自動決定は、１又は２以上の静止物体及び／又は移動物体を顕著な物体として識別することに基づくことができる。１又は２以上の静止物体及び／又は移動物体の顕著性は、画像の前景又は背景内の他の物体に対する物体に対応する高画素強度に基づくことができる。１又は２以上の静止物体及び／又は移動物体の顕著性は、他の物体に対するその物体のオプティカルフローにさらに基づくことができる。しかしながら、本開示はこのように限定されるものではなく、プロセッサ２０２は、本開示の範囲から逸脱することなく当業で周知の他の顕著性パラメータに基づいて物体を顕著な物体として識別することもできる。

本開示の第１の態様によれば、プロセッサ２０２は、トランシーバ２１２からユーザ入力を受け取るように構成することができる。当業者であれば、第１のＵＡＶ１０２ａのプロセッサ２０２によるユーザ入力の受け取りは例示目的での説明であり、本開示を限定するものとして解釈されるものではないと理解するであろう。この例では、（計算リソースが十分であるという理由で）第１のＵＡＶ１０２ａを、複数のＵＡＶ１０２及び／又はサーバ１０６をモニタするマスター装置として事前構成及び／又は事前プログラムできると仮定することができる。しかしながら、本開示は、第１のＵＡＶ１０２ａをマスター装置又はコントローラとして事前プログラムする構成に限定されるものではない。本開示の範囲から逸脱することなく、複数のＵＡＶ１０２のうちの十分な計算リソースを有する他のＵＡＶ１０２をマスター装置として構成又はプログラムすることもできる。

ある実施形態によれば、プロセッサ２０２は、受け取ったユーザ入力に基づいて、Ｗｉ−Ｆｉなどの無線通信チャネルを介してメッシュネットワーク内の１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄ及び／又はサーバ１０６から情報を受け取るように構成することができる。この情報は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。図１で説明したように、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、それぞれのセンサユニット内の様々な一連のセンサに基づいてこの情報を決定することができる。プロセッサ２０２は、受け取ったユーザ入力において選択された１又は２以上の静止物体及び／又は移動物体の現在位置を特定するようにさらに構成することができる。

ある実施形態によれば、プロセッサ２０２は、受け取った焦点レンズ情報と、チェッカー盤などの共通の予め定められた較正物体の複数の画像とに基づいて、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの較正情報を決定するように構成することができる。プロセッサ２０２は、決定された較正情報を１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄに通信するように構成することができる。従って、１又は２以上の他のそれぞれのＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの較正を行うことができる。これに応じて、１又は２以上の撮像装置１０４ｂ〜１０４ｄの各々の１又は２以上の内部パラメータ及び／又は外部パラメータを調整することができる。さらに、プロセッサ２０２は、第１の撮像装置１０４ａの内部パラメータ及び外部パラメータを調整するように構成することもできる。

ある実施形態によれば、プロセッサ２０２は、１又は２以上の撮像装置１０４ｂ〜１０４ｄの目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。プロセッサ２０２は、図５で説明するような三角測量法に従って自機の目標位置及び目標配向を決定するように構成することができる。図１で説明したように、当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体及び／又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。

ある実施形態によれば、プロセッサ２０２は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに制御情報を通信するように構成することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、受け取った制御情報に基づいて１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向を修正することができる。１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、プロセッサ２０２は、フライトコントローラ２０４と協働して、自機の現在位置及び現在の配向を、三角測量法を通じて決定された目標位置及び目標配向に修正するように構成することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込むことができる。この一連の画像は、第１のＵＡＶ１０２ａの第１の撮像装置１０４ａによって取り込まれた第１の一連の画像を含むことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの１又は２以上の撮像装置１０４ｂ〜１０４ｄは、第２の一連の画像をそれぞれ取り込むことができる。図１で説明したように、第１の一連の画像は、第１のＵＡＶ１０２ａによって送信される同期信号に基づいて第２の一連の画像と動的に同期させることができる。複数の撮像装置１０４は、マーカー情報を含む又は含まない選択された１又は２以上の静止物体及び／又は移動物体の１又は２以上の球面位置に基づいて、１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。

プロセッサ２０２は、複数の撮像装置１０４によって取り込まれた一連の画像を処理することができる処理モードを動的に決定するようにさらに構成することができる。この処理モードは、図４Ａ、図４Ｂ及び図４Ｃにおいて説明する分散処理モード、集中処理モード又はクラスタ処理モードにそれぞれ対応することができる。プロセッサ２０２は、最新の飛行中診断プロセス中に更新される状態変数テーブルから検索された計算リソースの状態に基づいて、処理モードを動的に決定することができる。計算リソースは、複数のＵＡＶ１０２及びサーバ１０６の計算帯域幅、メモリ利用率及び／又はバッテリレベルに対応することができる。従って、第１のＵＡＶ１０２ａは、複数のＵＡＶ１０２又はサーバ１０６のうちの１つを選択して一連の画像を最適に処理することができる。

ある実施形態によれば、プロセッサ２０２は、計算リソースの状態に基づいて、最大の計算帯域幅、メモリ利用率及び／又はバッテリレベルが第１のＵＡＶ１０２ａで利用できると判断することができる。このような場合、プロセッサ２０２は、トランシーバ２１２を介して１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから第２の一連の画像を受け取るように構成することができる。プロセッサ２０２は、取り込まれた第１の一連の画像と受け取った第２の一連の画像とに基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するように構成することができる。プロセッサ２０２は、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。当業者であれば、上述した３Ｄ構造の再構成は、例示目的で第１の用途に従って実行されると理解することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶ１０２の異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

プロセッサ２０２は、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて３Ｄ構造の再構成を実行することができる。選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成は、一連の画像が取り込まれる複数のＵＡＶ１０２の目標位置及び目標配向に基づいて実行することができる。

ある実施形態によれば、プロセッサ２０２は、計算リソースの状態に基づいて、複数のＵＡＶ１０２及びサーバ１０６の中でサーバ１０６が最大の計算帯域幅、メモリ利用率及び／又はバッテリレベルを示すと判断することができる。このような場合、プロセッサ２０２は、取り込まれた第１の一連の画像と受け取った第２の一連の画像とをトランシーバ２１２及び通信ネットワーク１０８を介してサーバ１０６に通信するように構成することができる。サーバ１０６は、上記と同様に、受け取った第１及び第２の一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。

ある実施形態によれば、プロセッサ２０２は、計算リソースの状態に基づいて、複数のＵＡＶ１０２及びサーバ１０６の中で第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃの両方が最大の計算帯域幅、メモリ利用率及び／又はバッテリレベルを示すと判断することができる。このような場合、プロセッサ２０２は、物理的近接性及び／又は対応する状態変数の値などの１又は２以上の基準に基づいて第１の一連のＵＡＶを識別するように構成することができる。プロセッサ２０２は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのうちのどのＵＡＶを第１の一連のＵＡＶに含めることができるかを判断するようにさらに構成することができる。例えば、プロセッサ２０２は、第２のＵＡＶ１０２ｂを第１の一連のＵＡＶに含めることができると見なすことができる。第２のＵＡＶ１０２ｂは、不十分なメモリ利用率などの限られた計算リソースを有する、第１のＵＡＶ１０２ａに最も距離が近いものと見なすことができる。従って、第１のＵＡＶ１０２ａと第２のＵＡＶ１０２ｂとを含む第１のネットワークを確立することができる。第１のネットワークは、第１のクラスタと呼ぶこともできる。同様に、第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄを第２の一連のＵＡＶに含めることができると見なすことができる。第４のＵＡＶ１０２ｄは、わずかなバッテリレベルなどの限られた計算リソースを有する、第３のＵＡＶ１０２ｃに最も距離が近いものと見なすことができる。従って、第３のＵＡＶ１０２ｃと第４のＵＡＶ１０２ｄとを含む第２のネットワークを確立することができる。第２のネットワークは、第２のクラスタと呼ぶこともできる。

このような場合、プロセッサ２０２は、第２のＵＡＶ１０２ｂから一連の画像を受け取ることができる。第１の撮像装置１０４ａによって取り込まれた一連の画像及び第１のクラスタ内の受け取った一連の画像は、まとめて第１の一連の画像と呼ぶことができる。同様に、第４のＵＡＶ１０２ｄは、取り込んだ一連の画像を第３のＵＡＶ１０２ｃに通信する。第２のクラスタ内の第３のＵＡＶ１０２ｃ及び第４のＵＡＶ１０２ｄによって取り込まれた一連の画像は、まとめて第２の一連の画像と呼ぶことができる。

第１のＵＡＶ１０２ａのプロセッサ２０２及び第３のＵＡＶ１０２ｃの同様のプロセッサは、それぞれ第１の一連の画像及び第２の一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。プロセッサ２０２及び他のプロセッサは、このようなリアルタイム３Ｄ構造再構成を用途に従って実行することができる。

図３で詳細に説明するように、プロセッサ２０２及び他のプロセッサは、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて２つの３Ｄ構造の再構成を実行することができる。ある実施形態によれば、プロセッサ２０２及び他のプロセッサは、第１の一連の画像及び第２の一連の画像からの再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。従って、このような場合、ユーザ端末１１０は、２つの再構成後の３Ｄ構造を受け取って表示することができる。

ある実施形態によれば、プロセッサ２０２は、最新の状態変数の値に基づいて、今回は第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとが限られたリソースを示し、サーバ１０６が利用可能なリソースを示すと判断することができる。このような場合、プロセッサ２０２及び他のプロセッサは、最終的な３Ｄ構造をさらに再構成するために２つの３Ｄ再構成された構造をサーバ１０６に送信することができる。サーバ１０６は、最終的な再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。

図３は、本開示の実施形態による例示的なサーバを示すブロック図である。図３には、サーバ１０６のブロック図を示す。第１のＵＡＶ１０２ａは、プロセッサ３０２などの１又は２以上のプロセッサと、メモリユニット３０４と、二次記憶ユニット３０６と、トランシーバ３０８とを含むことができる。プロセッサ３０２は、メモリユニット３０４、二次記憶ユニット３０６及びトランシーバ３０８に通信可能に接続することができる。

動作時には、トランシーバ３０８を、通信ネットワーク１０８を介してユーザ端末１１０からユーザ入力を受け取るように構成することができる。さらに、トランシーバ３０８は、ユーザ入力をプロセッサ３０２に通信することもできる。プロセッサ３０２は、ユーザ入力に基づいて、複数の撮像装置１０４に関連する複数のＵＡＶ１０２からトランシーバ３０８を介して情報を受け取るように構成することができる。このような場合、複数のＵＡＶ１０２及びサーバ１０６は、Ｗｉ−Ｆｉなどの無線通信チャネルを介してメッシュネットワーク内に存在することができる。この情報は、複数の撮像装置１０４に関連する複数のＵＡＶ１０２の焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。複数のＵＡＶ１０２は、ジャイロスコープなどの内蔵された第１の一連のセンサに基づいてこの情報を決定することができる。複数のＵＡＶ１０２は、画像センサなどの内蔵された第２の一連のセンサに基づいてこの情報を精細化することができる。

ある実施形態によれば、プロセッサ３０２は、受け取った焦点レンズ情報と、チェッカー盤などの共通の予め定められた較正物体の複数の画像とに基づいて、複数のＵＡＶ１０２の較正情報を決定するように構成することができる。プロセッサ３０２は、決定された較正情報を複数のＵＡＶ１０２の各々に送信することができる。従って、複数のＵＡＶ１０２のそれぞれのＵＡＶは、複数の撮像装置１０４の較正を行うことができる。上述したように、複数のＵＡＶ１０２は、複数の撮像装置１０４の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置の較正を行うことができる。

ある実施形態によれば、プロセッサ３０２は、複数の撮像装置１０４の目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。図１で説明したように、当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。

ある実施形態によれば、プロセッサ３０２は、トランシーバ３０８を介して複数のＵＡＶ１０２に制御情報を通信するように構成することができる。複数のＵＡＶ１０２は、受け取った制御情報に基づいて複数の撮像装置１０４の現在位置及び現在の配向を修正することができる。複数の撮像装置１０４の現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込むことができる。この一連の画像は、複数の撮像装置１０４によって同期的に取り込まれた画像に相当することができる。一連の画像内の各画像は、プロセッサ３０２によって送信される同期信号に基づいて他の画像に対して動的に同期させることができる。

複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。ある実施形態によれば、複数の撮像装置１０４は、当業で周知のマーカー情報を含む又は含まない１又は２以上の静止物体及び／又は移動物体の１又は２以上の球面位置に基づいて、協働して動き情報を取り込むことができる。複数のＵＡＶ１０２は、選択された１又は２以上の静止物体及び／又は移動物体の取り込まれた一連の画像と動き情報とを通信ネットワーク１０８を介してトランシーバ３０８に通信することができる。トランシーバ３０８は、受け取った一連の画像と動き情報とをプロセッサ３０２にさらに通信することができる。

ある実施形態によれば、プロセッサ３０２は、受け取った一連の画像と動き情報とに基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。プロセッサ３０２は、このようなリアルタイム３Ｄ構造再構成を用途のタイプに従って実行することができる。

プロセッサ３０２は、３Ｄ点群生成に基づいて３Ｄ構造の再構成を実行することができる。プロセッサ３０２は、受け取った一連の画像に基づいて３Ｄ点群を生成するように構成することができる。プロセッサ３０２は、受け取った一連の画像から、選択された物体の外面を３Ｄ座標系で表す一連のデータ点を決定することができる。プロセッサ３０２は、３Ｄ点群から全世界形状（ｏｖｅｒａｌｌ ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ）を再構成する３Ｄシーン解釈を実行するようにさらに構成することができる。その後、プロセッサ３０２は、選択された物体のハイブリッド幾何モデルを生成する形状モデル及び表面モデルを推定することができる。プロセッサは、ハイブリッド幾何モデルに基づいて、選択された物体の表面再構成を３Ｄ構造空間において実行するように構成することができる。プロセッサ３０２は、再構成後の３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。ユーザ端末１１０は、受け取った再構成後の３Ｄ構造を表示することができる。

図４Ａに、本開示の実施形態による、分散処理モードでの３Ｄ構造再構成のための、複数のＵＡＶとユーザ端末とを含む第１のネットワーク環境を示す。図４Ａの説明は、図１、図２及び図３の要素に関連して行う。図４Ａを参照すると、メッシュネットワーク内に複数のＵＡＶ１０２が存在する。複数のＵＡＶ１０２とユーザ端末１１０は、通信ネットワーク１０８を介して互いに通信することができる。

動作時には、ユーザ端末１１０を、第１のＵＡＶ１０２ａなどの複数のＵＡＶ１０２のうちの１つにユーザ入力を通信するように構成することができる。当業者であれば、第１のＵＡＶ１０２ａへのユーザ入力の通信は例示目的での説明であり、本開示を限定するものとして解釈されるものではないと理解するであろう。この例では、（計算リソースが十分であるという理由で）第１のＵＡＶ１０２ａを、複数のＵＡＶ１０２及び／又はサーバ１０６をモニタするマスター装置として事前構成及び／又は事前プログラムできると仮定することができる。しかしながら、本開示は、第１のＵＡＶ１０２ａをマスター装置又はコントローラとして事前プログラムする構成に限定されるものではない。本開示の範囲から逸脱することなく、複数のＵＡＶ１０２のうちの十分な計算リソースを有する他のＵＡＶ１０２をマスター装置として構成又はプログラムすることもできる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、Ｗｉ−Ｆｉなどの無線通信チャネルを介して１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから情報を受け取るように構成することができる。図１で説明したように、この情報は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、ジャイロスコープなどの内蔵された第１の一連のセンサに基づいてこの情報を決定することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、画像センサなどの内蔵された第２の一連のセンサに基づいてこの情報を精細化することができる。第１のＵＡＶ１０２ａは、受け取ったユーザ入力において選択された１又は２以上の静止物体及び／又は移動物体の現在位置を特定するようにさらに構成することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、受け取った焦点レンズ情報と、チェッカー盤などの共通の予め定められた較正物体の複数の画像とに基づいて、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの較正情報を決定するように構成することができる。第１のＵＡＶ１０２ａは、決定された較正情報を１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄに通信するようにさらに構成することができる。従って、１又は２以上の他のそれぞれのＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置１０４ｂ〜１０４ｄの較正を行うことができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。第１のＵＡＶ１０２ａは、図５で説明するような三角測量法に従って自機の目標位置及び目標配向を決定するように構成することができる。当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。複数のＵＡＶ１０２の最適な配列は、選択された１又は２以上の静止物体及び／又は移動物体を含む３Ｄシーン構造を複数の撮像装置１０４の予め定められた解像度で最大限にカバーする配列に対応する。

ある実施形態によれば、第１のＵＡＶ１０２ａは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに制御情報を通信するように構成することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、受け取った制御情報に基づいて１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向を修正することができる。１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第１のＵＡＶ１０２ａは、自機の現在位置及び現在の配向を、三角測量法を通じて決定された目標位置及び目標配向に修正するように構成することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込むことができる。この一連の画像は、第１のＵＡＶ１０２ａの第１の撮像装置１０４ａによって取り込まれた第１の一連の画像を含むことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの１又は２以上の撮像装置１０４ｂ〜１０４ｄは、第２の一連の画像をそれぞれ取り込むことができる。第１の一連の画像は、第１のＵＡＶ１０２ａによって送信される同期信号に基づいて第２の一連の画像と動的に同期させることができる。この同期信号は、第１の一連の画像と第２の一連の画像とが実時間で最小時間の時間差しか示さないように複数の撮像装置１０４間のタイミング相関を定めることができる。

複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。ある実施形態によれば、複数の撮像装置１０４は、当業で周知のマーカー情報を含む又は含まない１又は２以上の静止物体及び／又は移動物体の１又は２以上の球面位置に基づいて、協働して動き情報を取り込むことができる。

第１のＵＡＶ１０２ａは、複数の撮像装置１０４によって取り込まれた一連の画像を処理することができる処理モードを動的に決定するようにさらに構成することができる。この処理モードは、分散処理モード、集中処理モード又はクラスタ処理モードに対応することができる。第１のＵＡＶ１０２ａは、最新の飛行中診断プロセス中に更新される状態変数テーブルから検索された計算リソースの状態に基づいて、処理モードを動的に決定することができる。計算リソースは、複数のＵＡＶ１０２及びサーバ１０６の計算帯域幅、メモリ利用率及び／又はバッテリレベルに対応することができる。従って、第１のＵＡＶ１０２ａは、複数のＵＡＶ１０２又はサーバ１０６のうちの１つを選択して一連の画像を最適に処理することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、メッシュネットワーク内の複数のＵＡＶ１０２の総数が閾値を超えた時に分散処理モードを動的に決定することができる。このような場合、分散処理モードは、用途の全体的性能を改善することができる。分散処理モードは、複数のＵＡＶ１０２間で負荷を共有することを含むことができる。

分散処理モードは、第１のＵＡＶ１０２ａなどの複数のＵＡＶ１０２の各々に組み込まれた１又は２以上のシステムコンポーネントに基づいて実装することができる。１又は２以上のシステムコンポーネントは、ＵＡＶモニタと、リソース割り当てマネージャと、リソースネゴシエータと、リソース移動マネージャとを含むことができる。ＵＡＶモニタは、第１のＵＡＶ１０２ａの状態変数を定期的にチェックして１又は２以上の計算リソースのステータス情報を決定することができる。従って、ＵＡＶモニタは、１又は２以上の計算リソースのステータス情報が所定の閾値を下回った場合、第１のＵＡＶ１０２ａが過負荷状態にあると判断することができる。メッセージマネージャは、ＵＡＶモニタと協働して、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに対する第１のＵＡＶ１０２ａの通信依存比を求めることができる。ある実施形態によれば、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに対する第１のＵＡＶ１０２ａの通信依存比が所定の閾値を超えることがある。従って、リソース割り当てマネージャは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの１又は２以上の計算リソースを第１のＵＡＶ１０２ａに動的に分散させることができる。リソースネゴシエータは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから第１のＵＡＶ１０２ａへの１又は２以上の計算リソースを取り決める（ｎｅｇｏｃｉａｔｅ）ことができる。リソース移動マネージャは、１又は２以上の計算リソースを１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから第１のＵＡＶ１０２ａに仮想的に移動させることができる。

例えば、第１のＵＡＶ１０２ａが限られたメモリ空間を示す時には、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのメモリ空間を第１のＵＡＶ１０２ａに仮想的に移動させることができる。このような場合、第１のＵＡＶ１０２ａは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄからの仮想メモリ空間を利用してリアルタイム３Ｄ構造再構成を実行するように構成することができる。選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成は、第１及び第２の一連の画像に基づいて実行することができる。第１のＵＡＶ１０２ａは、このようなリアルタイム３Ｄ構造再構成を第１の用途に従って実行することができる。しかしながら、本開示はこのように限定されるものではなく、本開示の範囲から逸脱することなく別の用途と複数のＵＡＶの異なる目標位置及び目標配向とに従って別の３Ｄ構造再構成を実行することもできる。

図３で説明したように、第１のＵＡＶ１０２ａは、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて３Ｄ構造の再構成を実行することができる。ある実施形態によれば、第１のＵＡＶ１０２ａは、再構成後の３Ｄ構造を表示のために通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。

図４Ｂに、本開示の実施形態による、集中処理モードでの３Ｄ構造再構成のための、複数のＵＡＶとサーバとを含む第２のネットワーク環境を示す。図４Ｂの説明は、図１、図２及び図３の要素に関連して行う。図４Ｂを参照すると、通信ネットワーク１０８を介して互いに通信する複数のＵＡＶ１０２、サーバ１０６及びユーザ端末１１０が存在する。

動作時には、ユーザ端末１１０を、受け取ったユーザ入力をサーバ１０６に通信するように構成することができる。サーバ１０６は、このユーザ入力に基づいて、複数の撮像装置１０４に関連する複数のＵＡＶ１０２から情報を受け取るように構成することができる。このような場合、複数のＵＡＶ１０２及びサーバ１０６は、Ｗｉ−Ｆｉなどの無線通信チャネルを介してメッシュネットワーク内に存在することができる。図２Ｂで説明したように、この情報は、複数の撮像装置１０４に関連する複数のＵＡＶ１０２の焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。

ある実施形態によれば、サーバ１０６は、受け取った焦点レンズ情報と、チェッカー盤などの共通の予め定められた較正物体の複数の画像とに基づいて、複数のＵＡＶ１０２の較正情報を決定するように構成することができる。サーバ１０６は、決定された較正情報を複数のＵＡＶ１０２に関連する複数の撮像装置１０４に通信するように構成することができる。従って、複数のＵＡＶ１０２のそれぞれのＵＡＶは、複数の撮像装置１０４の較正を行うことができる。上述したように、複数のＵＡＶ１０２は、複数の撮像装置の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置１０４の較正を行うことができる。

ある実施形態によれば、サーバ１０６は、複数の撮像装置１０４の目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。図２Ｂで説明したように、当業者であれば、複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応すると理解するであろう。

ある実施形態によれば、サーバ１０６は、複数のＵＡＶ１０２に制御情報を通信するように構成することができる。複数のＵＡＶ１０２は、受け取った制御情報に基づいて複数の撮像装置１０４の現在位置及び現在の配向を修正することができる。複数の撮像装置１０４の現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込むことができる。この一連の画像は、複数の撮像装置１０４によって同期的に取り込まれた画像に相当することができる。一連の画像内の各画像は、サーバ１０６によって送信される同期信号に基づいて他の画像に対して動的に同期させることができる。複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。複数のＵＡＶ１０２は、選択された１又は２以上の静止物体及び／又は移動物体の取り込まれた一連の画像と動き情報とをサーバ１０６に通信することができる。

図２Ｂで説明したように、ある実施形態によれば、サーバ１０６は、受け取った一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。

図４Ｃに、本開示の実施形態による、クラスタ処理モードでの３Ｄ構造の再構成のための、複数のＵＡＶ及び／又はサーバを含む第３のネットワーク環境を示す。図４Ｃの説明は、図１、図２及び図３の要素に関連して行う。図４Ｃを参照すると、通信ネットワーク１０８を介して互いに通信する複数のＵＡＶ１０２とユーザ端末１１０とが存在する。

動作時には、第１のＵＡＶ１０２ａなどの複数のＵＡＶ１０２の各々に組み込まれた１又は２以上のシステムコンポーネントに基づいてクラスタ処理モードを実装することができる。１又は２以上のシステムコンポーネントは、通信マネージャと、ＵＡＶモニタと、リソース割り当てマネージャと、リソースネゴシエータと、リソース移動マネージャとを含むことができる。通信マネージャは、ＵＡＶモニタと協働して、複数のＵＡＶ１０２の１又は２以上の他のＵＡＶに対する各ＵＡＶの通信依存比を求めることができる。ある実施形態によれば、第２のＵＡＶ１０２ｂに対する第１のＵＡＶ１０２ａの通信依存比が所定の閾値を超えることがある。同様に、第４のＵＡＶ１０２ｄに対する第３のＵＡＶ１０２ｃの通信依存比が所定の閾値を超えることもある。従って、第１のＵＡＶ１０２ａ及び第２のＵＡＶ１０２ｂを含む第１のクラスタ４０２と、第３のＵＡＶ１０２ｃ及び第４のＵＡＶ１０２ｄを含む第２のクラスタ４０４とを形成することができる。第１のクラスタ４０２及び第２のクラスタ４０４の形成は、通信コストを抑えるために近接性パラメータにさらに基づくことができる。ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃを、それぞれ第１のクラスタ４０２及び第２のクラスタ４０４のマスターＵＡＶとして動的に決定することができる。このような動的決定は、対応するＵＡＶのＵＡＶモニタの１又は２以上の計算リソースのステータス情報に基づくことができる。ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃを、それぞれ第１のクラスタ４０２及び第２のクラスタ４０４のマスターＵＡＶとして予め決定しておくことができる。当業者であれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃをマスターＵＡＶとして決定した旨の通信は例示目的での説明であり、本開示を限定するものとして解釈されるものではないと理解するであろう。しかしながら、本開示は、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃをマスター装置又はコントローラとして事前プログラムする構成に限定されるものではない。本開示の範囲から逸脱することなく、複数のＵＡＶ１０２のうちの十分な計算リソースを有する他のＵＡＶ１０２をマスター装置又はコントローラとして構成又はプログラムすることもできる。

ユーザ端末１１０は、受け取ったユーザ入力を、第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃなどの、複数のＵＡＶ１０２のうちの複数のＵＡＶに通信するように構成することができる。ある実施形態によれば、第１のクラスタ４０２内の第１のＵＡＶ１０２ａは、ユーザ入力に基づいて第２のＵＡＶ１０２ｂから情報を受け取るように構成することができる。同様に、第２のクラスタ４０４内の第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄから情報を受け取るように構成することができる。この情報は、第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄにそれぞれ関連する第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。図１で説明したように、この情報は、第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄによって決定することができる。

ある実施形態によれば、第１のクラスタ４０２内の第１のＵＡＶ１０２ａは、第２の撮像装置１０４ｂの較正情報を決定するように構成することができる。同様に、第２のクラスタ４０４内の第３のＵＡＶ１０２ｃは、第４の撮像装置１０４ｄの較正情報を決定するように構成することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、決定された較正情報をそれぞれ第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄに通信するように構成することができる。

第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄは、第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの較正を実行することができる。図１で説明したように、この較正は、第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの１又は２以上の内部パラメータ及び／又は外部パラメータを調整するために行うことができる。

ある実施形態によれば、第１のクラスタ４０２内の第１のＵＡＶ１０２ａは、第２の撮像装置１０４ｂの目標位置及び目標配向を決定するように構成することができる。同様に、第２のクラスタ４０４内の第３のＵＡＶ１０２ｃは、第４の撮像装置１０４ｄの目標位置及び目標配向を決定するように構成することができる。第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、自機の目標位置及び目標配向をそれぞれのクラスタ内で三角測量法に従って決定するように構成することができる。

ある実施形態によれば、第１のクラスタ４０２内の第１のＵＡＶ１０２ａは、第２のＵＡＶ１０２ｂに制御情報を通信するように構成することができる。同様に、第２のクラスタ４０４内の第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄに制御情報を通信するように構成することができる。第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄは、受け取った制御情報に基づいて、第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの現在位置及び現在の配向をそれぞれ修正することができる。第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、自機の現在位置及び現在の配向を、三角測量法を通じて決定された目標位置及び目標配向に修正するように構成することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、１又は２以上の静止物体及び／又は移動物体の複数の画像を取り込むことができる。複数の画像は、異なるクラスタ内の複数の撮像装置１０４によって取り込むことができる。第１の複数の画像は、第１のクラスタ４０２内の第１のＵＡＶ１０２ａの第１の撮像装置１０４ａと、第２のＵＡＶ１０２ｂの第２の撮像装置１０４ｂとによって取り込まれた画像を含むことができる。第２の複数の画像は、第２のクラスタ４０４内の第３のＵＡＶ１０２ｃの第３の撮像装置１０４ｃと、第４のＵＡＶ１０２ｄの第４の撮像装置１０４ｄとによって取り込まれた画像を含むことができる。図１で説明したように、第１の複数の画像は、第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとの間で通信される同期信号に基づいて第２の複数の画像と動的に同期させることができる。

第１のＵＡＶ１０２ａは、第１の複数の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するようにさらに構成することができる。同様に、第３のＵＡＶ１０２ｃは、第２の複数の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するように構成することができる。各クラスタでは、複数のＵＡＶ１０２の各々のＵＡＶモニタが、対応するＵＡＶの状態変数を定期的にチェックして１又は２以上の計算リソースのステータス情報を決定することができる。リソース割り当てマネージャは、ＵＡＶモニタと協働して、ＵＡＶが過負荷状態の場合にクラスタ内で１又は２以上の計算リソースを動的に分散させることができる。リソースネゴシエータは、それぞれのクラスタにおける第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄから第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃへの１又は２以上の計算リソースを取り決めることができる。リソース移動マネージャは、それぞれのクラスタ内で１又は２以上の計算リソースを第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄから第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃに仮想的に移動させることができる。

図３で説明したように、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて２つの３Ｄ構造の再構成を実行することができる。ある実施形態によれば、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃは、第１の複数の画像及び第２の複数の画像から再構成された２つの３Ｄ構造を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。従って、このような場合、ユーザ端末１１０は、２つの再構成後の３Ｄ構造を受け取って表示することができる。

図５Ａ〜図５Ｄに、本開示の実施形態による例示的なＵＡＶの位置を決定するための例示的な三角測量法をまとめて示す。図５Ａ〜図５Ｄの説明は、図１、図２及び図３の要素に関連して行う。図５Ａ〜図５Ｄには、少なくとも第１のＵＡＶ１０２ａと、第２のＵＡＶ１０２ｂと、第３のＵＡＶ１０２ｃとを示す。例示的な三角測量法を適用して、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃのうちの１つ又は全ての位置及び配向を特定することができる。さらに、サッカー選手５０２などの１又は２以上の静止物体又は移動物体も示す。

従来、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃの位置は、ＧＰＳセンサデータに基づいて決定することができる。しかしながら、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ又は第３のＵＡＶ１０２ｃの位置をＧＰＳセンサデータに基づいて決定する際には、有意なランダム誤差が導入されることがある。このような有意なランダム誤差を解消するために、例示的な三角測量法を用いて第１のＵＡＶ１０２ａの位置を特定する。

図５Ａに示すように、動作時には、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃが特定の時点でサッカー選手５０２に対して浮遊することができる。第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃは、それぞれの現在位置及び現在の配向を伴うことができる。従って、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃ間の距離は、当業で周知の様々な距離特定法によって特定することができる。例えば、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃの各々はトランシーバを含んでいるため、このような距離特定に無線周波数（ＲＦ）信号を利用することができる。トランシーバは、ＲＦ信号を送受信することができる。

図５Ａに示すような例示的なシナリオによれば、第２のＵＡＶ１０２ｂと第３のＵＡＶ１０２ｃとの間で第１の距離「ａ」を特定することができる。第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとの間では、第２の距離「ｂ」を特定することができる。第１のＵＡＶ１０２ａと第２のＵＡＶ１０２ｂとの間では、第３の距離「ｃ」を特定することができる。従って、図５Ｂに示すように、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃにそれぞれ対応する頂点「Ａ」、「Ｂ」及び「Ｃ」を有する三角形を形成することができる。また、図５Ｃ及び図５Ｄには、さらに２つの考えられる配列を示す。頂点「Ａ」、「Ｂ」及び「Ｃ」の位置は、一連の数式に基づいて特定することができる。以下の数式（１）に基づいて三角形の面積を計算することができる。
面積＝√ｓ＊（ｓ−ａ）＊（ｓ−ｂ）＊（ｓ−ｃ） （１）
この場合の「面積」は、図５Ｂに示す三角形の面積である。
「ｓ」は、（ａ＋ｂ＋ｃ）／２として計算される三角形のセミパラメータである。

計算された面積を踏まえ、以下の数式（２）に基づいて三角形の高さを計算することができる。
Ｈ＝２＊面積／底辺の長さ （２）
この場合の「Ｈ」は、図５Ｂに示す三角形の高さである。

計算された三角形の高さを踏まえ、以下の数式（３）及び（４）に基づいて内角を計算することができる。
角度（ｃ）＝ｓｉｎ−１（高さ／ｂ） （３）
角度（ｂ）＝ｓｉｎ−１（高さ／ｃ） （４）
この場合の「角度（ｃ）」及び「角度（ｂ）」は、逆正弦式を用いて取得される頂点「Ｂ」及び「Ｃ」の内角である。

さらに、三角形の底辺は、ｘ軸との間に、底辺の単位ベクトルとｘ軸の単位ベクトルとのドット積の逆余弦に基づいて計算できる角度を形成することができる。以下の数式（５）に基づいて、全ての頂点「Ａ」、「Ｂ」及び「Ｃ」をこの角度だけ回転させて回転後の点を取得することができる。

この場合の「θ」は回転角である。

全ての点を頂点「Ｂ」の周囲で回転させる前に、これらの点を原点からの頂点「Ｂ」の距離に等しい距離だけ平行移動させることができる。回転後、これらの点があたかも頂点「Ｂ」の周囲で回転したかのように見せるために、全ての点を同じ距離だけ逆に平行移動させることができる。この平行移動式は、以下の数式（６）に基づくことができる。

従って、頂点「Ｃ」の２次元式は、以下の数式（７）及び（８）によって表すことができる。
Ｃｘ＝Ｃｏｓθ（Ｃｘ−Ｂｘ）−Ｓｉｎθ（Ｃｙ−Ｂｙ）＋Ｂｘ （７）
Ｃｙ＝Ｓｉｎθ（Ｃｘ−Ｂｘ）＋Ｃｏｓθ（Ｃｙ−Ｂｙ）＋Ｂｙ （８）
この場合の「Ｃｘ」は頂点「Ｃ」のｘ座標であり、
「Ｃｙ」は頂点「Ｃ」のｙ座標であり、
θは回転角である。

頂点「Ｃ」の角度が鋭角であるか、それとも鈍角であるかをチェックすることができる。この角度が鋭角の時には、以下の数式（９）及び（１０）によって頂点「Ａ」の位置を表すことができる。
Ａ．ｘ＝Ｃ．ｘ−ｂ＊ｃｏｓ（頂点Ｃの角度） （９）
Ａ．ｙ＝Ｃ．ｙ＋ｂ＊ｓｉｎ（頂点Ｃの角度） （１０）

この角度が鈍角の時には、以下の数式（１１）及び（１２）によって頂点「Ａ」の位置を表すことができる。
Ａ．ｘ＝Ｂ．ｘ＋ｃ＊ｃｏｓ（頂点Ｂの角度） （１１）
Ａ．ｙ＝Ｂ．ｙ＋ｃ＊ｓｉｎ（頂点Ｂの角度） （１２）

最後に、全ての点をマイナスの角度「θ」だけ逆回転させて最終的な頂点「Ａ」の位置を取得することができる。同様に、以下の数式（１３）によって表される第１のＵＡＶ１０２ａなどのＵＡＶの頭部と尾部とを結ぶベクトルに基づいて、第１のＵＡＶ１０２ａ、第２のＵＡＶ１０２ｂ及び第３のＵＡＶ１０２ｃの配向を特定することができる。
大きさ＝√ベクトル．ｘ２＋ベクトル．ｙ２（１３）
この場合、「ベクトル．ｘ」＝第１のＵＡＶ１０２ａのｘ座標の尾部．ｘ−頭部．ｘであり、「ベクトル．ｙ」＝第１のＵＡＶ１０２ａのｙ座標の尾部．ｙ−頭部．ｙである。

従って、以下の数式（１４）及び（１５）に基づいて単位ベクトル成分を計算することができる。
単位ベクトル．ｘ＝ベクトル．ｘ／大きさ （１４）
単位ベクトル．ｙ＝ベクトル．ｙ／大きさ （１５）

このベクトルがｙ軸との間に成す角度を取得するために、この単位ベクトルとｙ軸を表す単位ベクトルとのドット積を計算することができる。以下の数式（１６）に基づいて、ｙ軸に対する頭部の配向角を計算するドット積の逆余弦を計算することができる。
−θ＝ｃｏｓ−１（ドット積） （１６）

角度「θ」を反時計回り方向に計算する場合には、３６０度から角度「θ」を減算することができる。これにより、第１のＵＡＶ１０２ａの頭部のｙ軸からの配向を求めることができる。第１のＵＡＶ１０２ａのｙ軸に対する配向を求めるには、１８０度から角度「θ」を減算することができる。角度「θ」が０度未満の場合には、角度「θ」に３６０度を加算して、第１のＵＡＶ１０２ａの尾部のｙ軸に対する最終的な配向を示すことができる。

図６Ａ〜図６Ｃに、本開示の実施形態による例示的な画像処理方法を実行する例示的なシナリオをまとめて示す。図６の説明は、図１〜図５Ｄの要素に関連して行う。図６には、ゴルフ場６０２で行われているゴルフ大会の例示的なシナリオを示しており、ゴルフ選手６０４がショットを行っている。ユーザ端末１１０のユーザインターフェイス６０６には、例示的な画像取り込み装置（図示せず）によって取り込まれたゴルフ大会のライブビデオストリームが示される。さらに、ゴルフ場６０２における複数のＵＡＶ１０２も示す。

図６Ａを参照すると、図１で説明したように、複数のＵＡＶ１０２の各々は、これらに関連するシステム制御及び状態変数をモニタする飛行前診断プロセスを実行することができる。飛行前診断プロセスが正常に終了すると、複数のＵＡＶ１０２は飛行を開始して浮遊することができる。その後、この時点で浮遊している複数のＵＡＶ１０２は、それぞれのシステム制御及び状態変数を定期的にモニタする飛行中診断プロセスを実行することができる。

複数のＵＡＶ１０２は、事前プログラムされた飛行計画に従って、（Ｗｉ−Ｆｉなどの）通信ネットワーク１０８を介して互いに通信するように構成することができる。第１のＵＡＶ１０２ａなどの複数のＵＡＶ１０２のうちの１つは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのシステム制御及び状態変数を中心的にモニタするマスター装置として予め構成しておくことができる。第１のＵＡＶ１０２ａは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのシステム制御及び状態変数をモニタして記録するように構成することができる。従って、第１のＵＡＶ１０２ａは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの状態変数を記憶して定期的に更新できる状態変数テーブルを生成することができる。

ある例では、第１のＵＡＶ１０２ａが、ゴルフ選手６０４をゴルフ場６０２内の顕著な物体として自動的に選択することができる。別の例では、スポーツアナリストなどのユーザが、ユーザ端末１１０のユーザインターフェイス６０６においてタッチ入力を行ってゴルフ選手６０４を選択することもできる。このような場合、ユーザ端末１１０は、受け取ったユーザ入力を第１のＵＡＶ１０２ａに通信するように構成することができる。

第１のＵＡＶ１０２ａは、ユーザ入力の受け取りに応答して、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから情報を受け取るように構成することができる。この情報は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。第１のＵＡＶ１０２ａは、ゴルフ場６０２におけるゴルフ選手６０４の現在位置を特定するようにさらに構成することができる。

ある実施形態によれば、図１で説明したように、第１のＵＡＶ１０２ａは、受け取った焦点レンズ情報と、共通の予め定められた較正物体の複数の画像とに基づいて、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの較正情報を決定するように構成することができる。第１のＵＡＶ１０２ａは、決定された較正情報を１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄに通信するように構成することができる。従って、１又は２以上の他のそれぞれのＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの較正を行うことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置１０４ｂ〜１０４ｄの較正を行うことができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの目標位置及び目標配向を決定するように構成することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体又は移動物体の現在位置とに基づいて決定することができる。第１のＵＡＶ１０２ａは、図５Ａ〜図５Ｄで説明したような三角測量法に従って自機の目標位置及び目標配向を決定するように構成することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに制御情報を通信するように構成することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、受け取った制御情報に基づいて１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向を修正することができる。１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。ある実施形態によれば、第１のＵＡＶ１０２ａは、自機の現在位置及び現在の配向を、三角測量法を通じて決定された目標位置及び目標配向に修正するように構成することができる。

複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、図６Ｂに示すようにゴルフ選手６０４の一連の画像６０８を取り込むことができる。例えば、第１のＵＡＶ１０２ａの第１の撮像装置１０４ａは第１の画像６０８ａを取り込むことができ、第２のＵＡＶ１０２ｂの第２の撮像装置１０４ｂは第２の画像６０８ｂを取り込むことができる。同様に、第３のＵＡＶ１０２ｃの第３の撮像装置１０４ｃは第３の画像６０８ｃを取り込むことができ、第４のＵＡＶ１０２ｄの第４の撮像装置１０４ｄは第４の画像６０８ｄを取り込むことができる。一連の画像６０８は、第１のＵＡＶ１０２ａによって送信される同期信号に基づいて互いに動的に同期させることができる。

複数の撮像装置１０４は、選択されたゴルフ選手６０４に関連する動き情報を協働して取り込むようにさらに構成することができる。第１のＵＡＶ１０２ａは、選択されたゴルフ選手６０４の一連の画像６０８と動き情報とを照合することができる。第１のＵＡＶ１０２ａは、複数の撮像装置１０４によって取り込まれた一連の画像を処理することができる分散処理モードを動的に決定するようにさらに構成することができる。第１のＵＡＶ１０２ａは、最新の飛行中診断プロセス中に更新される状態変数テーブルから検索された計算リソースの状態に基づいて、分散処理モードを動的に決定することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、計算リソースの状態に基づいて、第１のＵＡＶ１０２ａ自体が最大の計算帯域幅を示すと判断することができる。しかしながら、第１のＵＡＶ１０２ａは、メモリ利用率が十分でない場合もある。このような場合、第１のＵＡＶ１０２ａのメッセージマネージャは、ＵＡＶモニタと協働して、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに対する第１のＵＡＶ１０２ａの通信依存比が閾値を超えていると判断することができる。従って、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのリソース割り当てマネージャは、メモリ空間を第１のＵＡＶ１０２ａに動的に分散させることができる。複数のＵＡＶ１０２のリソースネゴシエータは、画像処理のためのメモリ空間を取り決めることができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄのリソース移動マネージャは、メモリ空間を第１のＵＡＶ１０２ａに仮想的に移動させることができる。

図６Ｃに示すように、第１のＵＡＶ１０２ａは、一連の画像６０８に基づいて、選択されたゴルフ選手６０４のリアルタイム３Ｄ構造を再構成するように構成することができる。第１のＵＡＶ１０２ａは、ローカルな計算リソースと仮想的に移動させた計算リソースとに基づいてこのようなリアルタイム３Ｄ構造６１０の再構成を実行することができる。図３で説明したように、第１のＵＡＶ１０２ａは、ゴルフ選手６０４のシーン解釈及び／又は点群生成に基づいて３Ｄ構造６１０の再構成を実行することができる。

ある実施形態によれば、第１のＵＡＶ１０２ａは、再構成後の３Ｄ構造６１０を通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。従って、このような場合、ユーザ端末１１０は、再構成後の３Ｄ構造６１０を受け取って表示することができる。ある実施形態によれば、ユーザ端末１１０は、再構成後の３Ｄ構造６１０の視点を修正するための別のユーザ入力をさらに受け取ることができる。この修正された視点に対応する要求を第１のＵＡＶ１０２ａに戻すことができる。第１のＵＡＶ１０２ａは、この要求に基づいて、再び１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの新たな目標位置及び目標配向をそれぞれ決定することができる。第１のＵＡＶ１０２ａは、上記と同様に１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから新たな一連の画像を受け取ることができる。上記と同様に再び３Ｄ構造の再構成を実行し、通信ネットワーク１０８を介してユーザ端末１１０に通信することができる。

図７Ａ及び図７Ｂに、本開示の実施形態による例示的な画像処理方法を実行する第１のフローチャートをまとめて示す。図７Ａ及び図７Ｂの説明は、図１〜図５Ｄの要素に関連して行う。図７及び図７Ｂのフローチャート７００による方法は、分散処理モードに従って複数のＵＡＶ１０２のうちの第１のＵＡＶ１０２ａにおいて実行することができる。方法は、ステップ７０２から開始してステップ７０４に進む。

ステップ７０４において、ユーザ端末１１０などのユーザ端末からユーザ入力を受け取ることができる。ステップ７０６において、受け取ったユーザ入力に応答して、Ｗｉ−Ｆｉなどの無線通信チャネルを介して１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄからの情報を受け取ることができる。この情報は、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、ジャイロスコープなどの内蔵された第１の一連のセンサに基づいてこの情報を決定することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、画像センサなどの内蔵された第２の一連のセンサに基づいてこの情報を精細化することができる。ステップ７０８において、選択された１又は２以上の静止物体及び／又は移動物体の現在位置を特定することができる。

ステップ７１０において、受け取った焦点レンズ情報と、共通の予め定められた較正物体の複数の画像とに基づいて、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの較正情報を決定することができる。ステップ７１２において、決定された較正情報を１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄに通信することができる。従って、１又は２以上の他のそれぞれのＵＡＶ１０２ｂ〜１０２ｄは、１又は２以上の撮像装置１０４ｂ〜１０４ｄの１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置１０４ｂ〜１０４ｄの較正を行うことができる。

ステップ７１４において、１又は２以上の撮像装置１０４ｂ〜１０４ｄの各々の目標位置及び目標配向を決定することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。ステップ７１６において、図５で説明したような三角測量法に従って第１のＵＡＶ１０２ａの目標位置及び目標配向を決定することができる。複数の撮像装置１０４の目標位置及び目標配向は、選択された１又は２以上の静止物体及び／又は移動物体の周囲における複数の撮像装置１０４の最適な配列に対応することができる。複数のＵＡＶ１０２の最適な配列は、選択された１又は２以上の静止物体及び／又は移動物体を含む３Ｄシーン構造を複数の撮像装置１０４の予め定められた解像度で最大限にカバーする配列に対応する。

ステップ７１８において、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに制御情報を通信することができる。１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、受け取った制御情報に基づいて１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向を修正することができる。１又は２以上の撮像装置１０４ｂ〜１０４ｄの現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。さらに、第１のＵＡＶ１０２ａの現在位置及び現在の配向は、三角測量法を通じて決定された目標位置及び目標配向に修正することができる。

ステップ７２０において、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに同期信号を送信することができる。ステップ７２２において、第１の撮像装置１０４ａは、第１の一連の画像を取り込むことができる。さらに、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄの１又は２以上の撮像装置１０４ｂ〜１０４ｄは、それぞれ第２の一連の画像を取り込むことができる。さらに、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄは、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むことができる。

ステップ７２２において、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから第２の一連の画像を受け取ることができる。ステップ７２４において、最新の飛行中診断プロセス中に更新される状態変数テーブルから計算リソースを検索することができる。計算リソースは、複数のＵＡＶ１０２の計算帯域幅、メモリ利用率及び／又はバッテリレベルに対応することができる。

ステップ７２６において、ＵＡＶモニタは、検索された状態変数テーブルに基づいて、第１のＵＡＶ１０２ａの状態変数をチェックして１又は２以上の計算リソースの十分性を判断することができる。ある事例では、１又は２以上の計算リソースが十分であると判断することができる。このような場合、制御はステップ７３０に進むことができる。ある事例では、１又は２以上の計算リソースが不十分であると判断することができる。このような場合、制御はステップ７２８に進むことができる。

ステップ７２８において、分散処理モードに従って、１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄから１又は２以上の計算リソースを仮想的に受け取ることができる。ステップ７３０において、図３で説明したように、選択された１又は２以上の静止物体又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて３Ｄ構造の再構成を実行することができる。ステップ７３２において、再構成後の３Ｄ構造を表示のために通信ネットワーク１０８を介してユーザ端末１１０に通信することができる。制御は、ステップ７３４に進んで終了する。

図８に、本開示の実施形態による、例示的な画像処理方法を実行するための第２のフローチャートを示す。図８の説明は、図１〜図５Ｄの要素に関連して行う。図８のフローチャート８００による方法は、集中処理モードに従ってサーバ１０６において実行することができる。方法は、ステップ８０２から開始してステップ８０４に進む。

ステップ８０４において、ユーザ端末１１０からユーザ入力を受け取ることができる。ステップ８０６において、ユーザ入力に応答して、複数の撮像装置１０４に関連する複数のＵＡＶ１０２から情報を受け取ることができる。このような場合、複数のＵＡＶ１０２及びサーバ１０６は、Ｗｉ−Ｆｉなどの無線通信チャネルを介してメッシュネットワーク内に存在することができる。図２Ｂで説明したように、この情報は、複数の撮像装置１０４に関連する複数のＵＡＶ１０２の焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。

ステップ８０８において、受け取った焦点レンズ情報と、共通の予め定められた較正物体の複数の画像とに基づいて複数のＵＡＶ１０２の較正情報を決定することができる。ステップ８１０において、決定された較正情報を、複数のＵＡＶ１０２に関連する複数の撮像装置１０４に通信することができる。従って、複数のＵＡＶ１０２のそれぞれのＵＡＶは、複数の撮像装置１０４の較正を実行することができる。図１で説明したように、複数のＵＡＶ１０２は、複数の撮像装置１０４の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するためにこれらの撮像装置１０４の較正を行うことができる。

ステップ８１２において、複数の撮像装置１０４の各々の目標位置及び目標配向を決定することができる。目標位置及び目標配向は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、選択された１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて決定することができる。

ステップ８１４において、複数のＵＡＶ１０２に制御情報を通信することができる。複数のＵＡＶ１０２は、この制御情報に基づいて複数の撮像装置１０４の現在位置及び現在の配向を修正することができる。複数の撮像装置１０４の現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。

ステップ８１６において、複数のＵＡＶ１０２に同期信号を送信することができる。複数のＵＡＶ１０２が自機の現在位置及び現在の配向を目標位置及び目標配向に修正すると、複数の撮像装置１０４は、同期信号に基づいて１又は２以上の静止物体及び／又は移動物体の一連の画像を取り込むことができる。一連の画像内の各画像は、サーバ１０６によって送信される同期信号に基づいて他の画像に対して動的に同期させることができる。複数の撮像装置１０４は、選択された１又は２以上の静止物体及び／又は移動物体に関連する動き情報を協働して取り込むようにさらに構成することができる。

ステップ８１８において、サーバ１０６は、選択された１又は２以上の静止物体及び／又は移動物体の取り込まれた一連の画像と動き情報とを受け取ることができる。ステップ８２０において、図２Ｂで説明したように、受け取った一連の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行することができる。制御は、ステップ８２２に進んで終了する。

図９Ａ及び図９Ｂに、本開示の実施形態による例示的な画像処理方法を実行する第３のフローチャートをまとめて示す。図９Ａ及び図９Ｂの説明は、図１〜図５Ｄの要素に関連して行う。図９Ａ及び図９Ｂのフローチャート９００による方法は、クラスタ処理モードに従って第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃにおいて実行することができる。方法は、ステップ９０２から開始してステップ９０４に進む。

ステップ９０４において、複数のＵＡＶ１０２の各々の通信マネージャが、ＵＡＶモニタと協働して通信依存比を求めることができる。複数のＵＡＶ１０２のうちの他のＵＡＶに対する複数のＵＡＶ１０２の各々の通信依存比が所定の閾値を超えていると判断することができる。従って、第１のクラスタ４０２及び第２のクラスタ４０４などのＵＡＶのクラスタを形成することができる。ＵＡＶのクラスタの形成は、通信コストを低減するために近接性パラメータにさらに基づくことができる。

ステップ９０６において、第１のクラスタ４０２及び第２のクラスタ４０４などの各クラスタについて、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃなどのマスターＵＡＶを動的に決定することができる。このような動的決定は、対応するＵＡＶのＵＡＶモニタの１又は２以上の計算リソースのステータス情報に基づくことができる。ある例では、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃを、それぞれ第１のクラスタ４０２及び第２のクラスタ４０４のマスターＵＡＶとして予め決定しておくことができる。

ステップ９０８において、（第１のクラスタ４０２及び第２のクラスタ４０４などの）ＵＡＶのクラスタの（第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃなどの）マスターＵＡＶにおいて、ユーザ端末１１０からユーザ入力を受け取ることができる。ステップ９１０において、ユーザ入力に応答して、マスターＵＡＶを、それぞれのクラスタ内の残りのＵＡＶから情報を受け取るように構成することができる。例えば、第１のクラスタ４０２の第１のＵＡＶ１０２ａは、第２のＵＡＶ１０２ｂから情報を受け取るように構成することができる。同様に、第２のクラスタ４０４の第３のＵＡＶ１０２ｃは、第４のＵＡＶ１０２ｄから情報を受け取るように構成することができる。このような場合、この情報は、第２のＵＡＶ１０２ｂ及び第４のＵＡＶ１０２ｄにそれぞれ関連する第２の撮像装置１０４ｂ及び第４の撮像装置１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを含むことができる。

ステップ９１２において、第１のＵＡＶ１０２ａ及び第３のＵＡＶ１０２ｃなどのマスターＵＡＶを、それぞれのクラスタ内の他のＵＡＶの較正情報を決定するように構成することができる。ステップ９１４において、マスターＵＡＶを、決定された較正情報をそれぞれのクラスタ内の他のＵＡＶに通信するように構成することができる。従って、他のＵＡＶは、異なるクラスタ内の対応する撮像装置を較正することができる。図１で説明したように、この較正は、撮像装置の１又は２以上の内部パラメータ及び／又は外部パラメータを調整するために行うことができる。

ステップ９１６において、それぞれのクラスタ内のマスターＵＡＶを、それぞれのクラスタ内の他のＵＡＶの撮像装置の各々の目標位置及び目標配向を決定するように構成することができる。マスターＵＡＶは、自機の目標位置及び目標配向をそれぞれのクラスタ内で三角測量法に従って決定するように構成することができる。

ステップ９１８において、マスターＵＡＶを、それぞれのクラスタ内の他のＵＡＶに制御情報を通信するように構成することができる。他のＵＡＶは、受け取った制御情報に基づいて、関連する撮像装置の現在位置及び現在の配向を修正することができる。撮像装置の現在位置及び現在の配向は、決定された目標位置及び決定された目標配向に修正することができる。さらに、マスターＵＡＶは、自機の現在位置及び現在の配向を、三角測量法によって決定された目標位置及び目標配向に修正するように構成することができる。

ステップ９２０において、マスターＵＡＶを、それぞれのクラスタ内の他のＵＡＶに同期信号を送信するように構成することができる。マスターＵＡＶは、この同期信号をさらに共有することができる。ステップ９２２において、様々なクラスタ内の複数の撮像装置１０４は、様々なクラスタ内の１又は２以上の静止物体及び／又は移動物体の複数の画像を取り込むことができる。例えば、第１の複数の画像は、第１のクラスタ４０２内の第１のＵＡＶ１０２ａの第１の撮像装置１０４ａと第２のＵＡＶ１０２ｂの第２の撮像装置１０４ｂとによって取り込まれた画像を含むことができる。第２の複数の画像は、第２のクラスタ４０４内の第３のＵＡＶ１０２ｃの第３の撮像装置１０４ｃと第４のＵＡＶ１０２ｄの第４の撮像装置１０４ｄとによって取り込まれた画像を含むことができる。図１で説明したように、第１の複数の画像は、第１のＵＡＶ１０２ａと第３のＵＡＶ１０２ｃとの間で通信される同期信号に基づいて第２の複数の画像と動的に同期させることができる。

ステップ９２４において、マスターＵＡＶを、それぞれのクラスタ内の複数の画像に基づいて、選択された１又は２以上の静止物体及び／又は移動物体のリアルタイム３Ｄ構造再構成を実行するように構成することができる。各クラスタでは、複数のＵＡＶ１０２の各々のＵＡＶモニタが、対応するＵＡＶの状態変数を定期的にチェックして１又は２以上の計算リソースのステータス情報を決定することができる。リソース割り当てマネージャは、ＵＡＶモニタと協働して、ＵＡＶが過負荷状態の場合にクラスタの内で１又は２以上の計算リソースを動的に分散させることができる。リソースネゴシエータは、それぞれのクラスタ内の他のＵＡＶとマスターＵＡＶとの間の１又は２以上の計算リソースを取り決めることができる。リソース移動マネージャは、それぞれのクラスタ内で他のＵＡＶの１又は２以上の計算リソースをマスターＵＡＶに仮想的に移動させることができる。

ステップ９２６において、再構成画像が１つしか必要でないか、それとも複数必要であるかを判断することができる。ある事例では、再構成画像が複数必要な場合、制御はステップ９２８に進む。ある事例では、再構成画像が１つしか必要でない場合、制御はステップ９３４に進む。ステップ９２８において、図３で説明したように、マスターＵＡＶは、選択された１又は２以上の静止物体及び／又は移動物体の３Ｄシーン解釈及び／又は点群生成に基づいて、３Ｄ構造の再構成を実行することができる。ステップ９３０において、マスターＵＡＶを、２つの再構成後の３Ｄ構造を表示のために通信ネットワーク１０８を介してユーザ端末１１０に通信するようにさらに構成することができる。制御は、ステップ９３２に進んで終了する。

ステップ９３４において、計算リソースの利用可能性を示す状態制御変数に基づいて、マスターＵＡＶのうちの１つを選択して最終的な３Ｄ構造再構成を実行することができる。ステップ９３６において、最終的な再構成を実行して単一の３Ｄ構造を生成することができる。ステップ９３８において、最終的な再構成後の３Ｄ構造をユーザ端末１１０に通信することができる。制御は、ステップ９３２に進んで終了する。

本開示の実施形態によれば、画像処理システムが、複数のＵＡＶ１０２を含むことができる。複数のＵＡＶは、複数の撮像装置１０４を伴うことができる。複数のＵＡＶ１０２のうちの第１のＵＡＶ１０２ａは、１又は２以上の静止物体及び／又は移動物体の第１の一連の画像を取り込むことができる第１の撮像装置１０４ａを含むことができる。第１のＵＡＶ１０２ａは、複数のＵＡＶ１０２のうちの１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに関連する１又は２以上の撮像装置１０４ｂ〜１０４ｄの焦点レンズ情報と、現在位置と、現在の配向とを受け取ることができるプロセッサ２０２をさらに含むことができる。プロセッサ２０２は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて、１又は２以上の撮像装置１０４ｂ〜１０４ｄの各々の目標位置及び目標配向を決定することができる。さらに、プロセッサ２０２は、１又は２以上の撮像装置１０４ｂ〜１０４ｄの各々の現在位置及び現在の配向をこれらの撮像装置の各々の決定された目標位置及び決定された目標配向に修正するための制御情報を１又は２以上の他のＵＡＶ１０２ｂ〜１０２ｄに通信することができる。

本開示の実施形態によれば、サーバ１０６は、画像処理のために複数のＵＡＶ１０２に通信可能に結合することができる。複数のＵＡＶ１０２は、複数の画像を取り込むように構成された複数の撮像装置１０４を伴うことができる。サーバ１０６は、複数のＵＡＶ１０２に関連する複数の撮像装置１０４からこれらの撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取るように構成された、プロセッサ３０２などの１又は２以上の回路を含むことができる。プロセッサ３０２は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて、複数の撮像装置１０４の目標位置及び目標配向をさらに決定することができる。さらに、プロセッサ３０２は、複数の撮像装置１０４の現在位置及び現在の配向をこれらの撮像装置の決定された目標位置及び決定された目標配向に修正するための制御情報を複数のＵＡＶ１０２に通信することができる。

本開示の実施形態によれば、画像処理のためのシステムが、第１の一連のＵＡＶを含むことができる第１のクラスタ４０２などの第１のネットワークを含む。システムは、第２の一連のＵＡＶを含むことができる第２のクラスタ４０４などの第２のネットワークをさらに含むことができる。第１の一連のＵＡＶ及び第２の一連のＵＡＶの各々は、複数の画像を取り込むように構成された撮像装置を伴うことができる。第１の一連のＵＡＶの第１のＵＡＶ１０２ａは、１又は２以上の静止物体及び／又は移動物体の第１の一連の画像を取り込むように構成された第１の撮像装置１０４ａを含むことができる。第１のＵＡＶ１０２ａは、第１の一連のＵＡＶに関連する第１の一連の撮像装置から焦点レンズ情報と、現在位置と、現在の配向とを受け取るように構成された、プロセッサ２０２などの１又は２以上の回路をさらに含むことができる。プロセッサ２０２は、受け取った焦点レンズ情報と、受け取った現在位置と、受け取った現在の配向と、１又は２以上の静止物体及び／又は移動物体の現在位置とに基づいて、第１の一連の撮像装置の目標位置及び目標配向をさらに決定することができる。プロセッサ２０２は、第１の一連の撮像装置の現在位置及び現在の配向をこれらの撮像装置の決定された目標位置及び決定された目標配向に修正するための制御情報を第１の一連のＵＡＶに通信するようにさらに構成することができる。

本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むように意図されている。

１０２ 複数のＵＡＶ
１０２ａ 第１のＵＡＶ
１０２ｂ 第２のＵＡＶ
１０２ｃ 第３のＵＡＶ
１０２ｄ 第４のＵＡＶ
１０４ａ 第１の撮像装置
１０４ｂ 第２の撮像装置
１０４ｃ 第３の撮像装置
１０４ｄ 第４の撮像装置
１０８ 通信ネットワーク
１１０ ユーザ端末

Claims (10)

1. １又は２以上の回路を備えるサーバであって、該１又は２以上の回路は、
   複数の撮像装置から、複数の撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取り、ここで、前記複数の撮像装置は複数の無人航空機（ＵＡＶ）に関連づけられたものであり、前記複数の撮像装置は複数の画像を取り込み、前記複数のＵＡＶは前記サーバに通信可能に結合されており、
   前記受け取った焦点レンズ情報と、前記受け取った現在位置と、前記受け取った現在の配向と、少なくとも１つの静止物体又は少なくとも１つの移動物体のうちの少なくもと１つの現在位置とに基づいて、前記複数の撮像装置の目標位置及び目標配向を決定し、
   前記受け取った焦点レンズ情報及び少なくとも１つの特定の較正物体に基づいて較正情報を決定し、
   前記複数の撮像装置の前記現在位置及び前記現在の配向を前記複数の撮像装置の前記決定された目標位置及び前記決定された目標配向に修正するための制御情報及び前記較正情報を前記複数のＵＡＶに通信し、
   前記通信された制御情報に基づいて、前記複数の撮像装置の前記現在位置及び前記現在の配向を前記決定された目標位置及び前記決定された目標配向へ修正し、
   前記通信された較正情報に基づいて、前記複数の撮像装置の較正を可能とする、
   ように構成される、
   ことを特徴とするサーバ。
2. 前記通信される制御情報はさらに、取り込み情報を含み、
   前記取り込み情報に基づいて前記少なくとも１つの静止物体又は前記少なくとも１つの移動物体のうち少なくとも１つの一組の画像を、前記複数の撮像装置によって取り込み、
   前記一組の画像は前記決定された目標位置及び前記決定された目標配向において取り込まれる、
   請求項１に記載のサーバ。
3. 前記少なくとも１つの回路は、前記取り込まれた一組の画像から３次元（３Ｄ）構造を再構成するようにさらに構成される、
   請求項２に記載のサーバ。
4. 前記少なくとも１つの回路は、前記３Ｄ構造を再構成するために、前記取り込まれた一組の画像を動的に同期させるようにさらに構成される、
   請求項３に記載のサーバ。
5. 前記特定の較正物体の前記少なくとも１つの画像は善の複数の撮像装置によって取り込まれる、
   請求項１に記載のサーバ。
6. 複数の画像を取り込むように構成された複数の撮像装置と関連づけられた複数の無人航空機（ＵＡＶ）に通信可能に結合されたサーバにおいて、
   前記サーバが、前記複数のＵＡＶと関連づけられた前記複数の撮像装置から、該複数の撮像装置の焦点レンズ情報と、現在位置と、現在の配向とを受け取るステップと、
   前記サーバが、前記受け取った焦点レンズ情報と、前記受け取った現在位置と、前記受け取った現在の配向と、少なくもと１つの静止物体又は少なくとも１つの移動物体のうちの少なくとも１つの現在位置とに基づいて、前記複数の撮像装置の目標位置及び目標配向を決定するステップと、
   前記サーバが、前記受け取った焦点レンズ及び特定の較正物体の少なくとも１つの画像に基づいて較正情報を決定するステップと、
   前記サーバが、制御情報及び前記較正情報を前記複数のＵＡＶに通信するステップと、
   前記通信された制御情報に基づいて、前記複数の撮像装置の前記現在位置及び前記現在の配向を前記決定された目標位置及び前記決定された目標配向へ修正するステップと、
   前記通信された較正情報に基づいて、前記複数の撮像装置の較正を可能とするステップと、
   を含む、
   ことを特徴とする方法。
7. 前記通信される制御情報は、取り込み情報をさらに含み、
   前記少なくとも１つの静止物体及び少なくとも１つの移動物体のうち少なくもと一組の画像が、前記取り込み情報に基づいて前記撮像装置によって取り込まれ、
   前記１組の画像は、前記決定された目標位置及び前記決定された目標配向で取り込まれる、
   請求項６に記載の方法。
8. 前記取り込まれた一組の画像から３次元（３Ｄ）構造を再構成するステップをさらに含む、
   請求項７に記載の方法。
9. 前記３Ｄ構造を再構成するために、前記取り込まれた一組の画像を動的に同期させるステップをさらに含む、
   請求項８に記載の方法。
10. 前記特定の較正物体の前記少なくとも一組の画像は、前記少なくとも一つの撮像装置によって取り込まれる、
    請求項６に記載の方法。

Images