JP2023531958A - マルチドローンカメラ制御の方法 - Google Patents

マルチドローンカメラ制御の方法 Download PDF

Info

Publication number
JP2023531958A
JP2023531958A JP2022579693A JP2022579693A JP2023531958A JP 2023531958 A JP2023531958 A JP 2023531958A JP 2022579693 A JP2022579693 A JP 2022579693A JP 2022579693 A JP2022579693 A JP 2022579693A JP 2023531958 A JP2023531958 A JP 2023531958A
Authority
JP
Japan
Prior art keywords
drone
camera
drones
pose
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022579693A
Other languages
English (en)
Inventor
アレクサンダー ベレストフ
リウ チェン－イ
チェン ジャンフェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023531958A publication Critical patent/JP2023531958A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D7/00—Control of flow
    • G05D7/06—Control of flow characterised by the use of electric means
    • G05D7/0617—Control of flow characterised by the use of electric means specially adapted for fluid materials
    • G05D7/0629—Control of flow characterised by the use of electric means specially adapted for fluid materials characterised by the type of regulator means
    • G05D7/0635—Control of flow characterised by the use of electric means specially adapted for fluid materials characterised by the type of regulator means by action on throttling means
    • G05D7/0641—Control of flow characterised by the use of electric means specially adapted for fluid materials characterised by the type of regulator means by action on throttling means using a plurality of throttling means
    • G05D7/0658—Control of flow characterised by the use of electric means specially adapted for fluid materials characterised by the type of regulator means by action on throttling means using a plurality of throttling means the plurality of throttling means being arranged for the control of a single flow from a plurality of converging flows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

対象の画像を取り込むカメラのためのカメラ制御の方法は、少なくとも４つのステップのシーケンスを含む。第１のステップは、ドローンの位置及び前記ドローン上のカメラの姿勢をリアルタイムで決定する。前記第１のステップの前又は後に行うことができる第２のステップは、前記対象の位置に対して固定関係を有する基準オブジェクトの位置をリアルタイムで決定する。第３のステップは、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記対象と前記ドローンとの間の距離を計算する。第４のステップは、前記計算された距離を使用して、前記カメラの前記姿勢を制御して、前記カメラによって取り込まれる画像が前記対象を含むようにする。前記カメラの前記姿勢を制御するステップは、前記取り込まれた画像のいかなる解析も必要としない。

Description

〔関連出願の相互参照〕
本出願は、２０２０年６月３０日出願の米国仮特許出願番号第１６／９１７，６７１号 「マルチドローンカメラ制御の方法（ＭＥＴＨＯＤ ＯＦ ＭＵＬＴＩ－ＤＲＯＮＥ ＣＡＭＥＲＡ ＣＯＮＴＲＯＬ）」（代理人整理番号０２０６９９－１１７０００ＵＳ）の利益を主張するものであり、この出願は、全ての目的に対してあたかも本出願に全てが示されている如くここに引用により組み込まれる。
[01] ドローン映画撮影法では、ドローン搭載カメラは、映画監督の要求に従って各画像に対象を取り込むために、正しい位置及び向きを有さなければならない。ドローンが正しく配置され方向づけられても、ドローン上のカメラの向き（本開示の目的のために、姿勢と定義する）が正しくない場合、又はカメラパラメータ（例えば、焦点距離設定など）が不適切である場合、取り込まれた画像は、対象を撮りそこなうか、又は少なくとも品質において（例えば、焦点が合っていないために）最適状態に及ばない場合がある。マルチドローンシステムにおける複数のカメラの制御は、特に複雑である。というのは、対象（例えばアクター）及びドローンの両方が移動している場合があり、各カメラの姿勢が、移動時は言うまでもなく静止時でも、対応するドローンの姿勢によって完全に決定されない場合があるからである。この問題への現在のアプローチは、対象／アクターの計画された移動と、時間と共にその対象を追跡して良好な画像を撮影するのに必要なドローン軌道、カメラ姿勢及びカメラ設定（画像取り込みパラメータ）とを詳述する予め準備されたスクリプトに実直に従うことを含む。
[02] いくつかの場合では、１よりも多くの関心対象が存在することができ、１又は２以上のドローンのサブセットが、それらの対象のうちの異なる対象を撮像するように方向づけられる。撮像すべき関心対象は、アクターではなく、アクターの位置によって変化する位置を有する何らかのオブジェクト又はシーンとすることもできることに留意されたい。１つのこのような例は、アクターの影である。いくつかの場合では、対象は、複数の異なるビューから撮像すべき静止シーンとすることができる。
[03] 高品質の画像シーケンスを取り込むのに必要な空間的及び時間的協調を含むこのような複雑で時間がかかるタスクを実行することは、極めて困難である。現在のシステムは、３つの重要なファクタ、すなわち、対象及びドローンを位置決めする精度と、対象の位置の変化に対する高速かつ正確なドローン移動応答と、カメラ姿勢及び画像取り込みパラメータの適応制御との組み合わせを達成するのに不十分である。
[04] したがって、高精度の「対象移動－ドローン軌道－カメラ姿勢」スクリプトに依存するのではなく、リアルタイムの対象位置特定、カメラ姿勢制御、及び画像取り込みパラメータ制御に焦点を当てて、ドローン搭載カメラに適した改良されたシステム及び方法が必要とされている。理想的には、ドローンスウォーム制御への特定のアプローチに限定されるのではなく、コンピュータ集約的な視覚データ解析に依拠しない一般的な解決策を見つける。基本動作にとって本質的なものではなく、例えば、微調整を行ったり又は予想外の出来事に対して創造的に応答したりする際に、任意選択的に人間のオペレータがドローン及びカメラを制御するために、システム及び方法を十分に自動化することが望ましい場合がある。
[05] 実施形態は、一般に、対象の画像を取り込むためのカメラ制御のための方法及びシステムに関する。一実施形態では、前記方法は、少なくとも４つのステップのシーケンスを含む。第１のステップにおいて、第１の技術を使用して、ドローンの位置及び前記ドローン上のカメラの姿勢をリアルタイムで決定する。前記第１のステップの前又は後に行うことができる第２のステップにおいて、第２の技術を使用して、前記対象の位置をリアルタイムで決定する。第３のステップにおいて、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記対象と前記ドローンとの間の距離を計算する。第４のステップにおいて、前記計算された距離を使用して、前記カメラの前記姿勢を制御して、前記カメラによって取り込まれる画像が前記対象を含むようにする。前記カメラの前記姿勢を制御するステップは、前記取り込まれた画像のいかなる解析も必要としない。
[06] 一態様では、前記第４のステップは、前記カメラの１又は２以上の画像取り込みパラメータを制御し、前記計算された距離に基づいて少なくとも１つの画像取り込みパラメータを調整することによって、画質を最適化するステップを更に含み、前記制御された画像取り込みパラメータは、焦点距離、アパーチャ、シャッター速度、及びズームのうちの少なくとも１つを含む。
[07] 別の態様では、前記シーケンスは、前記第４のステップの後に第５のステップを追加的に含む。前記第５のステップは、移動する前記対象の予想される次の位置に近い位置に前記ドローンを移動させるステップを含む。予想は、予め定められたモーションスクリプトに基づくものか、又は任意のリアルタイムモーション予測方法、例えばカルマンフィルタ又はその変形によるものとすることができる。前記シーケンスは、繰り返してかつ十分に迅速に実行されて、動いている前記対象の一連の画像を、前記カメラによってリアルタイムで取り込むことができるようにする。
[08] 別の実施形態では、方法は、少なくとも４つのステップのシーケンスを含む。第１のステップにおいて、第１の技術を使用して、複数のドローンにおける各ドローンに対して、該ドローンの位置及び該ドローン上のカメラの姿勢をリアルタイムで決定する。前記第１のステップの前又は後に行うことができる第２のステップにおいて、第２の技術を使用して、対象の位置を決定する。第３のステップにおいて、前記複数のドローンのうちの各ドローンに対して、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記対象と該ドローンとの間の距離を計算する。第４のステップにおいて、前記複数のドローンのうちの各ドローンに対して、対応する前記計算された距離を使用して、対応する前記カメラの前記姿勢を制御して、該カメラによって取り込まれる画像が前記対象を含むようにする。各カメラの前記姿勢の制御は、対応する前記取り込まれた画像のいかなる解析も必要としない。
[09] 別の実施形態では、システムは、１又は２以上のプロセッサと、前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的媒体に符号化され、かつ実行時に少なくとも４つのステップのシーケンスを実行することによって対象の画像を取り込むように作動可能であるロジックと、を備える。第１のステップにおいて、第１の技術を使用して、複数のドローンにおける各ドローンに対して、該ドローンの位置及び該ドローン上のカメラの姿勢をリアルタイムで決定する。前記第１のステップの前又は後に行うことができる第２のステップにおいて、第２の技術を使用して、前記対象の位置を決定する。第３のステップにおいて、前記複数のドローンのうちの各ドローンに対して、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記対象と該ドローンとの間の距離を計算する。第４のステップにおいて、前記複数のドローンのうちの各ドローンに対して、対応する前記計算された距離を使用して、対応する前記カメラの前記姿勢を制御して、該カメラによって取り込まれる画像が前記対象を含むようにする。各カメラの前記姿勢の制御は、対応する前記取り込まれた画像のいかなる解析も必要としない。
[10] 本明細書の残りの部分及び添付図面の参照により、本明細書に開示する特定的な実施形態の特質及び利点の更なる理解を達成することができる。
一実施形態に従って作動可能である、カメラを含むドローンを示す図である。 いくつかの実施形態によるシステムを示す図である。 いくつかの実施形態によるシステムを示す図である。 いくつかの実施形態による方法のフローチャートである。 他のいくつかの実施形態による方法のフローチャートである。
[16] 本開示全体を通して、「位置（ｌｏｃａｔｉｏｎ）」、「向き」及び「姿勢」という用語は、３次元の特性に関し、例えば、位置を決定することは、３Ｄ位置を決定することを意味するようになっていると理解されたい。「位置（ｐｏｓｉｔｉｏｎ）」という用語を使用して、「位置（ｌｏｃａｔｉｏｎ）」及び向き又は姿勢を包含して、６次元の特性とする。「距離」という用語は、大きさ及び方向を含むベクトル量である。
[17] 以下で説明し図に示す実施形態のうちの多くは、カメラを組み込んだ無人航空機（ＵＡＶ）の使用を仮定するが、本開示の目的のために、「ドローン」という語は、遠隔操作可能なカメラを含む任意のモバイルデバイスを含むものとして定義される。それは、例えば、地上ベースのものとするか、又は水中で移動することができる。
[18] 図１に、本発明のいくつかの実施形態において使用されるドローン１００を示す。ドローン１００は、３次元ジンバル装置１０４によって、カメラ１０２を支持する。カメラ１０２によって取り込まれる画像は、ビデオフィードとして、送信機１１０を使用して受信機１０６に送信することができる（破線を参照）。送信機１１０は、トランシーバと別個であるか又はその一部として含まれ（簡略化のために、図では別個に識別しない）、以下でより詳細に説明するように、ドローンの位置を決定するために、及びドローンの移動、ドローンの姿勢、及びカメラの姿勢を制御するために、必要に応じて無線データ通信を処理することができる。観察者１０８によって、ビデオフィードのリアルタイムモニタリングを任意選択的に実行することができる。簡略化のために、図には、ジンバル制御及びカメラ制御の両方のための一体化されたドローンコントローラを示す。他の可能性は、２つの別個のコントローラの使用を含み、両方のコントローラがドローン上又は地上制御局に存在するか、又は一方のコントローラが地上に存在してドローンを制御し、他方のコントローラがドローン上に存在してカメラを制御する。
[19] いくつかの実施形態では、ドローン１００は、１よりも多くのカメラを搭載することができる。いくつかの実施形態では、ジンバル構成１０４を、他の何らかの制御可能なモーションデバイスに置き換えることができ、これは、リモート又はローカル（ドローン）コントローラから受け取られるコマンドに応答して、追跡可能な較正された方法で、カメラの姿勢を調整する同じ基本的な目的にかなう。ドローン１００は、ＩＭＵ（簡略化のために図から省略されている）を含む。
[20] 図２に、本発明のいくつかの実施形態によるシステム２００の要素を概略的に示す。この場合の対象は人物２０２であり、人物２０２は、受信機モジュール２０４を装着又は携帯し、受信機モジュール２０４は、３Ｄグローバル座標系において、人物の位置を非常に正確に決定することができる。他の実施形態では、対象は、動物又は他の関心オブジェクトとすることができる。位置を決定するための１つの技術は、全地球ナビゲーション衛星システム（ＧＮＳＳ）（ここでは、衛星２０８の存在によって示す）と、リアルタイムキネマティック測位（ＲＴＫ）（ここでは、ＲＴＫ基地局２１０によって示す）との組み合わせに依存する。この技術を、初期化ＲＴＫ－ＧＮＳＳと呼ぶ。出力は、グローバル座標系において、例えば、緯度、経度及び高度として表現される。
[21] 他の実施形態では、ＲＴＫ－ＧＮＳＳ技術の代わりに、高品質無線送信を使用して、グローバル座標系に対して既知の較正及び空間変換を含む、ＬｉＤＡＲ、ステレオカメラ、ＲＧＢＤ、又は多視点三角測量などの他の周知の方法を使用して、対象の位置を決定することができる。更に他の実施形態では、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術を使用することができ、これは、モジュール２０４が、加速度計、傾斜センサ、ＲＧＢＤカメラ、ステレオカメラ等などの感知デバイスを組み込んだ慣性計測装置（ＩＭＵ）を含むことを意味する。このオプションによって、６Ｄ位置（３Ｄ向き及び３Ｄ位置）を測定することができ、以下で説明する利点を含む。
[22] 図２に戻ると、人物２０２の近傍に、３つのドローン２０６が示されているが、他の場合では、より多い又はより少ないドローンが存在して、いわゆるドローンスウォームを構成することができる。ドローン２０６は、例えば、図１にドローン１００として示すのと同じ設計を有することができる。スウォームにおける各ドローン２０６の位置は、対象の位置に対して、上記の技術のうちのいずれか１つを使用して、非常に正確に決定することができる。更に、ドローン上のカメラの姿勢を決定しなければならず、これは、通常、各ドローン上のＩＭＵ（図示せず）を使用して行われる。したがって、ドローンの位置及びカメラの姿勢の両方を測定するための１つの便利なオプションは、上記のようなＲＴＫ－ＧＮＳＳ－ＩＭＵシステムを使用することである。
[23] 対象及びドローンを配置する順序は重要ではなく、いずれか一方を他方の前に行うことができることに留意されたい。いくつかの場合では、例えば、取り込まれた画像において人物の顔が見えるようにしたい、又は特定の相対角度から対象の他の何らかのビューを取り込みたいと望む場合、対象の姿勢及び対象の位置を決定することは有用であり得る。
[24] 対象及びドローンの位置が正確に決定されると、各ドローンと対象との間の距離を計算することは、比較的簡単なタスクである。図２の破線は、３つのドローン２０６のうちの１つについての距離Ｄを示す。距離は、図の平面では２Ｄ線として示されているが、当然、実際にはベクトルであり、大きさだけでなく、対象の位置のために使用される同じグローバル座標系において表現することができる方向も含む。
[25] 次に、計算された各距離、又はより詳細には、所与のドローンと対象との間の計算された各距離の方向を使用して、対応するドローンのカメラの姿勢を制御して、該カメラによって取り込まれる画像が対象を必ず含むようにする。他の周知の方法とは異なり、本発明におけるカメラの姿勢の制御は、取り込まれた画像のいかなる解析も必要とせず、位置及び姿勢の測定及び関連する計算に基づいて、画像取り込みの前に決定されることに留意されたい。これは、時間及び計算リソースへの要求を低減し、人間の介入を必要とすることなく自動的に実装することができ、リアルタイムマルチ画像取り込みを可能にする。
[26] ドローンのカメラの姿勢が、その対応するドローンの姿勢によって完全に決定されるように、ドローンが設計される場合、カメラの姿勢を制御することは、ドローンの姿勢を制御することに相当する。他の場合では、カメラの姿勢を制御することは、ドローンの姿勢を制御する初期ステップを含むことができる。厳密にどのようにして及びどこで、制御命令が生成、送信、及び実装されるかは、所与のアプリケーションの特定の制御及び通信トポロジによって変わり、以下でより詳細に説明するように、一極端例では、地上ベースの集中制御であり、他の極端な例では、純粋にドローン中心の均等分散型システムである。
[27] 対象の位置を決定するステップと、ドローンの位置及びカメラの姿勢を決定するステップと、距離を計算するステップと、それに応じてカメラの姿勢を制御するステップとのシーケンスは、繰り返して実行されて、各ドローンカメラによって、対象の一連の画像を取り込むことができるようにすることができる。
[28] 図２に示す実施形態及び後述する他の実施形態の説明は、便宜上、撮像すべき関心対象（例えば人物）と、その対象と同じ位置に配置され、上記で詳述したようにその位置を正確に決定できるようにする基準オブジェクトとの両方のために、「対象」という用語を使用する場合を扱う。図示の場合では、基準オブジェクトは、人物に装着される受信機モジュール２０４である。他の場合では、基準オブジェクトは、対象からある距離離れて配置されることができるが、基準オブジェクトの位置が、対象の位置を決定する。例えば、基準オブジェクトは、人物がかぶっている帽子に取り付けられるモジュールとすることができるが、撮像すべき関心対象は、人物が地面に投じる影の一部とすることができる。或いは、基準オブジェクトは、場合によってはドローンスウォームのサブセットによって撮像すべきシーンの視点の近くの静止マーカとすることができる。本発明のシステム及び方法は、これらの全ての場合に適用することができると理解されたい。
[29] いくつかの実施形態では、カメラの姿勢を制御することを超えて、対象（又は２つが同じ位置に配置されない場合では、基準オブジェクト）と各ドローンとの間の計算された距離を更に使用する。画質に強い影響を及ぼすいくつかの調整可能なカメラパラメータは、カメラと画像内の主要関心オブジェクトとの間の距離の大きさに直接的に又は間接的に依存する。このタイプの１つのパラメータは、カメラの焦点距離であり、焦点距離を調整して、オブジェクトに焦点がシャープに合っている状態を保つことができる。他のパラメータは、アパーチャ、シャッター速度、カメラズーム、フレームレート、ＩＳＯ値、ホワイトバランス、及び露出（ＥＶ）を含むが、これらに限定されるわけではない。
[30] 例えば、ズームを調整して、オブジェクトの特徴が所望の倍率で見える状態を保つことができる。したがって、対象－ドローン間の分離に従って、画質を最適化することができる。ちょうど姿勢制御について上記したように、カメラパラメータの調整を、計算された距離に基づかせることは、画像解析への依存を回避し、速度、便利さ、及び自動化の容易さに関して対応する利点を提供する。また、上記のように、厳密にどのようにして及びどこで、制御命令が生成、送信、及び実装されるかは、所与のアプリケーションの特定の制御及び通信トポロジによって変わり、以下でより詳細に説明するように、一極端例では、地上ベースの集中制御であり、他の極端な例では、純粋にドローン中心の均等分散型システムである。
[31] 上記のように、いくつかの実施形態は、対象（又は上記で説明したように基準オブジェクト）のためにＲＴＫ－ＧＮＳＳ－ＩＭＵ技術を使用することを含み、これは、３Ｄ向き及び３Ｄ位置を測定することを意味する。これらの場合、カメラの姿勢を制御して、取り込まれた画像において対象の何らかの代表ポイントを保つだけでなく、例えば、ターゲットの特定のファセットを選択して、対象がねじれたり傾いたりしている時などに、ビュー内に保つことによって、より精巧な追跡及び取り込みを行うことも可能である。
[32] 簡略化のために、上記の説明は、対象が静止しており、ドローンの初期位置決めが良好な画像取り込みに十分である比較的簡単な状況に焦点を当てている。しかしながら、多くの関心のある場合では、対象は動いている場合があり、経時的な一連の画像が望ましく、対象は十分な範囲にわたる（ｃｏｖｅｒ ｅｎｏｕｇｈ ｇｒｏｕｎｄ）場合があり、カメラが対象をビュー内に保つために、ドローンスウォームのうちの少なくとも１つのドローンを移動させる必要がある。いくつかの「スウォーム制御」ストラテジのうちの１つを使用して、この機能を実装することができる。
[33] 図２の実施形態では、地上制御局２１２が存在し、人間のオペレータ２１４が、個別ドローンステータスモニタリング及びフィードバック、スウォーム編隊計画、個別ドローン飛行コマンド、個別ジンバル制御及び個別カメラ制御の機能を監視及び／又は制御する。他の実施形態では、図示の「スター」トポロジ以外のスウォーム通信トポロジを使用することができ、この場合、地上制御を分散制御に置き換えて、位置データをドローン間で直接交換し、１つの「マスタ」ドローン又はいくつかの又は全てのドローンの組み合わせによってスウォームの編隊を決定する。
[34] 図３に、「スター」の一実施形態におけるドローン位置及び姿勢モニタリングを概略的に示し、この場合、各ドローン３０６の位置及び姿勢を決定するステップは、複数のドローンによって共用される地上制御局（ＧＣＳ）３１２と各ドローン内のドローンコントローラ（図示せず）との間のデータ交換を含む。対象（又は基準オブジェクト）３０２、ＧＮＳＳ衛星３０８、ＲＴＫ基地局３１０、及び任意選択的な人間のオペレータ３１４も示されている。いくつかの場合では、複数のドローンにおけるドローンのうちの１つは、マスタドローンであり、マスタドローンは、複数のドローンにおける他の各ドローンと直接又は間接的に通信するコントローラを有する。
[35] 移動する対象を追跡するためにドローンスウォームの移動が必要である場合を考慮して、いくつかの実施形態では、ＧＣＳが、対象の現在位置を使用して、作成すべき次のスウォーム編隊を決定することができる。次に、ＧＣＳは、その編隊での各ドローンの位置を計算し、各ドローンに個別移動コマンドを送信する。他の実施形態では、ドローンは、スウォーム編隊及び飛行軌道の所定のスクリプトに従って、単に移動することができるが、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術又は上記の代替例のうちの１つを使用して、位置及び姿勢を連続的にモニタ及び追跡することができるので、（従来技術のシステムとは異なり）、スクリプトに従うドローンのモーションのいかなる不正確さにも対処することができることに留意されたい。地上制御、１又は２以上の人間のオペレータ、ドローンコントローラのサブセットによるスウォーム全体のための自己決定などのうちの１つ又はこれらの組み合わせを含むスウォーム制御及び個別ドローン移動の異なる方法を含む様々な実施形態を容易に想定することができる。
[36] もちろん、カメラの姿勢及び画像取り込みパラメータの制御のための同様の様々なシナリオが存在する。
[37] これらの「移動する対象」の場合、（対象（基準オブジェクト）の位置を決定するステップと、ドローンの位置及び姿勢を決定するステップと、距離を計算するステップと、それに応じてカメラの姿勢を制御するステップと、画像を取り込むステップとの）動作のシーケンスを拡張して、対象の予想される次の位置にドローンを移動させるステップを含むようにする必要があり、拡張されたシーケンスは、所望通りの回数だけ繰り返されて、移動する関心対象を追跡する一連の画像を、各ドローンカメラによって取り込むことができるようにする。もちろん、一連の画像が、移動する関心対象を適切に追跡するリアルタイムビデオストリームを構成するために、様々な動作を十分に迅速に実行する必要がある。
[38] 図４及び図５は、それぞれ、上記のように、静止した対象及び移動する対象に関する実施形態による方法のステップを示すフローチャートである。
[39] 図４に、方法４００を示し、初期化ステップ４０２から開始して、このステップにおいて、関心対象の近傍にドローンを配置する。ステップ４０４において、ＲＴＫ－ＧＮＳＳ技術などの第１の技術を使用して、対象（又は基準オブジェクト）の位置の正確な決定を行う。ＲＴＫ－ＧＮＳＳシステムで達成可能な通常の精度は、１０ｋｍの範囲で２ｃｍである。ステップ４０６において、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術などの第２の技術を使用して、ドローンの位置及びカメラの姿勢の正確な決定を行う。いくつかの実施形態では、ステップ４０４及び４０６を行う順序は、逆でもよい。ステップ４０８において、前の２つのステップにおいて行われた位置の決定から、対象（又は基準オブジェクト）とドローンとの間の距離を計算する。ステップ４１０において、計算された距離に従って（又はより正確には、計算された距離の方向に従って）、ドローン上のカメラの姿勢を調整して、その姿勢で取り込まれる画像が関心対象を含むようにする。
[40] 図４は、単一のドローン及び単一の画像取り込みの場合を示すが、複数のドローンが関与し、各ドローンは自身の視点から画像を取り込むカメラを有する他の実施形態を包含するように、方法４００を修正できることが明らかである。
[41] 図５に、移動する対象を含む実施形態のための方法５００を示す。ステップ５０２～５１０は、方法４００のステップ４０２～４１０と同じであるが、ステップ５１２において、対象の予想される次の位置にドローンを移動させ、方法のフローは、ループしてステップ５０４に戻る。新たなドローンの位置及びカメラの姿勢、及び対象（又は基準オブジェクト）の（予想に対して）実際の位置を、前述のように正確に測定し（ステップ５０４及び５０６）、新たな距離を計算し（ステップ５０８）、対応して調整されたカメラの姿勢を使用して、新たな画像取り込みを行う（ステップ５１０）。このように、ドローンを移動させ、関心対象の実際の取り込まれた画像についてのいかなる画像解析からも独立して、位置の測定に基づいて、必要に応じてドローンのカメラの姿勢を調整することによって、移動する対象の一連の画像をリアルタイムで取り込むことができる。
[42] 図５は、単一のドローンの場合を示すが、複数のドローンが関与し、各ドローンは自身の視点から一連の画像を取り込むカメラを有する他の実施形態を包含するように、方法５００を修正できることが明らかである。
[43] 特定の実施形態に関連して説明してきたが、これらの特定の実施形態は単なる例示であり、限定的なものではない。いくつかの実施形態では、上記のように、撮像すべき関心対象は、人間又は動物とすることができる。本発明の実施形態によって、地上又は空中で静止している又は動いている他の生物又は無生物オブジェクトを追跡して撮像することもできることに留意されたい。また、単一の画像取り込みセッション中でも、１つの対象の画像を取り込むドローンスウォームを再配置し方向づけて、異なる対象の画像を撮影するようにすること、又はスウォームをサブグループに分割して、各サブグループは異なる対象に焦点が合わされることが望ましい場合がある。本開示で上記した技術及びオプションは、これらの状況に対処するように容易に適合させることができる。
[44] 本発明の他の有利な特徴は、移動対象の効果的な３Ｄモデル又はポイントクラウドを構築する可能性と、画像取り込み時間を短縮する可能性と、複数の視点から同時に取り込まれる画像を効率的に合成することによって、物理的に不可能な視点からシーンを生成する可能性とを含む。
[45] 本発明の趣旨から逸脱することなく、他の多くの可能性を容易に想定することができる。
[46] 特定の実施形態のルーチンを実装するために、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語等を含む任意の適切なプログラミング言語を使用することができる。手続き型又はオブジェクト指向などの異なるプログラミング技術を使用することができる。ルーチンは、単一の処理デバイス又は複数のプロセッサ上で実行することができる。ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、異なる特定の実施形態では変更することができる。いくつかの特定の実施形態では、本明細書で順次示される複数のステップは、同時に実行することができる。
[47] 特定の実施形態は、命令実行システム、装置、システム、又はデバイスによって又はこれに関連して使用するためのコンピュータ可読記憶媒体に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの両方の組み合わせにおいて制御ロジックの形態で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、特定の実施形態で説明するものを実行するように作動可能とすることができる。
[48] 特定の実施形態は、プログラムされた汎用デジタルコンピュータを使用することによって、及び／又は特定用途向け集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノ工学システム、構成要素及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、本技術分野で公知の任意の手段によって達成することができる。分散型、ネットワーク型システム、構成要素、及び／又は回路を使用することができる。データの通信又は転送は、有線、無線、又は他の任意の手段によるものとすることができる。
[49] 図面／図に示す要素のうちの１又は２以上は、より分離された又は一体化された方法で、又は特定用途に応じて有用であるような特定の場合には更に取り外されるか又は作動不能にされて実装することもできることも理解されるであろう。上記の方法のいずれかをコンピュータに実行させるために機械可読媒体に記憶することができるプログラム又はコードを実装することも本発明の趣旨及び範囲内である。
[50] 「プロセッサ」は、データ、信号、又は他の情報を処理する任意の適切なハードウェア及び／又はソフトウェアシステム、機構又は構成要素を含む。プロセッサは、汎用中央処理装置、複数の処理装置、機能を実現するための専用回路、又は他のシステムを含むことができる。処理は、地理的位置に限定されるか又は時間的制約を有する必要はない。例えば、プロセッサは、「リアルタイム」、「オフライン」、「バッチモード」等で、その機能を実行することができる。処理の一部は、異なる（又は同じ）処理システムによって、異なる時間及び異なる場所で実行することができる。処理システムの例は、サーバ、クライアント、エンドユーザ装置、ルータ、スイッチ、ネットワークストレージ等を含むことができる。コンピュータは、メモリと通信する任意のプロセッサとすることができる。メモリは、プロセッサによって実行するための命令を記憶するのに適した、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気又は光ディスク、又は他の非一時的媒体などの、任意の適切なプロセッサ可読記憶媒体とすることができる。
[51] 本明細書の説明及び以下に続く特許請求の範囲で使用される「ａ、ａｎ（英文不定冠詞）」及び「ｔｈｅ（英文定冠詞）」は、文脈によって別途明確に指定しない限り、複数の参照物を含む。また、本明細書の説明及び以下に続く特許請求の範囲で使用される「内（ｉｎ）」の意味は、文脈によって別途明確に指定しない限り、「内（ｉｎ）」及び「上（ｏｎ）」を含む。
[52] したがって、本明細書で特定の実施形態を説明したが、修正、様々な変更、及び置換の自由が、以上の開示において意図されており、場合によっては、説明する範囲及び趣旨から逸脱することなく、特定の実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用されることは理解されるであろう。したがって、特定の状況又は内容を実質的な範囲及び趣旨に適合させるように、多くの修正を行うことができる。
１００ ドローン
１０２ カメラ
１０４ ジンバル装置
１０６ 受信機
１０８ 観察者
１１０ 送信機
２００ システム
２０２ 人物
２０４ 受信機モジュール
２０６ ドローン
２０８ 衛星
２１０ ＲＴＫ基地局
２１２ 地上制御局
２１４ 人間のオペレータ
３０２ 対象（又は基準オブジェクト）
３０６ ドローン
３０８ ＧＮＳＳ衛星
３１０ ＲＴＫ基地局
３１２ 地上制御局（ＧＣＳ）
３１４ 人間のオペレータ
４００ 方法
４０２ 対象及びドローンを初期化
４０４ ドローンの位置及びカメラの姿勢を決定
４０６ 対象の位置を決定
４０８ ドローンと対象との間の距離を計算
４１０ 計算された距離に従ってドローンカメラの姿勢を調整し、対象を含む画像を取り込む
５００ 方法
５０２ 対象及びドローンを初期化
５０４ ドローンの位置及びカメラの姿勢を決定
５０６ 対象の位置を決定
５０８ ドローンと対象との間の距離を計算
５１０ 計算された距離に従ってドローンカメラの姿勢を調整し、対象を含む画像を取り込む
５１２ 対象の予想される次の位置にドローンを移動
Ｄ 距離

Claims (20)

  1. 対象の画像を取り込むカメラのためのカメラ制御の方法であって、前記方法は、
    少なくとも４つのステップのシーケンスを含み、前記シーケンスは、
    第１のステップであって、第１の技術を使用して、ドローンの位置及び前記ドローン上のカメラの姿勢をリアルタイムで決定する第１のステップと、
    前記第１のステップの前又は後に行うことができる第２のステップであって、第２の技術を使用して、前記対象の位置に対して固定関係を有する基準オブジェクトの位置をリアルタイムで決定する第２のステップと、
    第３のステップであって、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記基準オブジェクトと前記ドローンとの間の距離を計算する第３のステップと、
    第４のステップであって、前記計算された距離を使用して、前記カメラの前記姿勢を制御して、前記カメラによって取り込まれる画像が前記対象を含むようにする第４のステップと、
    を含み、
    前記カメラの前記姿勢を制御するステップは、前記取り込まれた画像のいかなる解析も必要としない、
    ことを特徴とする方法。
  2. 前記第４のステップは、前記カメラの１又は２以上の画像取り込みパラメータを制御し、前記計算された距離に基づいて少なくとも１つの画像取り込みパラメータを調整することによって、画質を最適化するステップを更に含み、前記制御された画像取り込みパラメータは、焦点距離、アパーチャ、シャッター速度、及びズームのうちの少なくとも１つを含むことを特徴とする、請求項１に記載の方法。
  3. 前記シーケンスは、前記第４のステップの後に第５のステップを追加的に含み、前記第５のステップは、前記対象の予想される次の位置に近い位置に前記ドローンを移動させるステップを含み、
    前記シーケンスは、繰り返してかつ十分に迅速に実行されて、動いている前記対象を追跡する一連の画像を、前記カメラによってリアルタイムで取り込むことができるようにする、
    ことを特徴とする、請求項１に記載の方法。
  4. 前記第１の技術は、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術であり、
    前記第２の技術は、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術、ＬｉＤＡＲ、ステレオカメラの使用、ＲＧＢＤカメラの使用、及び多視点三角測量のうちの１つを含む、
    ことを特徴とする、請求項１に記載の方法。
  5. 前記ドローンの前記位置及び姿勢を決定するステップは、地上制御局と前記ドローン内のドローンコントローラとの間のデータ交換を含むことを特徴とする、請求項１に記載の方法。
  6. 前記カメラの前記姿勢を制御するステップは、前記ドローン内の一体化されたドローンコントローラ、前記ドローン内の専用カメラコントローラ、及び外部カメラ制御局、のうちの１つによって制御される３Ｄジンバルを使用するステップを含むことを特徴とする、請求項１に記載の方法。
  7. 対象の画像を取り込む複数のカメラのためのカメラ制御の方法であって、前記方法は、
    少なくとも４つのステップのシーケンスを含み、前記シーケンスは、
    第１のステップであって、第１の技術を使用して、複数のドローンにおける各ドローンに対して、該ドローンの位置及び該ドローン上のカメラの姿勢をリアルタイムで決定する第１のステップと、
    前記第１のステップの前又は後に行うことができる第２のステップであって、第２の技術を使用して、前記対象の位置に対して固定関係を有する基準オブジェクトの位置を決定する第２のステップと、
    第３のステップであって、前記複数のドローンのうちの各ドローンに対して、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記基準オブジェクトと該ドローンとの間の距離を計算する第３のステップと、
    第４のステップであって、前記複数のドローンのうちの各ドローンに対して、対応する前記計算された距離を使用して、対応する前記カメラの前記姿勢を制御して、該カメラによって取り込まれる画像が前記対象を含むようにする第４のステップと、
    を含み、
    各カメラの前記姿勢の制御は、対応する前記取り込まれた画像のいかなる解析も必要としない、
    ことを特徴とする方法。
  8. 前記第４のステップは、前記カメラの１又は２以上の画像取り込みパラメータを制御し、前記計算された距離に基づいて少なくとも１つの画像取り込みパラメータを調整することによって、画質を最適化するステップを更に含み、前記制御された画像取り込みパラメータは、焦点距離、アパーチャ、シャッター速度、及びズームのうちの少なくとも１つを含むことを特徴とする、請求項７に記載の方法。
  9. 前記シーケンスは、前記第４のステップの後に第５のステップを含み、前記第５のステップは、前記複数のドローンにおける各ドローンに対して、前記対象の予想される次の位置に近い位置に前記ドローンを移動させるステップを含み、
    前記シーケンスは、繰り返してかつ十分に迅速に実行されて、動いている前記対象を追跡する一連の画像を、前記カメラによってリアルタイムで取り込むことができるようにする、
    ことを特徴とする、請求項７に記載の方法。
  10. 前記第１の技術は、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術であり、前記第２の技術は、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術、ＬｉＤＡＲ、ステレオカメラ、ＲＧＢＤカメラ、及び多視点三角測量のうちの１つであることを特徴とする、請求項７に記載の方法。
  11. 各ドローンの前記位置及び姿勢を決定するステップは、前記複数のドローンによって共用される地上制御局と各ドローン内のドローンコントローラとの間のデータ交換を含むことを特徴とする、請求項７に記載の方法。
  12. 前記複数のドローンにおける前記ドローンのうちの１つは、マスタドローンであり、前記マスタドローンは、前記複数のドローンにおける他の各ドローンと直接又は間接的に通信するコントローラを有し、
    各ドローンの前記位置及び姿勢を決定するステップは、地上制御局（ＧＣＳ）と前記マスタドローン内の前記コントローラとの間のデータ交換を含み、前記ＧＣＳと、前記マスタドローンを除いて前記複数のドローンにおける他の任意のドローンとの間で、通信は行われない、
    ことを特徴とする、請求項７に記載の方法。
  13. 移動する前記対象の予想される次の位置に近い位置に各ドローンを移動させるステップは、前記対象のための任意の所定のモーション計画に基づいて、前記予想される次の位置を計算することに依存しないことを特徴とする、請求項９に記載の方法。
  14. 移動する前記対象の予想される次の位置に近い位置に各ドローンを移動させるステップは、人間のオペレータによる監視の下で部分的に実行されることを特徴とする、請求項９に記載の方法。
  15. 前記複数のドローンは、時間と共に変化するパターンに従って空間内に分散され、前記パターンの変化は、各ドローンと直接通信する地上制御局、及び前記複数のドローンにおける前記ドローンのうちの異なるドローン上のコントローラ間の通信を含む分散制御システム、のうちの少なくとも１つの制御の下で発生することを特徴とする、請求項７に記載の方法。
  16. 各カメラの前記姿勢を制御するステップは、対応する前記ドローン内の一体化されたドローンコントローラ、前記対応するドローン内の専用カメラコントローラ、及び前記複数のドローンにおける全てのドローンによって共用されるカメラ制御局、のうちの１つによって制御される３Ｄジンバルを使用するステップを含むことを特徴とする、請求項７に記載の方法。
  17. 対象の画像を取り込む複数のカメラのためのカメラ制御のシステムであって、前記システムは、
    １又は２以上のプロセッサと、
    前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的媒体に符号化され、かつ実行時に少なくとも４つのステップのシーケンスを実行することによって対象の画像を取り込むように作動可能であるロジックと、
    を備え、前記シーケンスは、
    第１のステップであって、第１の技術を使用して、複数のドローンにおける各ドローンに対して、該ドローンの位置及び該ドローン上のカメラの姿勢をリアルタイムで決定する第１のステップと、
    前記第１のステップの前又は後に行うことができる第２のステップであって、第２の技術を使用して、前記対象の位置に対して固定関係を有する基準オブジェクトの位置を決定する第２のステップと、
    第３のステップであって、前記複数のドローンのうちの各ドローンに対して、前記決定された位置を使用して、大きさ及び方向によって特徴付けられる、前記対象と該ドローンとの間の距離を計算する第３のステップと、
    第４のステップであって、前記複数のドローンのうちの各ドローンに対して、対応する前記計算された距離を使用して、対応する前記カメラの前記姿勢を制御して、該カメラによって取り込まれる画像が前記対象を含むようにする第４のステップと、
    を含み、
    各カメラの前記姿勢の制御は、対応する前記取り込まれた画像のいかなる解析も必要としない、
    ことを特徴とするシステム。
  18. 前記第４のステップは、前記カメラの１又は２以上の画像取り込みパラメータを制御し、前記計算された距離に基づいて少なくとも１つの画像取り込みパラメータを調整することによって、画質を最適化するステップを更に含み、前記制御された画像取り込みパラメータは、焦点距離、アパーチャ、シャッター速度、及びズームのうちの少なくとも１つを含むことを特徴とする、請求項１７に記載のシステム。
  19. 前記シーケンスは、前記第４のステップの後に第５のステップを追加的に含み、前記第５のステップは、前記複数のドローンにおける各ドローンに対して、移動する前記対象の予想される次の位置に近い位置に前記ドローンを移動させるステップを含み、
    前記シーケンスは、繰り返してかつ十分に迅速に実行されて、動いている前記対象を追跡する一連の画像を、前記カメラによってリアルタイムで取り込むことができるようにする、
    ことを特徴とする、請求項１７に記載のシステム。
  20. 前記第１の技術は、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術であり、前記第２の技術は、ＲＴＫ－ＧＮＳＳ－ＩＭＵ技術、ＬｉＤＡＲ、ステレオカメラ、ＲＧＢＤカメラ、及び多視点三角測量のうちの１つであることを特徴とする、請求項１７に記載のシステム。
JP2022579693A 2020-06-30 2021-06-25 マルチドローンカメラ制御の方法 Pending JP2023531958A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/917,671 US11256257B2 (en) 2020-06-30 2020-06-30 Method of multi-drone camera control
US16/917,671 2020-06-30
PCT/US2021/039161 WO2022005904A1 (en) 2020-06-30 2021-06-25 Method of multi-drone camera control

Publications (1)

Publication Number Publication Date
JP2023531958A true JP2023531958A (ja) 2023-07-26

Family

ID=79031850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022579693A Pending JP2023531958A (ja) 2020-06-30 2021-06-25 マルチドローンカメラ制御の方法

Country Status (6)

Country Link
US (1) US11256257B2 (ja)
EP (1) EP4136026A4 (ja)
JP (1) JP2023531958A (ja)
KR (1) KR20220108146A (ja)
CN (1) CN114556257A (ja)
WO (1) WO2022005904A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102646894B1 (ko) * 2022-12-19 2024-03-14 주식회사 딥엑스 고정된 기기 또는 이동가능한 기기에 장착되고, 인공지능 반도체를 탑재한 전자 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US9104201B1 (en) 2012-02-13 2015-08-11 C&P Technologies, Inc. Method and apparatus for dynamic swarming of airborne drones for a reconfigurable array
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
CN105184776B (zh) * 2015-08-17 2018-09-28 中国测绘科学研究院 目标跟踪方法
US10416667B2 (en) 2016-02-03 2019-09-17 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes
FR3056921B1 (fr) * 2016-10-05 2018-11-23 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible.
AT16628U1 (de) 2017-05-23 2020-03-15 Ars Electronica Linz Gmbh & Co Kg System zum Steuern von unbemannten Luftfahrzeugen in einem Schwarm, um ein bewegtes Objekt mit mehreren Kameras zu filmen
KR101945019B1 (ko) 2018-06-22 2019-02-01 전북대학교 산학협력단 농작물 재배분포 영상 획득을 위한 무인비행체 군집비행 시스템 및 그 방법
CA3107374C (en) * 2018-07-24 2022-09-27 Tg-17, Llc Systems and methods for autonomous machine tracking and localization of mobile objects

Also Published As

Publication number Publication date
EP4136026A4 (en) 2023-09-06
KR20220108146A (ko) 2022-08-02
US11256257B2 (en) 2022-02-22
US20210405637A1 (en) 2021-12-30
CN114556257A (zh) 2022-05-27
EP4136026A1 (en) 2023-02-22
WO2022005904A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
JP6991122B2 (ja) 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。
JP6885485B2 (ja) 複数カメラネットワークを利用して静止シーン及び／又は移動シーンを取り込むためのシステム及び方法
US10897569B2 (en) Photographing control method, apparatus, and control device
CN107148777B (zh) 智能巡逻设备、云端控制装置及巡逻方法、控制方法
US7027083B2 (en) System and method for servoing on a moving fixation point within a dynamic scene
US11906983B2 (en) System and method for tracking targets
US20160094790A1 (en) Automatic object viewing methods and apparatus
CN109071034A (zh) 切换云台工作模式的方法、控制器和图像增稳设备
JP7059937B2 (ja) 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム
KR101896654B1 (ko) 드론을 이용한 3d 영상 처리 시스템 및 방법
JP2006086591A (ja) 移動体追跡システム、撮影装置及び撮影方法
CN110139038B (zh) 一种自主环绕拍摄方法、装置以及无人机
US11460867B2 (en) System of multi-swarm drone capturing
Klingbeil et al. Towards autonomous navigation of an UAV-based mobile mapping system
JP2023531958A (ja) マルチドローンカメラ制御の方法
KR101529780B1 (ko) 회전익 비행체를 이용한 3d 영상 촬영 방법 및 그 시스템
JP7366349B2 (ja) マルチドローンビジュアルコンテンツ取り込みシステム
WO2023180838A1 (en) Method of 3d reconstruction of dynamic objects by mobile cameras
CN111862197A (zh) 视频监控中的目标跟踪方法、系统及球机
WO2023223933A1 (ja) 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム
KR20230068761A (ko) 복수 무인 비행체 기반 스테레오 영상 획득 방법 및 장치
KR20180092496A (ko) 다수의 동적 자율 이동 비행체 기반 다중 시점 영상 제공 시스템 및 방법
JP2023061178A (ja) 飛行体制御装置、飛行体制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240430