JP5580450B2 - モーションキャプチャシステムを用いた閉ループフィードバック制御 - Google Patents

モーションキャプチャシステムを用いた閉ループフィードバック制御 Download PDF

Info

Publication number
JP5580450B2
JP5580450B2 JP2013090426A JP2013090426A JP5580450B2 JP 5580450 B2 JP5580450 B2 JP 5580450B2 JP 2013090426 A JP2013090426 A JP 2013090426A JP 2013090426 A JP2013090426 A JP 2013090426A JP 5580450 B2 JP5580450 B2 JP 5580450B2
Authority
JP
Japan
Prior art keywords
motion
controllable
devices
controllable devices
motion capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013090426A
Other languages
English (en)
Other versions
JP2013175221A (ja
Inventor
トロイ,ジェイムズ・ジェイ
エリグナック,チャールズ・エイ
マリー,ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2013175221A publication Critical patent/JP2013175221A/ja
Application granted granted Critical
Publication of JP5580450B2 publication Critical patent/JP5580450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Description

発明の背景
この発明は一般に、モーションキャプチャシステムを用いた制御可能装置の閉ループフィードバック制御のためのシステムおよび方法に関する。
多くの可動装置は、ある種の制御システムを必要とする。たとえば、遠隔制御される空中、水上および陸上車両を含むさまざまな車両は、人間のオペレータまたは機械のコントローラが車両の動きを監視し、適切な制御信号を発行して、所望の経路にわたって車両を誘導することを可能にする制御システムを必要とする。同様に、製造ロボットは、製造作業中の動きを適正に制御するために、好適な制御システムを必要とする。明らかに、多種多様の制御可能装置は、所望の制御可能な動きを生じさせるために制御システムを必要とする。
制御可能装置に制御信号を与えるための先行技術のシステムおよび方法は望ましい結果を達成してきたが、改良の余地がある。たとえば、搭載センサを用いる制御システムは、望ましくないことに、車両の重量およびコストを増大させる場合があり、また、用途によっては必要となる精度および更新頻度を提供しない場合がある。したがって、先行技術の制御システムのこれらの望ましくない局面を軽減する新規のシステムおよび方法が、実用性を有する。
発明の概要
この発明は、モーションキャプチャシステムを用いた制御可能装置の閉ループフィードバック制御のためのシステムおよび方法に向けられている。この発明の実施例は、先行技術の制御システムおよび方法に比べ、非常に正確、迅速でかつコスト効率のよい手法で、閉ループフィードバック制御を有利に提供し得る。
一実施例では、1つ以上の制御可能装置を制御するためのシステムは、モーションキャプチャシステムと、プロセッサと、運動制御システムとを含む。モーションキャプチャシステムは、1つ以上の制御可能装置が制御体積(control volume)内で作動している際に、1つ以上の制御可能装置の1つ以上の運動特性(位置および方位)を繰返し測定するよう構成されている。プロセッサは、モーションキャプチャシステムから測定値を受信し、その測定値に基づいて制御信号を決定するよう構成されている。運動制御システムは制御信号を受信して、1つ以上の制御可能装置の少なくとも1つの運動特性を閉ループフィードバック手法で、ほぼリアルタイムで調節する。
別の実施例では、製造システムは、加工物を制御可能に位置付けるよう適合された位置制御システムを含む少なくとも1つの制御可能装置を含む。加工物上には複数のマーカが位置付けられ、モーションキャプチャシステムが、加工物が制御体積内で制御可能装置によって制御可能に位置付けられる際に、複数のマーカの1つ以上の運動特性を繰返し測定するよう構成されている。処理構成要素が、モーションキャプチャシステムから測定された運動特性を受信して、測定された運動特性に基づいて少なくとも1つのコマンド信号を決定する。制御可能装置の位置制御システムは、制御信号を受信し、加工物の少なくとも1つの運動特性を閉ループフィードバック手法で調節する。
さらに別の実施例では、制御可能装置を作動させる方法は、制御可能装置が制御体積内で作動する際に、制御体積に対して配置されたモーションキャプチャシステムを用いて、制御可能装置の1つ以上の運動特性を測定するステップと、モーションキャプチャシステムから、測定された1つ以上の運動特性を受信するステップと、1つ以上の運動特性に基づいてコマンド信号を決定するステップと、制御可能装置の少なくとも1つの運動特性を閉ループフィードバック手法で制御するために、コマンド信号を制御可能装置に送信するステップとを含む。
さらに別の実施例では、活動を観察する方法は、可動装置を制御体積内に位置付けるステップを含み、可動装置は、活動を観察するよう構成された観察装置を装備しており、前記方法はさらに、可動装置が制御体積内で作動する際に、制御体積に対して配置されたモーションキャプチャシステムを用いて、可動装置の1つ以上の運動特性を測定するステップと、モーションキャプチャシステムから、測定された1つ以上の運動特性を受信するステップと、1つ以上の運動特性に基づいてコマンド信号を決定するステップと、可動装置の少なくとも1つの運動特性を閉ループフィードバック手法で制御するために、コマンド信号を可動装置に送信するステップとを含む。
以下の図面を参照して、この発明の実施例を以下に詳しく説明する。
この発明の一実施例に従ったリアルタイム測定および制御システムの概略図である。 図1のフィードバック制御システムの概略図である。 この発明の別の実施例に従った制御システムを用いて1つ以上の車両を制御するための測定および制御方法のフローチャートである。 搭載アプリケーションコンピュータ(内蔵PC)を含む車両を有する制御システムの代替的な一実施例の概略図である。 図1の航空機の上面および側面図である。 図1の航空機とともに作動するモーションキャプチャおよび制御システムの部分図である。 図1の制御システム用のRC送信機およびコンピュータUSBインターフェイスユニットの図である。 この発明の別の実施例に従った制御システムの概略図である。 この発明の代替的な一実施例に従った製造システムの概略図である。 この発明の代替的な一実施例に従った製造システムの概略図である。 この発明の別の代替的な一実施例に従った製造作業を実行する方法のフローチャートである。 この発明のさらに別の実施例に従った、複数の第2の逆反射マーカを有する被制御装置を監視するためのモーションキャプチャシステムを含む制御システムを示す図である。 この発明のさらに別の実施例に従った、複数の第2の逆反射マーカを有する被制御装置を監視するためのモーションキャプチャシステムを含む制御システムを示す図である。 この発明のさらに別の実施例に従った、二足歩行ロボット装置用のモーションキャプチャシステムを含む制御システムである。 この発明のさらに別の実施例に従った、空中観察システム用の制御システムである。
詳細な説明
この発明は、有人および無人の航空機、水中および陸上車両、航空機等の製造に用いる製造車両およびシステム、ならびに他の好適な制御可能装置またはシステムなどを含む制御可能装置の、モーションキャプチャシステムを用いた閉ループフィードバック制御のためのシステムおよび方法に関する。そのような実施例の完全な理解を提供するために、以下の説明および図1〜15において、この発明のいくつかの実施例の多くの具体的な詳細を述べる。しかしながら、当業者であれば、この発明が追加の実施例を有し得ること、または、以下の説明に記載された詳細のうちのいくつかがなくてもこの発明が実践され得ることを理解するであろう。
図1および図2は、この発明の一実施例に従った制御システム400の概略図である。この実施例では、制御システム400は、モーションキャプチャシステム420に結合され、アプリケーションコンピュータ(または分析および表示構成要素)450にもデータリンク452(たとえばイーサネット(登録商標)接続)を介して結合されたモーションキャプチャ処理コンピュータ402を含む。アプリケーションコンピュータ450上で起動されているのは、車両の安定化および外部妨害からの回復を提供するために調整された閉ループフィードバック制御ソフトウェア413である。モーションキャプチャシステム420のいくつかの実施例はカメラ信号収集および処理ユニット404を含む場合があり、それはモーションキャプチャカメラ424の全インスタンスからリアルタイムの画像情報を収集し、データを処理し、その情報を専用接続に沿ってモーションキャプチャ処理コンピュータ402に送信する。この発明の代替的な一実施例では、モーションキャプチャ処理コンピュータ402およびアプリケーションコンピュータ450は組合され得る。モーションキャプチャシステム420によって監視される制御(またはキャプチャ)体積422内に、遠隔制御される車両410といった制御可能装置が位置付けられる。制御可能装置410は、有人または無人航空機(UAV)、地上車両、水中車両、または他の好適なタイプの車両といった車両、製造ロボット、もしくは他のあらゆるタイプの連続的に制御可能な装置であってもよい。さらに、制御可能装置410はあらゆる好適なエネルギ源から動力を受けてもよく、バッテリ、ソーラー、ガソリン、および燃料電池式の装置を含む。
モーションキャプチャシステム420は、制御体積422の周りに割り振られ、車両410上に配置された複数の逆反射マーカ426の位置および動きを監視するよう構成された複数のモーションキャプチャ装置424(たとえばカメラ)を含む。光源(この場合、それら自体の光源を担持可能なモーションキャプチャカメラユニット424)に光を反射し返す逆反射マーカ426は、テープ、球、半球、または他の好適な形状を含むさまざまな形状からなり得る。図1に示す実施例では、モーションキャプチャ装置424はスペクトルの可視部分で作動するが、代替的な実施例では、スペクトルの他の部分(たとえば近赤外、赤外など)で作動する装置が使用されてもよい。モーションキャプチャ装置424は、逆反射マーカ426を監視し、逆反射マーカ426の位置をリアルタイムで信号処理ユニット404とモーションキャプチャ処理コンピュータ402とにエキスポートするよう構成されている。また、これに代えて、車両410上の逆反射マーカ426の位置の演繹的知識を用いて、モーションキャプチャ装置424またはモーションキャプチャ処理コンピュータ402は、測定されたマーカ位置データを内部処理して車両410の位置および方位データを導出してもよく、車両410の位置および方位データをアプリケーションコンピュータ450に出力してもよい。
ある特定の一実施例では、全部で6つのモーションキャプチャ装置424が、部屋の大きさほどの制御体積422(たとえば25′×25′×8′)の周りに割り振られており、逆反射マーカ426の位置のミリメートル未満の位置精度を最大500Hzのリフレッシュレートで提供するよう構成されている。別の実施例では、モーションキャプチャ装置424は、センチメートル未満の位置精度と、少なくとも20Hzの更新頻度と、20分の1秒以下の待ち時間とを有する相関運動測定システムを含む。
このため、モーションキャプチャシステム420は、車両410の位置特性、方位特性、および安定化特性の閉ループフィードバック制御を可能とするよう、車両410の6自由度の運動追跡をほぼリアルタイムで提供し得る。代替的な実施例では、好適な数のモーションキャプチャ装置424(たとえば2つ以上)が使用されてもよく、制御体積422は所望のサイズまで拡大または縮小されてもよい。同様に、代替的な実施例では、モーションキャプチャ装置424は、好適なまたは所望の解像度および動作周波数を提供するよう構成されてもよい。ある特定の一実施例では、50Hzの更新レートおよび1mmの精度が、質量が240gの電気RCヘリコプターシステム(図5)に安定した制御と外部妨害からの十分速い回復とを提供することがわかった。同じ車両が20Hzの更新レートで安定した性能を有することも示されたが、妨害からの回復は遅かった。モーションキャプチャシステム420で使用され得る好適なモーションキャプチャ装置424は、英国オックスフォード(Oxford)のバイコン・リミテッド(Vicon Limited)から商業的に入手可能な装置、およびカリフォルニア(California)州サンタローザ(Santa Rosa)のモーション・アナリシス社(Motion Analysis Corp.)から商業的に入手可能なモーションキャプチャシステムを含む。
図1にさらに示すように、アプリケーションコンピュータ450は、無線リンク、有線ベースのリンク、光ファイバリンク、または他の好適なタイプの通信リンクであり得る通信リンク405を介して、制御可能装置410と通信する。通信リンク405は、アプリケーションコンピュータ450と制御可能装置410との間で信号およびデータを搬送する。代替的な一実施例では、アプリケーションコンピュータ450は、制御可能装置410から映像信号、センサ信号、および他の遠隔測定データを受信し、適切なコマンド信号405を制御可能装置410に送信するよう構成されている。コマンドおよび制御ソフトウェアプログラム413は、制御可能装置410と制御システム400のさまざまな構成要素とを監視し、制御することに関連するさまざまな機能を実行するよう、アプリケーションコンピュータ450上で実現されてもよい。また、これに代えて、アプリケーションコンピュータ450は、これらの機能のうちの1つ以上を実行するよう構成された1つ以上のプログラマブルハードウェア構成要素を含んでいてもよい。制御ソフトウェアプログラム413およびアプリケーションコンピュータ450(またはこれに代えて、搭載プロセッサ414)は、ファームウェア内に制御アプリケーションアルゴリズムをプログラミングすることによって組合され得る。
動作時、アプリケーションコンピュータ450は、適切なコマンド信号405が1つ以上の制御可能装置410に送信されるようにし、1つ以上の制御可能装置410に所望の活動または機能を実行するよう命令する。たとえば、制御可能装置410が航空機である場合、コマンド信号405は航空機に、所望の飛行経路を飛行し、搭載センサを用いて所望の情報を収集するよう命令してもよい。同様に、地上または水中車両は、所望の経路を横断し、情報を収集し、または他の所望の活動を行なうよう命令されてもよい。複数の制御可能装置410を有する実施例については、制御可能装置410は互いに独立して動くよう指令されてもよく、またはそれに代えて、制御可能装置410のうちの2つ以上が、たとえば、2005年6月8日にIEEE・スウォーム・インテリジェンス・シンポジウム(IEEE Swarm Intelligence Symposium)でホランド(Holland)等により提示された「スウォーム・インテリジェンスを超えて:ウルトラスウォーム」(Beyond Swarm Intelligence: The Ultraswarm)においてより十分に説明されているような、群れをなす動きといった協調した手法で動くよう指令されてもよい。
モーションキャプチャ装置424のリアルタイムデータエクスポート能力を使用して、位置および方位情報が、コマンドおよび制御ソフトウェアプログラム413に、もしくは他の好適な制御アプリケーションまたは構成要素に送信される。モーションキャプチャ装置424によって提供された位置および方位データは、各自由度について速度および角速度(双方とも、ノイズを減少させるためにフィルタリングされてもよい)を得るために区別される。位置、方位、線形速度および角速度データは次に(4×4同次変換行列乗算を用いることによって)車両座標に変換されて、エラー信号を計算するために使用される。そして、エラー信号にフィードバック利得値が乗算されて、車両サーボアクチュエータ用のアクチュエータ制御値を生成するために使用される。
次に、制御アプリケーション(たとえばアプリケーションコンピュータ450上のコマンドおよび制御ソフトウェア413)によって求められたアクチュエータ制御値は、制御アプリケーションと車両410との間の通信リンク405によって必要とされるフォーマットに変換される。図7に示す特定の一実施例では、この変換は、信号変換器ユニット655とUSBまたはシリアル接続409とを用いてアプリケーションコンピュータ450につながる「トレーナ」ポートを有するアナログ72MHzのRC(遠隔制御)送信機657の使用により起こる。別の特定の一実施例では、カリフォルニア州フレモント(Fremont)のTTI社(TTI, Inc.)から商業的に入手可能な変換器といった、USBベースのパルス位置変調(PPM)サーボコントローラ変換器655が、PC(パーソナルコンピュータ)からRCへのデータ変換に使用される。代替的な実施例では、あらゆる好適なアナログまたはデジタル送信機装置および変換器が使用されてもよい。
図6に示すように、制御可能装置410が制御空間422内で動いている間、モーションキャプチャシステム420は制御可能装置410上の逆反射マーカ426の位置を追跡して、逆反射マーカ426のある特定の群の位置および方位の表示(四元数または4×4同次変換行列)を生成する。環境におけるさまざまな制御可能装置および他の物体は、各物体上の逆反射マーカ配置の固有のパターンに基づいて、モーションキャプチャシステム420によって識別される。アプリケーションコンピュータ450上で起動している制御ソフトウェア413は、位置および方位フィードバック情報を制御可能装置410の所望の位置と比較し、車両410の動きを制御するための所望のアクチュエータ入力を決定して、制御可能装置410の位置および速度をその所望の位置で、またはその所望の進行方向に沿って、所望の運動速度で制御可能に調節(または維持)するために、適切なコマンド信号408が通信リンク405を介して制御可能装置410に送信されるようにする。
このため、モーションキャプチャシステム420は制御システム400に、制御可能装置410の位置および動きを調節するための閉ループフィードバック制御能力にとって必要な位置および方位情報を提供する。より具体的には、モーションキャプチャシステム420は、制御可能装置410の適正な制御および安定化のために、アプリケーションコンピュータ450がデカルト位置(x、y、z)だけでなく方位(横揺れ、縦揺れ、偏揺れ)制御コマンドも決定、制御できるようにする位置および方位フィードバック情報を有利に提供し得る。
図3は、図1および図2の制御システム400を用いて1つ以上の車両410を制御するための制御方法300のフローチャートである。この実施例では、この方法はブロック302で高レベルコマンド要求を提供することを含み、それは人間のオペレータ、自律エージェント、またはより高いレベルの別のソースから来てもよい。高レベルコマンド要求は、ブロック304で、適正にフォーマット化された車両コマンドに変換される(たとえば図2の状態ベクトルxset)。ブロック306で、閉ループフィードバック制御ループが始まり、そこで車両にフォーマット化されたコマンド要求が受信される。次に、ブロック308で、1つ以上の車両410の1つ以上の位置および方位が取得される。最初、1つ以上の位置および方位は、方法300の始動中の入力または初期状態などから知られてもよく、または、(たとえばブロック320で)位置参照システム420によって決定されてブロック308に入力されてもよい。図3の制御ループは、図2で説明した基本的なフィードバック制御方法の実現化例であり、所望の軌跡を維持することおよび想定外の妨害から回復することを担っている。
ブロック310で、方法300は、位置および方位を区別しフィルタリングすることによって、速度を決定する。このデータを位置および方位データとともに使用して、1つ以上の車両の1つ以上の位置および方位を車両にフォーマット化されたコマンド(たとえば図2のxset)と比較することにより、状態エラー(たとえば図2のxerr)を決定する。ブロック312で、ブロック310での比較に基づき、多くの可能なフィードバック制御手法のうちの1つを用いて、適切なアクチュエータ制御信号が決定される。一実施例では、比例、積分、微分(PID)制御方法が使用される。この方法は、1組のフィードバック制御利得(図2のK)を状態ベクトルエラー(図2のxerr)に適用して、被制御装置(または工場)410に送信された制御信号を決定する。追加の実施例は、フィードバック制御のために現在のシステム状態または予測された状態を使用する他の制御手法を用いてもよい(たとえば極配置、LQR)。加えて、状態のより正確な見積りを出すために、データが多数のタイプの位置、速度、または加速度測定システムを、モーションキャプチャデータと組合せることが可能である(たとえばカルマンフィルタ)。ブロック314で、決定されたアクチュエータ制御信号はRC(遠隔制御)信号に変換され、ブロック316で、RC信号は車両410に送信される。同じアプリケーションコンピュータ450から、または図8の代替的な一実施例に示すような1つ以上のアプリケーションコンピュータ652から、1つ以上の追加の被制御装置を制御するために、方法300の多数のインスタンスが同時に起動され得る。
図3にさらに示すように、ブロック318で、車両410はRC信号に応答して動く。ブロック320で、車両410の位置および速度が位置参照システム420によって監視および測定される。方法300は次にブロック308に戻り、そこで、測定された位置および速度は更新され、ブロック308〜320で説明された上述の動作が無制限に繰返される。このように、方法300はモーションキャプチャシステム420を用いて、被制御装置410の閉ループフィードバック制御のための位置および方位データを提供する。
図4は、この発明の特定の一実施例に従った、航空機411とともに作動する制御システム400を示す。図6は、図1の航空機41とともに作動する制御システム400の部分図である。図6と同様の構成は、車両自体に処理コンピュータが搭載されている図4で説明した実施例でも可能である。図4に示すように、この実施例では、航空機411は、複数のロータアセンブリ412と電源416(たとえばバッテリ)(見えない)とに結合された搭載コントローラ414を含む。特定の一実施例では、航空機410は、イリノイ(Illinois)州シャンペーン(Champaign)のホライゾン・ホビー社(Horizon Hobby, Inc.)から商業的に利用可能であるE−フライト・ブレード(E-flite Blade)CX180 RCヘリコプターの修正版である。別の実施例では、航空機410は、サスカチュワン(Saskatchewan)州サスカツゥーン(Saskatoon)のドラゴンフライ・イノベーションズ社(Dragonfly Innovations, Inc.)から商業的に利用可能なドラゴンフライヤ(Dragonflyer)RCヘリコプターの修正版である。
搭載コントローラおよび処理構成要素414は制御モジュールを含み、それは航空機411上に配置されてもよく、またはそれに代えて、航空機411から遠隔に位置付けられて、無線通信リンクを介して搭載コントローラ414と通信してもよい。特定の一実施例では、処理構成要素414はロボスティックス(Robostix)マイクロコントローラであってもよく、通信構成要素はコネックス(Connex)400xm−btプラットフォームであってもよく、それらは双方とも、カリフォルニア州ポルトラ・バレー(Portola Valley)のガムスティックス社(Gumstix Inc.)から商業的に利用可能である。
図4に示す実施例では、搭載コントローラ414は、モーションキャプチャ処理ユニット402の通信構成要素403と通信するよう適合された通信構成要素415を含む。このため、通信構成要素415は、モーションキャプチャシステム420によって提供されたモーションキャプチャ情報を受信し、これらの情報を搭載コントローラ414に提供し、それは次に適切にフォーマット化されたアクチュエータ制御信号を決定して車両411に送信し、それにより別個のRC送信機407(図1)をなくす。特定の一実施例では、通信構成要素403、415は、ワシントン(Washington)州ベルビュー(Bellevue)のブルートゥースSIG社(Bluetooth SIG, Inc.)により確立されたブルートゥース(登録商標)短距離無線通信規格を用いて通信するよう構成されている。代替的な実施例では、通信構成要素403、415は、電気電子技術者協会(the Institute of Electrical and Electronics Engineers)により開発された802.11無線通信規格、もしくは他の好適な通信規格またはプロトコルを用いてもよい。
この発明に従ったシステムおよび方法の実施例は、先行技術を凌ぐ著しい利点を提供し得る。たとえば、この発明に従った制御システムは受動的な逆反射マーカ426が制御可能装置上に配置されることのみを必要とし、一方、モーションキャプチャシステム420の運動検出装置424は制御可能装置から遠隔に位置付けられるため、この発明の実施例は、搭載カメラ、能動的なマーカ、または他のナビゲーション構成要素を必要とする先行技術のシステムを凌ぐかなりの重量上の利点を提供し得る。この発明の実施例はまた、より大きい制御体積422を有するより大きいシステムに容易に拡張されてもよく、より多数の制御可能装置を制御するためにより大きな能力を有するようアップグレードされてもよい。
プログラムモジュールといった、1つ以上のコンピュータまたは他の装置によって実行される、コンピュータにより実行可能な命令という一般的な文脈において、さまざまなモジュールおよび手法がここに説明され得る、ということが理解されるであろう。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実現するためのルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。これらのプログラムモジュールなどはネイティブコードとして実行されてもよく、もしくは、仮想マシンまたは他のジャスト・イン・タイム・コンパイル実行環境などにおいてダウンロードされ実行されてもよい。典型的には、さまざまな実施例において、プログラムモジュールの機能性は要望通りに組合せされ、または分散されてもよい。これらのモジュールおよび手法の実現化例は、何らかの形のコンピュータ読取り可能な媒体上に格納されてもよく、またはその媒体を通って送信されてもよい。
アプリケーションコンピュータ450もしくは別の環境監視コンピュータを用いて、被制御装置410または411の位置、方位、および他の遠隔測定データを表示することが可能である。所望の軌跡および実際の軌跡が、ほぼリアルタイムで作図され得る。制御または測定システムから導き出されたデータとともに、他の障害および制約も表示可能である。
図8は、この発明の別の実施例に従った制御システム600の概略図である。制御システム600の構成要素のうちのいくつかは図1に従って上述した対応する構成要素と実質的に同じであり、したがって、簡潔にするためにそのような構成要素を再度詳述しない、ということが理解されるであろう。図8に示す実施例では、制御システム600は、複数の制御可能装置610を同時に監視し制御するよう構成されている。より具体的には、モーションキャプチャシステム420は、地上車両610Aと、飛行船(または軽航空機)610Bと、複数のヘリコプター610Cと、ロボットアーム610Dと、他の制御可能物体610Eとを含む制御体積422を監視する。もちろん、代替的な実施例では、他の好適な制御可能装置が使用されてもよい。
制御可能装置610の各々は、上述のように制御システム600によって監視され追跡される複数の逆反射マーカ426を有して構成されている。逆反射マーカ426(または他の好適なマーキング装置)は、モーションキャプチャシステム420が個々の制御可能装置610を識別し区別できるよう、制御可能装置610上に異なるパターンで配置され得る。
図8にさらに示すように、この実施例では、分析および制御構成要素650は、ネットワークスイッチ653を介してモーションキャプチャ処理コンピュータ402に結合された複数のアプリケーションプロセッサ652を含む。各アプリケーションプロセッサ652は、モーションキャプチャ処理コンピュータ402からの出力(たとえば位置参照システム420によって提供された位置および方位データ)を受信し、必要なフィルタリング、バッファリング、信号増幅、または他の所望の機能を実行し、制御信号データを対応するRC信号変換器655に送信する。RC信号変換器655は、上述のように制御信号を制御可能装置610への送信にとって好適なフォーマットに変換し、適正にフォーマット化された制御信号を、送信機の「トレーナ」ポート(図7の657上)を経由して対応する制御可能装置610に送信するために、対応するRC送信機657に通信する。
さらに別の一実施例では、衝突を避けるために必要とされ得るあらゆる動作を含む各物体の範囲および速度の決定のために、モーションキャプチャシステム420によって提供されたモーションキャプチャ情報は、アプリケーションコンピュータ450上で実現されたソフトウェア413といった制御システム600の1つ以上の制御構成要素に同報送信されてもよい。モーションキャプチャシステム420は、所望の位置または進路を維持するために、または衝突を避けるために個々の車両が何をすべきかを決めることはない。
一種の「場所特定サービス」と考えられ得るこの概念の一変形が、別個のアプリケーションコンピュータによって生成可能である。システムにより提供された情報は、航空交通管理に使用されるレーダーベースのシステムに類似している。車両の位置および高度に加え、このシステムは車両の識別、速度、および進行方向も提供可能である。
代替的な実施例では、各制御可能装置610は、図4に関して上述したように、モーションキャプチャシステム420からモーションキャプチャ情報を直接受信してもよく、十分な搭載処理能力を有する搭載プロセッサに、それ自体の位置および動きを決定するためにそれ自体の制御信号を算出させてもよい。そのような実施例では、モーションキャプチャシステム420は、制御体積422内の制御可能装置610のうちの1つ以上(たとえばすべて)についてのモーションキャプチャ情報を、制御可能装置610のうちの1つ以上(たとえばすべて)に同報送信して、各制御装置610の搭載コントローラに、モーションキャプチャ情報を分析して衝突を避けるために何をすべきか決定することをまかせてもよい。さらに別の実施例では、各制御可能装置610の搭載コントローラは、衝突を避けるために必要な決定を行なうために、または所望の任務を協力して行なうために、他の制御可能装置610上の他の搭載コントローラと通信するよう構成されていてもよい。
この発明のさらに別の実施例では、逆反射マーカ426は制御可能装置上に直接位置付けられなくてもよく、むしろ、制御可能装置に結合された物体または積荷上に位置付けられてもよい、ということが理解されるであろう。たとえば、図9は、この発明の代替的な一実施例に従った製造システム100内の複数の分解された航空機構成要素の等角図である。同様に、図10は、航空機構成要素が組立てられた位置にある図9の製造システム100の等角図である。図9に示すように、この実施例では、航空機構成要素は、前部機体アセンブリ102と、中央機体アセンブリ104と、尾部アセンブリ106と、1対の翼アセンブリ108とを含む。航空機構成要素の各々は、制御システム150の遠隔制御可能な製造ロボット152によって運ばれる。製造ロボット152は(たとえば無線通信構成要素を用いて)コントローラ154に結合されており、コントローラ154からのコマンド信号に従って航空機構成要素を支持し、動かすよう適合されている。コントローラ154は独立した構成要素であってもよく、またはそれに代えて、図9に示すように、製造システム100のデータ管理コンピュータ118内に配置されていてもよい。
製造システム100はさらに、作業空間114の周りに割り振られた複数のモーションキャプチャ装置112と、さまざまな構成要素102、104、106、108の表面上に配置された複数のマーカ(たとえば逆反射マーカ)116とを有する位置付けシステム110を含む。モーションキャプチャ装置112は、配線、ケーブル、または無線通信構成要素(図示せず)により、コントローラ154に、またはデータ管理コンピュータ118に結合されている。図9に示すように、航空機構成要素の位置は、異なる数のマーカ116を用いて判断されてもよい。このため、適正な位置および方位の決定のために、比較的単純な形状は2つのマーカ116のみを必要とし(たとえば胴体構成要素102、104)、一方、他の比較的複雑な形状(たとえば翼アセンブリ108)は3つ(またはそれ以上の)マーカ116を必要としてもよい。
動作時、モーションキャプチャ装置112は、分解された製造段階(図9)から航空機構成要素上のマーカ116の位置および方位を監視して追跡し、この情報をコントローラ154に通信する。次に、コントローラ154は、航空機構成要素を最終組立用の所望の位置(図10)に位置付けるために、適切な制御信号を製造ロボット152に送信する。制御システム10は複数の製造ロボット152を同時に制御するよう構成され得るため、さまざまな航空機構成要素102、104、106、108の位置付けは同時に(または連続して)行なわれてもよく、それにより、先行技術の製造システムを凌ぐ改良された製造効率を提供し得る。
この発明に従った製造設備は多種多様の航空機を組立てるために利用され得ること、および、この発明が図9および図10に示す製造設備100の特定の実施例に、または特定の航空機の組立の実施例に限定されないことが理解されるであろう。たとえば、添付図面に示す航空機は一般に、イリノイ州シカゴ(Chicago)のザ・ボーイング・カンパニー(The Boeing Company)から商業的に利用可能な737、747、767、777、および787モデルを例として含む商業用旅客機を表わしているが、ここに開示されたこの発明のシステムおよび方法は、事実上他のあらゆるタイプの航空機の組立にも採用されてもよい。より具体的には、この発明の教示は、たとえば、2001年9月にブック・セールス・パブリッシャーズ(Book Sales Publishers)により出版された、エンツォ アンジェルッチ(Enzo Angelucci)による「軍用機図解百科事典」(The Illustrated Encyclopedia of Military Aircraft)、および英国サリー(Surrey)州コールズドン(Coulsdon)のジェーンズ・インフォメーション・グループ(Jane's Information Group)により出版された「ジェーン世界航空機年鑑」(Jane's All the World's Aircraft)に記載されているものを含む、他の旅客機、戦闘機、貨物機、回転翼航空機、ならびに他の種類の有人または無人航空機の製造および組立に適用されてもよい。
この開示に従った製造設備が多種多様の他の製品の組立に使用されてもよいことも理解されるであろう。たとえば、代替的な実施例では、この発明に従ったシステムおよび方法は、制御可能な製造機械を用いた構成要素の正確な組立を必要とする自動車、レクリエーション用車両、船舶、建物、および事実上他のあらゆる製品の製造に採用されてもよい。この概念はまた、図9および図10に示すような、製造場所への構成要素の搬送のための追加の支援機器153を制御するよう実現されてもよい。
図11は、この発明の一実施例に従った、製造作業を行なう方法200を示すフローチャートである。この実施例では、製造システム100はブロック202で開始され、位置システム110および制御システム150を含んでいる。次に、ブロック204で、制御体積114内の航空機構成要素が位置付けシステム110によって場所を特定される。ブロック206で、構成要素のうちの1つ以上を所望の位置に部分的にまたは完全に動かすために必要な制御信号が決定される。ブロック208で、1つ以上の構成要素を所望の位置に制御可能に動かすために、制御信号が製造ロボット152のうちの1つ以上に通信される。ブロック210で、位置付けシステム110は、製造ロボット152によって動かされている最中の構成要素の位置および方位を監視する。ブロック212で、すべての構成要素が所望の最終位置に到達したかどうかに関して判断が下される。到達していない場合、方法200はブロック204に戻り、構成要素が所望の最終位置に到達するまで、ブロック204〜210で行なわれた動作が繰返される。構成要素が所望の最終位置に到達後、ブロック214で所望の製造作業(たとえば構成要素の結合)が行なわれ、ブロック216で、方法200は他の作業へと続くかまたは終了する。
互いに対して動く被制御装置上の部品に関連する付加的な自由度も、この開示で提示されたモーションキャプチャハードウェアおよびフィードバック制御の概念を用いて測定し、制御することが可能である。モーションキャプチャデータおよび装置運動学の知識を用いることにより、付加的な並進および回転運動を測定し、適切な座標に変換し、フィードバック制御ソフトウェアを介して制御することが可能である。いくつかの実施例では、モーションキャプチャシステムからのデータを用いて、被制御装置に取付けられた可動部品の相対的な線形および角加速度、速度、および位置が、相対的な線形および角加速度、速度、および位置フィードバックのために測定される。これらのタイプの可動部品の例は、制御表面、操縦可能センサ、プロペラ、ロータ、ファン、車輪、着陸装置、ドア、スリング、および巻上げ装置、ならびに他の所望の構成要素を含む。モーションキャプチャシステムによる追跡を可能にするために、部品は、逆反射テープもしく逆反射ボールまたはハーフボールといった適正な逆反射マーカを担持する必要がある。さらに、車両の本体と可動部品との間の運動学的連結を、モーションキャプチャシステムによって使用される参照モデルにおいてモデル化する必要があるかもしれない。
さらに別の実施例では、モーションキャプチャシステムからのデータを用いて、被制御車両に取付けられた、セグメントとして知られる運動学的に連結された可動部品で形成された連結式装置の相対的な線形および角加速度、速度、および位置が、相対的な線形および角加速度、速度、および位置フィードバック制御または状態監視のために測定される。そのような装置は、ロボットアームおよびグリッパ610D(図8)などのロボット先端部を含む。十分な数のセグメントにマーカを適用することにより、また、モーションキャプチャシステムによって使用される参照モデルにおいて装置の運動学的連鎖をモデル化することにより、モーションキャプチャシステムを用いた装置の適正な制御権限が達成され得る。いくつかの実施例については、この種のシステムを用いた測定は、搭載センサ(たとえばエンコーダまたはタコメータ)の代わりに、または搭載センサを補強するために使用され得る。
さらに別の実施例では、モーションキャプチャシステムからのデータを用いて、当初被制御装置に取付けられ、次に被制御装置によって配備された着脱可能な部品の絶対的および相対的な線形ならびに角加速度、速度、および位置を測定してもよい。そのような着脱可能な部品は弾道物体、滑空物体、または自走物体であってもよく、モーションキャプチャシステムによって提供された入力を用いて、それら自体の制御システムにより、所望の軌跡に沿って誘導されてもよい。モーションキャプチャシステムによる追跡を可能にするために、これらの物体には、逆反射マーカ、逆反射テープ、逆反射ボール、ハーフボール、半球、または他の好適な形状を含む適正なマーカが好適に備わっている。さらに、適切な制御権限を達成するために、そのような着脱可能な部品を、モーションキャプチャシステムによって使用される参照モデルにおいてモデル化する必要がある。
この発明のさらに他の実施例は、制御可能装置に取付けられたままとなっている可動構成要素を測定するために使用されてもよい。たとえば、図12は、回転動力式の航空機710を監視するためのモーションキャプチャシステム720を含む制御システム700を示す。航空機710は、モーションキャプチャシステム720が航空機710を追跡できるようにする複数の逆反射マーカ724と、航空機710のロータブレード727上に割り振られた複数の第2の逆反射マーカ725とを含む。第2の逆反射マーカ725により、モーションキャプチャシステム720は、角速度、前進速度、ピッチといったロータブレード727のさまざまな局面を測定できるようになる。同様に、図13は、車輪付き車両760を監視するための制御システム750を示す。車両760は、モーションキャプチャシステム720が車両760を追跡できるようにする複数の逆反射マーカ774と、車輪777のさまざまな動的特性(たとえば角速度、前進速度など)を測定するために車両760の車輪770上に固有の配置パターンを有して割り振られた複数の第2の逆反射マーカ775とを含む。図12および図13に示す実施例では、アプリケーションコンピュータ450上のソフトウェア413は、モーションキャプチャシステム720によって提供された追加データを表示するためのグラフィック遠隔測定要素(たとえばタコメータ)451を含む。この第2のデータは次に、車両またはブレードの運動を直接制御するために、制御ソフトウェアによって使用され得る。
図14は、この発明のさらに他の実施例に従った、二足歩行ロボット装置810用のモーションキャプチャシステム20を含む制御システム800を示す。二足歩行ロボット装置810は、二足歩行ロボット装置810の制御された動きを提供するために、制御信号を決定してさまざまなサーボモータ、アクチュエータ、および他の構成要素に送信するよう構成された搭載コントローラ814を含む。図4に関して上述したように、この実施例では、モーションキャプチャシステム20は、装置810の外側部分に配置された複数のマーカ(たとえば逆反射マーカ)824を監視して、測定されたモーションキャプチャデータを通信構成要素403を介して搭載コントローラ814に送信する。もちろん、代替的な実施例では、制御システム800は、図8に示すシステムに関して上述したように、アプリケーションコンピュータ650と1つ以上のRC送信機657等の制御ユニットとを含むよう構成されていてもよい。
ロボット装置810は、たとえば、日本、東京のソニー株式会社(Sony Corporation)によって開発されたキュリオ(QRIO)装置、日本、東京のホンダ技研工業株式会社(Honda Motor Co., Ltd.)によって開発されたアシモ(ASIMO)装置、韓国、ソウルのロボティス社(Robotis, Inc.)によって開発されたRX二足歩行ロボットを含む、さまざまな公知の装置の好適な修正版であってもよい。しかしながら、この発明の実施例は二足歩行ロボット装置に限定されないこと、および、多種多様のロボット装置がこの開示の教示に従って作動するよう好適に構成され得ることが理解されるであろう。さらに別の実施例では、この発明に従った制御システムは、たとえば、ロボティス社から商業的に入手可能な被制御サーボ技術および装置に基づいたあらゆる装置、または、デンマーク、ビルン(Billund)のレゴ社(The Lego Group)、ニューヨーク(New York)州イーストオーロラ(East Aurora)のフィッシャー・プライス社(Fisher-Price, Inc.)、またはテキサス(Texas)州フォートワース(Fort Worth)のレディオシャック社(RadioShack Corporation)から商業的に入手可能なロボットキット、玩具、および組立装置を含む、二足歩行装置以外の多種多様のロボット装置とともに使用されてもよい。
図15は、この発明のさらに別の実施例に従った空中観察システム880用の制御システム850である。空中観察システム880は、図4に示すシステムに関して上述したような航空機410とモーションキャプチャシステム420とを含む。この実施例では、制御体積822は競技場を含み、複数のモーションキャプチャ装置424が制御体積822の周りに配置されている。制御体積822内で行なわれている活動(たとえばスポーツイベント、演奏および演劇、演説など)を見るために、観察装置885が航空機410に結合されている。観察装置885は、制御体積822内で行なわれている活動の画像を、テレビ網に、閉回路網(たとえば競技場、警備ブース、監視網などの中のスクリーン)に、または後の検討および分析用のデータベースに同報送信するためのテレビジョンカメラであってもよい。このため、空中観察システム880は、制御体積822内で行なわれている活動を観察するための制御可能で非常に操作しやすいプラットフォームを有利に提供し得る。
もちろん、この発明の実施例は、上に説明し、図15に示す特定の実施例に限定されない。たとえば、代替的な実施例では、制御体積822は、劇場、集会場、競技場、ゴルフコース、空港、ショッピングモール、もしくは他の好適な環境または設備を含む多種多様の設備または環境を含んでいてもよい。同様に、さらに別の実施例では、制御体積822は、建設現場、鉱山、原子炉敷地、トンネル、損傷した構造、洞窟、化学処理設備、または他の潜在的に有害な環境といった有害な作業環境を含んでいてもよい。また、これに代えて、この発明に従ったシステムおよび方法の実施例は、潜水艇、遠隔操作車両(ROV)、潜水艦などを制御するために、水面下または水中の環境で使用されてもよい。そしてさらに別の実施例では、観察装置885は、軽航空機、地上車両、製造ロボット、二足歩行ロボット、玩具、もしくは他の好適な装置またはプラットフォームを含む、あらゆるタイプの制御可能装置上に位置付けられてもよい。

Claims (9)

  1. 複数の制御可能装置を作動させる方法であって、
    前記複数の制御可能装置が制御体積内で作動する際に、前記制御体積に対して配置されたモーションキャプチャシステムを用いて、前記複数の制御可能装置の各々の、1つ以上の運動特性を測定するステップであって、前記1つ以上の運動特性は、前記複数の制御可能装置の各々に固有の、互いに異なるパターンで、前記複数の制御可能装置の各々の上に位置付けられた複数の逆反射マーカを用いて測定される、ステップと、
    少なくとも1つの通信網に結合されたアプリケーションコンピュータによって、前記モーションキャプチャシステムから、前記少なくとも1つの通信網を用いて、前記測定された1つ以上の運動特性を受信するステップと、
    前記アプリケーションコンピュータによって、前記1つ以上の運動特性に基づいて前記複数の制御可能装置の各々に対するコマンド信号を決定するステップと、
    前記制御可能装置の少なくとも1つの運動特性を閉ループフィードバック手法で制御するために、前記コマンド信号の各々、前記アプリケーションコンピュータから対応する前記制御可能装置に各々送信するステップとを備える、方法。
  2. 前記アプリケーションコンピュータからの前記コマンド信号を、前記制御可能装置にとって好適にフォーマット化された再調整済み信号に再調整するステップをさらに備える、請求項に記載の方法。
  3. 1つ以上の運動特性を測定するステップは、前記制御体積の少なくとも一部の周りに割り振られた複数の運動検出装置を用いて1つ以上の運動特性を測定するステップを含み、前記運動検出装置は、前記制御体積内で作動している前記複数の制御可能装置の各々についての6自由度の情報を決定するよう構成されている、請求項1または2に記載の方法。
  4. 1つ以上の運動特性を測定するステップは、スペクトルの可視波長部分およびスペクトルの赤外波長部分のうちの少なくとも1つを用いて前記逆反射マーカを追跡するよう構成された複数のカメラ装置を用いて、1つ以上の運動特性を測定するステップを含む、請求項1または2に記載の方法。
  5. 前記制御可能装置の1つ以上の運動特性を測定するステップは、車両およびロボットのうちの少なくとも1つの1つ以上の運動特性を測定するステップを含む、請求項1〜のいずれかに記載の方法。
  6. 複数の制御可能装置を制御するためのシステムであって、
    前記複数の制御可能装置が制御体積内で作動している際に、前記複数の制御可能装置の各々の1つ以上の運動特性を測定するよう構成されたモーションキャプチャシステムであって、前記複数の制御可能装置の各々は、前記複数の制御可能装置の各々に固有の、互いに異なるパターンで前記複数の制御可能装置の各々の上に位置付けられた複数の逆反射マーカを有し、前記モーションキャプチャシステムは、前記制御体積に対して位置付けられた複数の検出装置を含み、前記複数の検出装置は、前記複数の制御可能装置の各々の上に位置付けられた前記逆反射マーカのうちの少なくとも一部を検出するよう構成されている、モーションキャプチャシステムと、
    前記モーションキャプチャシステムに結合された少なくとも1つの通信網と、
    前記少なくとも1つの通信網に結合され、前記モーションキャプチャシステムから前記測定された運動特性を受信し、前記測定された運動特性に基づいて、前記複数の制御可能装置の各々に対するコマンド信号を決定するよう構成されたアプリケーションコンピュータと、
    前記少なくとも1つの通信網に結合され、前記コマンド信号の各々を受信して前記コマンド信号の各々を、前記複数の制御可能装置の各々に送信するよう構成された複数の制御モジュールを備え
    前記複数の制御可能装置の各々は、対応する前記コマンド信号を受信し、前記複数の制御可能装置の少なくとも1つの運動特性を閉ループフィードバック手法で調節するよう構成されている、システム。
  7. 前記複数の制御モジュールはさらに、前記コマンド信号を、前記複数の制御可能装置による使用にとって好適なフォーマットに再調整するよう構成されている、請求項に記載のシステム。
  8. 前記複数の検出装置は、前記制御体積内で作動している前記制御可能装置の各々についての6自由度の情報を決定するよう構成されている、請求項6または7に記載のシステム。
  9. 記複数の検出装置は複数の運動検出カメラを備える、請求項6または7に記載のシステム。
JP2013090426A 2006-07-24 2013-04-23 モーションキャプチャシステムを用いた閉ループフィードバック制御 Active JP5580450B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/459,631 US7643893B2 (en) 2006-07-24 2006-07-24 Closed-loop feedback control using motion capture systems
US11/459,631 2006-07-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009521750A Division JP5543779B2 (ja) 2006-07-24 2007-06-29 モーションキャプチャシステムを用いた閉ループフィードバック制御

Publications (2)

Publication Number Publication Date
JP2013175221A JP2013175221A (ja) 2013-09-05
JP5580450B2 true JP5580450B2 (ja) 2014-08-27

Family

ID=38738793

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009521750A Active JP5543779B2 (ja) 2006-07-24 2007-06-29 モーションキャプチャシステムを用いた閉ループフィードバック制御
JP2013090426A Active JP5580450B2 (ja) 2006-07-24 2013-04-23 モーションキャプチャシステムを用いた閉ループフィードバック制御

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009521750A Active JP5543779B2 (ja) 2006-07-24 2007-06-29 モーションキャプチャシステムを用いた閉ループフィードバック制御

Country Status (4)

Country Link
US (1) US7643893B2 (ja)
EP (2) EP2682837B1 (ja)
JP (2) JP5543779B2 (ja)
WO (1) WO2008013648A2 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813888B2 (en) * 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
US7885732B2 (en) * 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
EP2217489B1 (en) * 2007-11-29 2017-04-05 Airbus Operations GmbH Diagnosis system
US8452052B2 (en) * 2008-01-21 2013-05-28 The Boeing Company Modeling motion capture volumes with distance fields
US8392045B2 (en) * 2008-09-05 2013-03-05 The Boeing Company System and methods for aircraft preflight inspection
KR20120089452A (ko) 2009-08-04 2012-08-10 아이큐 비젼 테크놀로지즈 리미티드 물체 추출 시스템 및 방법
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
US8379224B1 (en) * 2009-09-18 2013-02-19 The Boeing Company Prismatic alignment artifact
US8713998B2 (en) 2011-06-14 2014-05-06 The Boeing Company Autonomous non-destructive evaluation system for aircraft structures
US9250213B1 (en) 2011-06-14 2016-02-02 The Boeing Company Ultrasound inspection system for inspecting a test object with non-planar features
US9037282B2 (en) 2011-06-24 2015-05-19 The Boeing Company Manufacturing control system
WO2013002778A1 (en) * 2011-06-29 2013-01-03 Massachusetts Institute Of Technology 3-d luminous pixel arrays, 3-d luminous pixel array control systems and methods of controlling 3-d luminous pixel arrays
US9143769B2 (en) 2011-06-29 2015-09-22 Massachusetts Institute Of Technology 3-D luminous pixel arrays, 3-D luminous pixel array control systems and methods of controlling 3-D luminous pixel arrays
US9221506B1 (en) 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
US8738226B2 (en) 2011-07-18 2014-05-27 The Boeing Company Holonomic motion vehicle for travel on non-level surfaces
US8874371B2 (en) 2011-08-09 2014-10-28 The Boeing Company Beam directed motion control system
US8892252B1 (en) 2011-08-16 2014-11-18 The Boeing Company Motion capture tracking for nondestructive inspection
KR20150004915A (ko) * 2012-04-30 2015-01-13 더 트러스티스 오브 더 유니버시티 오브 펜실바니아 쿼드로터 팀의 3차원적 조정
EP2727843B1 (en) 2012-10-30 2020-07-01 The Boeing Company Apparatus for automated maintenance of aircraft structural elements
US9414026B2 (en) 2013-01-25 2016-08-09 The Boeing Company System and method for automated crack inspection and repair
US11099570B2 (en) * 2013-02-03 2021-08-24 Michael H Gurin Systems for a shared vehicle
EP2778819A1 (en) * 2013-03-12 2014-09-17 Thomson Licensing Method for shooting a film performance using an unmanned aerial vehicle
US9043146B2 (en) 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
US10725478B2 (en) * 2013-07-02 2020-07-28 The Boeing Company Robotic-mounted monument system for metrology systems
EP3074832A4 (en) 2013-11-27 2017-08-30 The Trustees Of The University Of Pennsylvania Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
US9410659B2 (en) 2014-02-10 2016-08-09 The Boeing Company Automated mobile boom system for crawling robots
US9834323B2 (en) 2014-05-16 2017-12-05 The Boeing Company Automated scanning systems for non-destructive inspection of curved cylinder-like workpieces
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US10061058B2 (en) 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US10025990B2 (en) 2014-05-21 2018-07-17 Universal City Studios Llc System and method for tracking vehicles in parking structures and intersections
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
US9433870B2 (en) * 2014-05-21 2016-09-06 Universal City Studios Llc Ride vehicle tracking and control system using passive tracking elements
KR101613418B1 (ko) * 2014-05-29 2016-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
US10139819B2 (en) * 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
US9746447B2 (en) 2014-10-30 2017-08-29 The Boeing Company Apparatuses, systems, and methods for inspecting a component
US9664652B2 (en) 2014-10-30 2017-05-30 The Boeing Company Non-destructive ultrasonic inspection apparatus, systems, and methods
US10395115B2 (en) 2015-01-27 2019-08-27 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for robotic remote sensing for precision agriculture
US9740191B2 (en) 2015-02-12 2017-08-22 The Boeing Company Location calibration for automated production manufacturing
US10037028B2 (en) 2015-07-24 2018-07-31 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for on-board sensing and control of micro aerial vehicles
US10884430B2 (en) 2015-09-11 2021-01-05 The Trustees Of The University Of Pennsylvania Systems and methods for generating safe trajectories for multi-vehicle teams
US10169928B2 (en) * 2015-12-09 2019-01-01 Hitachi, Ltd. Apparatus for providing data to a hardware-in-the-loop simulator
WO2017116241A1 (en) * 2015-12-30 2017-07-06 Tds Polska Sp. Z O.O. The video-based system for the analysis of the sports' playground data for the purpose of statistical analysis, training and tactics development, especially in the basketball
US9892558B2 (en) 2016-02-19 2018-02-13 The Boeing Company Methods for localization using geotagged photographs and three-dimensional visualization
US10029788B2 (en) 2016-03-28 2018-07-24 Zipline International Inc. Vision based calibration system for unmanned aerial vehicles
TWI682876B (zh) * 2016-05-27 2020-01-21 日商日本電氣股份有限公司 檢查系統、管制裝置以及管制方法
AU2017290128B2 (en) * 2016-06-29 2022-08-11 Vision Quest Industries Incorporated Dba Vq Orthocare Measurement and ordering system for orthotic devices
US10607409B2 (en) 2016-07-19 2020-03-31 The Boeing Company Synthetic geotagging for computer-generated images
US20180120196A1 (en) 2016-10-31 2018-05-03 The Boeing Company Method and system for non-destructive testing using an unmanned aerial vehicle
CN106527439B (zh) * 2016-10-31 2020-12-04 纳恩博(北京)科技有限公司 一种运动控制方法和装置
US10347109B2 (en) 2016-11-08 2019-07-09 The Boeing Company Automated human personnel fall arresting system and method
US10554950B1 (en) * 2017-03-16 2020-02-04 Amazon Technologies, Inc. Collection of camera calibration data using augmented reality
WO2018230517A1 (ja) 2017-06-13 2018-12-20 川崎重工業株式会社 作業システム
US10814480B2 (en) 2017-06-14 2020-10-27 The Boeing Company Stabilization of tool-carrying end of extended-reach arm of automated apparatus
US10625427B2 (en) 2017-06-14 2020-04-21 The Boeing Company Method for controlling location of end effector of robot using location alignment feedback
JP6943988B2 (ja) * 2017-09-18 2021-10-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動可能物体の制御方法、機器およびシステム
US10394234B2 (en) 2017-12-18 2019-08-27 The Boeing Company Multi-sensor safe path system for autonomous vehicles
US11614743B2 (en) 2018-02-26 2023-03-28 The Boeing Company System and method for navigating a sensor-equipped mobile platform through an environment to a destination
JP2019159488A (ja) * 2018-03-08 2019-09-19 日本電信電話株式会社 飛行制御装置、方法、プログラム、及び記憶媒体
US10953938B2 (en) 2018-03-15 2021-03-23 The Boeing Company Apparatus and methods for maintenance of wind turbine blades
US10634632B2 (en) 2018-04-25 2020-04-28 The Boeing Company Methods for inspecting structures having non-planar surfaces using location alignment feedback
US10800550B2 (en) 2018-06-21 2020-10-13 The Boeing Company Positioning enhancements to localization process for three-dimensional visualization
US10823709B2 (en) 2018-07-06 2020-11-03 The Boeing Company Methods and apparatus for realigning and re-adhering a hanging crawler vehicle on a non-level surface
US11053925B2 (en) 2018-07-19 2021-07-06 The Boeing Company Cable-suspended non-destructive inspection units for rapid large-area scanning
US11007635B2 (en) 2018-07-25 2021-05-18 The Boeing Company Gravity compensation for self-propelled robotic vehicles crawling on non-level surfaces
US11149718B2 (en) * 2018-08-21 2021-10-19 The Boeing Company Methods and apparatus for maintaining airfoil-shaped body using cart that follows trailing edge
US10955310B2 (en) 2018-09-12 2021-03-23 The Boeing Company Vacuum-adhering apparatus for automated inspection of airfoil-shaped bodies with improved surface mounting
US10996754B2 (en) 2018-10-12 2021-05-04 Aurora Flight Sciences Corporation Manufacturing monitoring system
US11079760B2 (en) 2018-11-28 2021-08-03 The Boeing Company Methods for maintaining difficult-to-access structures using unmanned aerial vehicles
US11385204B2 (en) 2018-12-11 2022-07-12 The Boeing Company Fan-propelled surface-adhering apparatus for automated maintenance operations
DK3948470T3 (da) * 2019-04-02 2022-10-24 Zauberzeug Gmbh Optisk positionsmarkering, robot med sådan markering og styresystem til en sådan robot
US11275391B2 (en) 2019-05-13 2022-03-15 The Boeing Company In-service maintenance process using unmanned aerial vehicles
JP7522346B2 (ja) 2019-11-01 2024-07-25 日本製鉄株式会社 機械設備の状態検出システム、方法及びプログラム
US20210209543A1 (en) * 2020-01-06 2021-07-08 Amazon Technologies, Inc. Directing secondary delivery vehicles using primary delivery vehicles
US11630459B2 (en) 2020-01-29 2023-04-18 The Boeing Company Repair of structures using unmanned aerial vehicles
US11891174B2 (en) 2020-02-05 2024-02-06 The Boeing Company Repair of structures using unmanned aerial vehicles
US11529777B2 (en) 2020-02-05 2022-12-20 The Boeing Company Hot bond repair of structures using unmanned aerial vehicles
CN111487904B (zh) * 2020-04-14 2021-08-13 上海商汤临港智能科技有限公司 参数配置方法及装置、电子设备和存储介质
US11825131B2 (en) * 2020-05-12 2023-11-21 Sony Group Corporation Using ATSC 3.0 to augment in-stadium video feeds
US11555693B2 (en) 2020-05-12 2023-01-17 The Boeing Company Measurement of surface profiles using unmanned aerial vehicles
US11745872B2 (en) 2020-06-19 2023-09-05 The Boeing Company Methods for marking surfaces using unmanned aerial vehicles
CN112258769A (zh) * 2020-11-09 2021-01-22 华能通辽风力发电有限公司 一种风机危险源点自动识别管控系统
CN213956419U (zh) * 2021-01-08 2021-08-13 杭州宇树科技有限公司 一种四足机器人定位装置以及四足机器人编队
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
US11961305B2 (en) 2021-09-08 2024-04-16 The Boeing Company Enhanced vehicle navigation using non-destructive inspection one-dimensional sensor arrays
US11939081B2 (en) 2021-12-14 2024-03-26 The Boeing Company End effectors with multi-axis roller wheels, systems including the same, and related methods
US11975869B2 (en) 2022-05-02 2024-05-07 The Boeing Company Lighting system inspection using an unmanned aerial vehicle
AU2024200262A1 (en) * 2023-01-20 2024-08-08 Angel Group Co., Ltd. Unmanned transport system

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148591A (en) * 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
US4654949A (en) * 1982-02-16 1987-04-07 Diffracto Ltd. Method for automatically handling, assembling and working on objects
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
GB8807355D0 (en) 1988-03-28 2000-03-15 British Aerospace Missile guidance
US5109345A (en) * 1990-02-20 1992-04-28 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Closed-loop autonomous docking system
US5380978A (en) * 1991-07-12 1995-01-10 Pryor; Timothy R. Method and apparatus for assembly of car bodies and other 3-dimensional objects
US5489830A (en) 1994-09-09 1996-02-06 Mcdonnell Douglas Corporation Control system with loadfeel and backdrive
US5721680A (en) * 1995-06-07 1998-02-24 Hughes Missile Systems Company Missile test method for testing the operability of a missile from a launch site
US6460004B2 (en) * 1996-02-06 2002-10-01 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US5637826A (en) * 1996-02-07 1997-06-10 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for optimal guidance
US5909218A (en) * 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
DE19731724A1 (de) 1997-07-23 1999-01-28 Horst Juergen Dipl Ing Duschek Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels und unbemanntes Fortbewegungsmittelsystem zum Durchführen dieses Verfahrens
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
DE59803221D1 (de) 1997-10-06 2002-04-04 Siemens Ag Verfahren und vorrichtung zur automatisch unterstützten führung von luftfahrzeugen zu einer parkposition
GB0022444D0 (en) * 2000-09-13 2000-11-01 Bae Systems Plc Positioning system and method
US9625905B2 (en) 2001-03-30 2017-04-18 Immersion Corporation Haptic remote control for toys
JP2003106812A (ja) * 2001-06-21 2003-04-09 Sega Corp 画像情報処理方法、その方法を利用したシステム及びプログラム
JP2004536400A (ja) * 2001-07-16 2004-12-02 本田技研工業株式会社 行動制御装置および方法
FR2830078B1 (fr) 2001-09-25 2004-01-30 Sagem Procede de guidage d'une roquette
EP1502896A4 (en) 2002-01-23 2009-11-18 Toyota Jidoshokki Kk POSITION CONTROL DEVICE AND POSITION CONTROL PROCESS FOR LOADING DEVICE IN INDUSTRIAL VEHICLE
FR2849223B1 (fr) * 2002-09-23 2009-01-02 Stefan Johannes Reich Systeme de mesure et de stabilisation pour vehicules et objets volants
JP4141860B2 (ja) * 2003-02-26 2008-08-27 健蔵 野波 小型無人ヘリコプタの自律制御装置及びプログラム
US6896220B2 (en) * 2003-05-23 2005-05-24 Raytheon Company Munition with integrity gated go/no-go decision
SG115546A1 (en) * 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
IL156739A0 (en) 2003-07-02 2009-02-11 Elta Systems Ltd Method and system for destroying rockets
US6955324B2 (en) * 2003-10-22 2005-10-18 The Boeing Company Laser-tethered vehicle
JP4592276B2 (ja) * 2003-10-24 2010-12-01 ソニー株式会社 ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム
US7542040B2 (en) * 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
JP4408252B2 (ja) * 2004-09-14 2010-02-03 国立大学法人 奈良先端科学技術大学院大学 制御装置およびプログラム
JP4617428B2 (ja) * 2004-09-24 2011-01-26 株式会社国際電気通信基礎技術研究所 動作生成システム
US7313463B2 (en) * 2005-03-31 2007-12-25 Massachusetts Institute Of Technology Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods

Also Published As

Publication number Publication date
US7643893B2 (en) 2010-01-05
EP2069876A2 (en) 2009-06-17
WO2008013648A2 (en) 2008-01-31
EP2682837B1 (en) 2019-10-16
JP2013175221A (ja) 2013-09-05
EP2069876B1 (en) 2013-10-02
WO2008013648A3 (en) 2009-05-07
EP2682837A1 (en) 2014-01-08
JP2009545061A (ja) 2009-12-17
US20080125896A1 (en) 2008-05-29
JP5543779B2 (ja) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5580450B2 (ja) モーションキャプチャシステムを用いた閉ループフィードバック制御
US7885732B2 (en) Systems and methods for haptics-enabled teleoperation of vehicles and other devices
Cai et al. An overview on development of miniature unmanned rotorcraft systems
Ollero et al. Control and perception techniques for aerial robotics
Kim et al. Accurate modeling and robust hovering control for a quad-rotor VTOL aircraft
CN106716272B (zh) 用于飞行模拟的系统和方法
Pizetta et al. A hardware-in-the-loop platform for rotary-wing unmanned aerial vehicles
KR102244988B1 (ko) 군집 비행을 위한 복수 개의 무인항공기의 군집 비행 제어 시스템 및 방법
TWI394687B (zh) 手擲式無人飛行系統
Vitzilaios et al. An experimental test bed for small unmanned helicopters
Etter et al. Cooperative flight guidance of autonomous unmanned aerial vehicles
Phang et al. Autonomous tracking and landing on moving ground vehicle with multi-rotor UAV
Xie et al. Development of a small UAV with autopilot capability
Andaluz et al. Construction of a quadcopter for autonomous and teleoperated navigation
Meyer et al. A flexible real-time control system for autonomous vehicles
Tretyakov et al. Hardware architecture of a four-rotor UAV for USAR/WSAR scenarios
Lieser et al. A low-cost mobile infrastructure for compact aerial robots under supervision
Mak et al. Design and development of micro aerial vehicles and their cooperative systems for target search and tracking
Jones Coordination and control for multi-quadrotor UAV missions
AU2012211357B2 (en) Systems and methods for haptics-enabled teleoperation of vehicles and other devices
Ollero Control and perception techniques for aerial robotics
Mak et al. Design and development of the micro aerial vehicles for search, tracking and reconnaissance (MAVSTAR) for MAV08
Jerónimo et al. Line following and ground vehicle tracking by an autonomous aerial blimp
Xie et al. Integration of an autopilot system with a hobby RC helicopter
Charland-Arcand et al. Dronolab 2012 technical paper on UAV design for indoor flight for the 22nd annual IARC competition

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140710

R150 Certificate of patent or registration of utility model

Ref document number: 5580450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250