JP5580450B2 - モーションキャプチャシステムを用いた閉ループフィードバック制御 - Google Patents

Description

発明の背景
この発明は一般に、モーションキャプチャシステムを用いた制御可能装置の閉ループフィードバック制御のためのシステムおよび方法に関する。

多くの可動装置は、ある種の制御システムを必要とする。たとえば、遠隔制御される空中、水上および陸上車両を含むさまざまな車両は、人間のオペレータまたは機械のコントローラが車両の動きを監視し、適切な制御信号を発行して、所望の経路にわたって車両を誘導することを可能にする制御システムを必要とする。同様に、製造ロボットは、製造作業中の動きを適正に制御するために、好適な制御システムを必要とする。明らかに、多種多様の制御可能装置は、所望の制御可能な動きを生じさせるために制御システムを必要とする。

制御可能装置に制御信号を与えるための先行技術のシステムおよび方法は望ましい結果を達成してきたが、改良の余地がある。たとえば、搭載センサを用いる制御システムは、望ましくないことに、車両の重量およびコストを増大させる場合があり、また、用途によっては必要となる精度および更新頻度を提供しない場合がある。したがって、先行技術の制御システムのこれらの望ましくない局面を軽減する新規のシステムおよび方法が、実用性を有する。

発明の概要
この発明は、モーションキャプチャシステムを用いた制御可能装置の閉ループフィードバック制御のためのシステムおよび方法に向けられている。この発明の実施例は、先行技術の制御システムおよび方法に比べ、非常に正確、迅速でかつコスト効率のよい手法で、閉ループフィードバック制御を有利に提供し得る。

一実施例では、１つ以上の制御可能装置を制御するためのシステムは、モーションキャプチャシステムと、プロセッサと、運動制御システムとを含む。モーションキャプチャシステムは、１つ以上の制御可能装置が制御体積（control volume）内で作動している際に、１つ以上の制御可能装置の１つ以上の運動特性（位置および方位）を繰返し測定するよう構成されている。プロセッサは、モーションキャプチャシステムから測定値を受信し、その測定値に基づいて制御信号を決定するよう構成されている。運動制御システムは制御信号を受信して、１つ以上の制御可能装置の少なくとも１つの運動特性を閉ループフィードバック手法で、ほぼリアルタイムで調節する。

別の実施例では、製造システムは、加工物を制御可能に位置付けるよう適合された位置制御システムを含む少なくとも１つの制御可能装置を含む。加工物上には複数のマーカが位置付けられ、モーションキャプチャシステムが、加工物が制御体積内で制御可能装置によって制御可能に位置付けられる際に、複数のマーカの１つ以上の運動特性を繰返し測定するよう構成されている。処理構成要素が、モーションキャプチャシステムから測定された運動特性を受信して、測定された運動特性に基づいて少なくとも１つのコマンド信号を決定する。制御可能装置の位置制御システムは、制御信号を受信し、加工物の少なくとも１つの運動特性を閉ループフィードバック手法で調節する。

さらに別の実施例では、制御可能装置を作動させる方法は、制御可能装置が制御体積内で作動する際に、制御体積に対して配置されたモーションキャプチャシステムを用いて、制御可能装置の１つ以上の運動特性を測定するステップと、モーションキャプチャシステムから、測定された１つ以上の運動特性を受信するステップと、１つ以上の運動特性に基づいてコマンド信号を決定するステップと、制御可能装置の少なくとも１つの運動特性を閉ループフィードバック手法で制御するために、コマンド信号を制御可能装置に送信するステップとを含む。

さらに別の実施例では、活動を観察する方法は、可動装置を制御体積内に位置付けるステップを含み、可動装置は、活動を観察するよう構成された観察装置を装備しており、前記方法はさらに、可動装置が制御体積内で作動する際に、制御体積に対して配置されたモーションキャプチャシステムを用いて、可動装置の１つ以上の運動特性を測定するステップと、モーションキャプチャシステムから、測定された１つ以上の運動特性を受信するステップと、１つ以上の運動特性に基づいてコマンド信号を決定するステップと、可動装置の少なくとも１つの運動特性を閉ループフィードバック手法で制御するために、コマンド信号を可動装置に送信するステップとを含む。

以下の図面を参照して、この発明の実施例を以下に詳しく説明する。

この発明の一実施例に従ったリアルタイム測定および制御システムの概略図である。 図１のフィードバック制御システムの概略図である。 この発明の別の実施例に従った制御システムを用いて１つ以上の車両を制御するための測定および制御方法のフローチャートである。 搭載アプリケーションコンピュータ（内蔵ＰＣ）を含む車両を有する制御システムの代替的な一実施例の概略図である。 図１の航空機の上面および側面図である。 図１の航空機とともに作動するモーションキャプチャおよび制御システムの部分図である。 図１の制御システム用のＲＣ送信機およびコンピュータＵＳＢインターフェイスユニットの図である。 この発明の別の実施例に従った制御システムの概略図である。 この発明の代替的な一実施例に従った製造システムの概略図である。 この発明の代替的な一実施例に従った製造システムの概略図である。 この発明の別の代替的な一実施例に従った製造作業を実行する方法のフローチャートである。 この発明のさらに別の実施例に従った、複数の第２の逆反射マーカを有する被制御装置を監視するためのモーションキャプチャシステムを含む制御システムを示す図である。 この発明のさらに別の実施例に従った、複数の第２の逆反射マーカを有する被制御装置を監視するためのモーションキャプチャシステムを含む制御システムを示す図である。 この発明のさらに別の実施例に従った、二足歩行ロボット装置用のモーションキャプチャシステムを含む制御システムである。 この発明のさらに別の実施例に従った、空中観察システム用の制御システムである。

詳細な説明
この発明は、有人および無人の航空機、水中および陸上車両、航空機等の製造に用いる製造車両およびシステム、ならびに他の好適な制御可能装置またはシステムなどを含む制御可能装置の、モーションキャプチャシステムを用いた閉ループフィードバック制御のためのシステムおよび方法に関する。そのような実施例の完全な理解を提供するために、以下の説明および図１〜１５において、この発明のいくつかの実施例の多くの具体的な詳細を述べる。しかしながら、当業者であれば、この発明が追加の実施例を有し得ること、または、以下の説明に記載された詳細のうちのいくつかがなくてもこの発明が実践され得ることを理解するであろう。

図１および図２は、この発明の一実施例に従った制御システム４００の概略図である。この実施例では、制御システム４００は、モーションキャプチャシステム４２０に結合され、アプリケーションコンピュータ（または分析および表示構成要素）４５０にもデータリンク４５２（たとえばイーサネット（登録商標）接続）を介して結合されたモーションキャプチャ処理コンピュータ４０２を含む。アプリケーションコンピュータ４５０上で起動されているのは、車両の安定化および外部妨害からの回復を提供するために調整された閉ループフィードバック制御ソフトウェア４１３である。モーションキャプチャシステム４２０のいくつかの実施例はカメラ信号収集および処理ユニット４０４を含む場合があり、それはモーションキャプチャカメラ４２４の全インスタンスからリアルタイムの画像情報を収集し、データを処理し、その情報を専用接続に沿ってモーションキャプチャ処理コンピュータ４０２に送信する。この発明の代替的な一実施例では、モーションキャプチャ処理コンピュータ４０２およびアプリケーションコンピュータ４５０は組合され得る。モーションキャプチャシステム４２０によって監視される制御（またはキャプチャ）体積４２２内に、遠隔制御される車両４１０といった制御可能装置が位置付けられる。制御可能装置４１０は、有人または無人航空機（ＵＡＶ）、地上車両、水中車両、または他の好適なタイプの車両といった車両、製造ロボット、もしくは他のあらゆるタイプの連続的に制御可能な装置であってもよい。さらに、制御可能装置４１０はあらゆる好適なエネルギ源から動力を受けてもよく、バッテリ、ソーラー、ガソリン、および燃料電池式の装置を含む。

モーションキャプチャシステム４２０は、制御体積４２２の周りに割り振られ、車両４１０上に配置された複数の逆反射マーカ４２６の位置および動きを監視するよう構成された複数のモーションキャプチャ装置４２４（たとえばカメラ）を含む。光源（この場合、それら自体の光源を担持可能なモーションキャプチャカメラユニット４２４）に光を反射し返す逆反射マーカ４２６は、テープ、球、半球、または他の好適な形状を含むさまざまな形状からなり得る。図１に示す実施例では、モーションキャプチャ装置４２４はスペクトルの可視部分で作動するが、代替的な実施例では、スペクトルの他の部分（たとえば近赤外、赤外など）で作動する装置が使用されてもよい。モーションキャプチャ装置４２４は、逆反射マーカ４２６を監視し、逆反射マーカ４２６の位置をリアルタイムで信号処理ユニット４０４とモーションキャプチャ処理コンピュータ４０２とにエキスポートするよう構成されている。また、これに代えて、車両４１０上の逆反射マーカ４２６の位置の演繹的知識を用いて、モーションキャプチャ装置４２４またはモーションキャプチャ処理コンピュータ４０２は、測定されたマーカ位置データを内部処理して車両４１０の位置および方位データを導出してもよく、車両４１０の位置および方位データをアプリケーションコンピュータ４５０に出力してもよい。

ある特定の一実施例では、全部で６つのモーションキャプチャ装置４２４が、部屋の大きさほどの制御体積４２２（たとえば２５′×２５′×８′）の周りに割り振られており、逆反射マーカ４２６の位置のミリメートル未満の位置精度を最大５００Ｈｚのリフレッシュレートで提供するよう構成されている。別の実施例では、モーションキャプチャ装置４２４は、センチメートル未満の位置精度と、少なくとも２０Ｈｚの更新頻度と、２０分の１秒以下の待ち時間とを有する相関運動測定システムを含む。

このため、モーションキャプチャシステム４２０は、車両４１０の位置特性、方位特性、および安定化特性の閉ループフィードバック制御を可能とするよう、車両４１０の６自由度の運動追跡をほぼリアルタイムで提供し得る。代替的な実施例では、好適な数のモーションキャプチャ装置４２４（たとえば２つ以上）が使用されてもよく、制御体積４２２は所望のサイズまで拡大または縮小されてもよい。同様に、代替的な実施例では、モーションキャプチャ装置４２４は、好適なまたは所望の解像度および動作周波数を提供するよう構成されてもよい。ある特定の一実施例では、５０Ｈｚの更新レートおよび１ｍｍの精度が、質量が２４０ｇの電気ＲＣヘリコプターシステム（図５）に安定した制御と外部妨害からの十分速い回復とを提供することがわかった。同じ車両が２０Ｈｚの更新レートで安定した性能を有することも示されたが、妨害からの回復は遅かった。モーションキャプチャシステム４２０で使用され得る好適なモーションキャプチャ装置４２４は、英国オックスフォード（Oxford）のバイコン・リミテッド（Vicon Limited）から商業的に入手可能な装置、およびカリフォルニア（California）州サンタローザ（Santa Rosa）のモーション・アナリシス社（Motion Analysis Corp.）から商業的に入手可能なモーションキャプチャシステムを含む。

図１にさらに示すように、アプリケーションコンピュータ４５０は、無線リンク、有線ベースのリンク、光ファイバリンク、または他の好適なタイプの通信リンクであり得る通信リンク４０５を介して、制御可能装置４１０と通信する。通信リンク４０５は、アプリケーションコンピュータ４５０と制御可能装置４１０との間で信号およびデータを搬送する。代替的な一実施例では、アプリケーションコンピュータ４５０は、制御可能装置４１０から映像信号、センサ信号、および他の遠隔測定データを受信し、適切なコマンド信号４０５を制御可能装置４１０に送信するよう構成されている。コマンドおよび制御ソフトウェアプログラム４１３は、制御可能装置４１０と制御システム４００のさまざまな構成要素とを監視し、制御することに関連するさまざまな機能を実行するよう、アプリケーションコンピュータ４５０上で実現されてもよい。また、これに代えて、アプリケーションコンピュータ４５０は、これらの機能のうちの１つ以上を実行するよう構成された１つ以上のプログラマブルハードウェア構成要素を含んでいてもよい。制御ソフトウェアプログラム４１３およびアプリケーションコンピュータ４５０（またはこれに代えて、搭載プロセッサ４１４）は、ファームウェア内に制御アプリケーションアルゴリズムをプログラミングすることによって組合され得る。

動作時、アプリケーションコンピュータ４５０は、適切なコマンド信号４０５が１つ以上の制御可能装置４１０に送信されるようにし、１つ以上の制御可能装置４１０に所望の活動または機能を実行するよう命令する。たとえば、制御可能装置４１０が航空機である場合、コマンド信号４０５は航空機に、所望の飛行経路を飛行し、搭載センサを用いて所望の情報を収集するよう命令してもよい。同様に、地上または水中車両は、所望の経路を横断し、情報を収集し、または他の所望の活動を行なうよう命令されてもよい。複数の制御可能装置４１０を有する実施例については、制御可能装置４１０は互いに独立して動くよう指令されてもよく、またはそれに代えて、制御可能装置４１０のうちの２つ以上が、たとえば、２００５年６月８日にＩＥＥＥ・スウォーム・インテリジェンス・シンポジウム（IEEE Swarm Intelligence Symposium）でホランド（Holland）等により提示された「スウォーム・インテリジェンスを超えて：ウルトラスウォーム」（Beyond Swarm Intelligence: The Ultraswarm）においてより十分に説明されているような、群れをなす動きといった協調した手法で動くよう指令されてもよい。

モーションキャプチャ装置４２４のリアルタイムデータエクスポート能力を使用して、位置および方位情報が、コマンドおよび制御ソフトウェアプログラム４１３に、もしくは他の好適な制御アプリケーションまたは構成要素に送信される。モーションキャプチャ装置４２４によって提供された位置および方位データは、各自由度について速度および角速度（双方とも、ノイズを減少させるためにフィルタリングされてもよい）を得るために区別される。位置、方位、線形速度および角速度データは次に（４×４同次変換行列乗算を用いることによって）車両座標に変換されて、エラー信号を計算するために使用される。そして、エラー信号にフィードバック利得値が乗算されて、車両サーボアクチュエータ用のアクチュエータ制御値を生成するために使用される。

次に、制御アプリケーション（たとえばアプリケーションコンピュータ４５０上のコマンドおよび制御ソフトウェア４１３）によって求められたアクチュエータ制御値は、制御アプリケーションと車両４１０との間の通信リンク４０５によって必要とされるフォーマットに変換される。図７に示す特定の一実施例では、この変換は、信号変換器ユニット６５５とＵＳＢまたはシリアル接続４０９とを用いてアプリケーションコンピュータ４５０につながる「トレーナ」ポートを有するアナログ７２ＭＨｚのＲＣ（遠隔制御）送信機６５７の使用により起こる。別の特定の一実施例では、カリフォルニア州フレモント（Fremont）のＴＴＩ社（TTI, Inc.）から商業的に入手可能な変換器といった、ＵＳＢベースのパルス位置変調（ＰＰＭ）サーボコントローラ変換器６５５が、ＰＣ（パーソナルコンピュータ）からＲＣへのデータ変換に使用される。代替的な実施例では、あらゆる好適なアナログまたはデジタル送信機装置および変換器が使用されてもよい。

図６に示すように、制御可能装置４１０が制御空間４２２内で動いている間、モーションキャプチャシステム４２０は制御可能装置４１０上の逆反射マーカ４２６の位置を追跡して、逆反射マーカ４２６のある特定の群の位置および方位の表示（四元数または４×４同次変換行列）を生成する。環境におけるさまざまな制御可能装置および他の物体は、各物体上の逆反射マーカ配置の固有のパターンに基づいて、モーションキャプチャシステム４２０によって識別される。アプリケーションコンピュータ４５０上で起動している制御ソフトウェア４１３は、位置および方位フィードバック情報を制御可能装置４１０の所望の位置と比較し、車両４１０の動きを制御するための所望のアクチュエータ入力を決定して、制御可能装置４１０の位置および速度をその所望の位置で、またはその所望の進行方向に沿って、所望の運動速度で制御可能に調節（または維持）するために、適切なコマンド信号４０８が通信リンク４０５を介して制御可能装置４１０に送信されるようにする。

このため、モーションキャプチャシステム４２０は制御システム４００に、制御可能装置４１０の位置および動きを調節するための閉ループフィードバック制御能力にとって必要な位置および方位情報を提供する。より具体的には、モーションキャプチャシステム４２０は、制御可能装置４１０の適正な制御および安定化のために、アプリケーションコンピュータ４５０がデカルト位置（ｘ、ｙ、ｚ）だけでなく方位（横揺れ、縦揺れ、偏揺れ）制御コマンドも決定、制御できるようにする位置および方位フィードバック情報を有利に提供し得る。

図３は、図１および図２の制御システム４００を用いて１つ以上の車両４１０を制御するための制御方法３００のフローチャートである。この実施例では、この方法はブロック３０２で高レベルコマンド要求を提供することを含み、それは人間のオペレータ、自律エージェント、またはより高いレベルの別のソースから来てもよい。高レベルコマンド要求は、ブロック３０４で、適正にフォーマット化された車両コマンドに変換される（たとえば図２の状態ベクトルｘ_set）。ブロック３０６で、閉ループフィードバック制御ループが始まり、そこで車両にフォーマット化されたコマンド要求が受信される。次に、ブロック３０８で、１つ以上の車両４１０の１つ以上の位置および方位が取得される。最初、１つ以上の位置および方位は、方法３００の始動中の入力または初期状態などから知られてもよく、または、（たとえばブロック３２０で）位置参照システム４２０によって決定されてブロック３０８に入力されてもよい。図３の制御ループは、図２で説明した基本的なフィードバック制御方法の実現化例であり、所望の軌跡を維持することおよび想定外の妨害から回復することを担っている。

ブロック３１０で、方法３００は、位置および方位を区別しフィルタリングすることによって、速度を決定する。このデータを位置および方位データとともに使用して、１つ以上の車両の１つ以上の位置および方位を車両にフォーマット化されたコマンド（たとえば図２のｘ_set）と比較することにより、状態エラー（たとえば図２のｘ_err）を決定する。ブロック３１２で、ブロック３１０での比較に基づき、多くの可能なフィードバック制御手法のうちの１つを用いて、適切なアクチュエータ制御信号が決定される。一実施例では、比例、積分、微分（ＰＩＤ）制御方法が使用される。この方法は、１組のフィードバック制御利得（図２のＫ）を状態ベクトルエラー（図２のｘ_err）に適用して、被制御装置（または工場）４１０に送信された制御信号を決定する。追加の実施例は、フィードバック制御のために現在のシステム状態または予測された状態を使用する他の制御手法を用いてもよい（たとえば極配置、ＬＱＲ）。加えて、状態のより正確な見積りを出すために、データが多数のタイプの位置、速度、または加速度測定システムを、モーションキャプチャデータと組合せることが可能である（たとえばカルマンフィルタ）。ブロック３１４で、決定されたアクチュエータ制御信号はＲＣ（遠隔制御）信号に変換され、ブロック３１６で、ＲＣ信号は車両４１０に送信される。同じアプリケーションコンピュータ４５０から、または図８の代替的な一実施例に示すような１つ以上のアプリケーションコンピュータ６５２から、１つ以上の追加の被制御装置を制御するために、方法３００の多数のインスタンスが同時に起動され得る。

図３にさらに示すように、ブロック３１８で、車両４１０はＲＣ信号に応答して動く。ブロック３２０で、車両４１０の位置および速度が位置参照システム４２０によって監視および測定される。方法３００は次にブロック３０８に戻り、そこで、測定された位置および速度は更新され、ブロック３０８〜３２０で説明された上述の動作が無制限に繰返される。このように、方法３００はモーションキャプチャシステム４２０を用いて、被制御装置４１０の閉ループフィードバック制御のための位置および方位データを提供する。

図４は、この発明の特定の一実施例に従った、航空機４１１とともに作動する制御システム４００を示す。図６は、図１の航空機４１０とともに作動する制御システム４００の部分図である。図６と同様の構成は、車両自体に処理コンピュータが搭載されている図４で説明した実施例でも可能である。図４に示すように、この実施例では、航空機４１１は、複数のロータアセンブリ４１２と電源４１６（たとえばバッテリ）（見えない）とに結合された搭載コントローラ４１４を含む。特定の一実施例では、航空機４１０は、イリノイ（Illinois）州シャンペーン（Champaign）のホライゾン・ホビー社（Horizon Hobby, Inc.）から商業的に利用可能であるＥ−フライト・ブレード（E-flite Blade）ＣＸ１８０ ＲＣヘリコプターの修正版である。別の実施例では、航空機４１０は、サスカチュワン（Saskatchewan）州サスカツゥーン（Saskatoon）のドラゴンフライ・イノベーションズ社（Dragonfly Innovations, Inc.）から商業的に利用可能なドラゴンフライヤ（Dragonflyer）ＲＣヘリコプターの修正版である。

搭載コントローラおよび処理構成要素４１４は制御モジュールを含み、それは航空機４１１上に配置されてもよく、またはそれに代えて、航空機４１１から遠隔に位置付けられて、無線通信リンクを介して搭載コントローラ４１４と通信してもよい。特定の一実施例では、処理構成要素４１４はロボスティックス（Robostix）マイクロコントローラであってもよく、通信構成要素はコネックス（Connex）４００ｘｍ−ｂｔプラットフォームであってもよく、それらは双方とも、カリフォルニア州ポルトラ・バレー（Portola Valley）のガムスティックス社（Gumstix Inc.）から商業的に利用可能である。

図４に示す実施例では、搭載コントローラ４１４は、モーションキャプチャ処理ユニット４０２の通信構成要素４０３と通信するよう適合された通信構成要素４１５を含む。このため、通信構成要素４１５は、モーションキャプチャシステム４２０によって提供されたモーションキャプチャ情報を受信し、これらの情報を搭載コントローラ４１４に提供し、それは次に適切にフォーマット化されたアクチュエータ制御信号を決定して車両４１１に送信し、それにより別個のＲＣ送信機４０７（図１）をなくす。特定の一実施例では、通信構成要素４０３、４１５は、ワシントン（Washington）州ベルビュー（Bellevue）のブルートゥースＳＩＧ社（Bluetooth SIG, Inc.）により確立されたブルートゥース（登録商標）短距離無線通信規格を用いて通信するよう構成されている。代替的な実施例では、通信構成要素４０３、４１５は、電気電子技術者協会（the Institute of Electrical and Electronics Engineers）により開発された８０２．１１無線通信規格、もしくは他の好適な通信規格またはプロトコルを用いてもよい。

この発明に従ったシステムおよび方法の実施例は、先行技術を凌ぐ著しい利点を提供し得る。たとえば、この発明に従った制御システムは受動的な逆反射マーカ４２６が制御可能装置上に配置されることのみを必要とし、一方、モーションキャプチャシステム４２０の運動検出装置４２４は制御可能装置から遠隔に位置付けられるため、この発明の実施例は、搭載カメラ、能動的なマーカ、または他のナビゲーション構成要素を必要とする先行技術のシステムを凌ぐかなりの重量上の利点を提供し得る。この発明の実施例はまた、より大きい制御体積４２２を有するより大きいシステムに容易に拡張されてもよく、より多数の制御可能装置を制御するためにより大きな能力を有するようアップグレードされてもよい。

プログラムモジュールといった、１つ以上のコンピュータまたは他の装置によって実行される、コンピュータにより実行可能な命令という一般的な文脈において、さまざまなモジュールおよび手法がここに説明され得る、ということが理解されるであろう。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実現するためのルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。これらのプログラムモジュールなどはネイティブコードとして実行されてもよく、もしくは、仮想マシンまたは他のジャスト・イン・タイム・コンパイル実行環境などにおいてダウンロードされ実行されてもよい。典型的には、さまざまな実施例において、プログラムモジュールの機能性は要望通りに組合せされ、または分散されてもよい。これらのモジュールおよび手法の実現化例は、何らかの形のコンピュータ読取り可能な媒体上に格納されてもよく、またはその媒体を通って送信されてもよい。

アプリケーションコンピュータ４５０もしくは別の環境監視コンピュータを用いて、被制御装置４１０または４１１の位置、方位、および他の遠隔測定データを表示することが可能である。所望の軌跡および実際の軌跡が、ほぼリアルタイムで作図され得る。制御または測定システムから導き出されたデータとともに、他の障害および制約も表示可能である。

図８は、この発明の別の実施例に従った制御システム６００の概略図である。制御システム６００の構成要素のうちのいくつかは図１に従って上述した対応する構成要素と実質的に同じであり、したがって、簡潔にするためにそのような構成要素を再度詳述しない、ということが理解されるであろう。図８に示す実施例では、制御システム６００は、複数の制御可能装置６１０を同時に監視し制御するよう構成されている。より具体的には、モーションキャプチャシステム４２０は、地上車両６１０Ａと、飛行船（または軽航空機）６１０Ｂと、複数のヘリコプター６１０Ｃと、ロボットアーム６１０Ｄと、他の制御可能物体６１０Ｅとを含む制御体積４２２を監視する。もちろん、代替的な実施例では、他の好適な制御可能装置が使用されてもよい。

制御可能装置６１０の各々は、上述のように制御システム６００によって監視され追跡される複数の逆反射マーカ４２６を有して構成されている。逆反射マーカ４２６（または他の好適なマーキング装置）は、モーションキャプチャシステム４２０が個々の制御可能装置６１０を識別し区別できるよう、制御可能装置６１０上に異なるパターンで配置され得る。

図８にさらに示すように、この実施例では、分析および制御構成要素６５０は、ネットワークスイッチ６５３を介してモーションキャプチャ処理コンピュータ４０２に結合された複数のアプリケーションプロセッサ６５２を含む。各アプリケーションプロセッサ６５２は、モーションキャプチャ処理コンピュータ４０２からの出力（たとえば位置参照システム４２０によって提供された位置および方位データ）を受信し、必要なフィルタリング、バッファリング、信号増幅、または他の所望の機能を実行し、制御信号データを対応するＲＣ信号変換器６５５に送信する。ＲＣ信号変換器６５５は、上述のように制御信号を制御可能装置６１０への送信にとって好適なフォーマットに変換し、適正にフォーマット化された制御信号を、送信機の「トレーナ」ポート（図７の６５７上）を経由して対応する制御可能装置６１０に送信するために、対応するＲＣ送信機６５７に通信する。

さらに別の一実施例では、衝突を避けるために必要とされ得るあらゆる動作を含む各物体の範囲および速度の決定のために、モーションキャプチャシステム４２０によって提供されたモーションキャプチャ情報は、アプリケーションコンピュータ４５０上で実現されたソフトウェア４１３といった制御システム６００の１つ以上の制御構成要素に同報送信されてもよい。モーションキャプチャシステム４２０は、所望の位置または進路を維持するために、または衝突を避けるために個々の車両が何をすべきかを決めることはない。

一種の「場所特定サービス」と考えられ得るこの概念の一変形が、別個のアプリケーションコンピュータによって生成可能である。システムにより提供された情報は、航空交通管理に使用されるレーダーベースのシステムに類似している。車両の位置および高度に加え、このシステムは車両の識別、速度、および進行方向も提供可能である。

代替的な実施例では、各制御可能装置６１０は、図４に関して上述したように、モーションキャプチャシステム４２０からモーションキャプチャ情報を直接受信してもよく、十分な搭載処理能力を有する搭載プロセッサに、それ自体の位置および動きを決定するためにそれ自体の制御信号を算出させてもよい。そのような実施例では、モーションキャプチャシステム４２０は、制御体積４２２内の制御可能装置６１０のうちの１つ以上（たとえばすべて）についてのモーションキャプチャ情報を、制御可能装置６１０のうちの１つ以上（たとえばすべて）に同報送信して、各制御装置６１０の搭載コントローラに、モーションキャプチャ情報を分析して衝突を避けるために何をすべきか決定することをまかせてもよい。さらに別の実施例では、各制御可能装置６１０の搭載コントローラは、衝突を避けるために必要な決定を行なうために、または所望の任務を協力して行なうために、他の制御可能装置６１０上の他の搭載コントローラと通信するよう構成されていてもよい。

この発明のさらに別の実施例では、逆反射マーカ４２６は制御可能装置上に直接位置付けられなくてもよく、むしろ、制御可能装置に結合された物体または積荷上に位置付けられてもよい、ということが理解されるであろう。たとえば、図９は、この発明の代替的な一実施例に従った製造システム１００内の複数の分解された航空機構成要素の等角図である。同様に、図１０は、航空機構成要素が組立てられた位置にある図９の製造システム１００の等角図である。図９に示すように、この実施例では、航空機構成要素は、前部機体アセンブリ１０２と、中央機体アセンブリ１０４と、尾部アセンブリ１０６と、１対の翼アセンブリ１０８とを含む。航空機構成要素の各々は、制御システム１５０の遠隔制御可能な製造ロボット１５２によって運ばれる。製造ロボット１５２は（たとえば無線通信構成要素を用いて）コントローラ１５４に結合されており、コントローラ１５４からのコマンド信号に従って航空機構成要素を支持し、動かすよう適合されている。コントローラ１５４は独立した構成要素であってもよく、またはそれに代えて、図９に示すように、製造システム１００のデータ管理コンピュータ１１８内に配置されていてもよい。

製造システム１００はさらに、作業空間１１４の周りに割り振られた複数のモーションキャプチャ装置１１２と、さまざまな構成要素１０２、１０４、１０６、１０８の表面上に配置された複数のマーカ（たとえば逆反射マーカ）１１６とを有する位置付けシステム１１０を含む。モーションキャプチャ装置１１２は、配線、ケーブル、または無線通信構成要素（図示せず）により、コントローラ１５４に、またはデータ管理コンピュータ１１８に結合されている。図９に示すように、航空機構成要素の位置は、異なる数のマーカ１１６を用いて判断されてもよい。このため、適正な位置および方位の決定のために、比較的単純な形状は２つのマーカ１１６のみを必要とし（たとえば胴体構成要素１０２、１０４）、一方、他の比較的複雑な形状（たとえば翼アセンブリ１０８）は３つ（またはそれ以上の）マーカ１１６を必要としてもよい。

動作時、モーションキャプチャ装置１１２は、分解された製造段階（図９）から航空機構成要素上のマーカ１１６の位置および方位を監視して追跡し、この情報をコントローラ１５４に通信する。次に、コントローラ１５４は、航空機構成要素を最終組立用の所望の位置（図１０）に位置付けるために、適切な制御信号を製造ロボット１５２に送信する。制御システム１５０は複数の製造ロボット１５２を同時に制御するよう構成され得るため、さまざまな航空機構成要素１０２、１０４、１０６、１０８の位置付けは同時に（または連続して）行なわれてもよく、それにより、先行技術の製造システムを凌ぐ改良された製造効率を提供し得る。

この発明に従った製造設備は多種多様の航空機を組立てるために利用され得ること、および、この発明が図９および図１０に示す製造設備１００の特定の実施例に、または特定の航空機の組立の実施例に限定されないことが理解されるであろう。たとえば、添付図面に示す航空機は一般に、イリノイ州シカゴ（Chicago）のザ・ボーイング・カンパニー（The Boeing Company）から商業的に利用可能な７３７、７４７、７６７、７７７、および７８７モデルを例として含む商業用旅客機を表わしているが、ここに開示されたこの発明のシステムおよび方法は、事実上他のあらゆるタイプの航空機の組立にも採用されてもよい。より具体的には、この発明の教示は、たとえば、２００１年９月にブック・セールス・パブリッシャーズ（Book Sales Publishers）により出版された、エンツォ アンジェルッチ（Enzo Angelucci）による「軍用機図解百科事典」（The Illustrated Encyclopedia of Military Aircraft）、および英国サリー（Surrey）州コールズドン（Coulsdon）のジェーンズ・インフォメーション・グループ（Jane's Information Group）により出版された「ジェーン世界航空機年鑑」（Jane's All the World's Aircraft）に記載されているものを含む、他の旅客機、戦闘機、貨物機、回転翼航空機、ならびに他の種類の有人または無人航空機の製造および組立に適用されてもよい。

この開示に従った製造設備が多種多様の他の製品の組立に使用されてもよいことも理解されるであろう。たとえば、代替的な実施例では、この発明に従ったシステムおよび方法は、制御可能な製造機械を用いた構成要素の正確な組立を必要とする自動車、レクリエーション用車両、船舶、建物、および事実上他のあらゆる製品の製造に採用されてもよい。この概念はまた、図９および図１０に示すような、製造場所への構成要素の搬送のための追加の支援機器１５３を制御するよう実現されてもよい。

図１１は、この発明の一実施例に従った、製造作業を行なう方法２００を示すフローチャートである。この実施例では、製造システム１００はブロック２０２で開始され、位置システム１１０および制御システム１５０を含んでいる。次に、ブロック２０４で、制御体積１１４内の航空機構成要素が位置付けシステム１１０によって場所を特定される。ブロック２０６で、構成要素のうちの１つ以上を所望の位置に部分的にまたは完全に動かすために必要な制御信号が決定される。ブロック２０８で、１つ以上の構成要素を所望の位置に制御可能に動かすために、制御信号が製造ロボット１５２のうちの１つ以上に通信される。ブロック２１０で、位置付けシステム１１０は、製造ロボット１５２によって動かされている最中の構成要素の位置および方位を監視する。ブロック２１２で、すべての構成要素が所望の最終位置に到達したかどうかに関して判断が下される。到達していない場合、方法２００はブロック２０４に戻り、構成要素が所望の最終位置に到達するまで、ブロック２０４〜２１０で行なわれた動作が繰返される。構成要素が所望の最終位置に到達後、ブロック２１４で所望の製造作業（たとえば構成要素の結合）が行なわれ、ブロック２１６で、方法２００は他の作業へと続くかまたは終了する。

互いに対して動く被制御装置上の部品に関連する付加的な自由度も、この開示で提示されたモーションキャプチャハードウェアおよびフィードバック制御の概念を用いて測定し、制御することが可能である。モーションキャプチャデータおよび装置運動学の知識を用いることにより、付加的な並進および回転運動を測定し、適切な座標に変換し、フィードバック制御ソフトウェアを介して制御することが可能である。いくつかの実施例では、モーションキャプチャシステムからのデータを用いて、被制御装置に取付けられた可動部品の相対的な線形および角加速度、速度、および位置が、相対的な線形および角加速度、速度、および位置フィードバックのために測定される。これらのタイプの可動部品の例は、制御表面、操縦可能センサ、プロペラ、ロータ、ファン、車輪、着陸装置、ドア、スリング、および巻上げ装置、ならびに他の所望の構成要素を含む。モーションキャプチャシステムによる追跡を可能にするために、部品は、逆反射テープもしく逆反射ボールまたはハーフボールといった適正な逆反射マーカを担持する必要がある。さらに、車両の本体と可動部品との間の運動学的連結を、モーションキャプチャシステムによって使用される参照モデルにおいてモデル化する必要があるかもしれない。

さらに別の実施例では、モーションキャプチャシステムからのデータを用いて、被制御車両に取付けられた、セグメントとして知られる運動学的に連結された可動部品で形成された連結式装置の相対的な線形および角加速度、速度、および位置が、相対的な線形および角加速度、速度、および位置フィードバック制御または状態監視のために測定される。そのような装置は、ロボットアームおよびグリッパ６１０Ｄ（図８）などのロボット先端部を含む。十分な数のセグメントにマーカを適用することにより、また、モーションキャプチャシステムによって使用される参照モデルにおいて装置の運動学的連鎖をモデル化することにより、モーションキャプチャシステムを用いた装置の適正な制御権限が達成され得る。いくつかの実施例については、この種のシステムを用いた測定は、搭載センサ（たとえばエンコーダまたはタコメータ）の代わりに、または搭載センサを補強するために使用され得る。

さらに別の実施例では、モーションキャプチャシステムからのデータを用いて、当初被制御装置に取付けられ、次に被制御装置によって配備された着脱可能な部品の絶対的および相対的な線形ならびに角加速度、速度、および位置を測定してもよい。そのような着脱可能な部品は弾道物体、滑空物体、または自走物体であってもよく、モーションキャプチャシステムによって提供された入力を用いて、それら自体の制御システムにより、所望の軌跡に沿って誘導されてもよい。モーションキャプチャシステムによる追跡を可能にするために、これらの物体には、逆反射マーカ、逆反射テープ、逆反射ボール、ハーフボール、半球、または他の好適な形状を含む適正なマーカが好適に備わっている。さらに、適切な制御権限を達成するために、そのような着脱可能な部品を、モーションキャプチャシステムによって使用される参照モデルにおいてモデル化する必要がある。

この発明のさらに他の実施例は、制御可能装置に取付けられたままとなっている可動構成要素を測定するために使用されてもよい。たとえば、図１２は、回転動力式の航空機７１０を監視するためのモーションキャプチャシステム７２０を含む制御システム７００を示す。航空機７１０は、モーションキャプチャシステム７２０が航空機７１０を追跡できるようにする複数の逆反射マーカ７２４と、航空機７１０のロータブレード７２７上に割り振られた複数の第２の逆反射マーカ７２５とを含む。第２の逆反射マーカ７２５により、モーションキャプチャシステム７２０は、角速度、前進速度、ピッチといったロータブレード７２７のさまざまな局面を測定できるようになる。同様に、図１３は、車輪付き車両７６０を監視するための制御システム７５０を示す。車両７６０は、モーションキャプチャシステム７２０が車両７６０を追跡できるようにする複数の逆反射マーカ７７４と、車輪７７７のさまざまな動的特性（たとえば角速度、前進速度など）を測定するために車両７６０の車輪７７０上に固有の配置パターンを有して割り振られた複数の第２の逆反射マーカ７７５とを含む。図１２および図１３に示す実施例では、アプリケーションコンピュータ４５０上のソフトウェア４１３は、モーションキャプチャシステム７２０によって提供された追加データを表示するためのグラフィック遠隔測定要素（たとえばタコメータ）４５１を含む。この第２のデータは次に、車両またはブレードの運動を直接制御するために、制御ソフトウェアによって使用され得る。

図１４は、この発明のさらに他の実施例に従った、二足歩行ロボット装置８１０用のモーションキャプチャシステム４２０を含む制御システム８００を示す。二足歩行ロボット装置８１０は、二足歩行ロボット装置８１０の制御された動きを提供するために、制御信号を決定してさまざまなサーボモータ、アクチュエータ、および他の構成要素に送信するよう構成された搭載コントローラ８１４を含む。図４に関して上述したように、この実施例では、モーションキャプチャシステム４２０は、装置８１０の外側部分に配置された複数のマーカ（たとえば逆反射マーカ）８２４を監視して、測定されたモーションキャプチャデータを通信構成要素４０３を介して搭載コントローラ８１４に送信する。もちろん、代替的な実施例では、制御システム８００は、図８に示すシステムに関して上述したように、アプリケーションコンピュータ６５０と１つ以上のＲＣ送信機６５７等の制御ユニットとを含むよう構成されていてもよい。

ロボット装置８１０は、たとえば、日本、東京のソニー株式会社（Sony Corporation）によって開発されたキュリオ（QRIO）装置、日本、東京のホンダ技研工業株式会社（Honda Motor Co., Ltd.）によって開発されたアシモ（ASIMO）装置、韓国、ソウルのロボティス社（Robotis, Inc.）によって開発されたＲＸ二足歩行ロボットを含む、さまざまな公知の装置の好適な修正版であってもよい。しかしながら、この発明の実施例は二足歩行ロボット装置に限定されないこと、および、多種多様のロボット装置がこの開示の教示に従って作動するよう好適に構成され得ることが理解されるであろう。さらに別の実施例では、この発明に従った制御システムは、たとえば、ロボティス社から商業的に入手可能な被制御サーボ技術および装置に基づいたあらゆる装置、または、デンマーク、ビルン（Billund）のレゴ社（The Lego Group）、ニューヨーク（New York）州イーストオーロラ（East Aurora）のフィッシャー・プライス社（Fisher-Price, Inc.）、またはテキサス（Texas）州フォートワース（Fort Worth）のレディオシャック社（RadioShack Corporation）から商業的に入手可能なロボットキット、玩具、および組立装置を含む、二足歩行装置以外の多種多様のロボット装置とともに使用されてもよい。

図１５は、この発明のさらに別の実施例に従った空中観察システム８８０用の制御システム８５０である。空中観察システム８８０は、図４に示すシステムに関して上述したような航空機４１０とモーションキャプチャシステム４２０とを含む。この実施例では、制御体積８２２は競技場を含み、複数のモーションキャプチャ装置４２４が制御体積８２２の周りに配置されている。制御体積８２２内で行なわれている活動（たとえばスポーツイベント、演奏および演劇、演説など）を見るために、観察装置８８５が航空機４１０に結合されている。観察装置８８５は、制御体積８２２内で行なわれている活動の画像を、テレビ網に、閉回路網（たとえば競技場、警備ブース、監視網などの中のスクリーン）に、または後の検討および分析用のデータベースに同報送信するためのテレビジョンカメラであってもよい。このため、空中観察システム８８０は、制御体積８２２内で行なわれている活動を観察するための制御可能で非常に操作しやすいプラットフォームを有利に提供し得る。

もちろん、この発明の実施例は、上に説明し、図１５に示す特定の実施例に限定されない。たとえば、代替的な実施例では、制御体積８２２は、劇場、集会場、競技場、ゴルフコース、空港、ショッピングモール、もしくは他の好適な環境または設備を含む多種多様の設備または環境を含んでいてもよい。同様に、さらに別の実施例では、制御体積８２２は、建設現場、鉱山、原子炉敷地、トンネル、損傷した構造、洞窟、化学処理設備、または他の潜在的に有害な環境といった有害な作業環境を含んでいてもよい。また、これに代えて、この発明に従ったシステムおよび方法の実施例は、潜水艇、遠隔操作車両（ＲＯＶ）、潜水艦などを制御するために、水面下または水中の環境で使用されてもよい。そしてさらに別の実施例では、観察装置８８５は、軽航空機、地上車両、製造ロボット、二足歩行ロボット、玩具、もしくは他の好適な装置またはプラットフォームを含む、あらゆるタイプの制御可能装置上に位置付けられてもよい。

Claims (9)

1. 複数の制御可能装置を作動させる方法であって、
   前記複数の制御可能装置が制御体積内で作動する際に、前記制御体積に対して配置されたモーションキャプチャシステムを用いて、前記複数の制御可能装置の各々の、１つ以上の運動特性を測定するステップであって、前記１つ以上の運動特性は、前記複数の制御可能装置の各々に固有の、互いに異なるパターンで、前記複数の制御可能装置の各々の上に位置付けられた複数の逆反射マーカを用いて測定される、ステップと、
   少なくとも１つの通信網に結合されたアプリケーションコンピュータによって、前記モーションキャプチャシステムから、前記少なくとも１つの通信網を用いて、前記測定された１つ以上の運動特性を受信するステップと、
   前記アプリケーションコンピュータによって、前記１つ以上の運動特性に基づいて前記複数の制御可能装置の各々に対するコマンド信号を決定するステップと、
   前記制御可能装置の少なくとも１つの運動特性を閉ループフィードバック手法で制御するために、前記コマンド信号の各々を、前記アプリケーションコンピュータから対応する前記制御可能装置に各々送信するステップとを備える、方法。
2. 前記アプリケーションコンピュータからの前記コマンド信号を、前記制御可能装置にとって好適にフォーマット化された再調整済み信号に再調整するステップをさらに備える、請求項１に記載の方法。
3. １つ以上の運動特性を測定するステップは、前記制御体積の少なくとも一部の周りに割り振られた複数の運動検出装置を用いて１つ以上の運動特性を測定するステップを含み、前記運動検出装置は、前記制御体積内で作動している前記複数の制御可能装置の各々についての６自由度の情報を決定するよう構成されている、請求項１または２に記載の方法。
4. １つ以上の運動特性を測定するステップは、スペクトルの可視波長部分およびスペクトルの赤外波長部分のうちの少なくとも１つを用いて前記逆反射マーカを追跡するよう構成された複数のカメラ装置を用いて、１つ以上の運動特性を測定するステップを含む、請求項１または２に記載の方法。
5. 前記制御可能装置の１つ以上の運動特性を測定するステップは、車両およびロボットのうちの少なくとも１つの１つ以上の運動特性を測定するステップを含む、請求項１〜４のいずれかに記載の方法。
6. 複数の制御可能装置を制御するためのシステムであって、
   前記複数の制御可能装置が制御体積内で作動している際に、前記複数の制御可能装置の各々の１つ以上の運動特性を測定するよう構成されたモーションキャプチャシステムであって、前記複数の制御可能装置の各々は、前記複数の制御可能装置の各々に固有の、互いに異なるパターンで前記複数の制御可能装置の各々の上に位置付けられた複数の逆反射マーカを有し、前記モーションキャプチャシステムは、前記制御体積に対して位置付けられた複数の検出装置を含み、前記複数の検出装置は、前記複数の制御可能装置の各々の上に位置付けられた前記逆反射マーカのうちの少なくとも一部を検出するよう構成されている、モーションキャプチャシステムと、
   前記モーションキャプチャシステムに結合された少なくとも１つの通信網と、
   前記少なくとも１つの通信網に結合され、前記モーションキャプチャシステムから前記測定された運動特性を受信し、前記測定された運動特性に基づいて、前記複数の制御可能装置の各々に対するコマンド信号を決定するよう構成されたアプリケーションコンピュータと、
   前記少なくとも１つの通信網に結合され、前記コマンド信号の各々を受信して前記コマンド信号の各々を、前記複数の制御可能装置の各々に送信するよう構成された複数の制御モジュールとを備え、
   前記複数の制御可能装置の各々は、対応する前記コマンド信号を受信し、前記複数の制御可能装置の少なくとも１つの運動特性を閉ループフィードバック手法で調節するよう構成されている、システム。
7. 前記複数の制御モジュールはさらに、前記コマンド信号を、前記複数の制御可能装置による使用にとって好適なフォーマットに再調整するよう構成されている、請求項６に記載のシステム。
8. 前記複数の検出装置は、前記制御体積内で作動している前記制御可能装置の各々についての６自由度の情報を決定するよう構成されている、請求項６または７に記載のシステム。
9. 前記複数の検出装置は複数の運動検出カメラを備える、請求項６または７に記載のシステム。

Images