JP2024015262A - モーションキャプチャを介したロボットカメラ制御 - Google Patents

Abstract

【課題】好適なモーションキャプチャを介したロボットカメラ制御を提供すること。【解決手段】モーションキャプチャ装置は、オペレータの移動を記録し、制御エンジンは、次いで、それらの移動を、ロボットを制御するための制御信号に変換する。制御エンジンは、オペレータの移動を、ロボットによって実施されるべき類似した移動に直接的に変換し得るか、または、制御エンジンは、ロボットの一部にオペレータの対応する部分を模倣させるロボット動態を算出し得る。【選択図】図５

Description

（関連出願の引用）
本願は、米国特許出願第１５／２１６，５８３号（２０１６年７月２１日出願）の利益を主張し、上記出願は、参照により本明細書に組み込まれる。
（発明の分野）
本発明の実施形態は、概して、ロボット工学に関し、より具体的には、モーションキャプチャを介したロボットカメラ制御に関する。

映画を撮影するとき、カメラオペレータは、数ある映画手順の中で、ショットを撮影し、シーケンスを捕捉し、カメラアングル間で遷移するために、カメラの位置、向き、および動きを制御する。しかしながら、カメラを操作することは、ある状況では困難かつ／または危険であり得る。例えば、クローズアップシーケンスを撮影するとき、カメラオペレータは、重いカメラ機器を物理的に支持しながら、長時間にわたって動きにくい姿勢をとることを要求され得る。または、アクションシーケンスを撮影するとき、カメラオペレータは、傷害の危険を冒し、撮影されているアクションに対して必要な近接度を達成することを要求され得る。いずれの場合でも、カメラオペレータは、通常、非常に複雑なカメラ移動を実施しなければならず、多くの場合、複数の作業にわたってこれらの運動を反復しなければならない。

前述の説明が例証するように、当技術分野において必要とされるものは、映画シーケンスを撮影するためのより有効なアプローチである。

本発明の種々の実施形態は、ロボットを制御するコンピュータ実装方法を記載し、コンピュータ実装方法は、オペレータの１つ以上の移動に基づいて、モーションキャプチャデータを生成することと、モーションキャプチャデータを処理し、ロボットを制御するための制御信号を生成することと、制御信号をロボットに伝送し、ロボットにオペレータの１つ以上の移動を模倣させることとを含む。

本明細書に議論されるアプローチの少なくとも１つの利点は、人間のカメラオペレータカメラオペレータが、映画を撮影するとき、不快感または傷害にさらされる必要がないということである。
本発明はさらに、例えば、以下を提供する。
（項目１）
ロボットを制御するコンピュータ実装方法であって、前記方法は、
オペレータの１つ以上の移動に基づいて、モーションキャプチャデータを生成することと、
前記モーションキャプチャデータを処理し、前記ロボットを制御するための制御信号を生成することと、
前記制御信号を前記ロボットに伝送し、前記ロボットに前記オペレータの前記１つ以上の移動を模倣させることと
を含む、コンピュータ実装方法。
（項目２）
前記モーションキャプチャデータを生成することは、モーションキャプチャ装置を介して、前記オペレータに関連付けられた頭部、胴体、および手足の移動のうちの少なくとも１つを追跡することを含む、項目１に記載のコンピュータ実装方法。
（項目３）
前記モーションキャプチャデータを処理し、前記制御信号を生成することは、
前記１つ以上の移動に対応する前記オペレータの第１の動態の組をモデル化することと、
前記１つ以上の移動に対応する前記ロボットの第２の動態の組を決定することと、
前記第２の動態の組に基づいて、前記制御信号を生成することと
を含む、項目１に記載のコンピュータ実装方法。
（項目４）
前記ロボットに前記オペレータの前記１つ以上の移動を模倣させることは、前記ロボットに含まれる継手の組を作動させ、前記１つ以上の移動に関連付けられた関節シーケンスを実施することを含む、項目１に記載のコンピュータ実装方法。
（項目５）
前記ロボットは、前記継手の組を含むロボットアームを備えている、項目４に記載のコンピュータ実装方法。
（項目６）
前記ロボットに前記１つ以上の移動を模倣させることは、プロペラに結合された少なくとも１つのモータの速度を調節することを含む、項目１に記載のコンピュータ実装方法。
（項目７）
前記ロボットは、飛行ドローンを備えている、項目６に記載のコンピュータ実装方法。
（項目８）
前記ロボットに前記１つ以上の移動を模倣させることは、前記ロボットの第１の部分のみに前記１つ以上の移動の一部のみを模倣させることを含む、項目１に記載のコンピュータ実装方法。
（項目９）
前記ロボットが前記１つ以上の移動を模倣している間にセンサデータを捕捉することをさらに含む、項目１に記載のコンピュータ実装方法。
（項目１０）
前記１つ以上の移動は、前記ロボットに結合されたセンサアレイのための標的軌道を備えている、項目１に記載のコンピュータ実装方法。
（項目１１）
非一過性コンピュータ読み取り可能な媒体であって、前記媒体は、プロセッサによって実行されると、
オペレータの１つ以上の移動に基づいて、モーションキャプチャデータを生成するステップと、
前記モーションキャプチャデータを処理し、ロボットを制御するための制御信号を生成するステップと、
前記制御信号を前記ロボットに伝送し、前記ロボットに前記オペレータの前記１つ以上の移動を模倣させるステップと
を実施することによって、前記プロセッサに前記ロボットを制御させる、非一過性コンピュータ読み取り可能な媒体。
（項目１２）
前記モーションキャプチャデータを生成することは、モーションキャプチャ装置を介して、前記オペレータに関連付けられた頭部、胴体、および手足の移動のうちの少なくとも１つを追跡することを含む、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１３）
前記モーションキャプチャデータを処理し、前記制御信号を生成することは、
前記１つ以上の移動に対応する前記オペレータの第１の動態の組をモデル化することと、
前記１つ以上の移動に対応する前記ロボットの第２の動態の組を決定することと、
前記第２の動態の組に基づいて、前記制御信号を生成することと
を含む、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１４）
前記ロボットに前記オペレータの前記１つ以上の移動を模倣させることは、前記ロボットに含まれる継手の組を作動させ、前記１つ以上の移動に関連付けられた関節シーケンスを実施することを含む、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１５）
前記ロボットに前記１つ以上の移動を模倣させることは、プロペラに結合された少なくとも１つのモータの速度を調節することを含む、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１６）
前記ロボットに前記１つ以上の移動を模倣させることは、前記ロボットの第１の部分のみに前記１つ以上の移動の一部のみを模倣させることを含む、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１７）
前記ロボットが前記１つ以上の移動を模倣している間にセンサデータを捕捉することをさらに含む、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１８）
前記１つ以上の移動は、前記ロボットに結合されたセンサアレイのための標的軌道を備えている、項目１１に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１９）
ロボットを制御するためのシステムであって、前記システムは、
制御アプリケーションを記憶しているメモリと、
前記メモリに結合されたプロセッサと
を備え、
前記プロセッサは、
オペレータの１つ以上の移動に基づいて、モーションキャプチャデータを生成することと、
前記モーションキャプチャデータを処理し、前記ロボットを制御するための制御信号を生成することと、
前記制御信号を前記ロボットに伝送し、前記ロボットに前記オペレータの前記１つ以上の移動を模倣させることと
を行うように構成されている、システム。
（項目２０）
前記プロセッサは、前記制御アプリケーションを実行し、
前記モーションキャプチャデータを生成することと、
前記モーションキャプチャデータを処理し、前記制御信号を生成することと、
前記制御信号を前記ロボットに伝送することと
を行うように構成されている、項目１９に記載のシステム。

本発明の上で列挙された特徴が詳細に理解され得る様式で上で簡潔に要約された本発明のより特定の説明が、そのいくつかが添付される図面に図示される実施形態を参照することによって得られ得る。しかしながら、本発明は、他の均等に有効な実施形態を認め得るので、添付される図面は、本発明の典型的実施形態を例証するのみであり、したがって、その範囲を限定するものではないと見なされることに留意されたい。
図１は、本発明の１つ以上の側面を実装するように構成されるシステムを図示する。 図２は、本発明の種々の実施形態による図１の制御エンジンのより詳細な図である。 図３は、本発明の種々の実施形態によるロボットアームの関節運動がモーションキャプチャ装置を介して制御され得る方法を図示する。 図４は、本発明の種々の実施形態によるロボットドローンの位置および向きがモーションキャプチャ装置を介して制御され得る方法を図示する。 図５は、本発明の種々の実施形態によるモーションキャプチャデータをロボットを制御するための制御信号に変換するための方法ステップの流れ図である。

以下の説明では、多数の具体的な詳細が、述べられ、本発明のより徹底的な理解を提供する。しかしながら、本発明は、これらの具体的な詳細のうちの１つ以上のものがなくとも実践され得ることが、当業者に明白であろう。

（システム概要）
図１は、本発明の１つ以上の側面を実装するように構成されるシステムを図示する。示されるように、システム１００は、モーションキャプチャ装置１１０と、コンピュータ１２０と、ロボット１４０とを含む。モーションキャプチャ装置１１０は、コンピュータ１２０に結合され、コンピュータ１２０は、ロボット１４０に結合される。

モーションキャプチャ装置１１０は、オペレータ１１４に関連付けられた動作を捕捉するように構成されたセンサ１１２（０）および１１２（１）を含む。モーションキャプチャ装置１１０は、任意の数の異なるセンサを含み得るが、概して、モーションキャプチャ装置１１０は、少なくとも２つのセンサ１１２を含み、両眼データを捕捉する。モーションキャプチャ装置１１０は、モーションキャプチャデータ１５０を、処理するためのコンピュータ１２０に出力する。

コンピュータ１２０は、一緒に結合されたプロセッサ１２２、入力／出力（Ｉ／Ｏ）ユーティリティ１２４、およびメモリ１２６を含む。プロセッサ１２２は、データを処理し、プログラムコードを実行するように構成された処理デバイスの任意の技術的に実現可能な形態であり得る。プロセッサ１１２は、例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、およびそのようなユニットの任意の技術的に実現可能な組み合わせ等であり得る。Ｉ／Ｏユーティリティ１２４は、例えば、キーボード、マウス等を含む入力を受信するように構成されるデバイスを含み得る。Ｉ／Ｏユーティリティ１２４は、例えば、ディスプレイデバイス、スピーカ等を含む出力を提供するように構成されるデバイスも含み得る。Ｉ／Ｏユーティリティ１２４は、例えば、タッチスクリーン、ユニバーサルシリアルバス（ＵＳＢ）ポート等を含む入力および出力をそれぞれ受信することおよび提供することの両方を行うように構成されるデバイスをさらに含み得る。

メモリ１２６は、データおよびソフトウェアアプリケーションを記憶するように構成された任意の技術的に実現可能な記憶媒体であり得る。メモリ１２６は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）モジュール、読み取り専用メモリ（ＲＯＭ）等であり得る。メモリ１２６は、制御エンジン１２８と、データベース１３０とを含む。制御エンジン１２８は、プロセッサ１２２によって実行されると、プロセッサ１２２をロボット１４０と相互作用させるソフトウェアアプリケーションである。

ロボット１４０は、センサアレイ１４４に結合されるアクチュエータ１４２を含む。アクチュエータ１４２は、リニアモータまたは回転モータ、油圧ポンプもしくは空気ポンプ等を含む任意の種類の物理的動作を誘発するように構成された任意の技術的に実現可能なタイプの機構であり得る。（図３と併せて例として説明される）１つの実施形態では、アクチュエータ１４２は、ロボット１４０のロボットアームを関節運動させるように構成される回転モータを含む。（図４と併せて例として説明される）別の実施形態では、アクチュエータ１４２は、ロボット１４０を空中で推進するプロペラの組を駆動するように構成される回転モータを含む。

センサアレイ１４４は、任意の技術的に実現可能なセンサの集合を含み得る。例えば、センサアレイ１４４は、物理的な数量を測定するように構成された光学センサ、音響センサ、および／または他のタイプのセンサを含み得る。概して、センサアレイ１４４は、マルチメディアデータを記録するように構成される。実践では、センサアレイ１４４は、フレーム１４６を捕捉するように構成されるビデオカメラを含む。そのような一連のフレームを捕捉することによって、センサアレイ１４４は、映画を記録し得る。

動作時、モーションキャプチャ装置１１０は、オペレータ１１４に関連付けられた動作を捕捉し、次いで、モーションキャプチャ信号１５０を制御エンジン１２８に伝送する。制御エンジン１２８は、モーションキャプチャ信号１５０を処理し、制御信号１５２を生成する。制御エンジン１２８は、制御信号１５２をロボット１４０に伝送し、アクチュエータ１４０を介してロボット１４０の動作を制御する。概して、ロボット１４０の結果として生じる動作は、オペレータ１１４の動作を模倣し、および／またはそれから導出される。ロボット１４０は、センサアレイ１４６を介してセンサデータ１５４を受信し、そのセンサデータを制御エンジン１２８に伝送する。制御エンジン１２８は、受信されたデータを、データベース１３０内に記憶するために処理する。

この様式で、オペレータ１１４は、物理的にかつ／または直接的に任意のカメラ機器を動作させることを要求されることなく、ロボット１４０を制御し、ビデオシーケンスを捕捉し得る。このアプローチの１つの利点は、オペレータ１１４が、撮影するとき、困難かつ／または危険な作業環境にさらされる必要がないことである。制御エンジン１２８は、図２と併せて下記にさらに詳細に説明される。

図２は、本発明の種々の実施形態による、図１の制御エンジンのより詳細な図である。示されるように、制御エンジン１２８は、モーションキャプチャ分析器２００と、動態抽出装置２１０と、動態変換器２２０と、マルチメディア捕捉モジュール２３０とを含む。

モーションキャプチャ分析器２００は、モーションキャプチャ信号１５０をモーションキャプチャ装置１１０から受信し、それらの信号を処理し、未加工データ２０２を生成するように構成される。モーションキャプチャ信号１５０は、概して、センサ１１２によって捕捉されるビデオデータを含む。モーションキャプチャ分析器２００は、ある期間にわたって、このビデオデータを処理し、オペレータ１１４のいくつかまたは全ての位置および向きを識別する。１つの実施形態では、オペレータ１１４は、モーションキャプチャ分析器２００によって追跡され得る反射マーカを有する服を着用する。ある実施形態では、モーションキャプチャ分析器２００は、モーションキャプチャ装置１１０内に含まれ得る。モーションキャプチャ分析器２００は、その期間にわたって、オペレータ１１４の任意の追跡される部分の位置および向きを説明する数量の組を含む未加工データ２０２を生成する。

動態抽出装置２１０は、未加工データ２０２を受信し、次いで、このデータを処理し、処理されたデータ２１２を生成する。そうすることにおいて、動態抽出装置２１０は、その期間にわたって、未加工データ２０２に基づいてオペレータ１１４の動態をモデル化する。動態抽出装置２１０は、オペレータ１１４の手足の関節運動、ならびにオペレータ１１４の任意の部分の軌道、および／またはオペレータ１１４に関連付けられた任意の物体を含むオペレータ１１４の部分の種々の回転ならびに／もしくは移動を決定し得る。動態抽出装置２２０は、処理されたデータ２１２を動態変換器２２０に提供する。

動態変換器２２０は、処理されたデータ２１２内に含まれるモデル化された動態を、ロボット１４０を制御するための制御信号１５２に変換し、モデル化された動態から導出された動態を得るように構成される。動態変換器２２０は、ロボット１４０にオペレータ１１４の動態および動作を直接的に模倣させるいくつかの制御信号１５２を生成し得るか、またはロボット１４０の一部のみにオペレータ１１４の動態ならびに動作を模倣させる、他の制御信号１５２を生成し得る。

例えば、動態変換器２２０は、ロボット１４０のロボットアーム内のアクチュエータ１４２に、オペレータ１１４の腕内の関節の関節運動をまねさせる制御信号１５２を生成し得る。この特定の例は、図３と併せて下記にさらに詳細に説明される。代替として、動態変換器２２０は、アクチュエータ１４２に任意の技術的に実現可能な作動の組を実施させ、センサアレイ１４４にオペレータ１１４によって保持される物体と同様の経路を辿らせる制御信号１５２を生成し得る。この例は、図４と併せて下記にさらに詳細に説明される。１つの実施形態では、動態変換器２２０は、制御信号１５２を生成するとき、ロボット１４０の動態が、オペレータ１１４の動態の誇張されたバージョンを表すように、オペレータ１１４の移動を増幅し得る。

制御信号１５２に応答して、ロボット１４０内のアクチュエータ１４２は、センサアレイ１４４（潜在的には全体としてロボット１４０）を作動かつ移動させる。センサアレイ１４４は、センサデータ１５４を捕捉し、このデータを制御エンジン１２８内のマルチメディア捕捉モジュール２３０に伝送する。マルチメディア捕捉アプリケーション２３０は、概して、センサアレイの動作を管理し、センサ信号１５４等の入力センサ信号を処理する。これらの信号に基づいて、マルチメディア捕捉モジュール２３０は、データベース１３０内に記憶するためのマルチメディアデータ２３２を生成する。マルチメディアデータ２３２は、任意の技術的に実現可能なタイプのデータを含み得るが、実践では、マルチメディアデータ２３２は、センサアレイ１４４によって捕捉されるビデオのフレームと、可能性として音声データとを同様に含む。

一般的な事項として、制御エンジン１２８は、オペレータ１１４によって実施される移動をロボット１４０によって実施される移動に変換するように構成される。この様式で、オペレータ１１４は、所望される移動の組を実施することによって、ロボット１４０を制御することができる。このアプローチは、具体的には、カメラオペレータが、特定の様式でロボット１４０を制御し、映画シーケンスを撮影することを所望し得る、映画撮影に適用可能であり得る。しかしながら、当業者は、ロボットを制御するための本明細書に開示される技術が、映画以外の他の分野にも適用可能であり得ることを理解するであろう。

（モーションキャプチャを介した例示的ロボット制御）
図３は、本発明の種々の実施形態によるロボットアームの関節運動がモーションキャプチャ装置を介して制御され得る方法を図示する。図３に描写されるシナリオは、例示的目的のために提供され、１つの可能なロボットおよび１つの可能な移動の組を図示するにすぎない。本明細書に説明される技術は、任意の技術的に実現可能なロボットおよび任意の技術的に実現可能な移動の組に適用可能である。

示されるように、オペレータ１１４は、腕３００を位置３１０（Ａ）から上向きに移動させ、位置３１２（Ａ）をとる。オペレータ１１４は、随意に、モーションキャプチャ物体３０２を保持し得る。モーションキャプチャ装置１１０は、概して、オペレータ１１４の動作を追跡し、具体的には、オペレータ１１４の腕３００内の関節の関節運動を追跡するように構成される。１つの実施形態では、モーションキャプチャ装置１１０は、腕３００の関節の位置を示すマーカに依拠する。モーションキャプチャ装置１１０は、モーションキャプチャ物体３０２の位置および場所も追跡し得る。モーションキャプチャ装置１１０は、任意および全ての捕捉データを表すモーションキャプチャ信号１５０を制御エンジン１２８に伝送する。

制御エンジン１２８は、次いで、ロボット１４０に位置３１０（Ｂ）から位置３１２（Ｂ）に移動させるための制御信号１５２を生成する。位置３１０（Ａ）と３１０（Ｂ）とは、略類似しており、同様の関節運動を行う。同様に、位置３１２（Ａ）と３１２（Ｂ）とも、類似しており、同様の関節運動を行う。加えて、任意の中間位置も、略類似している。ロボット１４０は、アクチュエータ１４２（０）、１４２（１）、１４２（２）、および１４２（３）を作動させることによってこれらの類似した関節運動をもたらし、腕３００を用いてオペレータ１１４によって実施されるそれらと同様の関節回転を実施し得る。この様式で、ロボット１４０は、オペレータ１１４によって実施される移動と実質的に同一の移動を実施する。いくつかの実施形態では、ロボット１４０の動作は、オペレータ１１４の動作の誇張されたバージョンを表す。例えば、制御エンジン１２８は、アクチュエータ１４２に対する生成信号１５２を生成するときに事前設定された量によって、腕３００に関連付けられた関節回転をスケーリングする、または平滑化処理を実施し、模倣された移動における外乱ならびに／もしくは他の摂動を減衰させ得る。

動作中、センサアレイ１４４は、センサデータ１５４として制御エンジン１２８に伝送されるデータを捕捉する。このセンサデータは、説明されるように、オペレータ１１４が一連の場所に対応する移動を実施することによって示すそれらの場所から採集される。但し、いくつかの場合では、ロボット１４０は、オペレータ１１４のように類似した動態を実装する必要がない。特に、オペレータ１１４が、ある経路に沿ってモーション制御物体３０２を移動させるとき、ロボット１４０は、任意の技術的に実現可能な移動の組み合わせを実施し、センサアレイ１４４に同様の経路を辿らせ得る。このアプローチは、図４と併せて下記にさらに詳細に説明される。

図４は、本発明の種々の実施形態による、ロボットドローンの位置がモーションキャプチャ装置を介して制御され得る方法を図示する。図３と同様に、図４に描写されるシナリオは、例示的目的のために提供され、１つの可能なロボットおよび１つの可能な移動の組を図示するにすぎない。本明細書に説明される技術は、任意の技術的に実現可能なロボットおよび任意の技術的に実現可能な移動の組に適用可能である。

図４では、オペレータ１１４は、モーションキャプチャ物体３０２を、軌道４００（Ａ）に沿って最初の位置４１０（Ａ）から最終位置４１２（Ａ）に移動させる。そうすることにおいて、オペレータ１１４は、図３と併せて上で説明された同様の方式で腕３００を関節回転させる。しかしながら、図４に示される例示的シナリオでは、モーションキャプチャ装置１１０は、具体的な関節運動または腕３００を捕捉する必要がない。

代わりに、モーションキャプチャ装置１１０は、モーションキャプチャ物体３０２の軌道を追跡し、モーションキャプチャ信号１５０を生成する。モーションキャプチャ信号１５０に基づいて、制御エンジン１２８は、センサアレイ１４４に軌道４００（Ａ）に類似した軌道を通過させるロボット１４０のための具体的な動態を決定する。制御エンジン１２８は、これらの動態を表す制御信号１５２を生成し、次いで、制御信号１５２を実行のためにロボット１４０に伝送する。それに応答して、ロボット１４０は、センサアレイ１４４を軌道４００（Ｂ）に沿って位置４１０（Ａ）から位置４１０（Ｂ）に移動させる。

実装されたロボットのタイプに応じて、制御エンジン１２８は、異なる制御信号１５２を生成し得る。示される例では、ロボット１４０は、クワッドコプタドローンである。故に、制御エンジン１２８は、１つ以上のプロペラの推進力を変調し、ドローンにセンサアレイ１４４を軌道４００（Ｂ）に沿って移動させる制御信号１５２を生成する。別の例では、ロボット１４０は、図３に示されるロボット１４０と同様のいくつかの継手を伴うアームを含み得る。この場合、制御エンジン１２８は、ロボット１４０にセンサアレイ１４４を軌道４００（Ｂ）に沿って移動させるであろう関節運動の組を決定し得る。再び、それらの関節運動は、腕３００の関節運動と同様である必要がない。

本明細書に説明されるアプローチを用いて、オペレータ１１４は、モーションキャプチャ物体３０２を介して、センサアレイ１４４が沿って進行すべき軌道を示す。制御エンジン１２８は、次いで、ロボットに、センサアレイ１４４を用いて略同様の軌道を辿らせる。動作中、センサアレイ１４４は、制御エンジン１２８に伝送するためのセンサデータ１５４を捕捉する。

概して、図３－４を参照すると、当業者は、上で説明された技術が、モーションキャプチャデータに基づいてロボット制御信号を生成するための２つの例示的アプローチのみを表していることを理解するであろう。他のアプローチも、本発明の範囲に該当する。例えば、図２および３と併せて説明される技術は、組み合わせられ得る。この組み合わせられた技術に従って、制御エンジン１２８は、ロボット１４０に命令し、ある状況下のオペレータ１１４の動作をまねさせ、他の状況下のモーションキャプチャ物体３０２の軌道をまねさせ得る。代替として、制御エンジン１２８は、訓練され、ジェスチャに基づく言語に従って、オペレータ１１４の動作を解釈し得る。例えば、オペレータ１１４は、具体的な手の動作を実施し、「拡大する」、「カメラを左に回転させる」等のカメラ動作を示し得る。このアプローチを用いて、オペレータ１１４は、ロボット１４０の動作およびより具体的な映画撮影動作の両方にわたってきめ細かい制御を行い得る。１つの実施形態では、制御エンジン１２８は、ロボット１４０への後の再生のために、ロボット１４０のリアルタイムの制御中、オペレータ１１４によって実施される任意および全ての移動を記録する。この様式で、ロボット１４０は、オペレータ１１４に関連付けられた移動を反復させることを要求することなく、複数の作業を横断する移動の組を反復するように作製され得る。

（モーションキャプチャを介したロボット制御のための手順）
図５は、本発明の種々の実施形態による、モーションキャプチャデータをロボットを制御するための制御信号に変換するための方法ステップの流れ図である。方法ステップは、図１－４のシステムと併せて説明されるが、当業者は、方法ステップを、任意の順序で実施するように構成される任意のシステムも、本発明の範囲内であることを理解するであろう。

示されるように、方法５００は、モーションキャプチャ装置１１０が、オペレータ１１４に関連付けられたモーションキャプチャデータを受信するステップ５０２において開始する。モーションキャプチャ装置１１０は、コンピュータビジョン技術を実装し、オペレータ１１４の頭部、胴体、および手足を追跡するか、またはマーキング追跡技術に依拠し、オペレータ１１４の移動を追跡し得る。モーションキャプチャ装置は、モーションキャプチャ信号１５０を処理するために制御エンジン１２８に伝送する。

ステップ５０４において、制御エンジン１２８は、モーションキャプチャ信号１５０を処理し、ロボット１４０によって実施されるべき関節運動シーケンス、および／またはロボット１４０が辿るべきエンドエフェクタ経路を決定する。関節運動シーケンスの例は、図３と併せて上で議論されている。エンドエフェクタ経路の例は、図４と併せて上で説明されている。

ステップ５０６において、制御エンジン１２８は、決定された関節運動シーケンスおよび／またはエンドエフェクタ経路に基づいて、制御信号１５２を生成する。制御信号１５２は、実装されたロボット１４０のタイプに応じて、変化し得る。例えば、ロボットのロボットアームを制御するために、制御信号１５２は、継手位置コマンドを含み得る。代替として、ロボットドローンを制御するために、制御信号１５２は、プロペラによって産出される推進力を変調するためのモータ速度コマンドを含み得る。

ステップ５０８において、制御エンジン１２８は、制御信号１５２をロボット１４０のアクチュエータ１４２に伝送する。制御エンジン１２８は、制御信号１５２をロボット１４０に結合された１つ以上の物理ケーブルを介して伝送するか、もしくは制御信号１５２を無線で伝送し得る。

ステップ５１０において、制御エンジン１２８は、マルチメディアデータをロボット１４０に結合されたセンサアレイ１４４から捕捉する。センサアレイ１４４は、光学センサ、音響センサ、振動センサ等を含む物理的な数量を測定するように構成される任意の技術的に実現可能なタイプのセンサを含み得る。実践では、センサアレイ１４４は、概して、ビデオカメラと、可能性として音声捕捉デバイスとを同様に含む。マルチメディア捕捉モジュール２３０は、センサアレイ１４４からのセンサデータを処理し、マルチメディアデータを生成する。

当業者は、本明細書に説明される技術が、種々の映画撮影動作に対して説明されているが、この技術がまた、概して、ロボット制御にも適用されることを理解するであろう。例えば、モーションキャプチャ装置１１０および制御エンジン１２８は、映画撮影以外にも、互いに協働し、任意の技術的目的のためにロボット１４０を制御し得る。

要するに、モーションキャプチャ装置は、オペレータの移動を記録し、制御エンジンは、次いで、それらの移動を、ロボットを制御するための制御信号に変換する。制御エンジンは、オペレータ移動を、ロボットによって実施されるべき類似移動に直接的に変換するか、または制御エンジンは、ロボットの一部をオペレータの対応する部分に模倣させるロボット動態を算出し得る。

本明細書に説明される技術の少なくとも１つの利点は、人間のカメラオペレータが、映画を撮影するとき、不快感または傷害に曝される必要がないことである。自分自身でカメラ機器を保持し、物理的に撮影に臨む代わりに、カメラオペレータは、単純に、次いで、カメラ機器を動作させるロボットを潜在的には遠隔の場所から動作させることができる。

種々の実施形態の説明が、例証の目的ためにもたらされているが、開示される実施形態を包括かつ限定するものではないことが意図される。多くの修正および変形例が、説明される実施形態の範囲ならびに精神から逸脱することなく、当業者に明白となるであろう。

本実施形態の側面は、システム、方法、またはコンピュータプログラム製品として具現化され得る。故に、本開示の側面は、完全に、ハードウェア実施形態、完全に、ソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、または全て概して、本明細書に「モジュール」もしくは「システム」と称され得るソフトウェアおよびハードウェア側面を組み合わせるある実施形態の形態をとり得る。さらに、本開示の側面は、その上に具現化されるコンピュータ読み取り可能なプログラムコードを有する、１つ以上のコンピュータ読み取り可能な媒体内に具現化されるコンピュータプログラム製品の形態をとり得る。

１つ以上のコンピュータ読み取り可能な媒体の任意の組み合わせが、利用され得る。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であり得る。コンピュータ読み取り可能な記憶媒体は、例えば、限定ではないが、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、もしくはデバイス、または前述のものの任意の好適な組み合わせであり得る。コンピュータ読み取り可能な記憶媒体のより具体的な例（包括的ではない一覧）は、１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、もしくは前述のものの任意の好適な組み合わせを含むであろう。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、もしくはそれに関連して使用するためのプログラムを含有もしくは記憶することができる、任意の有形媒体であり得る。

本開示の側面は、本開示の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図ならびに／もしくはブロック図を参照して、上で説明される。フローチャート図および／またはブロック図の各ブロックならびにフローチャート図および／またはブロック図内でのブロックの組み合わせが、コンピュータプログラム命令によって実装されることができることが、理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供され、コンピュータもしくは他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャートおよび／またはブロック図のブロック内で規定される機能／作用の実装を可能にするように、機械を産出し得る。そのようなプロセッサは、限定ではないが、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルプロセッサもしくはゲートアレイであり得る。

図内のフローチャートおよびブロック図は、本開示の種々の実施形態によるシステム、方法、ならびにコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を図示する。この点について、フローチャートまたはブロック図内の各ブロックは、規定される論理機能を実装するための１つ以上の実行可能な命令を含むモジュール、セグメント、もしくは部分を表し得る。いくつかの代替実装では、ブロック内に記載される機能は、図内に記載される順序外で生じてもよいことにも留意されたい。例えば、連続して示される２つのブロックは、伴われる機能性に応じて、事実上、略同時に実行され得る、または時として、逆の順序で実行され得る。ブロック図および／またはフローチャート図の各ブロックならびにブロック図および／またはフローチャート図内でのブロックの組み合わせは、規定される機能もしくはアクション、または特殊目的ハードウェアならびにコンピュータ命令の組み合わせを実施する特殊目的ハードウェア系システムによって実装されることができることにも留意されたい。

前述は、本開示の実施形態を対象としているが、本開示の他のおよびさらなる実施形態も、その基本的範囲から逸脱することなく考案され得、その範囲は、後に続く請求項によって決定される。

Claims (1)

1. 本明細書に記載の発明。