JP6980525B2 - ビデオおよびモーション事象統合システム - Google Patents

ビデオおよびモーション事象統合システム Download PDF

Info

Publication number
JP6980525B2
JP6980525B2 JP2017527618A JP2017527618A JP6980525B2 JP 6980525 B2 JP6980525 B2 JP 6980525B2 JP 2017527618 A JP2017527618 A JP 2017527618A JP 2017527618 A JP2017527618 A JP 2017527618A JP 6980525 B2 JP6980525 B2 JP 6980525B2
Authority
JP
Japan
Prior art keywords
event
data
video
computer
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017527618A
Other languages
English (en)
Other versions
JP2018504802A (ja
JP2018504802A5 (ja
Inventor
ベントリー，マイケル
キャプス，ライアン
ボーズ，バスカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blast Motion Inc
Original Assignee
Blast Motion Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/549,422 external-priority patent/US9235765B2/en
Application filed by Blast Motion Inc filed Critical Blast Motion Inc
Publication of JP2018504802A publication Critical patent/JP2018504802A/ja
Publication of JP2018504802A5 publication Critical patent/JP2018504802A5/ja
Application granted granted Critical
Publication of JP6980525B2 publication Critical patent/JP6980525B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Description

１以上の実施形態は、モーションキャプチャデータ解析、並びに、モーションキャプチャデータ中またはユーザもしくは用具と関連付けられたモーション解析データ中で認識された事象に基づく、および／または、ユーザまたは他のユーザおよび／もしくは用具からの以前のモーション解析データに基づく、情報表示の分野に関する。本発明を限定するものではないが、より具体的には、１以上の実施形態は、ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオを、コンピュータによって自動的に同期および転送することを可能にする、ビデオおよびモーション事象統合システムを可能にする。事象ビデオをアップロードし、大量のビデオの関係ない部分のアップロードを回避することによって、ストレージを大きく節約すると共にアップロード速度を高める。所与の時間における事象をカバーしている複数のカメラからの複数のビデオのコンピュータによる自動的な選択（例えば、最小の揺れを有するビデオの選択）を提供する。モーションキャプチャセンサによって決定された事象が生じている間のカメラパラメータのほぼリアルタイムの変更、および同期された事象ビデオについての再生パラメータおよび特殊効果の変更を可能にする。測定指標によってフィルタリングされたハイライトリールを生成し、測定指標によってソーティングできる。たとえ他のセンサがその事象を検出していない場合であっても、事象データを保存するために複数のセンサと統合される。また、同じユーザ、他のユーザ、歴史的なユーザ、またはユーザのグループと関連づけられた動きの解析または比較を可能にする。また、少なくとも１つの実施形態は、プレイヤーのショット、移動、もしくはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）を含むが、それらに限定されない、モーションデータ中の事象の認識を可能にする。モーション事象は、事象が生じた際または事象が生じた後に、および、内部／外部カメラもしくはベビーシッター監視カメラから事象がキャプチャされた際に、例えば、事象（例えば、子供の初めての歩行、激しい震え事象、スポーツ、軍隊または他のモーション事象（震盪、または高齢者と関連付けられた転倒事象を含む）等）のビデオを保存すると共に、例えば、事象ビデオに必要な記憶容量を大きく低減するために事象に関連しないビデオデータを捨てるのを可能にするために、事象の位置および／または時間またはそれらの両方に基づいて、例えば、モバイル装置またはリモートサーバ上で、画像またはビデオと相関され得るか、および／または別様で同期され得る。
既存のモーションキャプチャシステムは、対象となる実際の事象に関する大量のデータを処理し、可能性として格納もする。例えば、公知のシステムは、ユーザまたは用具に結合されたセンサから加速度計データをキャプチャして、動きを解析またはモニタリングする。これらの状況では、数千または数百万ものモーションキャプチャサンプルが、休息中のユーザ、または既存のシステムが解析を試みる特定の事象に関係する方法で動いていないユーザと関連付けられる。例えば、フットボールプレイヤーをモニタリングする場合には、大量のモーションデータは震盪事象に関係せず、乳児については、大量のモーションデータは、概して揺さぶり事象またはモーションが無い事象（例えば、乳幼児突然死症候群（ＳＩＤＳ）等）に関係せず、ゴルファーについては、プレイヤーのゴルフクラブに装着されたセンサによってキャプチャされた大量のモーションデータは、低加速値のものである（例えば、プレイヤーが立っていること、またはプレイの待機中もしくは別様で対象となる方法で移動もしくは加速していないことと関連付けられる）。よって、事象に関連しないデータをキャプチャし、転送し、格納することは、電力、帯域幅、およびメモリの要件を増大させる。
更に、或るタイプのモーションを行っているユーザのビデオキャプチャは、さらに大量のデータを含み得るが、その大半は、例えば、野球のバットのスイングやホームラン等の実際の事象とは関係ないものである。ビデオを自動的にトリミングして、例えば、事象に関連するビデオを保存し、または、例えば、生ビデオ全体をアップロードするのではなく、例えば、モーションキャプチャセンサによって決定された関係ある事象ビデオのみをアップロードすることによって、事象に関連しないビデオを捨てて、ビデオ中で生じた、例えば、モーションキャプチャデータの解析によって検出された事象に対応するより小さいビデオセグメントを生成する公知のシステムは存在しない。
衝撃をモニタリングすることに関係する幾つかのシステムは、線形加速に関連する衝撃に焦点を当てている。これらのシステムは、回転加速または回転速度をモニタリングすることはできず、従って、震盪を生じ得る特定のタイプの事象は検出できない。更に、これらのタイプのシステムの多くは、低電力および長寿命を考慮した、事象に関連するコネクションレスメッセージを生成しない。よって、これらのシステムの用途は、それらのロバスト性の欠如に基づいて、限られたものとなっている。
また、公知のシステムは、以前に格納されたモーションデータ中で認識された事象の関数に基づいて、特定の動き（例えば、平均的なプレイヤーもしくは平均的なプロプレイヤーのレベルのスイング、または任意のプレイヤーのレベルのスイング）の表現を構成するために、モーションデータ中の事象のデータマイニングを行うことを考えていない。従って、例えば仮想現実で用いるために、特定のモーションに関連する事象を見つけ出して、トリミングして、指定することは困難であり、時間がかかり、手間を要する。よって、現行のシステムは、特定のユーザが、同じユーザまたは他のユーザ（例えば歴史上のプレイヤー）の以前に格納されたモーション事象を相手にプレイすることを容易には可能にしない。更に、公知のシステムは、例えば、一連の衝撃がやがて脳機能障害につながり得るか否かを決定するために、震盪に関係するデータマイニングされた情報に関する累積影響を考慮していない。
他のタイプのモーションキャプチャシステムは、身体力学を解析して指導することを目的にしたビデオシステムを含む。これらのシステムは、アスリートのビデオの記録、および記録されたアスリートのビデオの解析に基づくものである。この技術は、例えば、ビデオに基づく不正確で一貫しない被写体の解析を含む、様々な限界を有する。別の技術は、アスリートと関連付けられた動きの三次元の位置をキャプチャするために、例えば少なくとも２台のカメラを用いた、モーション解析を含む。公知の実装例は、携帯型ではない静止マルチカメラシステムを用いるので、例えば、ゴルフトーナメント、フットボールの試合等の運動事象において、または子供や高齢者をモニタリングするために、システムがインストールされている環境の外で用いることはできない。一般的に、ビデオに基づくシステムは、電子センサではなく視覚的マーカーを有する画像を取得して解析することを目的としているので、モーションを行っているオブジェクト上のセンサからのデジタルモーションキャプチャデータを用いることはしない。また、これらの固定された設備は非常に高価である。そのような従来技術は、特許文献１による優先権を主張している特許文献２に要約されており、それらの明細書を参照して本明細書に組み込む。両開示は、本願の主題と同じ発明者によるものである。
取得されたモーションキャプチャデータを問わず、データは、一般的に、ユーザ毎に、またはスイング毎に解析されるが、これは、ユーザが、モーションキャプチャセンサと既存の携帯電話のための「アプリ」とを買うだけでよいような携帯電話上での処理は考えていない。更に、既存の解決法は、モバイルでの使用、解析およびメッセージング、並びに／または、同じユーザもしくは他のユーザの以前に格納されたモーションキャプチャデータとの比較もしくはその使用、または、例えば、「プロレベル」の平均的または例外的な仮想現実の対戦相手と関連付けられた事象を提供するための、１グループのユーザ（例えば、プロゴルファー、テニスプレイヤー、野球プレイヤー、または他の任意のスポーツのプレイヤー）と関連付けられたモーションキャプチャデータを取得または生成するための、モーションキャプチャデータの大量のデータセットのデータマイニングについては考えていない。要約すると、モーションキャプチャデータは、一般的に、即時のモニタリングのため、またはスポーツのパフォーマンスのフィードバックのために用いられており、一般的に、他の分野での使用は限定的および／または未発達である。
公知のモーションキャプチャシステムは、一般的に、幾つかの受動的もしくは能動的なマーカー、または幾つかのセンサを用いる。１個という少ない視覚的マーカーまたはセンサと、例えば、ユーザが既に所有しているモバイル装置上で実行される、ユーザおよび／または用具と関連付けられたモーションキャプチャデータを解析して表示するためのアプリとを用いる公知のシステムは存在しない。データは、一般的に、研究室でユーザ毎にまたはスイング毎に解析され、特定のユーザのモーション解析またはモーションの表現以外の他の任意の目的のために用いられることはなく、データマイニングは行われないのが一般的である。
ローカルな解析または後での解析のために、例えば無線センサ等のモーションキャプチャ要素を、ユーザに、または靴、グローブ、シャツ、ズボン、ベルト、もしくは他の用具（例えば、野球のバット、テニスラケット、ゴルフクラブ、ボクサー、フットボールもしくはサッカープレイヤー用のマウスピース、または他の任意の接触型スポーツで用いられる保護マウスピース等）に、これらのアイテム内またはアイテム上にセンサが配置されていることにユーザが気づかないような小さいフォーマットで、シームレスに統合または別様で結合できるようにする公知のシステムは存在しない。モーションデータをキャプチャするよう構成された無線ゴルフクラブを提供するために、例えば、ゴルフクラブのウェイトポート内またはハンドル付近のエンドシャフトに、シームレスなマウントを提供する公知のシステムは存在しない。既存のセンサから得られた多数の事象についてのデータは、データベースに保存されず、キャプチャデータが取得されたパフォーマンス以外のものに関しては用いられない。
更に、用具およびボールを用いるスポーツについて、ボールの飛距離、スイング速度、用具のスイング効率、または、ボールの衝撃がどのくらい中心にあったか（即ち、用具のどこにおいてボールの衝突が生じたか）に関する即時の視覚的フィードバックをユーザが取得できるようにする公知の携帯型のシステムは存在しない。これらのシステムは、ユーザが、他のユーザ、歴史上のプレイヤー、またはユーザ自身の以前のパフォーマンスから取得されたモーションキャプチャデータと共に試合をプレイすることを可能にしない。公知のシステムは、ユーザのモーションキャプチャデータに一致するより良好なまたは最適な用具を示唆するため、またはサーチすることを可能にするために、多数のスイングからのモーションキャプチャデータをデータマイニングすることを可能にはせず、また、相手先商標製造業者（ＯＥＭ）が、例えば、製品を改善する、自社の製品を他の製造業者と比較する、より高額な商品を売る、または、異なるもしくはより利益のある製品を購入し得るユーザにコンタクトするための、ビジネス上の決定を行うことを可能にはしない。
更に、用具のフィッティング、および、その後の、アスリートにフィットする用具をその場で購入するための売り場での決定を行うために、モーションキャプチャデータマイニングを用いる公知のシステムは存在しない。更に、例えば、プレイ中または仮想現実プレイ中のモーションキャプチャデータマイニングに基づく顧客仕様に従って用具を製造し、その用具を顧客に出荷して、売り場での処理が完了するというような、スポーツ用具の特注の実現のための受注組立生産方式（ＡＴＯ）等の、特注の実現を可能にする公知のシステムは存在しない。
更に、受動的なコンプライアンス（服薬順守）およびモニタリング用途のための、モバイル装置およびＲＦＩＤタグを用いる公知のシステムは存在しない。
モーションに関係するこれまで未発見のパターンに基づくビジネス戦略の決定を可能にするデータ中のパターンを見出すために、多数のユーザのモーションまたは彼らに関連づけられた用具のモーションに関係するデータマイニングを可能にする公知のシステムは存在しない。ＯＥＭ、医療専門家、ゲーム会社、または他のエンドユーザから、モーションデータのデータマイニングを可能にするための支払いを得ることを可能にする公知のシステムは存在しない。少なくとも上述の限界を理由として、ビデオおよびモーション事象統合システムが必要である。
例えば、特許文献３および特許文献４等の公知のシステムは、事象が生じている間に生じた関係あるビデオのみをアップロードすることは考えておらず、後で同期される大量のビデオをアップロードする。特許文献３および特許文献４は、モーションキャプチャセンサが、事象に基づいてその場でカメラパラメータを変更するよう（例えば事象ビデオのキャプチャ中に、スローモーション用にフレームレートを高くするよう）カメラにコマンドを送ることは考えておらず、事象に対応するビデオの一部分における再生パラメータを変更することは考えていない。また、特許文献３および特許文献４は、複数のカメラが例えば異なる角度から事象をキャプチャし得る場合に、ハイライトリールを生成することは考えておらず、所与の事象についての最良のビデオを自動的に選択することは考えていない。更に、特許文献３および特許文献４は、他のセンサが事象を観察または別様で検出していない場合でも、そのセンサデータが依然として測定指標を取得するために価値がある複数センサ環境は考えておらず、よって、１つのセンサが或る事象を識別した後に他のセンサ上において事象データを保存することは教示していない。
米国仮特許出願第６０／６４７，７５１号明細書 米国特許第７，２６４，５５４号明細書 米国特許出願公開第２０１３／０３４６０１３号明細書 米国特許出願公開第２０１３／０３３００５４号明細書
本発明の実施形態は、ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオを、コンピュータによって自動的に同期および転送することを可能にする、ビデオおよびモーション事象統合システムを可能にする。事象ビデオをアップロードし、大量のビデオの関係ない部分のアップロードを回避することによって、ストレージを大きく節約すると共にアップロード速度を高める。所与の時間における事象をカバーしている複数のカメラからの複数のビデオのコンピュータによる自動的な選択（例えば、最小の揺れを有するビデオの選択）を提供する。モーションキャプチャセンサによって決定された事象が生じている間のカメラパラメータのほぼリアルタイムの変更、および同期された事象ビデオについての再生パラメータおよび特殊効果の変更を可能にする。測定指標によってフィルタリングされたハイライトリールを生成し、測定指標によってソーティングできる。たとえ他のセンサがその事象を検出していない場合であっても、事象データを保存するために複数のセンサと統合される。また、同じユーザ、他のユーザ、歴史的なユーザ、またはユーザのグループと関連づけられた動きの解析または比較を可能にする。少なくとも１つの実施形態は、携帯型の無線モーションキャプチャ要素（例えば、視覚的マーカーおよびセンサ、無線自動識別タグ、並びにモバイル装置コンピュータシステム等）から取得されたモーションキャプチャデータ、同じユーザと関連付けられた解析された動きに基づいて計算されたモーションキャプチャデータ、または、同じユーザ、他のユーザ、歴史的なユーザ、もしくはユーザのグループと比較されるモーションキャプチャデータを含むが、それらに限定されない、モーションデータ中の事象のコンピュータによる自動認識を提供する。モーションデータおよびビデオを検出された事象に対応するようにトリミングすることにより、事象データおよびビデオデータのためのメモリ使用量を低くすること可能にする。これは、事象の位置および／または時間に基づいて、並びにビデオの位置および／または時間に基づいて、モバイル装置またはリモートサーバ上で行われてもよく、必要に応じて、モーション事象を含み得るビデオを更に制限するために、カメラの向きを含んでもよい。複数の実施形態は、事象に基づく閲覧、事象の低電力送信、モバイル装置上で実行されるアプリとの通信、および／または、事象を定義するウィンドウを指定するための外部カメラとの通信を可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動またはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等といったモーション事象の認識、および事象の指定を可能にする。事象は、例えば、子供の初めての歩行、激しい震え事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象等の事象のビデオを保存することを可能にするために、内部／外部の１または複数のカメラ、もしくは例えばベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。線形加速の閾値および／またはパターン、並びに、回転加速および回転速度の閾値および／またはパターンについて、震盪に関連する事象および他の事象がモニタリングされてもよく、および／または事象毎に保存されてもよく、および／または軽量コネクションレスプロトコルを介して転送されてもよく、またはそれらの任意の組み合わせを行ってもよい。
本発明の複数の実施形態は、ユーザがアプリケーションまたは「アプリ」およびモーションキャプチャ要素を購入して、既存のモバイルコンピュータ（例えば、携帯電話）を用いて本システムを即時に利用することを可能にする。本発明の複数の実施形態は、モニタリングしているユーザ、またはモーションキャプチャ要素もしくは用具と関連付けられたユーザに対して、モーション情報を表示してもよい。複数の実施形態は、ユーザもしくは用具と関連付けられた以前に格納されたモーションキャプチャデータもしくはモーション解析データ、または、少なくとも１の他のユーザと関連付けられた以前に格納されたモーションキャプチャデータもしくはモーション解析データに基づいて（例えば、比較等であるが、それに限定されない関数によって）、ユーザまたは用具と関連付けられたモーション解析データに基づく情報も表示してもよい。これは、他のユーザから取得された実際のモーションキャプチャデータまたはパターンの洗練されたモニタリング、コンプライアンス、インタラクションを可能にする（例えば、ユーザから取得された実際のモーションデータを用いて、以前に同じユーザからまたは他のユーザ（もしくは用具）からキャプチャされた実際のモーションデータを用いて、それに基づいて生成された応答を有する仮想の試合をプレイすること）。この機能は、歴史上のプレイヤーを相手に例えば仮想のテニスの試合をプレイすること、または「平均的な」プロスポーツプレイヤーを相手にプレイすることを提供するものであり、今日まで当該技術分野では知られていない機能である。
例えば、１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含み、該少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、（線形および／または回転）加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含む。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、事象データを決定するためにデータを解析してデータ中の事象を認識し、事象と関連付けられた事象データを無線器を介して送信するよう構成されている。上記システムの複数の実施形態は、モバイル装置上で実行されるよう構成されたアプリケーションも含んでもよく、モバイル装置は、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含む。コンピュータは無線通信インターフェースと結合されており、コンピュータはアプリケーションまたは「アプリ」を実行することにより、無線通信インターフェースから事象データを受信し、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、少なくとも１のユーザと関連付けられた事象データ、モーション解析データ、またはそれらの両方を含む情報をディスプレイに表示するよう、コンピュータを構成する。
１以上の実施形態は、ユーザの頭部の付近に配置されるよう構成された少なくとも１つのモーションキャプチャセンサを含み、マイクロコントローラは、更に、ユーザの頭部における衝撃の位置を計算するよう構成される。少なくとも１つのモーションキャプチャセンサの複数の実施形態は、任意のタイプのマウント、囲い、または結合機構を用いて、帽子または縁なし帽子上や、保護マウスピース内に結合されるよう構成され得る。少なくとも１つのモーションキャプチャセンサの１以上の実施形態は、ユーザの頭部のヘルメットと結合されるよう構成されてもよく、ユーザの頭部における衝撃の位置の計算は、ユーザの頭部および／またはヘルメットの物理的形状に基づく。複数の実施形態は、例えば、少なくとも１つのモーションキャプチャセンサまたはマイクロコントローラと結合された温度センサを含み得る。
本発明の複数の実施形態は、少なくとも１つのモーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するよう構成されたアイソレータも用い得る。従って、複数の実施形態は、ヘルメットに基づく加速からの力、加速値、または他の任意の値を、観察された脳の加速値へと変換する処理をなくし得る。従って、複数の実施形態は、事象特異的データを提供するために、より少ない電力および記憶容量を用い、それにより、データ転送量を最小限にして、より低い送信電力使用量およびさらに低い合計電力使用量を生じる。フットボール／ホッケー／ラクロスのプレイヤーのヘルメットには、ヘルメット内の固有のパッドのタイプに基づいて、それぞれ異なるアイソレータが用いられ得る。ヘルメットを着用しない、または時々着用するスポーツで用いられる他の実施形態では、縁なし帽子または縁あり帽子、例えば、野球のプレイヤーの帽子上の少なくとも１つのモーションキャプチャセンサが、バッター用ヘルメットに装着された少なくとも１つのセンサと共に用いられ得る。例えば、サッカー等の帽子が用いられないスポーツでは、震盪を判断するために、ヘッドバンドのマウントも用いられ得る。１以上の実施形態では、ヘルメットに用いられるアイソレータは、ヘルメットに取り付けられた囲いの中に留まってもよく、センサは、ユーザの脳液の緩衝に適合するアイソレータを用いない別の用具上に着脱されてもよい。複数の実施形態は、或るタイプのモーションを自動的に検出して、特定のタイプの用具と関連付けられた特徴的なモーションパターン（即ち、サーフボードと野球のバットとの対比）に基づいて、モーションキャプチャセンサが現在取り付けられている用具のタイプを決定してもよい。
本発明の複数の実施形態は、線形加速値、回転加速値、またはそれらの両方を取得／計算するよう構成され得る。これは、線形加速と共に、震盪について回転事象をモニタリングすることを可能にする。他の事象は、事象が生じている間にキャプチャ特性をダイナミックに変えるためにセンサの性格を切り替えるためのみならず、現在のモーションキャプチャセンサと共に現在用いられている用具のタイプを特徴づけるために、例えば、パターンまたはテンプレートと比較されるように、線形および／もしくは回転の加速および／または速度を利用してもよい。これは、センサが結合されている用具または衣服のタイプを、センサによってキャプチャされたモーションとモーションの特徴的なパターンまたはテンプレートとの比較に基づいて、センサが自動的に決定することを可能にすることによって、ユーザが購入した単一のモーションキャプチャ要素が、複数の用具または衣服に装着されること可能にする。
本発明の複数の実施形態は、事象と関連付けられた事象データを、コネクションレス同報メッセージを用いて送信してもよい。１以上の実施形態では、用いられている無線通信に応じて、同報メッセージは、接続ベースのプロトコルのハンドシェーキングおよびオーバーヘッドを回避するために用いられ得る限られたデータ量を有するペイロードを含み得る。他の実施形態では、コネクションレスまたは接続ベースのプロトコルは、任意の組み合わせで用いられ得る。
１以上の実施形態において、コンピュータは、例えば、震盪、転倒、他の揺れ、または他の任意のモーション事象の数を決定するために、ユーザまたは用具と関連付けられた、以前に格納された事象データまたはモーション解析データにアクセスし得る。複数の実施形態は、ユーザまたは用具と関連付けられた事象データまたはモーション解析データと、ユーザもしくは用具、または少なくとも１の他のユーザもしくは他の用具と関連付けられた以前に格納された事象データまたはモーション解析データとに基づいて、少なくとも１つのユーザと関連付けられた事象データもディスプレイに提示してもよい。これは、数値または定量的な値（例えば、特定の試合において、または歴史的に、ユーザまたは他のユーザによって観察された最大回転加速）としてのモーション事象の比較を可能にする。更に、例えば、中央のサーバ上で、またはローカルに、典型的な事象についての特定の用具の特徴的なモーションを定義するパターンまたはテンプレートが、ダイナミックに更新されてもよく、１以上の実施形態では、無線インターフェースを介してモーションキャプチャセンサ内でダイナミックに更新されてもよい。これは、センサを経時的に改善することを可能にする。
本発明の複数の実施形態は、コンピュータまたはリモートコンピュータと結合された視覚的ディスプレイ上の表示に、例えばテレビ放送またはインターネットを介して、情報を送信してもよい。また、表示の複数の実施形態は、事象全体のタイムラインに沿った個別のスクロールを提供するために、サブ事象の時間的な位置を受け付けるよう構成されてもよい。例えば、ゴルフスイングは、アドレス、バックスイング、フォワードスイング、打撃、フォロースルー等のサブ事象を含み得る。本システムは、サブ事象の時間的な位置を表示して、例えばサブ事象の閲覧し易くするために、ビデオが開始または停止すべき時点をアサートする、またはその時点までスクロールするもしくは戻るために、その位置の付近へのユーザによる入力を受け付けてもよい。
本発明の複数の実施形態は、少なくとも１つのモーションキャプチャセンサ、ユーザ、または用具と結合された識別子も含み得る。１以上の実施形態において、識別子は、特定のユーザまたは用具からの特定の事象の比較的一意的な識別を可能にする、チームおよびジャージの番号、生徒識別番号、登録番号、または他の任意の識別子を含み得る。これは、特定のプレイヤーまたはユーザと関連付けられたデータを受信するよう構成されたアプリに関して、複数のプレイヤーまたはユーザがいるチームスポーツまたは位置を識別することを可能にする。１以上の実施形態は、プレイヤーまたはユーザと関連付けられた識別子（例えば、受動的ＲＦＩＤ識別子、ＭＡＣアドレス、または他の整理番号）を受信して、その識別子を事象データおよびモーション解析データと関連づける。
少なくとも１つのモーションキャプチャ要素の１以上の実施形態は、事象が生じた場合に光を出力するよう構成された発光素子を更に含み得る。これは、例えば、何らかの外部装置との通信を必要とせずに、ヘルメットの外側部分における軽度または重度の震盪の可能性を表示するために用いられ得る。また、事象に関係する情報を中継するために、複数の異なる色またはフラッシュ間隔が用いられてもよい。或いは、またはそれと組み合わせて、少なくとも１つのモーションキャプチャ要素は、事象が生じた場合、または少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に音声を出力するよう構成された音声出力素子を更に含んでもよく、または、コンピュータは、少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に表示して警告するよう構成されてもよく、またはそれらの任意の組み合わせが行われてもよい。例えば、審判が、モバイル装置上でローカルに解析コードのスナップショットを取得し得るように、且つ、センサ上で、または無線で送信された事象が、何者かによって傍受されて読解可能な形態で見られないように、センサの複数の実施形態は、現在の事象の符号化された（例えば、クイックレスポンス（ＱＲ）コードまたはバーコードの形態の）解析を出力するＬＣＤを用いてもよい。
１以上の実施形態において、少なくとも１つのモーションキャプチャ要素は、マイクロコントローラと結合された位置決定要素を更に含む。これは、例えばＧＰＳ（全地球測位システム）装置を含み得る。或いは、またはそれと組み合わせて、コンピュータが別のコンピュータと協働して位置を三角測量してもよく、他の任意の三角測量タイプの受信器から位置を取得してもよく、または、コンピュータと結合されている特定の方向に向いていることがわかっているカメラによってキャプチャされた画像に基づいて位置を計算してもよく、この場合、コンピュータは、例えば画像中のオブジェクトの方向およびサイズに基づいて、モバイル装置からのオフセットを計算する。
１以上の実施形態において、コンピュータは、更に、事象の近位にある少なくとも１つのカメラからの、事象を含む少なくとも１つの画像またはビデオを要求するよう構成される。これは、特定の近位のカメラまたは事象の方向を向いているカメラからのビデオを要求する同報メッセージを含み得る。１以上の実施形態において、コンピュータは、更に、事象の近位にある、または事象を見るよう向けられているカメラの位置を求める要求を同報し、必要に応じて、対象となる事象が含まれる継続期間にわたって、使用可能なカメラまたはそこからのビデオを表示するよう構成される。１以上の実施形態において、コンピュータは、更に、事象が生じた１以上の時間のリストを表示するよう構成され、これは、ユーザが、コンピュータを介して、所望の事象ビデオを取得すること、および／または、所望の事象の時間を有する第三者からのビデオを独立して要求することを可能にする。
１以上の実施形態において、少なくとも１つのモーションキャプチャセンサはモバイル装置と結合されており、例えば、モバイル装置内にある、またはモバイル装置と結合された内部モーションセンサを用いる。これは、最小のユビキタスなハードウェアを用いた（例えば、内蔵加速度計を有するモバイル装置を用いた）モーションキャプチャおよび事象認識を可能にする。１以上の実施形態において、第１のモバイル装置は、モーションデータを記録するユーザと結合されてもよく、一方、第２のモバイル装置は、モーションのビデオを記録するために用いられる。１以上の実施形態において、モーションを行っているユーザは、第２のユーザのモバイル装置がビデオの記録を開始またはビデオの記録を停止すべきことを示すために、例えばモバイル装置をＮ回タップする等のジェスチャを行ってもよい。事象に関連するまたはモーションに関連する指示をモバイル装置間で通信するために、他の任意のジェスチャが用いられてもよい。
少なくとも１つのモーションキャプチャセンサの複数の実施形態は、温度センサを含んでもよく、または、マイクロコントローラが別様で温度センサと結合されていてもよい。これらの実施形態では、マイクロコントローラは、温度センサから取得された温度を、例えば、熱中症または低体温を可能性として示す温度事象として送信するよう構成される。
このように、本発明の複数の実施形態は、ユーザ、用具、もしくはモバイル装置の任意の組み合わせと結合された少なくとも１つのモーションキャプチャセンサと関連付けられたモーション、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組み合わせを示すモーションに関係する事象、または、モーションが生じた継続期間を有する他の任意のタイプの事象を含む、任意のタイプのモーション事象を認識し得る。
本発明の複数の実施形態は、ユーザ、用具についてのパターンを取得するために、または、本発明の特定の実施形態では、所与のユーザもしくは他のユーザのモーションキャプチャデータもしくは事象を用いるために、モーションキャプチャデータに対するデータマイニングを用いてもよい。データマイニングは、大きいデータベース中で、以前は未知であった新たなパターンを発見することに関係する。新たなパターンを発見するために、例えば、統計的解析、ニューラルネットワーク、および人工知能を含む多くの方法がデータに適用され得る。データ量が大きいため、データ中の未知のパターンを見出すための自動化されたデータマイニングは、１以上のコンピュータによって行われ得る。未知のパターンは、複数の関連データ群、データ中の例外、データの要素間の依存性、分類、および、誤差が最小となるようデータをモデリングする関数、または他の任意のタイプの未知のパターンを含み得る。データマイニングの結果の表示は、新たに発見されたパターンを、大量の純粋な生データよりもユーザが理解しやすい方法で要約する表示を含み得る。データマイニング処理の結果の１つは、改善された市場リサーチ報告、製品の改善、リード・ジェネレーション、およびターゲット販売である。一般的に、データマイニングされる任意のタイプのデータは、クレンジングされ、データマイニングされ、その結果はバリデーションを受けるのが一般的である。ビジネスは、データマイニングを用いて利益を高め得る。本発明の複数の実施形態の利点の例は、データ中で発見されたパターンに基づく、個人に対する高度なターゲット化を行うための顧客関係管理を含む。更に、マーケット・バスケット解析データマイニングは、同じ個人によって購入または所有されている製品を識別することを可能にし、これは、１つの製品を所有しているが、他のユーザが典型的に所有している別の製品を所有していないユーザに、製品を提供するために用いられ得る。
データマイニングの他の領域は、複数の異なるユーザからの複数の大きいモーションデータセットを解析して、他のユーザのパフォーマンスデータに基づいてパフォーマンスを改善するためのエクササイズを示唆することを含む。例えば、一人のユーザのスイング中の腰の回転が、平均的なユーザと比べて少ない場合には、柔軟性または強さを改善するためのエクササイズがシステムによって示唆され得る。ゴルフコースの実施形態では、ゴルフコースプランナーは、ゴルフコース上の大量のユーザに対して、例えば、特定の時刻において、または特定の年齢のゴルファーについて、ホール毎の平均的なショット数のより離散的な値を得るために、またはゴルファー間の時間の量を決定するために、どのホールの長さまたは難度を調節すべきかを決定し得る。更に、データマイニングのスポーツおよび医療用途としては、何がパフォーマンスを最も改善するか、または、例えば、どの時刻、温度、もしくは他の条件が、最も遠くまでのドライブもしくは最も低いスコアを得られるスイング事象を生じるかを決定するために、例えば、ダイエットまたはエクササイズの変更と比較した、ユーザのパフォーマンスの経時的な形態学的変化を決定することが含まれる。特定のユーザについての、または他のユーザに関するモーションキャプチャデータの使用は、例えば、糖尿病の人が１日のうちに特定の量だけ動くことを確実にするためのヘルスケアコンプライアンス、および、ユーザのモーションまたはモーションの範囲が経時的にどのように変化したかを決定するための形態学的解析を可能にする。歴史上の偉人または他のユーザを相手にした仮想現実プレイを可能にするモーションキャプチャデータを用いて、試合をプレイしてもよい。例えば、或る人が、同じ人の以前のパフォーマンスまたは友人のモーションキャプチャデータを相手にプレイしてもよい。これは、ユーザが、歴史的なスタジアムまたは仮想現実環境の会場で、例えば、そのユーザまたは他のユーザから以前に取得されたモーションキャプチャデータを用いて、試合をプレイすることを可能にする。軍隊のプランナーは、特殊作戦について、どの兵士が最も適していて相応しいかもしくは誰が撤退すべきかを決定するためにモーションキャプチャデータを用いてもよく、または、コーチは、震盪に関連する事象の後に、他のユーザのパフォーマンスが高まった場合に、例えば、プレイヤーの震盪事象およびその深刻度、並びに、可能であればマイニングされた期間に基づいて、プレイヤーがいつ休息すべきかを決定するためにモーションキャプチャデータを用いてもよい。
本システムの複数の実施形態は、例えば、視覚的ディスプレイおよび必要に応じて設けられるカメラを含み得ると共に、例えば、視覚的マーカーおよび／または無線センサ等の少なくとも１つのモーションキャプチャ要素からデータを取得できるモバイル装置上で実行されるアプリケーションを用いて、モーションキャプチャおよび／または表示を行う。このシステムは、スタンドアロンのカメラ、または複数のモバイル装置上のカメラと統合できる。また、本システムは、ユーザが、モーションキャプチャデータと関連付けられた理解が容易なグラフィカルな情報を即時に提供する様々な方法で、モーションキャプチャデータを解析して表示することを可能にする。本システムで用いられるモーションキャプチャ要素は、例えば、ボールを打つこと、スキーのターン、ジャンプ等を行うこと等と関連付けられた事象に関係するデータを、コンピュータによって自動的に格納し、誤った事象を除外し、メモリ使用量を大きく改善し、必要な記憶容量を最小限にする。更に、データは、少なくともデータがモバイル装置またはインターネットにダウンロードされるまで、必要に応じて、例えば、スポーツ用具（例えば複数のバットのスイング）またはゴルフの１ラウンド全体もしくはそれ以上と関連付けられた２以上の事象について格納され得る。また、所与の量のメモリにより多くのモーションキャプチャデータを格納するために、キャプチャされたデータのデータ圧縮も用いられ得る。また、本システムで用いられるモーションキャプチャ要素は、電力を節約するために、それらの回路の一部がコンピュータによって自動的に電力オフされるように構成され得る（例えば、特定のタイプのモーションが検出されるまで、送受信器の電力を落とす）。本発明の複数の実施形態は、電池を交換する前にシステムが用いられ得る時間を増加させるために、２以上の電池を並列に接続するための柔軟なバッテリーコネクタも用い得る。モーションキャプチャデータは、一般的に、例えば、ローカルデータベースまたはネットワークでアクセス可能なデータベース等の、上述のデータマイニングを可能にするメモリに格納される。本発明の複数の実施形態を用いて、１以上のユーザに関係するデータの経時変化をサーチすること、または、単に、特定のユーザまたは用具に関係するデータをサーチすることを含む他の任意のタイプのデータマイニングが行われ得る。
他の複数の実施形態は、例えば、モーションに関連するデータに基づいて、再生される音楽選集または音楽再生リスト等の情報を表示してもよい。これは、例えば、パフォーマンスを別のユーザのパフォーマンスと比較して、他のユーザが再生する音楽のタイプを選択すること、または、パフォーマンスを、どのタイプの音楽選集を示唆または表示するかを決定する閾値と比較することを可能にする。
スポーツを目的にした本発明の複数の実施形態は、例えば、ユーザが動かすアイテム上に、ＲＦＩＤまたは受動的ＲＦＩＤタグが配置されることを可能にし、この場合、本システムの複数の実施形態はモーションを追跡する。例えば、特定のヘルメット、縁なし帽子、ボクシング、フットボール、サッカー、もしくは他の接触型スポーツ用の保護マウスピース、またはジムにある特定のダンベルに、受動的ＲＦＩＤタグを配置して、例えば、グローブ等のモーションキャプチャ要素を装着し、既存のモバイル装置（例えばＩＰＨＯＮＥ（登録商標））を用いることにより、本発明の複数の実施形態は、自動安全性コンプライアンス、またはフィットネスおよび／もしくはヘルスケアコンプライアンスを提供する。これは、モーションと、ＲＩＦＤまたは受動的ＲＦＩＤを介してユーザが持ち上げている重量とを追跡することによって達成される。このように、本発明の複数の実施形態は、反復回数×各ＲＦＩＤタグによって示される重量を加算することにより、ユーザが燃焼するカロリー数を計算してもよい。ＲＦＩＤタグが自転車型トレーニング機器と接続されており、または自転車型トレーニング機器が識別子を模倣可能であり、および／またはパフォーマンスデータを供給するために無線通信可能であり、且つ、モバイルコンピュータがＲＦＩＤリーダを含む別の例では、ユーザの脚の回転数がカウントされ得る。ＲＦＩＤまたは受動的ＲＦＩＤの他の任意の用途も、本発明の趣旨に沿ったものである。これは、例えば、ユーザが医療上の推奨に従ったか否か、または過剰な線形加速もしくは回転加速が震盪を示すか否かを、医師がリモートで判断することを可能にする。このようにして、複数の実施形態は、ユーザによってコンプライアンスを確実にするために用いられると共に、医師によって、たとえリモートであっても彼らの患者が推奨に従っていることを確認していることを理由に、彼らの専門職過失責任保険の保険料率を下げるために用いられる。本発明の複数の実施形態は、医療コンプライアンスの用途ではＲＦＩＤタグを必要としないが、それらを用いてもよい。ゴルフを目的にした本発明の複数の実施形態は、或るゴルファーと関連付けられた各クラブについてのゴルフショットを、例えば、各クラブ上のＲＦＩＤタグ等の識別子（または、必要に応じて、ゴルフクラブ上のモーションキャプチャ電子装置と関連付けられた識別子、もしくは無線器を介してリモートで取得された識別子）、および、ゴルフショットのカウント処理を各ゴルフクラブ上で行う代わりにモバイルコンピュータ上に集中させるＲＦＩＤリーダを備えたモバイルコンピュータ（例えばＩＰＨＯＮＥ）を用いて、カウントすることを可能にする。また、本発明の複数の実施形態は、慣性測定装置、加速度計、磁力計、および／またはジャイロスコープを用いた向き（北／南、および／または垂直軸と２つの水平軸）および加速の測定も可能にする。これはゴルフショットのカウントには必要ないが、１以上の実施形態は、例えば振動解析によって、ゴルフクラブがゴルフボールを打ったときを決定して、ショットをカウントするか否かをゴルファーに尋ねてもよい。この機能性は、例えば、ゴルフクラブが、カウントすべき「ヒット」として許容可能な速度もしくは速度範囲内、または加速もしくは加速範囲内で移動したかを決定するために、速度もしくは加速の閾値または範囲検出と組み合わされてもよい。また、例えば、カウントショットを除外するため、または誤った打撃を除外するために、有効なスイングシグネチャーを比較するために、ウェーブレットが用いられてもよい。この範囲は、異なるクラブ間で様々であってよく（例えば、ドライバーの速度範囲は「３０ｍｐｈ（時速約４８．２８ｋｍ）を超える」ものであってもよく、一方、パターの速度範囲は「２０ｍｐｈ（時速約３２．１９ｋｍ）未満」であってもよい）、所望に応じて任意のクラブに任意の範囲が用いられてよく、または、例えば速度範囲は無視されてもよい。或いは、またはそれと組み合わせて、モバイルコンピュータは、ゴルファーが側方に移動していない場合、即ち、ゴルフカートに乗っているかまたは歩行中である場合、および／または、モバイルコンピュータと接続された向きセンサもしくはジャイロスコープセンサによって、ゴルファーが回転したかまたはショットを打ったと決定された場合に、ショットをカウントするかをゴルファーに尋ねるだけであってもよい。例えば、モバイルコンピュータ上のマップ上にストロークの位置が示されてもよい。更に、例えば、距離を日毎に更新するため、および、プットティーおよびグリーンを読むのを助けるために、ティーマーカー内およびカップ内に、無線器を有するＧＰＳ受信器が配置されてもよい。ゴルファーは、ゴルファーがゴルフコースのマップ、現在位置、ホールまでの距離、現在のホールでのショット数、合計ショット数、および他の任意の所望の測定指標を見るのを可能にする仮想メガネを着用してもよい。ユーザが、ショットから、そのショットをカウントせずに、例えばＧＰＳによって決定される特定の距離だけ移動した場合には、システムはユーザに対して、そのショットをカウントするか否かに関するプロンプトを行ってもよい。本システムは、ショットをカウントするためにユーザがクラブ上のスイッチを始動させることを必要とせず、各クラブ上のＬＥＤまたは能動的もしくは電池で電力供給される電子装置がショットをカウントすることを必要としない。また、ゴルファーがモバイルコンピュータを操作するためにグローブを外さなくてもいいように、モバイルコンピュータは、ショットをカウントするためまたはショットをカウントしないためのユーザからのジェスチャを受け付けてもよい。位置／向きセンサを用いる実施形態では、本システムは、例えば、衝撃が検出された際にクラブが垂直に向いているときのみ、ショットをカウントしてもよい。装置は、特定の装置の識別を可能にする識別子も含み得る。識別子は、例えばシリアル番号であってもよい。識別子は、例えば、各ゴルフクラブ上のＲＦＩＤタグに由来してもよく、または、必要に応じて、ゴルフクラブと関連付けられたモーションキャプチャ要素と関連付けられたシリアル番号もしくは他の識別子を含んでもよい。この装置を用いることで、特定のゴルファー、特定のクラブを識別することが可能になり、また、テレビ、並びに／または、視覚的ディスプレイおよび必要に応じて設けられるカメラを有し、少なくとも１つのモーションキャプチャ要素（例えば、視覚的マーカーおよび／または無線センサ等）からデータを取得できるモバイル装置を含むシステムを用いたモーションキャプチャおよび／または表示が可能になる。また、本システムは、スタンドアロンのカメラ、または複数のモバイル装置上のカメラと統合可能である。また、本システムは、ユーザが、モーションキャプチャデータと関連付けられた理解が容易なグラフィカルな情報を即時に提供する様々な方法で、モーションキャプチャデータを解析して表示することを可能にする。また、本装置は、システムが、ボールおよび例えばゴルフクラブ等の用具に関して、例えば衝撃がどのくらい「中心にある」かを決定することを可能にする。本システムは、靴、クラブ等を含む用具のフィッティングを可能にして、用具がベンダーからの受注組立生産の要求を必要とする場合であっても、用具を即時に購入できるようにする。モーションキャプチャデータ、ビデオまたは画像、およびショットカウントの表示がシステムによって取得されたら、それらはローカルに（例えばローカルデータベース内に）格納されてもよく、または、例えば電話または無線インターフェースを介してリモートのデータベースに送られてもよい。ユーザと関連付けられた任意のデータを含む様々な要素（例えば、年齢、性別、身長、体重、住所、収入、または他の任意の関連情報等）は、データベースに格納されたら、本発明の複数の実施形態で利用されてもよく、および／または、データマイニングを受けてもよい。１以上の実施形態は、ユーザまたはＯＥＭが、例えば、システムのデータマイニング機能へのアクセスに対して支払いを行うこと可能にする。
例えば、モーションキャプチャ要素を用いる実施形態は、装置から取得されたデータを解析することを可能にすると共に、キャプチャされたモーションデータを視覚的に示すための、ユーザと関連付けられた一意的な表示（例えば、ユーザの身体の画像上への３Ｄオーバーレイ等）を提示することを可能にする。更に、これらの複数の実施形態は、ゴルファーのモバイルコンピュータと通信するために、５０メートルまでの範囲に対しては、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギー等の能動的無線技術も用い得る。また、本発明の複数の実施形態は、例えばＲＦＩＤリーダを介して、またはＢＬＵＥＴＯＯＴＨもしくはＩＥＥＥ８０２．１１を用いた無線通信を介して、ゴルフクラブのＩＤを受信した結果として、例えば、ストロークをカウントするためのクエリーを表示することを可能にする。ＢＬＵＥＴＯＯＴＨ低エネルギーチップの使用は、標準的なコイン電池で、クラブが最大３年までスリープモードになることを可能にし、これによって必要なメインテナンスを減らすことができる。本発明の１以上の実施形態は、例えば２以上の技術の２以上の無線器を用いてもよい。これは、システムのロバスト性を高める冗長性のレベルを可能にする。例えば、一方の無線器（例えば、ＢＬＵＥＴＯＯＴＨ無線器）が機能しなくなった場合には、例えば、ＩＥＥＥ８０２．１１無線器を用いてデータを転送し、ゴルファーがモーションデータを記録して特定のクラブと関連付けられたショットをカウントすることを依然として可能にしつつ、ゴルファーに無線器のうちの１つが機能していないことを警告してもよい。カメラを備えていないモバイル装置（または２以上のモバイル装置）を用いる本発明の複数の実施形態では、センサデータは、キャプチャされたモーションデータの表示を生成するために用いられ得るが、モバイル装置は、必要に応じて、他のカメラまたはカメラを備えた他のモバイル装置からの画像を取得してもよい。例えば、表示タイプ（ユーザの画像は用いても用いなくてもよい）としては、評価、計算されたデータ、およびタイムラインデータが含まれ得る。また、キャプチャされたモーションと関連付けられた評価も、ユーザの画像と共にまたはユーザの画像無しに数値データまたはグラフィカルなデータの形態で（例えば、「効率」評価）、ユーザに対して表示されてもよい。他の評価としては、例えば震盪および他の事象を決定するための線形加速値および／または回転加速値が含まれ得る。計算されたデータ、例えば、予測されるボール飛行経路データ等を計算して、モバイル装置に表示することができる（ユーザの身体の画像は用いても用いなくてもよい）。また、例えば用具またはユーザの身体の様々な部分についての相対的な速度のピークを示すためにタイムラインに示されるデータも、ユーザの画像と共にまたはユーザの画像無しに表示され得る。複数のモバイル装置を含む複数のカメラからの（例えば、ゴルフファンの一団からの）画像が、ゴルファーの周囲から様々な角度で通常の速度で示されるゴルフスイングのスローモーションによって特徴づけられるＢＵＬＬＥＴ ＴＩＭＥ（登録商標）視覚効果に組み合わされてもよい。解析された全てのデータは、モーションキャプチャデータ、画像／ビデオ、ショットカウント、および位置データと共に、ローカルに表示されてもよく、または、データベースにアップロードされてもよく、そこでデータマイニング処理を受けてもよく、その場合、例えば、本システムは、結果へのアクセスに対して課金してもよい。
１以上の実施形態において、ユーザは、仮想現実メガネを装着して、拡張現実環境において、仮想のまたは実際の別のユーザのアバターを見ながら、例えばモーションキャプチャデータを生成するために、ゴルフコースでプレイしてもよく、テニスボールを打ってもよく、或いは、単にスイングしてもよい。他の実施形態では、ユーザは、モーションキャプチャセンサと結合された、任意のスポーツと関連付けられた用具を動かすか、または単に、ユーザ自身の身体を動かして、計測機器を備えたユーザの動きまたは用具の動きの、仮想現実メガネに表示されている仮想現実環境を見る。或いは、またはそれと組み合わせて、仮想現実アバターおよびモーションデータを投影するために、仮想現実ルームまたは他の環境が用いられ得る。よって、本システムの複数の実施形態は、実際のゴルフコースにいるユーザが、異なる位置にいる実際にはボールを打っていない別のユーザと共に、モーションデータが解析されている歴史上のプレイヤーと共に、または、本システムの実施形態によって歴史上のプレイヤーのアバターを投影するために用いられる１以上のモーションキャプチャデータシーケンスに基づくデータマイニングによって構築されたユーザと共に、プレイすることを可能にし得る。これら３人のプレイヤーの各々は、彼らが同じ場所にいるかのように、順番にプレイしてもよい。
モーションキャプチャデータおよび／または事象は、多くの方法で表示され得る（例えば、モーションキャプチャ中またはモーションキャプチャ後に、ソーシャルネットワークにツイートされる）。例えば、特定の量のエクササイズまたはモーションが行われた場合、カロリーが実行された場合、または新たなスポーツパワー係数の最大値が得られた場合に、本システムは、この新たな情報を、インターネットに接続している誰かに通知されるようにソーシャルネットワークサイトに自動的にツイートしてもよい。インターネット、即ち、リモートデータベース、リモートサーバ、または本システムに対してリモートのメモリにアップロードされたデータは、データへのアクセスを取得し得る任意のコンピュータによって閲覧され、解析され、またはデータマイニングされ得る。これは、リモートでコンプライアンスをツイートすること、並びに／または、コンプライアンスおよび／もしくは相手先商標製造業者が、所与のユーザについて、コンプライアンスのためのどの用具、もしくはスポーツ関連の実施形態ではどのスポーツ用具が最良の働きをしているか、および／または、どの用具を示唆すべきかを決定することを可能にする。また、データマイニングは、ユーザと関連付けられたデータおよび／もしくはメタデータ（例えば、年齢等）または本システムに入力され得る他の任意の人口統計学データに基づいて、ユーザに対して、コンプライアンスおよび／またはスポーツ会場（ゴルフコースを含む）の計画を改善するための示唆を行うことを可能にする。また、データのリモートストレージは、例えば、形態学的解析、経時的なモーションの範囲、並びに、糖尿病防止、エクササイズのモニタリング、および上述したコンプライアンス用途等の医療用途を可能にする。また、他の用途は、他のユーザから得た、または存命であるかもしくは故人であるかを問わない歴史上のプレイヤーから、例えばその歴史上のプレイヤーのビデオを解析した後で得た実際のモーションキャプチャデータを用いた試合を可能にする。また、仮想現実および拡張仮想現実の用途も、モーションキャプチャデータまたは歴史的なモーションデータを用いてもよい。例えば、司令官等の軍隊職員および／または医師は、人が簡易爆発物の付近で爆発から受けた重力加速度のタイプを決定し、最良のタイプの医療支援をモーションキャプチャセンサの位置まで送るためのルートを自動的に決定するために、モーションおよび／または画像を用いてもよい。本システムの１以上の実施形態は、重力加速度または速度の閾値を超えたモーションキャプチャデータを、例えば無線通信リンクを介して、司令官または最も近くにいる医療職員に中継してもよい。或いは、本発明の複数の実施形態は、怪我をしたプレイヤーの支援を補助するために、震盪に関連する軽量コネクションレスメッセージを、聴取中の任意のモバイル装置（例えば、審判の携帯電話）に同報してもよく、この場合、軽量メッセージは、必要に応じて設けられるチーム／ジャージ番号、および加速に関連する数値（例えば、潜在的な／可能性がある震盪の警告またはインジケータ等）を含む。
本発明の１以上の実施形態では、モーションキャプチャデータを取得し、解析し、表示するために、例えば、テニストーナメント、フットボールの試合、野球の試合、自動車レースもしくはオートバイレース、ゴルフトーナメント、または他のスポーツ事象等における固定カメラが、モーションキャプチャ要素を有するプレイヤー／用具の付近に位置する無線インターフェースと共に用いられ得る。この実施形態では、拡張されたビデオ再生のために、ビデオに、リアルタイムの、またはほぼリアルタイムのモーションデータを表示することができる。このようにして、ショット中に用具がどのくらい速く動いているかを、例えば、プレイヤーの腰および肩の周囲に輪を描くことで、視覚的に表示することにより、エンターテインメントレベルが高められる。また、本発明の複数の実施形態は、例えばユーザどうしが携帯電話を交換しなくてもいいように、モバイル装置を有する他の複数のプレイヤーからの画像またはビデオが、別のユーザに関係するモバイル装置上で用いられることを可能にする。一実施形態では、第１のユーザによって取得された、ビデオカメラを備えた携帯電話を持っている第２のユーザと関連付けられていない、動いている或るスポーツ用具についてのビデオが、第１のユーザと関連付けられたモーションキャプチャデータと共に表示されるために、自動的にそのビデオを第１のユーザに転送してもよい。ビデオおよび画像は、データベースにアップロードされて、例えばそのユーザが着用している衣服または靴のタイプ／色を決定するために、画像解析によってデータマイニングされてもよい。
データの表示に基づいて、ユーザは、モバイル装置を介して、最適にフィットする用具を決定し、用具を即時に購入することができる。例えば、２組のスキーのうちどちらにするかを決定する際に、ユーザは、モーションキャプチャ要素を備えた両方の対を試してもよく、この場合、どちらの対のスキーがより効率的な動きを可能にするかを決定するためにモーションキャプチャデータが解析される。ゴルフの実施形態では、２つのゴルフクラブのうちどちらにするかを決定する際に、ユーザは、複数の異なるクラブを用いてスイングを行い、キャプチャされたモーションデータの解析に基づいて、どちらのクラブの方が性能が良いかを定量的に決定することができる。例えば、受注組立生産方式で特注の用具を製造して、その用具をユーザに出荷することができるベンダーのモバイル装置上のインターフェースを介して、特注の用具を注文してもよい。例えば、ユーザが、調節可能な長さのシャフトを用いてパッティングした際にキャプチャされたモーションデータに基づいて、それぞれ標準的な長さであるパターのシャフトの長さを、特定のユーザのために特注できる。例えば、モーションキャプチャデータ、ショットカウントデータ、および距離のデータマイニングに基づいて、類似のスイング特性を有する複数のユーザを、現在のユーザに対して比較することが可能になり、この場合、パフォーマンスを改善するために、例えば特定のサイズおよび年齢のユーザの所与のスイング速度に対してより長いショットをもたらす用具が、示唆またはユーザによって検索され得る。ＯＥＭは、所与のスイング速度に対して、どのメーカーおよびモデルのクラブが全体的に最良のパフォーマンスをもたらすかを決定し得る。これは、ゴルフに限らず、モーションを含む全てのアクティビティに該当することが、当業者には認識されよう。
本システムの複数の実施形態は、様々なタイプのセンサを用い得る。本発明の１以上の実施形態では、能動的センサが、ユーザの身体または用具上の特定の箇所のモーションをキャプチャするために用いられる受動的または能動的な視覚的マーカーの使用を可能にするシステムと統合され得る。これは、単に二次元で行われてもよく、またはモバイル装置が２以上のカメラを備えて構成されている場合、もしくは、例えば、ビデオ等の画像をキャプチャするために複数のカメラまたは複数のモバイル装置が用いられ、各カメラから取得された１組の二次元画像から三角測量された三次元モーションデータを生成するために画像を共有する場合には、三次元で行われてもよい。本発明の他の実施形態は、慣性測定装置（ＩＭＵ）、または、モバイル装置に対する向き、位置、速度および／もしくは加速情報の任意の組み合わせを生成できる他の任意のセンサを用いてもよい。このように、センサは、向き（垂直、北／南、またはそれらの両方）、（地球測位システム、即ち、「ＧＰＳ」を用いた、または三角測量を用いた）位置、（３つの軸のすべてにおける）速度、（３つの軸のすべてにおける）加速と関連付けられた１以上の値の任意の組み合わせを含み得るデータを取得してもよい。様々なタイプのセンサから取得された全てのモーションキャプチャデータは、センサのタイプに関わらず、解析、モニタリング、コンプライアンス、試合のプレイ、もしくは他の用途および／またはデータマイニングのために、データベースに保存され得る。
本発明の１以上の実施形態では、（二次元または三次元の）視覚的追跡のため、およびセンサによって生成される向き、位置、速度、加速、または他の任意の物理的量のためにもセンサが用いられ得るように、センサの外面に受動的マーカーまたは能動的マーカーを含むセンサが用いられ得る。モーションキャプチャ要素の視覚的マーカーの複数の実施形態は、受動的または能動的であってもよい。つまり、視覚的マーカーは、視覚的に追跡可能な視覚的部分を有してもよく、または、低照度条件においても画像の追跡を可能にする発光素子（例えば発光ダイオード（ＬＥＤ）等）を含んでもよい。これは、例えば、ゴルフクラブのハンドル付近のシャフトの端部、またはゴルフクラブのヘッドにある反対側の端部におけるグラフィカルなシンボルまたは色のついたマーカーを用いて実装され得る。マーカーの画像またはビデオは、ローカルで解析されてもよく、または、データベースに保存されて、解析され、データマイニングで用いられてもよい。更に、震盪に関連する実施形態では、視覚的マーカーは震盪を示す光を発してもよく（例えば、中程度の震盪に対しては黄色をフラッシュし、重度の震盪に対しては赤色を高速でフラッシュする）、または他の任意の視覚的インジケータ、必要に応じて設けられる音声事象インジケータ、またはそれらの両方を発してもよい。先に述べたように、ＬＣＤは、符号を読み取るよう装備されたモバイル装置をローカルで有していない誰かによって傍受されないように、または別様で読み取られないように、ローカルな視覚的符号化メッセージを出力してもよい。これにより、慎重に扱うべき医療メッセージ（例えば、震盪またはまひ状態に関連する事象）が、審判またはローカルの医療職員のみによって読まれることが可能になる。
モーションキャプチャセンサの複数の実施形態は、一般的に、例えば、ゴルフクラブ等のスポーツ用具の１以上の端部もしくは両端部またはその付近に装着されてもよく、および／または、（ＥＩ測定のために）両端部の間のどこかに装着されてもよく、用具（例えば、武器、医療用具、リストバンド、靴、ズボン、シャツ、グローブ、クラブ、バット、ラケット、ボール、ヘルメット、縁なし帽子、マウスピース等）に結合された他のセンサと統合されてもよく、および／または、任意の可能な方法でユーザに取り付けられてもよい。例えば、モーションキャプチャセンサによって反動が検出され際に、ライフルがどこを向いているかを決定するために、ライフルに。このデータは、例えばモバイルコンピュータ（例えば、携帯電話等）または他の装置を用いて中央サーバに送信され、例えば作戦演習のために解析され得る。更に、センサの１以上の実施形態は、ゴルフクラブのウェイトポート、および／またはゴルフクラブのハンドルの端部に嵌め込まれてもよい。他の実施形態は、例えばテニスラケットまたは野球のバットのハンドルまたは端部に嵌め込まれてもよい。安全性または健康のモニタリングするに関係する実施形態は、縁なし帽子、ヘルメット、および／またはマウスピースと、または他の任意のタイプの囲いの中に結合され得る。本発明の１以上の実施形態は、センサが統合されたボールと共に動作してもよい。モバイル装置の１以上の実施形態は、一体化されたディスプレイを備えてもまたは備えなくてもよく、スポーツ用具のシャフトに取り付けるのに十分に小さく、ユーザのスイングに影響しない、小型のマウンタブルコンピュータ（例えば、ＩＰＯＤ（登録商標）ＳＨＵＦＦＬＥ（登録商標）またはＩＰＯＤ ＮＡＮＯ（登録商標）等）を含んでもよい。或いは、本システムは、プレイヤーによって動かされた用具と接触したボールの仮想の飛行経路を計算してもよい。例えば、ゴルフボールを打つクラブの端部の他の部分のウェイトポートに統合されたセンサを有すると共に、ゴルフクラブのハンドルの先端またはプレイヤーによって着用されている１以上のグローブ内に位置する第２のセンサを有する野球のバット、テニスラケット、またはゴルフクラブを用いて、そのクラブに対する衝撃の角度を計算することができる。クラブのフェースのロフトを知ることにより、ゴルフボールの飛行の角度が計算されてもよい。更に、クラブの端部にあるセンサを、クラブのフェースのどこでゴルフボールが打たれたかを示す振動を決定するのに十分に高い速度でサンプリングすることにより、衝撃の質が決定されてもよい。これらのタイプの測定および解析は、アスリートの向上の助けとなると共に、フィッティングの目的では、アスリートが、正しくフィットする用具を即時に購入することを可能にする。製造業者側での製品改善のために、センタリングデータがデータベースにアップロードされて、例えば、平均的な、または最も低いねじれ値を有する最良のセンタリングを有するバット、ラケット、またはクラブに関係するパターンがデータマイニングされてもよい。データ中で発見された他の任意の未知のパターンも、ユーザに対して提示または示唆されてもよく、ユーザによってサーチされてもよく、または、例えば、製造業者もしくはユーザによってそれに対する支払いがなされてもよい。
センサの１以上の実施形態は、例えば、「自動」または「自己巻き」腕時計として知られている腕時計で用いられているような、機械的な偏心錘等であって、必要に応じて、小型の発電機、または、センサ電源の間接的な電気機械的な充電のための誘電充電コイルを含む、充電機能を含んでもよい。他の複数の実施形態は、センサ電源、または電気機械もしくは微小電気機械（ＭＥＭＳ）に基づく充電要素を直接充電するためのプラグを用いてもよい。本発明の１以上の実施形態では、他の任意のタイプの微小電力回収技術が用いられてもよい。センサの１以上の実施形態は、センサの電源をオンまたはオフにするジェスチャを含む節電機能を用いてもよい。そのようなジェスチャは、モーション、物理的スイッチ、センサとの接触、例えば特定のセンサと関連付けられたモバイル装置からのセンサに対する無線コマンドを含み得る。センサと結合され得る他の要素は、例えば、電池、低電力マイクロコントローラ、アンテナおよび無線器、ヒートシンク、充電器および過充電センサを含む。更に、本発明の複数の実施形態は、加速度計または機械的スイッチからの電子信号が、例えばクラブが動いたことを決定するまで、本システムの一部または全ての構成要素の電源を落とすことを可能にする。
本発明の１以上の実施形態は、例えば、スポーツ用具の、更には身体部位の弾性慣性（Elasticity Inertia）即ちＥＩ測定を可能にする。センサの実施形態を、ゴルフクラブのシャフト、テニスラケット、野球のバット、ホッケースティック、靴、人の腕、または他の完全に剛性でない任意のアイテムに沿って配置することで、センサが配置された位置またはセンサ間の位置における撓み量の測定が可能になる。各センサにおける経時的な角度差は、撓みプロファイルの計算のみならず、時間または力に依存する撓みプロファイルの計算も可能にする。例えば、公知のＥＩ装置は、ＥＩプロファイルを決定する位置を支持するために、複数の静止した錘を用いる。従って、これらの装置は、ＥＩプロファイルが、加えられた力に依存しているか、または力が加えられた時間に依存しているかを検出することはできず、例えば、ＥＩプロファイルは力または時間に関して非線形であり得る。時間に関して異なる物理的特性を有することが知られている材料の例としては、マックスウェル物質および非ニュートン流体が挙げられる。
また、ユーザは、モバイル装置のディスプレイ上で、または、例えばビデオディスプレイを含むメガネで、キャプチャされたモーションデータをグラフィカルな形態で閲覧し得る。また、モーションキャプチャ要素の実施形態から取得された、キャプチャされたモーションデータは、仮想環境におけるユーザの仮想現実表示を拡張するために用いられ得る。データマイニングによってデータベース中で見出されたパターンの仮想現実または拡張現実ビューも、本発明の趣旨に沿ったものである。また、例えば、ユーザには、例えば現在の風況に基づく、または障害物（例えば、ボールの所望の目的地、即ち、例えばゴルフのホールまでの途中にある木々）を考慮した、例えばショットを当てることが試みられるべき位置を示す照準アシストまたは照準ガイド等の、拡張された情報が見えてもよい。
本発明の１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含むモーション事象認識およびビデオ同期システムを含む。少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、および加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含み得る。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、データを解析してデータ中の事象を認識して事象データを決定し、事象と関連付けられた事象データを無線器を介して送信するよう構成され得る。本システムは、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含むモバイル装置も含んでもよく、コンピュータは無線通信インターフェースと結合されており、コンピュータは、無線通信インターフェースから事象データを受信するよう構成される。また、コンピュータは、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、事象から事象開始時間および事象停止時間を取得し、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされたビデオを含む、カメラからの画像データを要求し、事象開始時間から事象停止時間までの期間中に生じた事象データ、モーション解析データ、またはそれらの任意の組み合わせと、事象開始時間から事象停止時間までの期間中にキャプチャされたビデオとの両方を含む事象ビデオをディスプレイに表示してもよい。
複数の実施形態は、システム内のクロックを任意のタイプの同期方法を用いて同期させてもよく、１以上の実施形態では、モバイル装置上のコンピュータは、更に、モーションキャプチャ要素とモバイル装置との間のクロック差を決定して、モーション解析データをビデオと同期させるよう構成される。例えば、本発明の１以上の実施形態は、複数の異なる装置からの事象に関する記録データを組み合わせ可能なように、複数の記録装置が各装置の時間、位置、または向きに関する情報を同期させるための手順を提供する。そのような記録装置は、埋め込みセンサ、カメラもしくはマイクを備えた携帯電話、または、より一般的には、対象となるアクティビティに関するデータを記録できる任意の装置であり得る。１以上の実施形態において、この同期は、装置が、時間、位置、または向きについての共通の測定指標に一致可能なように、装置間で情報を交換することによって達成される。例えば、携帯電話および埋め込みセンサが、それぞれの内部クロックの現在のタイムスタンプを有するメッセージを交換してもよく、これらのメッセージは、２つの装置が共通の時間に一致するための交渉を行うことを可能にする。そのようなメッセージは、前回の同期後のクロックのドリフトまたは装置のモーションを考慮するために、必要に応じて周期的に交換され得る。他の実施形態では、複数の記録装置は、時間、位置、または向きの標準化された測定指標を取得するために、共通のサーバまたは１組のサーバを用いてもよい。例えば、装置は、ＧＰＳシステムを用いて、各装置の絶対位置情報を取得してもよい。また、標準化された時間を取得するためにＧＰＳシステムが用いられてもよい。標準化された時間サーバとして、ＮＴＰ（ネットワークタイムプロトコル）サーバが用いられてもよい。サーバを用いることにより、複数の装置を、常時互いに通信するよう構成する必要なしに、共通の測定指標に一致させることが可能になる。
本発明の１以上の実施形態において、幾つかの記録装置は、対象となる様々な事象の発生を検出するよう構成される。そのような事象の一部は特定の瞬間に生じ得るものであるが、他の事象は或る時間間隔にわたって生じ得るものであり、検出は、事象の開始および事象の終了の検出を含む。これらの装置は、上述の時間、位置、および向きの同期された測定指標を用いて、記録装置の時間、位置、または向きの任意の組み合わせを、事象データと共に記録するよう構成される。
モバイル装置上のコンピュータの複数の実施形態は、更に、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てるよう構成され得る。例えば、本発明の１以上の実施形態において、一部の記録装置は、事象が検出されるまで待機しながら、データを継続的にメモリにキャプチャする。メモリを節約するために、一部の装置は、検出された事象にデータが時間的に接近している場合のみ、データをより永久的なローカル記憶媒体に、またはサーバに格納するよう構成され得る。例えば、事象検出がないときには、新たに記録されたデータは、最終的に、以前にメモリに記録されたデータを上書きしてもよい。一部の実施形態では、そのような上書きスキームの典型的な実装例として、循環バッファが用いられ得る。事象検出が生じたときには、記録装置は、事象自体の期間中にキャプチャされたデータを格納することに加えて、事象の開始前に、設定されている幾らかの量のデータを格納すると共に、事象の終了後に、設定されている幾らかの量のデータを格納してもよい。例えば、事象の文脈がビデオに示されるように、任意の事前または事後の時間間隔は、事象開始時間および事象停止時間の一部であると見なされる。カメラ付きモバイル装置またはカメラ上において、事象についてのビデオのみを保存することで、大量のスペースが節約されると共に、アップロード時間が大幅に低減される。
本システムの複数の実施形態は、モバイル装置に対してリモートのサーバコンピュータを更に含んでもよく、サーバコンピュータは、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てて、事象開始時間から事象停止時間までの期間にキャプチャされたビデオをモバイル装置内のコンピュータに返すよう構成される。
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせに事象を送信するよう構成されてもよく、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせは、事象と関連付けられているデータを保存するよう構成される。例えば、同時に動作する複数の記録装置を有する実施形態では、そのような装置の１つが事象を検出したら、そのような事象検出が生じた旨のメッセージを他の記録装置に送ってもよい。このメッセージは、様々な装置のクロックの同期された時間基準を用いた事象の開始および／または停止のタイムスタンプを含み得る。受信装置（例えば、他のモーションキャプチャセンサおよび／またはカメラ）は、事象と関連付けられたデータを不揮発性ストレージまたはサーバに格納するために、事象検出メッセージを用いてもよい。これらの装置は、事象と直接関連付けられデータに加えて、事象の開始前の幾らかの量のデータおよび事象の終了後の幾らかの量のデータを格納するよう構成されてもよい。このようにして、全ての装置が同時にデータを記録できるが、複数のソースからの分散した事象データの保存を開始するためには、これらの装置のうちの１つのみからの事象トリガが用いられる。
コンピュータの複数の実施形態は、更に、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成されてもよく、または、ビデオを保存するためにリモートサーバが用いられてもよい。本発明の１以上の実施形態において、一部の記録装置は、事象が生じ得る期間中を通して互いに直接通信しなくてもよい。これらの状況において、装置は、記録された全てのデータの完全な記録を、永久的なストレージまたはサーバに保存するよう構成され得る。これらの状況では、一部の装置は事象トリガメッセージを受信できない場合があるので、事象と関連付けられたデータのみを保存することは不可能な場合がある。これらの状況では、保存されたデータは、その後で、検出された１以上の事象と関連付けられた関連部分のみを抽出するために処理され得る。例えば、複数のモバイル装置がプレイヤーまたはパフォーマーのビデオを記録して、このビデオを継続的にストレージ用サーバにアップロードしてもよい。それとは別に、プレイヤーまたはパフォーマーは、例えば、特定のモーションまたはアクション等の事象を検出可能な埋め込みセンサを備えていてもよい。埋め込みセンサのデータは、同じサーバに継続的にまたは後でアップロードされ得る。埋め込みセンサデータおよびビデオストリームを含む全てのデータは、一般的にタイムスタンプが付与されるので、埋め込みセンサによって検出された事象と関連付けられたビデオを、サーバ上で抽出して組み合わせることができる。
サーバまたはコンピュータの複数の実施形態は、更に、少なくとも１つのモーションキャプチャセンサとモバイル装置との間の通信リンクが開いているときには、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。或いは、通信リンクが開いていない場合には、コンピュータの複数の実施形態は、更に、ビデオを保存し、通信リンクが開いた後に事象が受信された後で、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。例えば、本発明の一部の実施形態では、データは、上述のようにサーバにアップロードされてもよく、各装置のデータストリームと関連付けられた位置および向きのデータが、検出された事象に関連するデータを抽出するために用いられてもよい。例えば、ゴルフトーナメントを通して様々な位置でビデオを記録するために、一組の多くのモバイル装置が用いられ得る。このビデオデータは、継続的にまたはトーナメントの後でサーバにアップロードされ得る。トーナメントの後、事象検出を有するセンサデータも同じサーバにアップロードされ得る。これらの様々なデータストリームを後処理することで、同じ時間に生じた事象と物理的に近接して記録された特定のビデオストリームを識別できる。カメラが、事象を観察するために正しい方向を向いている場合には、更なるフィルタによってビデオストリームを選択してもよい。これらの選択されたストリームは、事象を複数のビデオ角度で示す集合データストリームを構成するためにセンサデータと組み合わされてもよい。
本システムは、モバイル装置と結合されたカメラ、またはモバイル装置とは別個のもしくは別様でモバイル装置に対してリモートの任意のカメラから、ビデオを取得し得る。１以上の実施形態において、ビデオは、モバイル装置に対してリモートのサーバから取得される（例えば、或る位置および時間間隔におけるビデオを求めるクエリーの後に取得される）。
サーバまたはコンピュータの複数の実施形態は、事象開始時間、事象停止時間、またはそれらの両方と最も密接に関連付けられるビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析によって、ビデオを事象データまたはモーション解析データと同期させるよう構成され得る。本発明の１以上の実施形態において、記録装置間のクロックの同期はおおよそのものであり得る。各装置からの事象のビューに基づいて、複数の記録装置からのデータ供給の同期の精度を向上させることが望ましい場合がある。１以上の実施形態では、粒度が細かい同期を支援するために、複数の異なるストリーム中の事象のシグネチャーを観察するために、複数のデータストリームの処理を用いる。例えば、埋め込みセンサは、ビデオカメラを含むモバイル装置と同期され得るが、時間の同期の精度は単に１００ミリ秒以内までであってもよい。ビデオカメラが３０フレーム／秒でビデオを記録している場合には、埋め込みセンサにおける事象検出に対応するビデオフレームは、同期されたタイムスタンプのみに基づいて、単に３フレーム以内にあると決定される。装置の一実施形態では、検出された事象に最も密接に対応する正確なフレームを決定するために、ビデオフレーム画像処理を用いることができる。例えば、慣性センサによって検出された、地面に当たったスノーボードからの衝撃が、スノーボードの幾何学的境界が地面と接触しているフレームと相関され得る。他の実施形態は、複数のデータ供給の同期を改善するために、事象シグネチャーを検出する他の画像処理技術または他の方法を用いてもよい。
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定するよう構成された位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信するよう構成されている。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信するよう構成されており、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成するよう構成されている。例えば、１以上の実施形態において、事象ビデオは、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定のビデオおよびセンサデータが特定の位置において特定の時間に生じたと判断して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。

１以上の実施形態において、マイクロコントローラまたはコンピュータは、事象の位置を決定するよう構成されるか、または、マイクロコントローラおよびコンピュータは、事象の位置を決定し、事象の中心点を設けるために、例えば、位置を相関させるまたは平均することによって位置を相関させるよう構成され、および／または、初期化中のＧＰＳセンサからの誤った位置データが最小化され得る。このようにして、モバイル装置を有する１グループのユーザが、ティーオフしているゴルファーのビデオを生成してもよく、この場合、少なくとも１つのモーションキャプチャ装置の事象位置が用いられてもよく、サーバは、観客からのビデオを取得して、プロゴルファーのスイングおよびボールを打っているところの事象ビデオを生成してもよく、事象ビデオは、ゴルファーがスイングした際のゴルファーの周囲からのＢＵＬＬＥＴ ＴＩＭＥビデオを生成するために、複数の異なるカメラからのフレームを用いてもよい。得られた１または複数のビデオは、例えば、事象開始時間から事象停止時間までの、および／または、スイングまたは他の事象について任意のセットアップ時間および任意のフォロースルー時間を含む事象全体がキャプチャされることを確実にするために、事象前または事象後の所定の任意の時間値を伴う事象の継続期間に合わせてトリミングされ得る。
１以上の実施形態において、モバイル装置上のコンピュータは、事象の近位にある少なくとも１つのカメラからの事象を含む少なくとも１つの画像またはビデオを、そのエリア内で任意のカメラによって撮影された任意のビデオに対する要求を同報することによって直接要求してもよく、これは、必要に応じて、カメラが事象に近接して配置されているかどうかのみならず、事象に向けられているもしくは別様で向いているかどうかに関係する向き情報を含み得る。他の実施形態では、モバイル装置上のコンピュータによってリモートサーバからのビデオが要求されてもよい。この状況では、事象と関連付けられた任意の位置および／または時間は、事象の近くの、事象に近い時間に撮影された、またはそれらの両方の画像および／またはビデオを返すために用いられ得る。１以上の実施形態において、コンピュータまたはサーバは、ビデオを事象の継続期間に対応するようトリミングしてもよく、ここでも、例えば、ボールを打つ等の事象の位置を、例えば、ボールが用具に当たったことに対応する加速データと一致するビデオ中の対応するフレームと更に同期させるために、画像処理技術を用いてもよい。
モバイル装置上またはサーバ上のコンピュータの複数の実施形態は、１以上の事象が生じた１以上の時間のリストを表示するよう構成されてもよい。このようにして、ユーザは、事象ビデオに迅速にアクセスするために、リストから事象を見つけ出してもよい。
本発明の複数の実施形態は、モバイル装置と物理的に結合された少なくとも１つのモーションキャプチャセンサを含み得る。これらの実施形態は、例えば、任意のタイプのヘルメットに装着されたカメラ、または事象データおよびビデオデータを生成するためのカメラおよびモーションキャプチャセンサの両方を含む任意のマウント等の、センサが統合された任意のタイプの携帯電話またはカメラシステムを可能にする。
一部の実施形態では、本システムは、モーション事象と関連づけられた事象データを受信するために１以上のモーションキャプチャ要素の無線器と通信可能な無線通信インターフェースを有する１以上のコンピュータも含み得る。コンピュータは、生モーションデータを受信して、事象を決定するためにこのデータを解析し得る。他の実施形態では、事象の決定はモーションキャプチャ要素内で行われ、コンピュータは事象データを受信し得る。一部の実施形態では、これらの２つの手法の組合せも可能である。
一部の実施形態では、１または複数のコンピュータは、事象データから、モーション事象の開始時間および停止時間を決定し得る。次に、コンピュータは、この事象開始時間と事象停止時間との間の時間の少なくとも或る部分内の何らかの時間間隔にわたるビデオまたは１以上の画像をキャプチャしたカメラからの画像データを要求し得る。本明細書におけるビデオという用語は、連続的なビデオだけでなく、個々の画像を含む（カメラが事象間隔中に単一のスナップショット画像を撮影する場合を含む）。次に、このビデオデータは、同期された事象ビデオからのモーションデータと関連づけられ得る。事象は、例えば、ユーザがモーションキャプチャセンサを決まった回数だけ振るまたはタップすることによるジェスチャで示され得る。ユーザによるジェスチャの事象を含む任意のタイプの予め定義された事象は、サイズが大きな生ビデオファイルの転送を要求せずに、概ね簡潔な事象ビデオを転送するよう、少なくとも１つのカメラを制御するために用いられ得る。
一部の実施形態では、カメラからのビデオの要求は、モーションデータのキャプチャまたは解析と同時に行われ得る。そのような実施形態では、システムは、事象が開始したことの通知を取得または生成し、次に、事象の終わりが検出されるまで、１以上のカメラからコンピュータにビデオがストリーミングされることを要求する。他の実施形態では、ビデオの要求は、カメラがそのビデオ記録を例えばサーバ等の別のコンピュータにアップロードした後に行われ得る。この場合には、コンピュータは、カメラから直接ではなく、サーバからのビデオを要求する。
モーションデータとビデオデータとの同期を行うために、様々な技術が用いられ得る。そのような技術は、全ての装置（モーションキャプチャ要素、コンピュータ、およびカメラ）が共通の時間基準を用いることを確実にする、例えばネットワークタイムプロトコル等の当該技術分野においてよく知られているクロック同期方法を含む。別の技術では、コンピュータは、モーションキャプチャ要素およびカメラの各装置によって登録された現在の時刻を含むパケットを交換することにより、コンピュータのクロックをモーションキャプチャ要素の内部クロックおよびカメラの内部クロックと比較し得る。他の技術は、モーションデータおよびビデオデータを解析して、同期のためにそれらの異なる時間基準のアライメントをとる。例えば、ボールとの接触を示している特定のビデオフレームが、加速度計における衝撃を示しているモーションデータからの特定のデータフレームと位置合わせされ、次に、これらのフレームは、モーションデータとビデオデータとを同期させるためのキーフレームとして効果的に用いられ得る。組み合わされたビデオデータおよびモーションデータは、事象の記録が統合された同期された事象ビデオを構成する。
１以上の実施形態において、モーションデータまたはビデオデータを受信または処理するよう構成されたコンピュータは、携帯電話、スマートホン、タブレット、ＰＤＡ、ラップトップ、ノートブック、または容易に運搬もしくは再配置可能な他の任意の装置を含むがそれらに限定されないモバイル装置であり得る。他の実施形態では、そのようなコンピュータは、カメラ、特に、ビデオデータが取得されるカメラに統合されたものであり得る。他の実施形態では、そのようなコンピュータは、データセンターまたはクラウド型サービスにおいて仮想マシンとして実行される仮想コンピュータを含むがそれらに限定されないデスクトップコンピュータまたはサーバコンピュータであり得る。一部の実施形態では、システムは、上述のタイプのうちの任意の複数のコンピュータを含んでよく、これらのコンピュータは、本明細書において記載される処理を協働して行い得る。当業者には自明であるように、そのようなコンピュータの分散型ネットワークは、タスクを多くの可能な方法で分割し得るものであり、所望であれば、それらの動作を、単一の集中型コンピュータの動作を再現するよう調和させることができる。本明細書におけるコンピュータという用語は、上述のタイプのコンピュータのうちの任意のものまたは全てを意味し、協働する複数のそのようなコンピュータのネットワークを含むことが意図される。
１以上の実施形態において、コンピュータは、同期された事象ビデオのシーケンスを取得または生成し得る。コンピュータは、ユーザが事象の履歴を見るために、このシーケンスの合成サマリーを表示し得る。各事象と関連づけられたビデオについて、一部の実施形態では、このサマリーは、ビデオから生成された１以上のサムネイル画像を含み得る。他の実施形態では、サマリーは、完全な事象ビデオからのより小さい選択部分を含み得る。合成サマリーは、各同期された事象ビデオと関連づけられたモーション解析または事象データの表示も含み得る。一部の実施形態では、コンピュータは、測定指標を取得して、各事象についてのこの測定指標の値を表示し得る。これらの測定指標値の表示は、異なる実施形態において様々であり得る。一部の実施形態では、測定指標値の表示は、棒グラフ、線グラフ、または絶対値もしくは相対値を示すための他のグラフィカルな技術であり得る。他の実施形態では、色分けまたは他の視覚的効果が用いられ得る。他の実施形態では、測定指標の数値が示され得る。一部の実施形態は、これらの手法の組合せを用い得る。
１以上の実施形態において、コンピュータは、一連の事象のモーション解析データまたは事象データと関連づけられた注目される測定指標についての選択基準を受け入れ得る。例えば、ユーザは、例えば、或る閾値を超える、或る範囲内の、または或る範囲外の測定指標等といった基準を与え得る。事象の測定指標値に適用され得る任意の基準が用いられ得る。コンピュータは、選択基準に応答して、選択基準を満たす同期された事象ビデオまたはそれらのサマリー（例えばサムネイル等）のみを表示し得る。一例として、ゴルフのスイングの事象データをキャプチャしているユーザは、スイング速度が１００ｍｐｈ（時速約１６０ｋｍ）を超えたスイングのみを見ることを望み得る。
本発明の一部の実施形態では、コンピュータは、同期された事象ビデオを選択された測定指標の値に基づいて表示するために、上述の選択基準に基づくフィルタリングに加えて、同期された事象ビデオをソーティングおよびランク付けし得る。上述の例の続きとして、ゴルフのスイングのデータをキャプチャしているユーザは、最高スイング速度が最初に示されるようにソーティングされた、スイング速度が１００ｍｐｈ（時速約１６０ｋｍ）を超えたスイングのみを見ることを望み得る。
１以上の実施形態において、コンピュータは、選択基準を満たす事象についてのビデオを組み合わせたハイライトリールを生成し得る。そのようなハイライトリールは、選択された事象についてのビデオ全体、またはモーション解析によって決定された事象における重要な瞬間に対応するビデオの一部分を含み得る。一部の実施形態では、ハイライトリールは、ビデオ上または選択されたフレーム上に、モーション解析から得た測定指標の値を示すデータのオーバーレイまたはグラフィックを含み得る。そのようなハイライトリールは、ユーザが選択基準を指定することによって含むべき事象を示すと、ユーザのために自動的に生成され得る。一部の実施形態では、コンピュータは、ユーザが、事象を追加または除去するために、各事象について示されるビデオを長くするまたは短くするために、モーションデータについてのグラフィックオーバーレイを追加または除去するために、または特殊効果もしくはサウンドトラックを追加するために、ハイライトリールを編集するのを可能にし得る。
複数のカメラを有する実施形態では、モーションデータおよび複数のビデオストリームは、単一の同期された事象ビデオに組合せられ得る。複数のカメラからのビデオは、全てがモーションデータおよび共通の時間基準に対して同期された、事象のそれぞれ異なる角度または視野を提供し得る。一部の実施形態では、１以上のコンピュータ（例えば、サーバまたはクラウドサービス等）上で、１以上のビデオを入手可能であり得、１以上のビデオは後で事象データと相関され得る。これらの実施形態では、コンピュータは、事象を見るための正しい位置および向きにあった、格納されているビデオを探し得る。次に、コンピュータは、適切なビデオを読み出して、それらを事象データと組み合わせて、複数の位置および角度からのビデオを有する事象の合成画面を構成し得る。
一部の実施形態では、コンピュータは、事象と関連づけられた１組の候補のビデオから、特定のビデオを選択し得る。選択されるビデオは、事象の、様々な可能な基準に基づく最良のまたは最も完全な画面であり得る。一部の実施形態では、コンピュータは、各ビデオの画像解析を用いて最良の選択を決定し得る。例えば、一部の実施形態は、画像解析を用いて、どのビデオが、注目される用具または人々が最も隠れていないまたは最も明瞭に見える最も完全なビデオであるかを決定し得る。一部の実施形態では、この画像解析は、ビデオのキャプチャ中のカメラの揺れの程度の解析、および最も安定した画像を有するビデオの選択を含み得る。一部の実施形態では、ユーザは好ましいビデオの選択を行ってもよく、または、ユーザは、最も重要な基準を指定することによって、コンピュータが選択を行うのを補助してもよい。
一部の実施形態では、モーションキャプチャ要素からの事象データは、その事象についてのビデオを記録可能なカメラに、制御メッセージを送るために用いられ得る。複数のカメラを有する実施形態では、制御メッセージは、事象が生じている間に、１組のカメラに同報または送信され得る。これらの制御メッセージは、事象と関連づけられたデータ（モーション解析データを含む）に基づいて、ビデオ記録パラメータを修正し得る。例えば、カメラは、進行中の注目される事象がない間は、待機状態で、記録を行わなくてもよい。コンピュータは、事象データを待機して、事象が開始したら、カメラに記録を開始するためのコマンドを送り得る。事象が終了したら、コンピュータは、カメラに記録を停止するためのコマンドを送り得る。そのような技術は、カメラの電力およびビデオメモリを節約できる。
より一般的には、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに応答して、任意の関連するビデオ記録パラメータを修正するために、１または複数のカメラに制御メッセージを送り得る。これらの記録パラメータは、例えば、ビデオのフレームレート、解像度、色深度、色またはグレースケール、圧縮方法、および圧縮品質、並びに記録のオンまたはオフを含み得る。これが有用であり得る一例として、モーション解析データはユーザまたは用具が急激に動いているときを示してもよく、それに応答して、急激なモーションの期間中にはビデオ記録のフレームレートを上げ、比較的遅いモーションの期間中には下げてもよい。急激なモーションが生じている間により高いフレームレートを用いることにより、ユーザは、再生中に、高モーション事象を詳細に観察するために、モーションの速度を遅くすることが可能になる。これらの技術は、カメラがビデオメモリを節約し、使用可能なメモリを、非常に注目される事象のために効率的に用いることを可能にし得る。
一部の実施形態では、コンピュータは、例えばユーザから、サウンドトラックを受け入れて、このサウンドトラックを、同期された事象ビデオに統合し得る。この統合は、例えば、事象ビデオまたはハイライトリールの再生中に、音声サウンドトラックを追加するものである。一部の実施形態は、事象データまたはモーション解析データを用いて、同期された事象ビデオにサウンドトラックをコンピュータによって自動的に統合し得る。例えば、一部の実施形態は、サウンドトラックを解析し、例えば、音声の振幅が高い時点に基づいて、サウンドトラックのビートを決定し得る。次に、事象データまたはモーション解析データを用いて、サウンドトラックのビートが事象と同期され得る。例えば、そのような技術は、ユーザまたはオブジェクトのモーションが増減するにつれて、サウンドトラックの速度を自動的に増減し得る。これらの技術は、事象と関連づけられた聴覚的および視覚的キューを有する豊かなメディア経験を提供する。
１以上の実施形態において、コンピュータは、同期された事象ビデオを１以上のディスプレイ上で再生するよう構成される。これらのディスプレイは、コンピュータに直接取り付けられていてもよく、または、他のリモートの装置上にあってもよい。コンピュータは、事象データまたはモーション解析データを用いて、様々な効果を追加または変更するために再生を修正し得る。これらの修正は、再生中に複数回、または再生中に事象データが変化するにつれて連続的に生じ得る。例えば、低モーション期間中には再生は通常速度で行われ、一方、高モーション期間中には、モーションの詳細をハイライトするために、再生はスローモーションに切り替わってもよい。再生速度の修正は、事象またはモーションの任意の観察または算出された特性に基づいて行われ得る。例えば、事象データは、例えばボールの打撃、ジャンプの開始もしくは終了、または他の任意の興味深い瞬間等の、特定の注目されるサブ事象を識別し得る。コンピュータは、同期された事象ビデオがこれらのサブ事象に近づいた際に、再生速度を下げるよう再生速度を修正し得る。この速度の減速は、サブ事象を詳細にハイライトするために連続的に増され得る。また、再生はサブ事象において停止されて、ユーザからの入力を待って継続してもよい。また、再生速度の減速は、モーション解析データまたは事象データからの１以上の測定指標の値にも基づき得る。例えば、モーション解析データは、動いている野球のバットまたはゴルフクラブの速度を示してもよく、再生速度は、そのようなオブジェクトの速度が増すにつれ、より遅くなるように、連続的に調節されてもよい。再生速度は、そのような測定指標のピーク値付近では非常に遅くされ得る。
他の実施形態では、再生速度に限定されない他の再生特性の修正が行われ得る。例えば、コンピュータは、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、またはグラフィックオーバーレイもしくは境界線の使用のうちのいずれかまたは全てを修正し得る。これらの修正は、モーション解析データ、事象データ、サブ事象、または同期された事象ビデオの他の任意の特性に基づいて行われ得る。一例として、再生が注目されるサブ事象に近づくと、点滅する特殊効果が加えられてもよく、ビデオ中の注目されるオブジェクト（例えば、用具によって打たれるところのボール等）の周囲に境界線が追加されてもよい。
サウンドトラックを含む実施形態では、再生特性の修正は、サウンドトラックの再生特性の修正を含み得る。例えばそのような修正は、サウンドトラックの音量、テンポ、音質、または音声特殊効果の修正を含み得る。例えば、再生が注目されるサブ事象に近づくと、サブ事象をハイライトするため、および再生を視聴しているユーザによりダイナミックな経験を提供するために、サウンドトラックの音量およびテンポが高められ得る。
１以上の実施形態において、コンピュータは、ビデオの画像解析を用いて、ビデオ中のオブジェクトから測定指標を生成し得る。この測定指標は、例えば、オブジェクトのモーションの何らかの態様を測定し得る。画像解析から得られたそのような測定指標は、モーションセンサからのデータのモーション解析から取得された測定指標に加えて、またはそれに関連して用いられ得る。一部の実施形態では、画像解析は、注目されるオブジェクトと関連づけられた画素の位置を求めるための当該技術分野で知られている幾つかの技術のうちの任意のものを用い得る。例えば、或るオブジェクトは、特定の色、テクスチャ、または形状を有することが既知であり得、それらの特性が、ビデオフレーム内におけるそのオブジェクトの位置を求めるために用いられ得る。一例として、テニスボールは、ほぼ丸く、黄色で、ボールの材質と関連づけられたテクスチャを有することが既知であり得る。画像解析は、これらの特性を用いて、ビデオフレーム内におけるテニスボールの位置を求めることができる。複数のビデオフレームを用いて、テニスボールのおおよその速度が算出され得る。例えば、静止したまたはほぼ静止したカメラを想定すると、三次元空間におけるテニスボールの位置は、ビデオフレーム内におけるボールの位置に基づいて、およびそのサイズに基づいて推定できる。フレーム内における位置は、画像平面上におけるボールの位置の投影を与え、サイズは、カメラに対して相対的なボールの深度を与える。複数のフレーム内におけるボールの位置を用いることにより、およびフレーム間の時間差を与えるフレームレートを用いることにより、ボールの速度を推定できる。
１以上の実施形態において、モーションキャプチャ要素と結合されたマイクロコントローラは、事象データのキャプチャを調和させるために、他のモーションキャプチャセンサと通信するよう構成される。マイクロコントローラは、別のモーションキャプチャセンサに、その別のセンサも事象データをキャプチャするようトリガするために、事象の開始の通知を送信し得る。その別のセンサは、データを後でアップロードするためにローカルに保存してもよく、または、その事象が生じている間に、その事象データを、開いている通信リンクを介してコンピュータに送信してもよい。これらの技術は、１つのセンサがマスターとして動作して、スレーブセンサのネットワークを調和させることができる、一種のマスタースレーブアーキテクチャを提供する。
１以上の実施形態において、コンピュータは、他のセンサが事象の近位にあり、事象と関連づけられた他の有用なデータを提供する場合には、モーションキャプチャセンサに加えて、これらの他のセンサからのセンサ値を取得し得る。例えば、そのような他のセンサは、温度、湿度、風、高度、光、音、および（心拍のような）生理学的測定指標の様々な組合せを感知し得る。コンピュータは、事象開始から事象停止までの期間中の事象の拡張された記録を生成するために、これらの他の値を読み出して、それらを事象データおよびモーション解析データと共に保存し得る。
本開示によって伝えられる思想の上記および他の態様、特徴、および長所は、添付の図面と共に示される添付のより具体的な説明からより明確となる。
ビデオおよびモーション事象統合システムの実施形態を示す。 コンピュータの実施形態の論理的ハードウェアブロック図を示す。 本システムの複数の実施形態において用いられるデータベースの実施形態のアーキテクチャの図を示す。 図１および図１Ａに示されている本システムにおけるコンピュータの複数の実施形態によって行われる処理の実施形態のフローチャートを示す。 本システムの実施形態のデータフロー図を示す。 モーション事象時刻および／またはビデオ事象時刻を時間的に正しく位置合わせするためのシフトの詳細を示す同期チャートを示す。 ユーザの頭部を囲み、モーションキャプチャセンサを保持するヘルメットに基づくマウントを示す。 既存のヘルメットにモーションキャプチャセンサを後から組み込むことを可能にするネックインサートに基づくマウントを示す。 モーションキャプチャセンサとヘルメットの外側部分との間にあるアイソレータを示す、図２Ａ〜図２Ｂのマウントのクローズアップを示す。 ヘルメット、パッド、ユーザの頭蓋および脳の上から見た断面図を示す。 図４に示されている様々な要素についての回転震盪事象を示す。 ヘルメットに入力された力Ｇ１と、アイソレータ内に装着されたセンサによって観察された、脳内で観察された力とを対比させて示す。 ３軸の回転加速値と、合計回転ベクトル量と、モーション事象データと共に表示されている、カメラから取得された震盪事象のビデオとを示す。 ユーザのタイムライン表示と、タイムラインに沿って事象として示されている、タイムラインに沿ったピーク角速度および最小角速度とを示しており、更に、ゴルフクラブのリードおよびラグと、ゴルフクラブのドループおよびドリフトとを示すグラフを、一番下の表示に示しており、これらの値は、時間に対してプロットされた２つの軸において、ゴルフクラブのシャフトがどれだけ曲がっているかを決定する。 サブ事象を容易に見ることを可能にするための、スクロールまたは再生のための、サブ事象と関連付けられた開始時点／停止時点の付近への入力を可能にするサブ事象スクラブタイムラインを示す。 サブ事象の開始および停止のタイムラインに沿った相対的な位置と、開始時間および停止時間に引き付けられるような、これらの点の近くへのユーザ入力を可能にするために、開始時間および停止時間と関連付けられた引力とを示す。 モーションキャプチャ要素としてモバイル装置を用い、モーション事象データおよび第１のユーザの事象のビデオを受信するコンピュータとして他のモバイル装置を用いる実施形態を示す。 潜在的な事象に関係するデータを格納するために用いられるメモリの実施形態を示す。 見込みのある事象が生じたか否かを決定するよう、マイクロコントローラに特にプログラムされた機能性の実施形態のフローチャートを示す。 誤検出の事象をなくすためにモーションキャプチャデータと比較される典型的な事象シグネチャーまたはテンプレートを示す。 事象に関連する情報のローカルでの表示および閲覧のために必要に応じて設けられるＬＥＤ視覚的インジケータと、事象と関連付けられたテキストまたは符号化されたメッセージを表示するよう構成された必要に応じて設けられるＬＣＤとを備えて構成されたモーションキャプチャ要素の実施形態を示す。 複数の異なるタイプの用具および／または計測器を備えた衣服と関連付けられたモーション事象のテンプレート特性の実施形態を、特定の期間および／またはサブ事象と関連付けられたデータをより正確にまたはより効率的にキャプチャするためにモーションキャプチャセンサの性格が変更され得る領域と共に示す。 例えば、サッカー、ボクシング、フットボール、レスリング、または他の任意のスポーツ等であるがそれらに限定されない任意の接触型スポーツにおいて着用される、保護マウスピースの実施形態の正面図、および図面の下部に平面図を示す。 モーション画像およびモーションキャプチャデータを組み合わされたフォーマットで表示するよう構成された、図１中の任意のコンピュータによって用いられるアルゴリズムの実施形態を示す。 本発明の１以上の実施形態によって用いられ得る同期アーキテクチャの実施形態を示す。 モーションキャプチャセンサのうちの１つによる事象の検出、他のモーションキャプチャセンサおよび／またはカメラへの事象検出の送信、事象モーションデータの保存、および事象に対応させたビデオのトリミングを示す。 ビデオからの事象ビデオの抜粋、および、複数のカメラが同じ事象のビデオをキャプチャした場合の或る事象期間についての最良のビデオクリップの選択の処理と、選択された測定指標に基づいて選択された、同期された事象ビデオのシーケンスと、選択基準によってソーティングされた事象ビデオとを示す。 ビデオキャプチャ中のカメラの揺れの程度に基づいて特定の事象ビデオを選択するための画像解析、および最も安定した画像を有するビデオの選択を示す。 例えば事象が生じている間に、事象と関連づけられたデータ（モーション解析データを含む）に基づいてビデオ記録パラメータを修正するために１または複数のカメラに送られる制御メッセージを示す。 モーションデータを用いた可変速度再生の一実施形態を示す。 事象データおよびモーション解析データを用いたビデオの同期を補助するための、および／または、モーションキャプチャセンサと結合されていないビデオ中のオブジェクトのモーション特性を決定するためのビデオの画像解析を示す。
次に、ビデオおよびモーション事象統合システムについて説明する。以下の例示的な説明において、多くの具体的な詳細は、本明細書を通して記載される思想のより完全な理解を提供するために述べられるものである。しかし、本明細書に記載される思想の複数の実施形態は、本明細書に記載される具体的な詳細の全ての態様を組み込まずに実施され得ることは、当業者には自明であろう。他の例では、本開示を不明瞭にしないために、当業者に周知の具体的な態様は、詳細には説明していない。本開示を通して革新的な概念の例が述べられるが、本発明を定義するものは、特許請求の範囲、および任意の等価物の全範囲であることを、読者は留意すべきである。
図１は、ビデオおよびモーション事象統合システム１００の実施形態を示す。複数の実施形態は、事象に基づく閲覧、事象の低電力送信、並びに、モバイル装置上で実行されるアプリおよび／または事象を定義するウィンドウを指定するための外部カメラとの通信を可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動、もしくはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等のモーション事象の認識、および事象の指定を可能にする。例えば、子供の初めての歩行等の事象、激しい震えの事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象のビデオを保存するのを可能にするために、事象は内部／外部の１もしくは複数のカメラまたはベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。図示されるように、本システムの複数の実施形態は、一般的に、モバイル装置１０１と、モバイル装置１０１上で実行されるアプリケーションとを含み、これは、モバイル装置１０１の内部に位置するものとして点線の輪郭で示されているコンピュータ１６０（即ち、図１Ａのコンピュータ１６０の機能図も参照）と、コンピュータ１６０に結合されたディスプレイ１２０と、コンピュータに結合された無線通信インターフェース（一般的にモバイル装置の内部にあり、図１Ａの要素１６４を参照）とを含む。モバイルコンピュータを有する携帯電話はユビキタスであり、本システムのユーザは、１以上のモーションキャプチャ要素と、本システムの実施形態を実装するために既存の電話にインストールされるアプリケーション（「アプリ」としても知られている）とを購入し得る。このように、携帯電話、タブレットコンピュータ、音楽プレイヤー等を既に所有しているどのユーザにも、モーションキャプチャ機能が手の届く価格で利用できるようになり、このようなことは従来は決して可能ではなかった。
各モバイル装置１０１、１０２、１０２ａ、１０２ｂは、識別子１９１を取得するために、必要に応じて内蔵識別子読取器１９０（例えばＲＦＩＤリーダ）を有してもよく、または、識別子読取器またはＲＦＩＤリーダ（モバイル装置１０２を参照）と結合されてもよい。或いは、本発明の複数の実施形態は、用具１１０を識別する識別子を本システムに通信するために、任意の上記装置において任意の無線技術を用いてもよい。本発明の複数の実施形態は、少なくとも１つのモーションキャプチャセンサ、ユーザ、または用具と結合された他の任意のタイプの識別子も含み得る。１以上の実施形態において、識別子は、チームおよびジャージ番号、生徒識別番号、登録番号、または、特定のユーザまたは用具からの特定の事象の比較的一意的な識別を可能にする他の任意の識別子を含み得る。これは、プレイヤーまたはユーザと関連付けられたデータを受信するよう構成されたアプリに関して、複数のプレイヤーまたはユーザを有するチームスポーツまたは位置を識別することを可能にする。１以上の実施形態は、識別子（例えば、プレイヤーまたはユーザと関連付けられた受動的ＲＦＩＤ識別子、ＭＡＣアドレス、または他の整理番号）を受信して、その識別子を事象データおよびモーション解析データと関連づける。
本システムは、一般的に、マウント１９２を介して、ユーザ１５０または用具１１０（例えば、ゴルフクラブ、野球のバット、テニスラケット、ホッケースティック、武器、スティック、剣、もしくは他の任意のスポーツ用具、または、例えば、靴、ベルト、グローブ、メガネ、帽子、もしくは他の任意のアイテム等の他のスポーツ用具）と結合される少なくとも１つのモーションキャプチャ要素１１１を含む。少なくとも１つのモーションキャプチャ要素１１１は、用具１１０の一端部、両端部、もしくは両端部の間のどこか、またはユーザ１５０のどこか（例えば、縁なし帽子、ヘッドバンド、ヘルメット、マウスピース、またはそれらの任意の組み合わせ）に配置されてもよく、任意のアイテムのＥＩ測定のために用いられてもよい。モーションキャプチャ要素は、必要に応じて、受動的もしくは能動的な視覚的マーカーを含んでもよく、および／または、無線センサ（例えば、モーションキャプチャ要素の向き（北／南および／または上／下）、位置、速度および／または加速と関連付けられた値のうち１以上の値の任意の組み合わせを供給できる任意のセンサ）を含んでもよい。コンピュータは、各用具１１０（例えば、衣服、バット等）に対して一意的な（例えば、クラブ１１０と結合されたＲＦＩＤからの）識別子（即ち、識別子１９１）と関連付けられた（且つ、必要に応じて、少なくとも１つのモーションキャプチャ要素と関連付けられた）データを視覚的にまたは無線で取得し、そのデータを解析してモーション解析データを構成し、モーション解析データをモバイル装置１０１のディスプレイ１２０に表示するよう構成され得る。モーションキャプチャ要素１１１は、モーションキャプチャマウント１９２を介して、用具もしくはその付近またはユーザもしくはその付近に装着され得る。例えばヘルメットに装着されるモーションキャプチャ要素１１１は、モーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するよう構成された材料を含むアイソレータを含み得る。これは、例えばモーションキャプチャ要素マイクロコントローラに対する処理要件を低くすると共に、低いメモリ使用量および事象に基づく事象データの送信のためのより低い電力要件を可能にする。モーションキャプチャ要素１１１からのモーションキャプチャデータ、用具１１０と関連付けられた任意のデータ（例えば、識別子１９１等）、または、ユーザ１５０もしくは任意の人数のユーザ１５０（例えば、第２のユーザ１５２等）と関連付けられた任意のデータは、ローカルにメモリに格納されてもよく、コンピュータに対してローカルのデータベースに格納されてもよく、または、例えばサーバと結合され得るリモートのデータベース（例えばデータベース１７２）に格納されてもよい。例えば各ユーザ１５０、１５２からのデータは、モーションキャプチャ要素１１１からモバイル装置１０１への、並びにモバイル装置１０１からネットワーク１７０またはインターネット１７１およびデータベース１７２へのネットワークまたは電話網リンクが利用可能なときに、データベース１７２に格納され得る。次に、任意の人数のユーザ並びに彼らの特定の特性およびパフォーマンスパラメータと関連付けられた大きいデータセットに対して、データマイニングが行われる。例えば、本発明のゴルフの実施形態では、ゴルフクラブからクラブＩＤが取得され、モーションキャプチャ要素によってショットが検出される。モバイルコンピュータ１０１は、ユーザの画像／ビデオを格納し、事象／ヒット／ショット／モーション、コース上における事象の位置、および後続のショットについてのモーションキャプチャデータを受信し、各事象についての任意のパラメータ（例えば、事象が生じた時間における距離または速度等）を決定し、任意のローカル解析を行い、モバイル装置にパフォーマンスデータを表示する。モバイル装置からネットワーク１７０またはインターネット１７１へのネットワーク接続が利用可能なとき（例えば、ゴルフの１ラウンドの後）に、画像／ビデオ、モーションキャプチャデータ、およびパフォーマンスデータが、後で解析、表示、および／またはデータマイニングを行うためにデータベース１７２にアップロードされる。１以上の実施形態において、例えば相手先商標製造業者等のユーザ１５１は、例えばコンピュータ（例えば、コンピュータ１０５、モバイルコンピュータ１０１等）を介して、或いは、例えばネットワーク１７０、インターネット１７１、ウェブサイト１７３、またはデータベース１７２の一部を構成するもしくはデータベース１７２と接続されたサーバを介してデータベース１７２と通信できる他の任意のコンピュータからの、データベースへのアクセスに対する支払いを行う。データマイニングは、例えば、ローカルサーバコンピュータを含み得るデータベース１７２上で実行されてもよく、或いは、コンピュータ１０５またはモバイル装置１０１、１０２、１０２ａ、もしくは１０２ｂ上で実行されて、例えばデータベース１７２のスタンドアロンの実施形態にアクセスしてもよい。データマイニングの結果は、モバイル装置１０１、コンピュータ１０５、テレビ放送、またはカメラ１３０、１３０ａおよび１０３ｂ、もしくは１０４から発せられるウェブビデオに表示されてもよく、ウェブサイト１７３を介してアクセスされてもよく、またはそれらの任意の組み合わせであってもよい。
少なくとも１つのモーションキャプチャ要素の１以上の実施形態は、事象が生じた場合に光を出力するよう構成された発光素子を更に含み得る。これは、例えば、何らかの外部装置との通信を必要とせずに、ヘルメットの外側部分における軽度または重度の震盪の可能性を表示するために用いられ得る。また、事象に関係する情報を中継するために、複数の異なる色またはフラッシュ間隔が用いられてもよい。或いは、またはそれと組み合わせて、少なくとも１つのモーションキャプチャ要素は、事象が生じた場合、または少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に音声を出力するよう構成された音声出力素子を更に含んでもよく、または、コンピュータは、少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に表示して警告するよう構成されてもよく、またはそれらの任意の組み合わせが行われてもよい。例えば、審判が、ローカルにモバイル装置上で解析コードのスナップショットを取得し得るように、且つ、センサ上で、または無線で送信された事象が、何者かによって傍受されて読解可能な形態で見られないように、センサの複数の実施形態は、現在の事象の符号化された（例えば、クイックレスポンス（ＱＲ）コードまたはバーコードの）解析を出力するＬＣＤを用いてもよい。
本システムの１以上の実施形態は、例えばモバイル装置内のコンピュータに結合された少なくとも１つのカメラ１３０を含むモバイル装置を用いてもよい。これは、モバイル装置１０１内のコンピュータが、カメラ１３０に、例えば運動中のユーザの１または複数の画像を取得するようコマンドすることを可能にする。例えば、モーション解析データを人間にとってより理解可能なものにするために、ユーザの画像に表示および評価がオーバーレイされてもよい。或いは、ユーザの画像無しに、詳細なデータ表示がディスプレイ１２０または例えばコンピュータ１０５のディスプレイに表示されてもよい。このようにして、二次元画像およびその後続の表示が可能になる。モバイル装置１０２に示されているように、モバイル装置１０１が２つのカメラ（即ち、カメラ１３０ａおよび１３０ｂ）を含む場合には、これらのカメラは、例えば視覚的マーカーの画像解析によって三次元データセットを生成するために用いられてもよい。これは、視覚的マーカーの距離および位置を確認して解析することを可能にする。本発明の任意の実施形態では、任意のカメラからの画像および／またはビデオが、データマイニングの目的で、例えばユーザ１５０と関連付けられたデータベース１７２に格納され得る。本発明の１以上の実施形態において、画像および／またはビデオに対する画像解析は、例えば、ユーザ１５０の年齢毎もしくはプレイ時刻毎に用いられている用具、衣服、靴等のメーカー／モデルを決定するために、またはデータ中の他の任意のパターンを発見するために行われ得る。
或いは、カメラを１つのみ有するモバイル装置の実施形態では、視覚的マーカーの位置を決定するために三角測量される画像の形態の二次元データを取得するために、複数のモバイル装置が用いられ得る。本システムの１以上の実施形態において、モバイル装置１０１およびモバイル装置１０２ａは、三次元モーション解析データを生成するために、ユーザ１５０の画像データを共有する。当業者は認識するように、（例えば、一般的であるように装置内のＧＰＳチップ等の位置決定要素によって、またはセルタワーによる三角測量によって（これらは簡潔のために図示しないが、コンピュータ１６０のように、モバイル装置の内部に位置するのが一般的である））モバイル装置１０１および１０２の位置を決定して、モーションキャプチャ要素１１１から、例えば、各画像中の視覚的マーカーが存在する画素の位置に関するデータを取得することにより、距離およびそれによって速度が容易に取得される。
また、カメラ１０３は、静止画用に、または、現在では一般的なようにビデオ用に用いられ得る。外部カメラを用いる本システムの実施形態では、外部カメラからデータを取得する任意の方法（データの無線通信、または、例えば、カメラ１０３がコンピュータ１０５にドッキングされているときには有線通信を介してデータ通信を行い、次に、データをモバイル装置１０１に転送し得ることを含む）が本システムの趣旨に沿っている。
本システムの１以上の実施形態において、モーション解析データが表示されるモバイル装置は、カメラを有する必要はない。即ち、モバイル装置１０２ｂは、たとえカメラを有するよう構成されていなくても、データを表示し得る。従って、モバイル装置１０２ｂは、どの外部カメラもモバイル装置１０２ｂに画像を通信し得る限り、モバイル装置１０１、１０２、１０２ａ上のカメラ、カメラ１０３、および／またはテレビカメラ１０４の任意の組み合わせから画像を取得してもよい。或いは、本システムを用いるために、カメラは全く必要ない。図１７も参照されたい。
テレビ放送用には、モーションキャプチャ要素１１１は、アンテナ１０６によって受信されるデータを無線で送信する。このようにモーションキャプチャ要素１１１から取得された無線センサデータは、テレビカメラ１０４から取得された画像と組み合わされて、テレビ、コンピュータ（例えば、コンピュータ１０５等）、モバイル装置１０１、１０２、１０２ａ、１０２ｂ、または画像を表示するよう構成された他の任意の装置に同報可能な拡張されたモーション解析データを有する表示が生成される。センサデータが位置データ（例えばＧＰＳ情報）を含む限り、（例えばＧＰＳ情報を介して）カメラの位置を知り、カメラが向いている方向および／または向きを知ることにより、モーション解析データを、例えばディスプレイ１２０上に配置できる。他の実施形態では、モーション解析データを画像に対してロックするために、視覚的マーカーまたは画像処理が用いられ得る。例えば、画像中のゴルフクラブのヘッドを追跡して、対応する高、中、低のクラブ位置を、例えばカメラ１３０、１０４、または１０３に対するユーザ１５０の向きを決定するために用いて、拡張されたデータをユーザ１５０の画像上に正しくプロットすることができる。画像にタイムスタンプを付与するとともに、モーションキャプチャデータにタイムスタンプを付与することにより、例えば、マイクロコントローラ内のタイマーをモバイル装置上のタイマーと同期させ、様々な位置における視覚的マーカーまたはスポーツ用具についての画像をスキャンした後で、簡単なモーションキャプチャデータを画像にオーバーレイしてもよい。本発明の１以上の実施形態では、カメラからの画像をモーションキャプチャデータと組み合わせる他の任意の方法が用いられてもよい。本システムの趣旨に沿って、モーション解析データをディスプレイ１２０（または、例えばコンピュータ１０５のディスプレイ等の他の任意のディスプレイ）上にユーザに関して適切に配置するための他の任意のアルゴリズムが用いられてもよい。例えば、センサを介して事象または一群の事象を取得する際には、事象に対してローカルな外部カメラシステムがその事象の時間についての画像データを供給し得るように、アプリが画像を取得するために事象および／または時間範囲を受信した後に、アプリは、そのローカルメモリからの、他の任意のモバイル装置からの、通信され得る他の任意のタイプのカメラからの、その期間および／または事象の事後の位置／時間の画像データを要求してもよい。
生成されてモバイル装置１０１上に表示され得るそのような表示の１つは、モバイル装置１０１、１０２、１０２ａ、カメラ１０３、および／またはテレビカメラ１０４もしくは他の任意の外部カメラから選択された２以上のカメラを用いたＢＵＬＬＥＴ ＴＩＭＥビューを含む。本システムのこの実施形態では、コンピュータは、ユーザ１５０の２以上の画像および少なくとも１つのモーションキャプチャ要素（視覚的マーカーまたは無線センサ）と関連付けられたデータを取得するよう構成されており、２以上の画像は２以上のカメラから取得されたものであり、コンピュータは、ユーザの周囲から様々な角度で通常の速度で示されるユーザ１５０のスローモーションを示す表示を生成するよう構成される。そのような実施形態は、例えば１グループのファンが、彼ら自身で、例えばゴルフプロのトーナメントでのＢＵＬＬＥＴ ＴＩＭＥショットを生成することを可能にする。それらのショットはコンピュータ１０５に送られてもよく、コンピュータ１０５上で任意の必要な画像処理が行われて、例えばテレビの視聴者に同報されてもよい。本システムの他の複数の実施形態では、様々なモバイル装置のユーザが、彼ら自身による画像のセットを共有し、および／または、例えば後で閲覧するために、彼らのショットをウェブサイトにアップロードする。また、本発明の複数の実施形態は、例えば、ユーザどうしが携帯電話を交換しなくてもいいように、モバイル装置を有する他のプレイヤーからの画像またはビデオが、別のユーザに関係するモバイル装置上で用いられることを可能にする。一実施形態では、第１のユーザによって取得された、ビデオカメラを備えた携帯電話を持っている第２のユーザと関連付けられていない、動いている或る用具についてのビデオが、第１のユーザと関連付けられたモーションキャプチャデータと共に表示されるために、自動的にそのビデオを第１のユーザに転送してもよい。或いは、第１のユーザの携帯電話は、モーションキャプチャ要素１１１の代わりに、またはそれに加えて、モーションセンサとして用いられてもよく、第２のユーザの携帯電話は、動いている第１のユーザのビデオをキャプチャするために用いられてもよい。第１のユーザは、必要に応じて、例えば第２の携帯電話がモーションキャプチャを開始／停止すべきであることを示すために、電話上で、タップする／振る等のジェスチャを行ってもよい。
図１Ａは、コンピュータ１６０の実施形態を示す。コンピュータ１６０はプロセッサ１６１を含み、プロセッサ１６１は、コンピュータプログラムの指示としてメインメモリ１６２内に格納されるのが一般的である（一般的にアプリケーションとしても知られている）ソフトウェアモジュールを実行する。表示インターフェース１６３は、図１に示されているようなモバイル装置１０１のディスプレイ１２０を駆動する。必要に応じて設けられる向き／位置モジュール１６７は、北／南もしくは上／下の向きのチップまたはそれらの両方を含み得る。１以上の実施形態において、向き／位置モジュールは、マイクロコントローラと結合された位置決定要素を含み得る。これは、例えばＧＰＳ装置を含み得る。或いは、またはそれと組み合わせて、コンピュータは、別のコンピュータと協働して位置を三角測量してもよく、他の任意の三角測量タイプの受信器から位置を取得してもよく、または、コンピュータと結合されている特定の方向に向いていることがわかっているカメラによってキャプチャされた画像に基づいて位置を計算してもよく、この場合、コンピュータは、例えば画像中のオブジェクトの方向およびサイズに基づいて、モバイル装置からのオフセットを計算する。必要に応じて設けられる温度センサは、有線または無線リンクを介してプロセッサ１６１と結合されてもよく、例えば、単独でまたは例えば震えまたは意識消失を示し得る任意の検出されたモーションと組み合わせて、低体温または熱中症のインジケータとして用いられてもよい。通信インターフェース１６４は、例えば、無線もしくは有線通信ハードウェアプロトコルチップおよび／またはＲＦＩＤリーダを含んでもよく、或いは、ＲＦＩＤリーダが、外部からもしくは他の任意の方法でコンピュータ１６０に結合されてもよい。本システムの１以上の実施形態において、通信インターフェースは、電話および／またはデータ通信ハードウェアを含み得る。１以上の実施形態において、通信インターフェース１６４は、Ｗｉ−Ｆｉ（商標）、他のＩＥＥＥ８０２．１１装置、および／または、ＢＬＵＥＴＯＯＴＨ無線通信インターフェース、ＺｉｇＢｅｅ（登録商標）無線装置、もしくは他の任意の無線技術を含み得る。ＢＬＵＥＴＯＯＴＨクラス１装置は約１００メートルの通信範囲を有し、クラス２装置は約１０メートルの通信範囲を有する。ＢＬＵＥＴＯＯＴＨ低電力装置は約５０メートルの通信範囲を有する。システムの複数の実施形態では、モバイル装置１０１およびモーションキャプチャ要素１１１が互いに通信可能な限り、任意の無線ネットワークプロトコルまたはタイプが用いられてよい。プロセッサ１６１、メインメモリ１６２、表示インターフェース１６３、通信インターフェース１６４、および向き／位置モジュール１６７は、一般的に「バス」として知られている通信インフラ１６５を介して互いに通信し得る。通信経路１６６は、ネットワーク１７０を介した他の有線または無線装置との通信を可能にする有線または無線媒体を含み得る。ネットワーク１７０は、インターネット１７１および／またはデータベース１７２と通信し得る。データベース１７２は、ユーザの画像もしくはビデオ、モーション解析データ、または何らかの形態でモーション解析データと共に表示されるユーザを保存するまたは取り出すために用いられ得る。インターネット、即ち、リモートデータベース、リモートサーバ、または本システムに対してリモートのメモリにアップロードされたデータは、データへのアクセスを取得し得る任意のコンピュータによって閲覧され、解析され、またはデータマイニングされ得る。これは、相手先商標製造業者が、所与のユーザについて、どのスポーツ用具が最良の働きをしているか、および／または、どの用具を示唆すべきかを決定することを可能にする。また、データマイニングは、ユーザと関連付けられたデータおよび／またはメタデータ（例えば、年齢等）もしくは本システムに入力され得る他の任意の人口統計学データに基づいて、ゴルフコースを計画することを可能にする。また、データのリモートストレージは、例えば、形態学的解析、経時的なモーションの範囲、並びに、糖尿病の防止、エクササイズのモニタリング、およびコンプライアンス用途等の医療用途を可能にする。また、データマイニングに基づく用途は、他のユーザからの実際のモーションキャプチャデータ、同じユーザの１以上の以前のパフォーマンスからの実際のモーションキャプチャデータ、または存命であるか故人であるかを問わない歴史上のプレイヤーからの実際のモーションキャプチャデータ（例えば歴史上のプレイヤーの動画またはビデオを解析した後で）を用いた試合を可能にする。また、仮想現実および拡張仮想現実の用途も、モーションキャプチャデータまたは歴史的なモーションデータを用いてもよい。また、本システムは、パフォーマンスに関連する事象および／またはモーションキャプチャデータを（例えば、ソーシャルネットワークサイトとして実装され得る）データベース１７２にアップロードすることを可能にする。これは、ユーザが、インターネット上のあらゆる人に新たな事象を通知するために、プレイ中またはプレイ後に高得点または他の測定指標を「ツイート」することを可能にする。例えば、１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合するよう構成された少なくとも１つのモーションキャプチャ要素１１１を含み、少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含む。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、事象データを決定するためにデータを解析してデータ中の事象を認識し、事象と関連付けられた事象データを無線器を介して送信するよう構成されている。本システムの複数の実施形態は、モバイル装置上で実行されるよう構成されたアプリケーションも含んでもよく、モバイル装置は、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含む。コンピュータは無線通信インターフェースと結合されており、コンピュータはアプリケーションまたは「アプリ」を実行することにより、無線通信インターフェースから事象データを受信し、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、少なくとも１のユーザと関連付けられた事象データ、モーション解析データ、またはそれらの両方を含む情報をディスプレイに表示するよう、コンピュータを構成する。
図１Ｂは、システムの複数の実施形態において用いられるデータベース１７２の実施形態のアーキテクチャの図を示す。図示されるように、テーブル１８０〜１８６は、Ｎ人のユーザ、ユーザ毎のＭ個の用具、ユーザまたは用具毎のＰ個のセンサ、センサ毎のＳ個のセンサデータ、他のテーブル中で見出されたＴ個のパターン、Ｄ人のデータユーザ、およびＶ本のビデオに関係する情報を含む。図１Ｂに示されている全てのテーブルは例示的なものであり、特定の実装例について所望されるこれより多いまたは少ない情報を含み得る。具体的には、テーブル１８０は、ユーザ１５０に関係する情報を含み、これは、例えば、年齢、身長、体重、性別、住所、または他の任意のデータ等のユーザに関係するデータを含み得る。テーブル１８１は、Ｍ個の用具１１０に関係する情報を含み、これは、クラブ、ラケット、バット、シャツ、ズボン、靴、グローブ、ヘルメット等（例えば、用具の製造業者、用具のモデル、用具のタイプ）を含み得る。例えば、ゴルフの実施形態では、本発明の１以上の実施形態において、製造業者は製造業者名であってもよく、モデルは名称または型番であってもよく、タイプはクラブの番号（即ち、９番アイアン）であってもよく、用具ＩＤは識別子１９１であってもよい。テーブル１８２は、ユーザ１５０、用具１１０、またはモバイルコンピュータ１０１上のＰ個のセンサ１１１に関係する情報を含み得る。例えば、ユーザ１５０と関連付けられたセンサは、衣服、クラブ、ヘルメット、縁なし帽子、ヘッドバンド、マウスピース等を含んでもよく、用具１１０と関連付けられたセンサは、例えばモーションキャプチャデータセンサであってもよく、モバイルコンピュータ１０１と関連付けられたセンサは、位置／向き用センサ１６７および画像／ビデオ用センサ１３０を含み得る。テーブル１８３は、ユーザ毎、用具毎のＳ個のセンサデータに関係する情報を含んでもよく、このテーブルは、センサデータの時間および位置、またはセンサデータに関係する他の任意のメタデータ（例えば、図１Ａに示されている気温センサを介して、または例えば無線通信を介してもしくは他の任意の方法でローカルに取得された気温、天候、湿度等）を含んでもよく、または、センサデータは、上記の情報またはそれらの任意の組み合わせを含んでもよい。このテーブルは、多種多様な他のフィールド（例えば、ボールタイプ等）を含んでもよく、即ち、ゴルフの実施形態では、用いられたゴルフボールのタイプが保存されて、最良の性能のボールタイプ等について後でデータマイニングされてもよい。このテーブルは、ローカルに計算された事象のタイプ（例えば、潜在的な震盪事象）も含み得る。テーブル１８４は、例えばデータマイニング処理において見出されたＴ個のパターンに関係する情報を含み得る。これは、特定のクエリーを用いて様々なテーブル内でサーチされたフィールドと、任意の得られた関連する結果とを含み得る。本発明の１以上の実施形態では、特定の実装例で所望される任意のタイプのデータマイニング結果テーブルが用いられ得る。これは、コンピュータ１６０上でもローカルに計算され得るＥＩ測定、または単純なクエリーから複雑なパターンサーチまでの他の任意のサーチ値を含む任意の種類のサーチ結果を含み得る。テーブル１８５は、Ｄ人のデータマイニングユーザ１５１に関係する情報を含み得ると共に、例えば、彼らのアクセスタイプ（即ち、全データベースもしくはパターンテーブル、または特定の製造業者に限定等）を含んでもよく、テーブルは、データマイニングユーザが支払ったまたは支払いを行うことを同意した使用のタイプについての支払い要件および／またはレシート、並びに、任意のクエリーまたは見出されたパターンに関係する任意のサーチまたは示唆も含み得る。モーションキャプチャデータを含むセンサデータのデータマイニングを可能にするオブジェクト指向データベースの関係またはメモリに基づくデータ構造を含む他の任意のスキームも、本発明の趣旨に沿うものである。特定のアクティビティについての例示的な実施形態を示したが、モーションキャプチャ要素と、例えばユーザの既存の携帯電話１０１、１０２または他のコンピュータ１０５上で実行されるアプリとを用いた本システムの複数の実施形態によって、任意のタイプのモーションに基づくアクティビティがキャプチャされて、解析され得ることが、当業者には認識されよう。データベースの複数の実施形態は、テーブル１８６に保持されたＶ本のビデオ１７９を含んでもよく、これは、例えば、ビデオを生成したユーザ、ビデオデータ、そのビデオの時間および位置を含む。フィールドは必要に応じて設けられ、１以上の実施形態では、ビデオは、本システムにおける任意のモバイル装置、またはモバイル装置とサーバ／ＤＢ１７２との任意の組み合わせに格納され得る。１以上の実施形態では、ビデオは、センサデータテーブル１８３の「時間」フィールドと関連付けられたビデオのサブセットに分割されてもよく、時間フィールドは、事象開始時間および事象停止時間を含み得る。この状況では、本システムの必要なビデオ記憶容量を大きく低減するために、大きいビデオが、テーブル１８３に保持されている事象タイプのうちの事象と関連付けられた、概してより小さい時間ウィンドウに対応する１以上のより小さい事象ビデオにトリミングされ得る。
モバイルコンピュータまたはサーバ／データベース上でモーションキャプチャデータを閲覧し、解析することに備えた本システムの複数の実施形態によって利益を受けると共に可能になる多種多様な用途がある（例えば、ユーザ１５１によるデータベース１７２のデータマイニング）。例えば、ユーザ１５１は、例えば親、子供もしくは高齢者、監督、医師、保険会社、警察、軍隊を含むコンプライアンス監視者、または他の任意の組織（例えば、製品の改善のためにデータマイニングを行い得る用具の製造業者等）を含み得る。例えばテニスの実施形態では、特定のサイズまたは年齢のユーザのサーブのトップスピードをサーチすることにより、或いはゴルフの実施形態では、テーブル１８３のセンサデータフィールド内のスイング速度に基づいて、距離、即ち、テーブル１８３におけるシーケンシャルな位置の差をサーチすることにより、どの製造業者が最良のクラブを有するかを、またはユーザ毎の年齢、身長、もしくは体重毎の最良のクラブを、または他の多種多様なパターンを決定する。コンプライアンスに関係する他の実施形態は、重力加速度の閾値が、（高い、０、または他の任意のレベル）である場合に、モバイルコンピュータ１０１またはサーバ／データベースからメッセージが生成され、先に述べたようにコンプライアンス監視者、監督、医師、保険会社等に送られることを可能にする。ユーザ１５１は、特定のユーザに対するターゲット販売のために、特定のユーザがどの用具を所有しているか、および他の類似のユーザがどの関連アイテムを所有し得るかを決定するマーケティング職員を含み得る。ユーザ１５１は、例えば靴、即ち、或るタイプの用具と結合されたセンサが動いた量、糖尿病の子供が動いた量、およびこの動きが糖尿病でない平均的な子供とどのくらい関係しているかを決定し得る医療職員を含んでもよく、この場合、テーブル１８５に従った示唆は、糖尿病の子供を健康な子供と同レベルにするために、糖尿病の子供にもっと運動させるインセンティブを与えること等を含み得る。スポーツ医、生理学者、または理学療法士は、ユーザ毎のデータを用いてもよく、または、多数のユーザに対するサーチを行って、或るユーザの特定の動きまたはモーションの範囲を例えば他のユーザと比較して、ユーザ毎にまたは集団毎に、ストレッチまたはエクササイズを続けることによって所与のユーザのどの領域を改善できるか、およびどのモーション領域の範囲が経時的に変化するか、並びに、例えば、経時的な変化を（それらの変化が生じる前においても）考慮するためにユーザがどのタイプの用具を利用し得るかを決定してもよい。モーションキャプチャデータおよびモーションに関係する画像データをデータマイニングすることは、ユーザ１５１に対する特有の長所を提供する。データマイニングは、スポーツ用具、靴、人間の身体部位、または他の任意のアイテムの柔軟性の経時的な変化、用具の製造業者間での変化、またはそれらの任意の組み合わせにおける変化を決定するために、センサによって測定された撓みパラメータに対して行われてもよい。
本システムは、モーションキャプチャ時におけるユーザ１５０の解析が、比較的水平線と関連付けられた、即ち、傾斜していない画像を含むことを確実にするために、例えばモバイル装置１０１内のコンピュータ１６０上で実行される向きモジュールを含んでもよい。コンピュータは、ユーザに、カメラを、モバイル装置１０１内の向きハードウェアから取得された向きデータに基づいて水平な平面に沿って位置合わせするよう促すよう構成される。当業者には認識されるように、向きハードウェアは、モバイル装置に一般的に備えられているものである。これは、そのようにキャプチャされた画像が、水平な平面に関して比較的水平に保たれることを可能にする。また、向きモジュールは、キャプチャされるユーザのサイズを幾分正規化するためにユーザをグラフィカルな「フィットボックス」内に配置するために、ユーザに、カメラを、ユーザに近づけるまたはユーザから離す、即ち、ユーザに対してズームインまたはズームアウトするよう促してもよい。また、画像は、ユーザによって、例えば、特定のモーション要求を満たすようにという医師の指示に従ったことを証明するために用いられてもよい。
本システムの複数の実施形態は、更に、ユーザ１５０または用具１１０と関連付けられた少なくとも１つのモーションキャプチャ要素を認識して、少なくとも１つのモーションキャプチャ要素１１１を、ユーザ１５０または用具１１０上の割り当てられた位置に関連づけるよう構成される。例えば、ユーザは、モバイル装置１０１内のコンピュータによって、コンピュータがＩＤを要求しているのがどのモーションキャプチャ要素であるか知らせるよう促された際に、特定のモーションキャプチャ要素を振ってもよい。或いは、既知のアクティビティを行っている際に、モーションセンサデータが位置、速度、および／または加速について解析されて、モーションキャプチャ要素を取り付けた位置として自動的に分類されてもよく、またはユーザに想定されている位置を知らせるよう促すことによって分類されてもよい。センサは、例えばチーム名およびジャージ番号によって特定のプレイヤーと関連付けられてもよく、事象の送信のためにモーションキャプチャセンサのメモリに格納されてもよい。図１に示されている任意のコンピュータが、本発明の趣旨に沿って、特定のモーションキャプチャセンサと関連付けられた識別子をプログラムするために用いられ得る。
モバイル装置１０１内のコンピュータの１以上の実施形態は、ユーザ１５０の少なくとも１つの画像を取得して、このユーザ１５０の少なくとも１つの画像上に三次元オーバーレイを表示するよう構成されており、この三次元オーバーレイは、モーション解析データと関連付けられている。ディスプレイ１２０上には様々な表示が表示され得る。モーション解析データの表示は、モーション解析データと関連付けられた評価、モーション解析データと関連付けられた計算されたボール飛行経路の表示、モーション解析データと関連付けられたピーク値が生じた時間軸に沿った時点を示すタイムラインの表示、および／または、ユーザがユーザの力学を改善するのを支援するためのトレーニングレジメンの示唆を含み得る。これらのフィルタリングまたは解析されたデータセンサ結果は、データベース１７２に（例えばテーブル１８３内に）格納されてもよく、または、データベース上（または、例えば図１に示されている本システムにおける、データベースと関連付けられたサーバ上、他の任意のコンピュータ内、もしくはそれらの組み合わせ）で生データが解析されて、例えばモバイルコンピュータ１０１上、ウェブサイト１７３上、またはカメラ１０４からのテレビ放送を介して表示されてもよい。データマイニングの結果は、任意の方法で本システムの独特な表示と組み合わされて、任意の所望の方法で示されてよい。
また、本システムの複数の実施形態は、ユーザ１５０が、モバイル装置１０１の無線インターフェースを介して（例えばインターネットを介して）、またはベンダーのサーバとして実装され得るコンピュータ１０５を介して、用具１１０を購入することを可能にするインターフェースを提示してもよい。更に、用具の特注のフィッティング（例えば、パターのシャフトの長さ、または任意のタイプの用具の他の任意の特注のサイズ変更等）のために、本システムの複数の実施形態は、ユーザ１５０が、モバイル装置１０１の無線インターフェースを介して、顧客にフィットした用具を注文することを可能にするインターフェースを提示してもよい。また、本発明の複数の実施形態は、モバイル装置１０１がユーザ１５０に対してより良好な性能の用具を示唆することを可能にし、または、ユーザ１５０が、ユーザ１５０の所定の範囲内のスイング速度を有する複数のユーザについてのクラブ毎のゴルフのショットの距離についてのデータベース１７２のデータマイニングによって決定された、より良好な性能の用具をサーチすることを可能にする。これは、実際のパフォーマンスデータをマイニングして、例えばＯＥＭ等のユーザ１５１がユーザ１５０に対して用具を示唆し、その対価を課金する（例えば図１に示されている任意のコンピュータにおいてまたはウェブサイト１７３を介して表示されるデータマイニング結果へのアクセスに対する支払い）ために用いることを可能にする。本発明の１以上の実施形態では、データベース１７２は、ＯＥＭのデータマイニングの記録をとり、例えば、所与の請求期間にわたる、各ユーザ１５１が購入したおよび／または用いたアクセスの量について、ユーザ１５１に請求を行うよう構成される。例えば図１Ｂを参照されたい。
本システムの複数の実施形態は、少なくとも１つのモーションキャプチャ要素から取得されたデータを解析し、用具と結合された少なくとも１つのモーションキャプチャ要素の振動に基づいて、ボールと用具との衝突がどのくらい中心にあったかを決定し、モーション解析データに基づいて衝撃の位置を表示するよう構成される。このパフォーマンスデータは、データベース１７２に格納されてもよく、ＯＥＭまたはコーチによって、例えば、多数の衝突にわたってデータマイニングされた、中心に当たる確率が高いクラブを示唆するために用いられてもよい。
図１Ａは物理的な装置を示しているが、本明細書で述べる本システムの範囲および方法は、コンピュータまたはコンピュータシステム上で実行され本開示の思想を実装する方法および処理と適合するコンピュータシステム環境として作用するまたはそれを提供する、１以上のコンピュータプログラムとして具現化される仮想の装置、仮想の機械、またはシミュレータを包含する。仮想の機械、処理、装置等が、本システムの物理的コンピュータシステムと略同様のパフォーマンスを行う場合、例えば、図１Ａに示されているもの等の、本明細書における物理的システムの記載に関わらず、そのような仮想のプラットフォームも本開示のシステムの範囲内である。
図１Ｃは、本システムで用いられるコンピュータの複数の実施形態で行われると共にそれによって可能になる処理の実施形態のフローチャートを示す。本システムの１以上の実施形態では、３０１で、複数のモーションキャプチャ要素は、必要に応じて較正される。一部の実施形態では、これは、ユーザまたは用具上の複数のセンサを、これらのセンサが所与の入力モーションについて同じ速度値または加速値を示すよう調整および／または設定されていることを確実にするために、較正することを意味する。本発明の他の複数の実施形態では、これは、向き、位置、速度、加速、またはそれらの任意の組み合わせを同時に較正するよう移動する較正オブジェクト上に、複数のモーションキャプチャセンサを配置することを意味する。このステップは、一般的に、モーションキャプチャ要素および必要に応じて設けられるマウントを設ける（或いは、モーションキャプチャセンサ機能を有するモバイル装置が用いられることを可能にする）こと、並びに、例えば、既存の携帯電話またはコンピュータを有するユーザが、本システムの複数の実施形態を用いて、モーションキャプチャデータを取得し、可能性として解析し、および／またはそれに基づいたメッセージを送ることを可能にするアプリを設けることを含む。１以上の実施形態において、ユーザは、単にモーションキャプチャ要素およびアプリを購入して、本システムの使用を即時に開始してもよい。３０２で、本システムは、モーションキャプチャ要素を用いてモーションデータをキャプチャし、３０３で、モーションキャプチャデータ中の任意の事象（即ち、例えば震盪を示す閾値を超える線形加速および／または回転加速）を認識し、３０４で、モーションキャプチャデータを、例えばモバイルコンピュータ１０１、１０２、または１０５（ＩＰＯＤ（登録商標）、ＩＴＯＵＣＨ（登録商標）、ＩＰＡＤ（登録商標）、ＩＰＨＯＮＥ、ＡＮＤＲＯＩＤ（登録商標）Ｐｈｏｎｅ、またはユーザがローカルにデータを収集するために用い得る他の任意のタイプのコンピュータを含み得る）に送る。１以上の実施形態において、センサは、例えば他のセンサ上における事象データ格納処理を開始するために、事象を他の任意のモーションキャプチャセンサに送信してもよい。他の実施形態では、センサは、事象が生じた時点の付近でまたは後でビデオのトリミングを可能にするために、例えばビデオの不要な部分を捨てて、事象についてのビデオが保存されるべきであることを示すために、事象を他のモバイル装置に送信してもよい。１以上の実施形態において、本システムは、センサの複雑さを最小限にして、例えば既存の携帯電話および他の電子装置に見出される非常に能力がある計算要素へと処理の負荷を移す。本明細書の様々なセクションに記載されるように、モーションキャプチャ要素からユーザのコンピュータへのデータの送信は、可能なときに、周期的に、事象に基づき、ポーリングされたときに、または他の任意の方法で行われ得る。これは、継続的に生データを送る公知のシステムと比較して、二つの方法で大量の電力を節約する。第１に、データは、データを全生データのうちの意味のある小さいサブセットに大きく減少させる、特定のモーション事象が入る時間ウィンドウ内の事象パケットとして送られ得るとともに、第２に、データは、合計送信回数を制限するために、継続的な送信よりは低い頻度で、定められた時間に、またはデータを要求されたときに送られ得る。１以上の実施形態では、３０５で、事象は、例えば、モーションキャプチャセンサ１１１上のＬＥＤがフラッシュすることにより（例えば、潜在的な震盪に対して黄色のフラッシュ、または可能性が高い震盪に対して赤色の速いフラッシュ）、ローカルに表示され得る。或いは、またはそれと組み合わせて、警告または事象は、例えば図１に示されている他の任意のコンピュータまたはモバイル装置に送信されて、そこで表示されてもよい。
例えば既存のモバイルコンピュータにおけるユビキタスな通信機能を活用するために、本システムにおける主な情報処理機能は、一般的に、より多くの処理能力が利用され得るモバイルコンピュータまたはサーバ内にある。本システムの１以上の実施形態では、３０６で、モバイルコンピュータは、必要に応じて、ユーザまたは用具から識別子を取得してもよく、または、ステップ３０５の一部として、この識別子（例えば、受動的ＲＦＩＤもしくは能動的ＲＦＩＤ等、または例えばチーム／ジャージ番号もしくは他のプレイヤーＩＤ等の他の識別子）が送信されてもよく、これは、モバイルコンピュータによって、その時点でどのユーザが負傷した可能性があるか、ユーザがどの重さを持ち上げているか、ユーザがどの靴を履いて走っているか、ユーザがどの武器を使用しているか、ユーザがどのタイプのアクティビティを用いているかを、用具の識別子に基づいて決定するために用いられ得る。３０７で、モバイルコンピュータは、モーションキャプチャデータをローカルに解析して、例えばデータ中に閾値が観察されたときに、例えばプレイヤー、兵士、もしくはレーシングカーのドライバーによって過剰な重力加速度が記録されたときに、または不十分なモーションが生じているときに（その時点で、または、後述するように、例えばそのユーザの典型的なモーションパターンもしくは他のユーザのモーションパターンに基づくデータベース中のデータのパターンに基づいて）、例えばメッセージ等の情報を表示、即ち、示すかまたは送ってもよい。他の実施形態では、ユーザが特定の量のモーションを行ったら、３０７で、データを格納するかまたは別様で表示するために、例えば審判、親、子供もしくは高齢者、監督、医師、保険会社、警察、軍隊を含む安全性またはコンプライアンス監視者、または他の任意の組織（例えば、用具製造業者等）にメッセージが送られてもよい。メッセージは、ＳＭＳメッセージ、電子メール、ツイート、または他の任意のタイプの電子通信であり得る。特定の実施形態がリモート解析のために、またはリモート解析のみのために構成される場合には、３０８で、モーションキャプチャデータはサーバ／データベースに送られ得る。実装例がリモートデータベースを用いない場合には、モバイルコンピュータ上での解析はローカルなものである。実装例がリモートデータベースを含む場合には、３０９で、モバイルコンピュータ、サーバ／データベース、またはそれらの両方で解析が行われ得る。データベースがモーションキャプチャデータを取得したら、３１０で、データが解析されて、所望に応じて、事象のみを表示、または、ユーザもしくは他のユーザと関連付けられた以前の事象データと組み合わせてもしくはそれに関して事象を表示するために、サーバ／データベースからコンプライアンス職員または企業体にメッセージが送られてもよい。
本発明の複数の実施形態は、ゲーム、形態学的比較、コンプライアンス、燃焼カロリーや行われたワークの追跡記録、昼と夜とで変化するモーションまたは以前のモーションパターンに基づく子供もしくは高齢者の監視、重力加速度が閾値を超えたときもしくはモーションが停止したときのプレイヤーや部隊の安全性モニタリング、例えば、ユーザの現在のおよび／もしくは以前のデータもしくは他のユーザからのデータを利用する仮想現実アプリケーションを含む携帯電話上での走る、飛び上がる、投げる動作のモーションキャプチャデータのローカル使用、ユーザが行っているモーションのタイプまたはデータマイニングに基づく音楽の再生もしくは再生リストの選択のために、モバイルコンピュータおよび／またはサーバからデータを利用する。例えば、モーションがデータベース中の既知のプレイヤーに類似している場合には、そのユーザの再生リストが、ユーザのモバイルコンピュータ１０１に送られてもよい。モーションが速い場合には速い音楽が再生され、モーションが遅い場合には遅い音楽が再生されるように、この処理はローカルに行われてもよい。ユーザのモーションに基づいて音楽を再生するための他の任意のアルゴリズムも、本発明の趣旨に沿うものである。モーションキャプチャ要素およびユーザの既存のモバイルコンピュータ上のアプリから取得されたモーションキャプチャデータのどのような使用も（以前のパフォーマンスにおけるユーザからの実際のモーションデータまたは例えば歴史上のプレイヤーを含む別のユーザからの実際のモーションデータを用いて、仮想現実環境において他のプレイヤーのアバターの相対的なモーションを示すためにモーションデータを用いることを含む）、本発明の趣旨に沿うものである。情報の表示は、一般的に、３つの状況を介して行われるものであり、この場合、情報の表示はユーザのモーション解析データに基づくもの、またはユーザの用具および以前のデータに関係するものであり、以前のデータは同じユーザ／用具または１以上の他のユーザ／用具からのものであり得る。この状況下で、現在のモーション解析データを、このユーザ／用具と関連付けられた以前のデータを比較することは、モーションキャプチャセンサおよびアプリを有する非常にコスト効果の高いシステムを用いてパターンを解析することを可能にする。別の状況下では、ユーザまたは別のユーザ／用具から選択された以前のデータが現在のユーザのパフォーマンスに基づくものとなるように、情報の表示は現在のユーザのパフォーマンスの関数である。これは、ユーザのスイングに対する、歴史上のプレイヤーからキャプチャしたモーションによる効果的な応答が得られるという現実味が高い試合（例えば、歴史上のプレイヤーを相手にした仮想のテニスの試合）のプレイを可能にする。実際のデータ（現在のデータおよび以前に格納されたデータ）を用いたこのタイプの現実味がある試合のプレイ、例えば、ユーザがテニスのトップ１０プレイヤーの平均的なパターン（即ち、サーブの速度、ユーザの所与の入力ショットに対するリターンショットの速度および角度）を相手にプレイすることは、試合のプレイをできるだけ現実味があるものにする。名人がまだ健在で現在もユーザとプレイしているかのように、名人を相手にしたユーザの技量をテストするために、既に故人である歴史上のプレイヤーによるスイング速度およびショットのタイプを決定するために、例えばテレビ画像が解析されてもよい。第３の状況では、ユーザの以前のデータまたは他のユーザの以前のデータとの比較を行わずに、ユーザによる、または、例えばモバイルコンピュータへのアクセスを持たないもしくはモバイルコンピュータを所有していない異なるユーザによる、コンプライアンスおよびモニタリングが行われてもよい。換言すれば、携帯電話はモニタリングされているユーザと関連付けられており、異なるユーザは、例えばモーションキャプチャ要素を装着しているユーザ（例えば、乳児または糖尿病患者等）の現在のパフォーマンスに関係する情報を取得している。
図１Ｄは、本システムの実施形態のデータフロー図を示す。図示されるように、モーションキャプチャデータは、多くの異なるタイプの用具１１０上のまたはユーザ１５０と関連付けられた（例えば、衣服、ヘルメット、ヘッドバンド、縁なし帽子、マウスピース、またはユーザのどこか別の位置と結合された）様々なモーションキャプチャ要素１１１から送られる。用具またはユーザは、必要に応じて、本システムが値をモーションと関連づけることを可能にする識別子１９１（即ち、持ち上げられている重量、使用されているラケットのタイプ、使用されている電子装置のタイプ（即ち、ゲームコントローラ）、または他のオブジェクト（例えば第２のユーザ１５２（例えば乳児）と関連付けられた乳児用パジャマ等））を有してもよい。１以上の実施形態では、当業者には認識されるように、図面中の要素１９１は、モーションキャプチャ要素１１１によって置き換えられても、または拡張されてもよい。本システムの１以上の実施形態では、モバイルコンピュータ１０１は、例えば事象の形態のモーションキャプチャデータを、例えば事象に基づき、またはモバイルコンピュータ１０１によって要求されたときに受信する（例えば、モーションキャプチャ要素１１１が、データが存在することを宣言して、要求に対応するために、電力を無駄にしないように決まった長さの時間だけ受信器をオンにした後、要求が受信されなかった場合には、一定の期間にわたって受信器をオフにする）。データがモバイルコンピュータ１０１に入力されたら、例えば生のまたは事象に基づくモーションキャプチャデータを取得して、例えば人間がより簡単に理解しやすい項目（例えば平均速度等）を決定するために、データが解析される。モバイルコンピュータ１０１の右側に図示されるように、データは格納されてもよく、次に、データはユーザ１５０または１５１に対して、例えば、モニタ、コンプライアンステキスト、もしくは電子メールの形態で、またはモバイルコンピュータ１０１もしくはコンピュータ１０５と関連付けられたディスプレイ上に表示されてもよい。これは、モーションキャプチャ要素と関連付けられておらず、場合によってはモバイルコンピュータとも関連付けられていないユーザが、可能性として、例えば乳児の呼吸が遅いことを伝えるモニタメッセージを取得すること、または、例えば、現在モーションキャプチャデータを供給しているユーザ、以前に格納されたデータを有するユーザ、もしくは過去のトーナメントのパフォーマンスのビデオ中のモーションを解析した後の歴史上のプレイヤー（例えば、有名なゴルファー等）を含み得る仮想現実マッチもしくはパフォーマンスを視聴することを可能にする。例えば、ユーザ１５０または用具１１０から現在のデータが取得されているゲームの状況では、例えば仮想現実メガネ上でのデータの表示は、そのユーザの現在のモーションデータに応答するために（即ち、ユーザの入力の関数として）、そのユーザ／用具または別のユーザ／用具からの以前のデータを利用してもよい。以前のデータは、システム内のどこか（例えば、モバイルコンピュータ１０１、コンピュータ１０５、サーバ、またはデータベース１７２）に格納され得る（図１参照）。以前のデータは、例えば、ユーザ１５１に対して、ユーザ１５０が特定の回数の潜在的な震盪事象を受けたこと、従って、再びプレイする前に特定の長さの時間だけ治療しなければならないことを示すために用いられ得る。例えば、保険会社は、医療費を低くするために、そのようなコンプライアンスを要求してもよい。ビデオは、モバイル装置１０１、コンピュータ１０５、または図１に示されているサーバもしくはサーバと接続されたデータベース１７２に格納されて、例えばディスプレイに同時に表示される（例えば、オーバーレイされるか、または、一般的にモバイルコンピュータ１０１もしくはコンピュータ１０５のディスプレイの別々の位置に示される）事象データおよび事象のビデオを含む事象ビデオを構成するために、そこから取り出され得る。
図２Ａは、ユーザの頭部１５０ａを囲むヘルメット１１０ａに基づくマウントを示しており、ヘルメットに基づくマウントは、例えば、図示されているようにヘルメットの後部にモーションキャプチャセンサ１１１を保持する。図２Ｂは、ヘルメット後部の下部に示されているネックインサートに基づくマウントを示しており、これは、既存のヘルメットにモーションキャプチャセンサ１１１を後から組み込むことを可能にする。ユーザの頭部１５０ａに結合されるかまたは別様でユーザの頭部１５０ａ付近に着用されるよう構成された少なくとも１つのモーションキャプチャセンサを含む実施形態では、マイクロコントローラは、更に、ユーザの頭部における衝撃の位置を計算するよう構成され得る。ユーザの頭部における衝撃の位置の計算は、ユーザの頭部および／またはヘルメットの物理的形状に基づくものである。例えば、モーションキャプチャ要素１１１が、無回転の後方への（図面中の右側への）加速を示している場合には、ヘルメットまたはユーザの頭部の外周方向に戻る加速のベクトルを追跡することによって衝撃箇所が計算され得る。この無回転の計算は、力線がユーザの頭部／ヘルメットの重心またはその付近を通ることを効果的に示すものであり、そうでない場合には、モーションキャプチャ要素１１１によって回転力が観察される。モーションキャプチャ要素１１１において側方へのベクトルが観察された場合には、衝撃箇所は、ヘルメット／頭部の側部にあり且つ重心を通るように計算される。よって、例えば少なくとも加速のピークに近い期間または他の任意の期間にわたってモーションキャプチャセンサに回転加速を付与しない他の任意の衝撃は、ヘルメット／頭部に対して重心を通る方向に付与されたものと想定され得る。よって、衝撃箇所の計算は、重心から戻る距離および角度を計算することによって、力のベクトルが検出され衝撃箇所に向かって戻るよう横断するヘルメット／頭部の外周の交点として計算される。例えば、加速ベクトルが４５度で無回転である場合には、衝撃箇所は、ヘルメット／頭部の重心から４５度で戻った位置であり、よって、４５のサインを計算すると、約０．７×ヘルメットの半径（即ち５インチ（１２．７センチメートル））であり、衝撃はヘルメットの前部から約３．５インチ（８．８９センチメートル）になる。或いは、衝撃の位置を角度の形式のままにして、衝撃はヘルメット／頭部の前部から４５度であったことを示してもよい。逆に、線形加速を伴わない回転加速が観察された場合には、ヘルメット／頭部はセンサを中心に回転している。この状況では、脳を回転させるのに必要な力は重心の前を通り、重心およびセンサを通ると定義される線に概ね直交するものであり（例えば、側面衝撃）、そうでない場合には、平行移動の線形加速が観察される。この場合には、衝撃の位置は、加速の方向とは反対側のヘルメット／頭部の側面上にある。よって、簡単な計算方法の例として、これらの２通りの衝撃の位置の計算が用いられ得るが、頭部／ヘルメットの質量および頭部／ヘルメットのサイズを考慮した他の任意のベクトルに基づくアルゴリズムが用いられてもよい。そのようなアルゴリズムの１つは、所望であれば、力ベクトルを計算して、ヘルメット／頭部の外周に戻るよう変換して、その位置に付与された力ベクトルを計算するために、例えば、Ｆ＝ｍ＊ａ（即ち、力＝質量×加速）およびトルク＝ｒ×Ｆ（式中、ｒは頭部／ヘルメットの外側部分における位置ベクトルであり、Ｘは外積であり、Ｆは力ベクトルである）等の任意の数式を用いてもよい。ヘルメットに関して説明したが、少なくとも１つのモーションキャプチャセンサの他の実施形態は、任意のタイプのマウント、囲い、または結合機構を用いて、縁あり帽子もしくは縁なし帽子に、または保護マウスピース内に結合されるよう構成され得る。縁あり帽子／縁なし帽子／マウスピースについても、衝撃の位置／方向、加速の線形力もしくは回転力、または、例えば震盪に関連する事象を示し得る他の任意の量を決定するために、同様の計算が用いられ得る。複数の実施形態は、例えば図１Ａに示されている少なくとも１つのモーションキャプチャセンサまたはマイクロコントローラと結合された温度センサを含み得る。温度センサは、単独で、または、モーションキャプチャ要素と組み合わせて、例えば身体もしくは頭部が震えているかどうか（即ち、低体温を示す）、または、動きが検出されず、例えば無線もしくは有線の温度センサを介して計測された温度が、身体もしくは脳が熱中症を示す閾値より高いことを示すかどうかを決定するために、用いられ得る。
本発明の複数の実施形態は、少なくとも１つのモーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するよう構成されたアイソレータも用い得る。従って、複数の実施形態は、ヘルメットに基づく加速からの力、加速値、または他の任意の値を、観察された脳の加速値へと変換する必要がなく、従って、本発明の複数の実施形態は、事象特異的データを提供するために、より少ない電力および記憶容量を用い、それにより、データ転送量を最小限にして、より低い送信電力使用量およびさらに低い合計電力使用量を生じる。フットボール／ホッケー／ラクロスのプレイヤーのヘルメットには、ヘルメット内の固有のパッドのタイプに基づいて、それぞれ異なるアイソレータが用いられ得る。ヘルメットを着用しない、または時々着用するスポーツで用いられる他の実施形態では、縁なし帽子または縁あり帽子、例えば、野球のプレイヤーの帽子上の少なくとも１つのモーションキャプチャセンサが、バッター用ヘルメットに装着された少なくとも１つのセンサと共に用いられ得る。例えば、サッカー等の帽子が用いられないスポーツでは、震盪を判断するためにヘッドバンドマウントも用いられ得る。１以上の実施形態では、ヘルメットに用いられるアイソレータは、ヘルメットに取り付けられた囲いの中に留まってもよく、センサは、ユーザの脳液の緩衝に適合するアイソレータを用いない別の用具上に着脱されてもよい。複数の実施形態は、或るタイプのモーションを自動的に検出して、特定のタイプの用具と関連付けられた特徴的なモーションパターン（即ち、サーフボードと野球のバットとの対比）に基づいて、モーションキャプチャセンサが現在に取り付けられている用具のタイプを決定してもよい。１以上の実施形態において、アイソレータの物理的特性を計算するために用いられ得るアルゴリズムは、モーションキャプチャセンサをヘルメットに取り付けること、およびモーションキャプチャセンサを衝突試験のダミーの頭部のヘッドフォームに取り付けることを含んでもよく、この場合、ヘッドフォーム内のモーションキャプチャセンサは、アイソレータに周囲を囲まれる。例えば、ヘルメット内の死体の頭部内に配置されたセンサに関して、ヘルメットに線形加速および回転加速を加えて、ヘルメットのセンサによって取得された値とヘッドフォーム内のセンサによって観察された値との差を観察することにより、人間の脳の緩衝効果に最も厳密に適合する、最もよく適合する緩衝値のアイソレータ材料が取得され得る。
図３は、モーションキャプチャセンサとヘルメットの外側部分との間にあるアイソレータを示す、図２Ａ〜図２Ｂのマウントのクローズアップを示す。本発明の複数の実施形態は、線形加速値、回転加速値、またはそれらの両方を取得／計算するよう構成され得る。これは、震盪について、線形加速だけでなく回転事象もモニタリングすることを可能にする。図示されるように、センサマウント１１１ｂ内のアイソレータ１１１ｃを用いることにより、外部からの加速Ｇ１は、人間の脳によって観察される加速とより関連付けられたより低い加速、即ちＧ２をセンサ１１１に付与し得る。これは、震盪について、線形加速だけでなく回転事象もモニタリングすることを可能にする。他の事象は、事象の最中にキャプチャ特性をダイナミックに変えるためにセンサの性格を切り替えるためだけでなく、現在のモーションキャプチャセンサを有する現在用いられている用具のタイプを特徴づけるために、例えばパターンまたはテンプレートと比較される線形および／または回転の加速および／または速度を利用し得る。これは、センサによってキャプチャされたモーションとモーションの特徴的なパターンまたはテンプレートとの比較に基づいて、センサが結合された用具または衣服のタイプをセンサが自動的に決定するのを可能にすることにより、ユーザが購入した単一のモーションキャプチャ要素が、複数の用具または衣服に装着されること可能にする。
図４Ａは、ユーザの頭蓋４０１および脳４０２を囲むパッド１１０ａ１を有するヘルメット１１０ａに装着されたモーションキャプチャ要素１１１の上から見た断面図を示す。図４Ｂは、図４に示されている様々な要素についての回転震盪事象を示す。図示されるように、ヘルメット１１０ａ内のパッド１１０ａ１によって囲まれた、重心４０３を有する人間の脳４０２および頭蓋４０１には、それぞれ異なる加速値が付与され得る。図示されるように、単位期間内に移動するためには、脳の前部は、脳の後部におけるＧ２ｃまたは重心におけるＧ２ｂよりも高い率Ｇ２ａで加速しなければならない。よって、所与の回転加速値に対して、脳のそれぞれ異なる領域が受ける影響は異なり得る。従って、本発明の１以上の実施形態は、線形加速に関する情報だけでなく、回転加速に関する情報も送信する。
図５は、例えば、図示されるように５００ｇでヘルメットに入力された力Ｇ１と、アイソレータ内に装着されたセンサによって観察され公知のヘッドフォーム加速測定システムを用いて確認された、脳内で観察された力Ｇ２とを対比させて示す。右上のグラフは、ヘッドフォームに装着された加速度計に関して、２つの公知のヘッドフォームシステムが、図４Ａに示されているアイソレータに基づくモーションキャプチャ要素１１１によって観察された加速値を確認することを示す。
図６は、３軸の回転加速値と、合計回転ベクトル量と、モーション事象データと共に表示されている、カメラから取得され震盪事象のビデオとを示す。１以上の実施形態において、所与のセンサからの加速値は、例えばモバイル装置の画面をダブルタップすることにより、または他の任意の方法により、回転値（図示されるように）または線形値について表示されてもよい。本発明の複数の実施形態は、コネクションレス同報メッセージを用いて、事象と関連付けられた事象データを送信してもよい。１以上の実施形態では、用いられる無線通信に応じて、同報メッセージは、接続ベースのプロトコルのハンドシェーキングおよびオーバーヘッドを回避するために用いられ得る限られた量のデータを有するペイロードを含み得る。他の実施形態では、コネクションレスまたは接続ベースのプロトコルは、任意の組み合わせで用いられ得る。このようにして、審判は、モバイル装置上で、潜在的な震盪に関連する事象の読み出しを、ほぼその瞬間に取得してもよく、これは、審判が迅速に医療支援を得ることを可能にする。
１以上の実施形態において、コンピュータは、例えば震盪もしくは転倒、または他のスイングもしくは他の任意のモーション事象の数を決定するために、ユーザまたは用具と関連付けられた以前に格納された事象データまたはモーション解析データにアクセスし得る。また、複数の実施形態は、ユーザまたは用具と関連付けられた事象データまたはモーション解析データと、ユーザもしくは用具または少なくとも１の他のユーザもしくは他の用具と関連付けられた以前に格納された事象データまたはモーション解析データとに基づいて、少なくとも１のユーザと関連付けられた事象データをディスプレイに提示してもよい。これは、モーション事象の数または定量的な値（例えば、特定の試合においてまたは歴史的にユーザまたは他のユーザによって観察された最大回転加速）の比較を可能にする。１以上の実施形態では、更に、典型的な事象についての特定の用具の特徴的なモーションを定義するパターンまたはテンプレートが、例えば中央のサーバでまたはローカルにダイナミックに更新され、無線インターフェースを介してモーションキャプチャセンサにおいてダイナミックに更新され得る。これは、センサを経時的に改善することを可能にする。よって、図６に示されている表示は、所与のボクサー／プレイヤーについて以前に格納された震盪の数も示して、審判／医師が、そのプレイヤーがプレイを続けてもよいかどうかを決定することを可能にしてもよい。
本発明の複数の実施形態は、例えばコンピュータまたはリモートコンピュータと結合された視覚的ディスプレイ上の表示に、例えばテレビ放送またはインターネットを介して情報を送信してもよい。よって、図６の表示は、例えばボクサー／プレイヤー／ライダー等に付与された力の量をリアルタイムで示すために、視聴者に対して示されてもよい。
図７は、ユーザのタイムライン表示２６０１と、タイムラインに沿って事象として示されている、タイムラインに沿ったピーク角速度および最小角速度とを示す。更に、ゴルフクラブ２６０２のリードおよびラグと、ゴルフクラブのドループおよびドリフトとを示すグラフが一番下の表示に示されており、これらの値は、時間に対してプロットされた２つの軸において、ゴルフクラブシャフトがどれだけ曲がっているかを決定する。図８には、表示上に注釈として示された簡略化されたタイムラインおよびモーションに関連する事象（スイングの最大速度）を有する表示の実施形態が示されている。
図８は、サブ事象を容易に見ることを可能にするための、スクロールまたは再生のための、サブ事象と関連付けられた開始時点／停止時点８０２ａ〜８０２ｄ、即ち、図７に示されているサブ事象の時間的な位置の付近への入力を可能にするサブ事象スクラブタイムラインを示す。例えば、１回のゴルフスイングは、例えば、アドレス、バックスイング、フォワードスイング、打撃、フォロースルー等のサブ事象を含み得る。本システムは、例えばサブ事象の閲覧し易くするために、サブ事象８０２ａ〜８０２ｄについての時間的な位置を表示して、ビデオがその時点で開始または停止すべきことをアサートする、またはその時点まで戻るようスクロールするために、その位置の付近へのユーザによる入力を受け付けてもよい。ユーザ入力要素８０１は、例えばビデオの位置を所望の時点にするために、時間を近くのサブ事象までドラッグ操作するために用いられ得る。或いは、またはそれと組み合わせて、ビデオの再生中に、例えば、別のサブ事象の時点の付近における指による押圧をアサートする等のユーザによる入力は、次のサブ事象の時点でビデオが停止すべきであることを示してもよい。また、ユーザインターフェースは、ビデオを特定のサブ事象または事象が生じたフレームにより正確に同期させるために、位置をコントロール＋ドラッグ操作するために用いられてもよい。例えば、ユーザは、ビデオを、ここではスイング速度（マイル／時）として示されている実際のモーション解析データとより厳密に同期させるために、ビデオのフレームを、例えばクラブのヘッドの速度が０である実際の時点と一致させるよう、コントロールキーを保持して位置８０２ｂを左または右にドラッグしてもよい。ユーザのフレームをモーション解析データに同期させるためのユーザによる他の任意のジェスチャ（例えば、音声制御、矢印キー等）も、本発明の趣旨に沿って用いられ得る。
図９は、サブ事象８０２ａおよび８０２ｂの開始および停止のタイムラインに沿った相対的な位置と、開始時間および停止時間に引き付けられるような、これらの点の近くへのユーザ入力を可能にするために、開始時間および停止時間と関連付けられた引力とを示す。例えば、ユーザインターフェース要素をサブ事象の開始点／停止点へと移動させることがより容易になるように、ユーザインターフェース要素８０１をタイムラインに沿って左右にドラッグした際、ユーザインターフェース要素は潜在的な井戸８０２ａおよび８０２ｂに向かって移動するように見えてもよい。
１以上の実施形態において、コンピュータは、更に、事象の近位にある少なくとも１つのカメラからの、事象を含む少なくとも１つの画像またはビデオを要求するよう構成される。これは、特定の近位のカメラまたは事象の方向を向いている特定のカメラからのビデオを要求する同報メッセージを含み得る。１以上の実施形態において、コンピュータは、更に、事象の近位にある、または事象を見るよう向けられているカメラの位置を求める要求を同報し、必要に応じて、対象となる事象が含まれる継続期間にわたって、使用可能なカメラまたはそこからのビデオを表示するよう構成される。１以上の実施形態において、コンピュータは、更に、事象が生じた１以上の時間のリストを表示するよう構成され、これは、ユーザが、コンピュータを介して、所望の事象ビデオを取得すること、および／または、所望の事象の時間を有する第三者からのビデオを独立して要求することを可能にする。コンピュータは、サーバ１７２からビデオを取得してもよく、ビデオを所望の事象に合わせてローカルでトリミングしてもよい。これは、コンピュータと直接インターフェースしていないがサーバ１７２と通信し得る第三者のビデオまたはシステムからのビデオを取得するために用いられ得る。
図１０は、モバイル装置１０２ｂをモーションキャプチャ要素１１１ａとして用い、他のモバイル装置１０２ａを、第１のユーザ事象のモーション事象データおよびビデオを受信するコンピュータとして用いる実施形態を示す。モバイル装置１０２ａからのビューが、図面の左上部に示されている。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサは、モバイル装置と結合されており、例えば、モバイル装置の内部にある、またはモバイル装置と結合された内部モーションセンサ１１１ａを用いる。これは、最小のユビキタスなハードウェアを用いた（例えば、内蔵加速度計を有するモバイル装置を用いた）モーションキャプチャおよび事象認識を可能にする。１以上の実施形態において、第１のモバイル装置１０２ｂは、モーションデータを記録するユーザ（図示されている例ではスケートボードをしている）と結合されてもよく、第２のモバイル装置１０２ａはモーションのビデオを記録するために用いられる。１以上の実施形態において、モーションを行っているユーザは、例えば、第２のユーザのモバイル装置がビデオの記録を開始またはビデオの記録を停止すべきことを示すために、例えばモバイル装置をＮ回タップする等のジェスチャを行ってもよい。事象に関連するまたはモーションに関連する指示をモバイル装置間で通信するために、他の任意のジェスチャが用いられてもよい。
このように、本発明の複数の実施形態は、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組み合わせを示すモーションに関係する事象、または、モーションが生じた継続期間を有する他の任意のタイプの事象を含む、任意のタイプのモーション事象を認識し得る。また、事象は、例えば、既知のシグネチャーを有するサブ事象、または別様で（特定のセットの線形軸または回転軸における振幅および／または時間閾値を含む）任意のタイプのテンプレートもしくはパターンに一致するサブ事象を含む任意の粒度を有してよい。例えば、スケートボードのプッシュオフまたは一連のプッシュを示す事象が、例えば、「予備動作」等のサブ事象としてグループ化されてもよく、一方、例えばＸにおける回転軸が「スケートボードのフリップ／ロール」を示してもよい。１以上の実施形態では、これらの事象はグループ化されて格納／送信されてもよい。
図１１は、データを格納するために用いられるメモリの実施形態を示す。メモリ４６０１は、例えば、モーションキャプチャ要素１１１のマイクロコントローラと一体であってもよく、または、例えば別個のメモリチップとしてマイクロコントローラと結合されてもよい。図示されるように、メモリ４６０１は、１以上のメモリバッファ４６１０、４６１１、並びに４６２０、４６２１をそれぞれ含むよう構成され得る。用いられ得るメモリバッファの一実施形態は、リングバッファである。リングバッファは、事象が生じるまで複数回上書きされるよう実装され得る。リングバッファの長さは、０〜Ｎ個のメモリ単位であり得る。例えば、Ｍ個の打撃事象のためのＭ個のリングバッファがあってもよい。数Ｍは、０より大きい任意の数であってよい。１以上の実施形態では、数Ｍは、予想される事象の数（例えば、ゴルフの１ラウンドのヒット数またはショット数）と等しいかまたはそれより大きくてもよく、或いは、例えば、１以上の事象が生じた後にモーションキャプチャデータがモバイルコンピュータまたはインターネットにダウンロードされるまで、全てのモーションキャプチャデータをモーションキャプチャ要素に格納することを可能にする他の任意の数であってもよい。一実施形態では、例えばヘッドと称されるポインタが、バッファのヘッドを追跡する。データがバッファに記録されると、ヘッドが、次の空いているメモリ単位に向かって適切な量だけ先に移動される。バッファが一杯になったら、ポインタはバッファの最初に戻り、以前の値に遭遇したら、それを上書きする。データは時間（ｔ）における任意の瞬間に上書きされるが、バッファのサイズおよび記録レートに応じて、時間（ｔ）から遡って記録されたセンサデータが存在する。センサがバッファにデータを記録すると、１以上の実施形態における「事象」は、新たなデータがバッファを上書きすることを停止させる。事象が検出されたら、センサは、有望なショットの記録を完了するために、例えば特定の量の時間にわたる事後事象データを特定のキャプチャレートで記録するために、第２のバッファ４６１１へのデータの記録を続けることができる。この時点で、メモリバッファ４６１０は、バッファのサイズおよびキャプチャレートと、事後事象バッファ４６１１内の事後事象データとに応じて、事象から遡った所望の量の時間にわたるデータの記録を含む。ビデオも、同様の方法で格納されて、後でトリミングされてもよい（例えば図１９を参照）。
例えば、ゴルフのスイングでは、事象はクラブのヘッドとボールとの衝撃であり得る。或いは、事象は、クラブのヘッドと地面との衝撃であり得、これは誤った事象を生じ得る。他の実施形態では、事象は、震盪事象を示し得るユーザの頭部の加速、武器から発射されたショット、野球のバットに当たったボール、または、ユーザが重量を最も高い位置まで移動させてから、もう一度反復するために降ろしたことであり得る。事前事象バッファは、衝撃事象が生じるまでのセンサデータを格納し、事後事象バッファは、衝撃事象の後のセンサデータを格納する。マイクロコントローラの１以上の実施形態は、事象を解析して、事象が反復、発射、または、例えば打撃もしくは誤った打撃等の事象であるかを決定するよう構成される。事象が、パターン、シグネチャー、またはテンプレート（図１３および図１５を参照）に従って、有効な事象である（誤った事象ではない）と見なされた場合には、第２の事象が発生するまでのモーションキャプチャデータのために、別のメモリバッファ４６２０が用いられる。その事象が生じた後は、事後事象バッファ４６２１がキャプチャされたデータで埋められる。
具体的には、モーションキャプチャ要素１１１は、１以上のＭＥＭｓセンサとして実装され得る。センサは、特定の時間間隔でデータを収集するよう命令され得る。各間隔において、様々なＭＥＭｓ装置からデータが読み取られ、リングバッファに格納される。ＭＥＭｓセンサから読み取られた１組の値は、１フレームのデータと見なされる。１フレームのデータは、収集されバッファに格納されるデータのタイプに応じて、０、１、または複数個のメモリ単位であり得る。また、１フレームのデータは時間間隔とも関連付けられる。従って、センサからのキャプチャレートに基づいて、複数のフレームが１つの時間要素と関連付けられる。例えば、各フレームが２ミリ秒間隔で埋められる場合には、１０００個のフレームは２０００ミリ秒（２秒）のデータを含む。一般的に、フレームは時間と関連付けられる必要はない。
データは、定常的にリングバッファに格納され、例えば、特定の事象が生じたとき、特定の時間、無線器／アンテナを介したモバイル装置、他の任意のコンピュータ、もしくはメモリへの通信が利用可能なとき、例えばモバイル装置によって命令されたとき（即ち、「ポーリング」されたとき）、または他の任意の所望の事象が生じたときに、不揮発性メモリに書き出されるか、または、無線器／アンテナを介した無線もしくは有線リンクを介して、リモートメモリもしくは装置に送られる。
図１２は、例えば見込みのある事象、または例えば事象が生じたときに、特定の用途のために送信される事象があるか否かを決定するよう、マイクロコントローラに特にプログラムされた、機能性の実施形態のフローチャートを示す。モーション、加速、またはスポーツ用具に対する衝撃から生じた衝撃波が、モーションキャプチャ要素内のセンサに送信され、センサは、上述の図１１に記載されているように、モーションキャプチャデータを記録する。次に、マイクロコントローラは、事象を解析して、その事象が見込みのある事象であるか否かを決定するよう構成される。
生じる事象の１つのタイプは、特定の線形値もしくは回転値を超える頭部／ヘルメット／縁なし帽子／マウスピースに基づくセンサの加速、またはクラブの面がゴルフボールに衝撃を与えた際の衝撃である。ボールおよび打つ道具を用いる他のスポーツでは、同じ解析が適用されるが、特定のスポーツおよびスポーツ用具に合わせて調整される。テニスでは、有望な打撃は、例えば、サーブを受ける前のラケットの回転ではなく、ラケットがボールを打ったことであり得る。例えばランニングシューズ等の他の用途では、衝撃検出アルゴリズムは、誰かが走っているときに、靴が地面に当たったことを検出してもよい。エクササイズでは、これは、達成された特定のモーションであってもよく、これにより、例えば、重量上げをしているとき、または自転車型トレーニング機器に乗っているときの反復回数をカウントすることが可能になる。
本発明の１以上の実施形態において、処理は４７０１で開始する。４７０２で、マイクロコントローラは、メモリ４６１０内のモーションキャプチャデータを、特定の衝撃時間フレーム内の特定の閾値を超えた線形速度と比較し、４７０３で、速度または加速における特定の閾値を超えた突然の変化が生じている不連続性閾値をサーチする。例えば、定義された時間ウィンドウ内において、速度または例えば加速の不連続性が生じていない場合には、４７０２で処理が継続される。不連続性が生じている場合には、４７０４で、その有望な衝撃がメモリに保存され、所与の時間Ｐにわたる事後衝撃データが保存される。例えば、衝撃閾値が１２Ｇに設定され、不連続性閾値が６Ｇに設定され、衝撃時間フレームが１０フレームである場合には、マイクロコントローラ３８０２は、１０フレーム以内において、少なくとも１つの軸または全ての軸における１２Ｇの加速とそれに続く６Ｇの不連続性を検出した後、衝撃を信号する。典型的な事象では、加速は、特徴的な加速曲線で構成される。衝撃は、加速／速度の急速な変化として信号される。これらの変化は、一般的に、特定の非事象の徐々に増加または減少する曲線によって生成される滑らかな曲線とははっきり異なる。震盪に基づく事象では、１以上の軸における線形加速または回転加速が閾値を超える。ゴルフに関連する事象では、加速曲線がゴルフのスイングのものである場合には、特定の軸が、シグネチャー、テンプレート、または他のパターンに当てはまる特定の加速を有し、ボールの打撃は、打ったことを示す大きい加速の打撃となる。データが所与のテンプレートと一致する場合には、そのデータが保存され、一致しない場合には、処理は４７０２に戻って継続する。４７０５で決定されたように、データが外部に保存される場合、即ち、モバイル装置への通信リンクがあり、例えばモバイル装置がポーリングを行っている、または衝撃が生じたときに衝撃データを要求した場合には、４７０６で、事象は外部のメモリもしくはモバイル装置に送信されるか、または外部の他の任意の場所に保存され、再び４７０２で処理が継続し、マイクロコントローラが、後続の事象について、収集されたモーションキャプチャデータを解析する。データが外部に保存されない場合には、４７０２で処理が継続し、４６０１で、衝撃データがローカルにメモリに保存される。外部に送られる場合には、他のモーションキャプチャ装置も、別のセンサによって検出された事象について、それぞれのモーションデータを保存し得る。これは、例えばより細かい解像度またはより多くのモーションを有するセンサが、ユーザまたは用具と関連付けられた他のセンサに、たとえモーションキャプチャデータが特定の閾値またはパターンに達していなくとも、事象を保存するよう警告することを可能にする（例えば図１５を参照）。このタイプの処理は、特定のタイプの事象を検出するために複数のセンサが用いられ、何らかの理由で事象パターンに一致しない可能性がある他のセンサに通知し得るので、よりロバストな事象検出を提供する。更に、カメラは、不要なビデオをトリミングするかまたは別様で捨て、事象に関連するビデオを保存するよう通知されてもよく、これにより、事象だけでなくビデオについてもメモリ使用量が低減され得る。本発明の１以上の実施形態では、フィルタリングによって送信前のモーションキャプチャデータからノイズが除去されてもよく、精度を最大にするために、取得されたデータの値に基づいてサンプリングレートが変更されてもよい。例えば、幾つかのセンサは、高いサンプリングレートおよび高い重力加速度では、正確でないデータを出力する。よって、高い重力加速度ではサンプリングレートを下げることによって、精度が維持される。本発明の１以上の実施形態では、モーションキャプチャ要素１１１と関連付けられたマイクロコントローラは、高い重力加速度を感知したら、自動的にサンプリングレートを切り替えてもよい。１以上の実施形態では、６Ｇ／１２Ｇ／２４Ｇの範囲または２Ｇ／４Ｇ／８Ｇ／１６Ｇの範囲を有する加速度計を用いる代わりに、範囲間の切り替えの論理を簡単にするために、２つの範囲（例えば２Ｇおよび２４Ｇ）を有する加速度計が用いられてもよい。
本発明の１以上の実施形態は、事象をモバイル装置に送信してもよく、および／または、例えばゴルフの１ラウンドについて、またはモバイル装置の通信リンクが達成されるまで、事象を引き続きメモリに保存してもよい。
例えば、特定のマウントに装着されたセンサを用いた、例えばそれぞれ異なる用具または衣服と関連付けられたパターンまたはテンプレートによって示される２つの特徴的なモーションタイプの比較のための、典型的な事象シグネチャーが、図１３に示されている（図１５も参照）。１以上の実施形態において、マイクロコントローラは、各軸についての曲線を追跡して、１以上の軸のセグメントを用い、線形加速、回転加速、またはそれらの任意の組み合わせにおいて、特徴的なスイングが生じたか否かを決定するためにパターンマッチングアルゴリズムを実行するよう構成される。メモリ４６０１内のモーションキャプチャデータが、図１３に示されている典型的なスイングの値に十分に近い範囲内にある場合には、そのモーションは事象と一致する。従って、本発明の複数の実施形態は、まず動きの角速度および／または線形速度のシグネチャーを特徴づけ、次に、このシグネチャーの要素を用いて、将来の事象についての類似のシグネチャーが生じたか否かを決定することにより、事象検出における誤検出の数を低減する。
モーションキャプチャ要素は、様々なセンサからのデータを収集する。データキャプチャレートは高くてもよく、その場合には、キャプチャ中のかなりの量のデータが存在する。本発明の複数の実施形態は、センサにデータを格納するために、特定の用途に応じて可逆または不可逆の圧縮アルゴリズムを用い得る。圧縮アルゴリズムは、モーションキャプチャ要素が所与のリソース内により多くのデータをキャプチャすることを可能にする。圧縮データもリモートコンピュータに転送される。圧縮データの方が転送速度が速い。また、圧縮データは、「クラウド」インターネットにも、または、より少ないスペースを用いてローカルにデータベースにも格納される。
図１４は、事象に関連する情報のローカルでの表示および閲覧のために必要に応じて設けられるＬＥＤ視覚的インジケータ１４０１と、事象と関連付けられたテキストまたは符号化されたメッセージを表示するよう構成された、必要に応じて設けられるＬＣＤ１４０２とを備えて構成されたモーションキャプチャ要素１１１の実施形態を示す。１以上の実施形態において、ＬＥＤ視覚的インジケータは、いかなる無線通信も必要とせずに事象の全体的なビューを迅速に与えるために、中程度の震盪に対しては黄色をゆっくりとフラッシュし、重度の震盪に対しては赤色を高速でフラッシュしてもよい。更に、ＬＥＤは、任意の温度に関連する事象または他の事象を示すために、フラッシュの回数または他の色を用いてアサートされてもよい。１以上の実施形態は、例えばテキストを示し得る、或いは、審判または医療職員が読み得るまたは例えばモバイル装置の適切なリーダーアプリを用いて復号化し得る、慎重に扱うべき健康関連情報の符号化されたメッセージを表示し得るＬＣＤ１４０２も用いてもよい。図面の右下部において、ＬＣＤディスプレイは、「潜在的な震盪１５００度／秒／秒の回転事象を検出―直ちに医療職員に警告」という旨の符号化されたメッセージを生じ得る。中断を回避するために、例えば診断メッセージで他のプレイヤーを警戒させることなく、または無線でメッセージを送信することなく、医療職員が直ちに該当するユーザ／プレイヤー／ボクサーの評価を開始し得るように、他のまひ状態診断メッセージ、または他の慎重に扱うべき任意のタイプのメッセージが、符号化されてローカルに表示され得る。
図１５は、複数の異なるタイプの用具および／または計測器を備えた衣服と関連付けられたモーション事象のテンプレート特性の実施形態を、特定の期間および／またはサブ事象と関連付けられたデータをより正確にまたはより効率的にキャプチャするためにモーションキャプチャセンサの性格が変更され得る領域と共に示す。図示されるように、スケートボードの特徴的なプッシュオフが、上から６本のタイムライン（時間は右に向かって増加する）にＸ、Ｙ、およびＺ軸の線形加速値および回転加速値を表示している加速グラフ１５０１に示されている。図示されるように、ユーザが各ステップでスケートボードをプッシュしている間にキャプチャされた個々のｘ軸の正の加速が１５０２および１５０３に示されており、各プッシュの間にスケートボードが遅くなった際の負の加速がそれに続いている。更に、スケートボードのプッシュオフまたはドライブのこの特徴的なテンプレートまたはパターンでは、各プッシュの最中のｙ軸の横揺れもキャプチャされており、この間、ｚ軸の線形加速および回転加速は生じていない。或いは、パターンは、モーションキャプチャ要素が装着されている用具のタイプを、または既知の用具が現在経験していることを自動的に決定するためにキャプチャされたデータが比較される、例えば横揺れについての他の閾値を有するまたは閾値を有しない所定の時間ウィンドウにおける、ｘに沿った１群の閾値加速を含み得る。これは、例えば事象に基づくデータの保存および送信を可能にする。
しかし、走行事象中にユーザが僅かに加速を上げたり下げたりした際は、グラフ１５１１中のパターンまたはテンプレートは走行事象を示す。ユーザの速度は比較的一定であるので、ｘに沿った加速は比較的存在せず、ユーザはターンしていないので、ｙ（左／右）に沿った加速は比較的存在しない。このパターンは、例えば走行の範囲内での比較を行うために用いられ得るものであり、このパターンは、所定の時間ウィンドウ内におけるｚ軸の加速を含む。よって、グラフ１５１１の上から３つのグラフは、走行事象を記録するためのパターンとして用いられ得る。下から３つのグラフは、モーションキャプチャ要素がヘルメットおよび／またはマウスピース装着されているときに、ユーザが左右を見たことを示すキャプチャデータを１５１４および１５１５で示し得るものであり、一方、キャプチャデータ１５１６は、十分に高い角度／秒２の回転モーションを介して観察された中程度または重度の震盪を示し得る。更に、例えば、事象を振幅または時間的により正確にキャプチャするために、モーションキャプチャセンサのキャプチャレートまたはキャプチャビットサイズを変更するために、１５１６または他の任意の閾値で、センサの性格がダイナミックに変更され得る。これは、当該技術分野では知られていない、キャプチャ品質のダイナミックな変更、および／または、対象となる期間の電力使用量のダイナミックな変更を可能にする。１以上の実施形態では、例えばヘルメット、マウスピース、もしくは他の任意の用具内、またはユーザの身体内に装着される温度センサを用いる本発明の複数の実施形態のために、温度タイムラインも記録され得る。
図１６は、例えば、サッカー、ボクシング、フットボール、レスリング、または他の任意のスポーツ等であるがそれらに限定されない任意の接触型スポーツにおいて着用される、保護マウスピース１６０１の実施形態の正面図、および図面の下部に平面図を示す。マウスピースの複数の実施形態は、ユーザと関連付けられたモーションキャプチャデータを増やして、ユーザによって着用されているモーションキャプチャ要素の一部または全てのからのモーションデータおよび／または事象を相関させるもしくは他の任意の方法で組み合わせるまたは比較するために、モーションキャプチャ要素を備えたまたは備えない他の任意のヘッドギアに追加して着用され得る。図２Ａ〜図２Ｂに示されているマウスピースおよび／またはヘルメットの複数の実施形態、または他の任意の用具には、例えば先に述べたように温度センサも含まれ得る。
図１７は、モーション画像およびモーションキャプチャデータを複合フォーマットで表示するよう構成された、図１中の任意のコンピュータによって用いられるアルゴリズムの実施形態を示す。１以上の実施形態では、モーションキャプチャデータと、任意の事象に関連する開始／停止時間とが、モーションキャプチャ要素１１１に保存され得る。本発明の１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含むモーション事象認識およびビデオ同期システムを含む。少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、および加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含み得る。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、データを解析してデータ中の事象を認識して事象データを決定し、事象と関連付けられた事象データを無線器を介して送信するよう構成され得る。本システムは、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含むモバイル装置も含んでもよく、コンピュータは無線通信インターフェースと結合されており、コンピュータは、無線通信インターフェースから事象データを受信するよう構成される。また、コンピュータは、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、事象から事象開始時間および事象停止時間を取得し、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされたビデオを含む、カメラからの画像データを要求し、事象開始時間から事象停止時間までの期間に生じた事象データ、モーション解析データ、またはそれらの任意の組み合わせと、事象開始時間から事象停止時間までの期間中にキャプチャされたビデオとの両方を含む事象ビデオをディスプレイに表示してもよい。
通信チャネルが利用可能なときには、１７０１で、モーションキャプチャデータおよび任意の事象に関連する開始／停止時間が任意のコンピュータ（例えば、１０１、１０２、１０２ａ、１０２ｂ、１０５）にプッシュされるか、任意のコンピュータによって取得されるか、または別様で受信される。センサのクロック間および／またはモーションキャプチャデータの時間におけるクロック差も取得され得る。これは、着信メッセージ中の現在のタイムスタンプを読み取って、着信メッセージの時間をローカルコンピュータのクロックの現在の時間と比較することによって行われ得る（同期の更なる詳細については例えば図１８も参照）。センサおよびコンピュータのクロック差は、１７０２で、クロック差（あれば）を考慮して調節された時間に、事象の位置に対してローカルなまたは事象の位置を向いている任意のカメラからの画像データを要求するために用いられ得る。例えば、コンピュータは、例えば、全てのカメラ１０３、１０４に対して、または装置１０１、１０２および／もしくは１０２ａ上で、（例えばＧＰＳの位置または無線範囲に基づいて）近くで撮影した画像を有するおよび／またはモーションキャプチャ要素１１１から取得された事象を向いている一部のまたは全ての装置を求めるクエリーを行うことにより、その時間／位置において撮影された画像を要求し得る。装置が例えば磁力計を備えている場合にその位置および向きによって決定された結果、装置が事象の近くにはないが、事象の位置を向いている場合には、その装置はその時間範囲についての画像で応答してもよい。ベビーシッター監視カメラ等を含む電子的に通信し得る任意のタイプのカメラがクエリーされ得る。例えば、モバイルコンピュータ１０１がモーションキャプチャセンサ１１１から事象を受信した後、モバイルコンピュータ１０１によってメッセージが送られてもよく、このメッセージは、例えばモバイル装置１０１の無線範囲内にある任意のカメラに送られ得る。或いは、またはそれと組み合わせて、モバイル装置１０１は、事象の位置から所定の距離以内にある任意のカメラのＩＤを要求する同報メッセージを送ってもよく、または、たとえ比較的近くはなくても事象の方向を向いている任意のカメラに対するクエリーを行ってもよい。モバイル装置１０１は、潜在的なカメラのリストを受信したら、それらに対して、例えば事象が入る所定のウィンドウ内で取得された任意の画像を求めるクエリーを行ってもよい。１７０３で、コンピュータは、画像データを受信してもよく、または、コンピュータがカメラと結合されている場合には、ローカルに画像を探索してもよい。１以上の実施形態では、サーバ１７２は、相関する何らかのものを決定するためにビデオおよび事象を反復して、ビデオを、事象開始時間および停止時間の継続期間に対応するように自動的にトリミングしてもよい。無線通信が用いられ得るが、他の任意の形態の画像データの転送も本発明の趣旨に沿う。１７０４で、事象からの、数値もしくはグラフィカルなオーバーレイの形式、またはテキストを含む他の任意の形式のデータが、その時間についての対応する画像と共に示されるか、または別様でオーバーレイされ得る。これは、例えば、モーションキャプチャデータ１７１２がオーバーレイされたモーション事象のフレームを示す画像１７１１についてスクロール可能であり得る時間１７１０、即ち、現在の時間にグラフィカルに示される。組み合わされる、または例えば同時にオーバーレイされないデータについては、図６を参照されたい。
図１８は、本発明の１以上の実施形態によって用いられ得る同期アーキテクチャの実施形態を示す。複数の実施形態は、任意のタイプの同期方法を用いて、システムのクロックを同期させてよく、１以上の実施形態では、モバイル装置１０１のコンピュータ１６０は、更に、モーションキャプチャ要素１１１とモバイル装置との間のクロック差を決定して、モーション解析データをビデオと同期させるよう構成される。例えば、本発明の１以上の実施形態は、事象について記録された複数の異なる装置からのデータを組み合わせることができるように、複数の記録装置について、各装置の時間、位置、または向きに関する情報を同期させる手順を提供する。そのような記録装置は、埋め込みセンサ、カメラもしくはマイクを有する携帯電話、または、より一般的には、対象となるアクティビティに関連するデータを記録可能な任意の装置であり得る。１以上の実施形態において、この同期は、装置が、時間、位置、または向きについての共通の測定指標に一致可能なように、装置間で情報を交換することによって達成される。例えば、携帯電話および埋め込みセンサが、リンク１８０２を介して、例えば、無線で、それぞれの内部クロックの現在のタイムスタンプを有するメッセージを交換してもよく、これらのメッセージは、２つの装置が共通の時間に一致するための交渉を行うことを可能にする。そのようなメッセージは、前回の同期後のクロックのドリフトまたは装置のモーションを考慮するために、周期的に必要に応じて交換され得る。他の実施形態では、複数の記録装置は、時間、位置、または向きの標準化された測定指標を取得するために、共通のサーバまたは１組のサーバ１８０１を用いてもよい。例えば、装置は、ＧＰＳシステムを用いて、各装置の絶対位置情報を取得してもよい。また、標準化された時間を取得するためにＧＰＳシステムが用いられてもよい。標準化された時間サーバとして、ＮＴＰ（ネットワークタイムプロトコル）サーバが用いられてもよい。サーバを用いることにより、複数の装置を、常時互いに通信するよう構成する必要なしに、共通の測定指標に一致させることが可能になる。
図１９は、モーションキャプチャセンサ１１１のうちの１つによる事象の検出、ここでは図面の中央に位置するセンサ１１１から発する矢印として示されている、他のモーションキャプチャセンサ１１１および／または例えばモバイル装置１０１のカメラへの事象検出の送信、事象モーションデータの保存、および事象に対応させたビデオのトリミングを示す。本発明の１以上の実施形態では、幾つかの記録装置は、対象となる様々な事象の発生を検出するよう構成される。そのような事象の一部は特定の瞬間に生じ得るものであるが、他の事象は或る時間間隔にわたって生じ得るものであり、検出は、事象の開始および事象の終了の検出を含む。これらの装置は、上述の時間、位置、および向きの同期された測定指標を用いて、例えばメモリバッファ４６１０に含まれる、または他の任意のデータ構造に含まれる、記録装置の時間、位置、または向きの任意の組み合わせを、事象データと共に記録するよう構成される。
モバイル装置上のコンピュータの複数の実施形態は、更に、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分（例えば事象の前後の部分１９１０および１９１１、または所定の事前間隔１９０２および事後間隔１９０３を有する事象）を捨てるよう構成され得る。例えば、本発明の１以上の実施形態において、一部の記録装置は、事象の検出を待機しながら、データを継続的にメモリにキャプチャする。メモリを節約するために、一部の装置は、検出された事象にデータが時間的に接近している場合のみ、データをより永久的なローカル記憶媒体に、またはサーバ１７２に格納するよう構成され得る。例えば、事象検出がないときには、新たに記録されたデータは、モーションデータまたはビデオデータを記録している各装置のメモリの量に応じて、最終的に、以前にメモリに記録されたデータを上書きしてもよい。一部の実施形態では、そのような上書きスキームの典型的な実装例として、循環バッファが用いられ得る。事象検出が生じたときには、記録装置は、事象自体（即ち１９０１）の期間中にキャプチャされたデータを格納することに加えて、事象の開始前に、設定されている幾らかの量のデータ（事前間隔１９０２の開始付近）を格納すると共に、事象の終了後に、設定されている幾らかの量のデータ（１９０３付近）を格納してもよい。例えば、事象の文脈がビデオに示されるように、任意の事前または事後の時間間隔は、事象開始時間および事象停止時間の一部であると見なされる。これは、事象に文脈を与えるものであり、例えば、事前時間間隔の量はスポーツ毎に（例えば、ゴルフスイングのセットアップを、たとえそれがゴルフボールを打つ実際の事象の前に生じるものであっても、事象ビデオの一部にすることを可能にするために）設定され得る。事後間隔に割り当てられた間隔の量に従って、フォロースルーも記録され得る。
本システムの複数の実施形態は、モバイル装置に対してリモートのサーバコンピュータを更に含んでもよく、サーバコンピュータは、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てて、事象開始時間から事象停止時間までの期間にキャプチャされたビデオをモバイル装置内のコンピュータに返すよう構成される。このサーバまたはモバイル装置は、ビデオにモーション解析データまたは事象データ（例えば速度または生の加速データ）を組み合わせて、またはオーバーレイして、事象ビデオ１９００を構成してもよく、一般的に、部分１９１０および１９１１は、事象よりも遥かに時間が長いため、これにより、必要なビデオの記憶量が大きく低減され得る。
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせに事象を送信するよう構成されてもよく、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせは、事象と関連付けられているデータを保存するよう構成される。例えば、同時に動作する複数の記録装置を有する実施形態では、そのような装置の１つが事象を検出したら、そのような事象検出が生じた旨のメッセージを他の記録装置に送ってもよい。このメッセージは、様々な装置のクロックの同期された時間基準を用いた事象の開始および／または停止のタイムスタンプを含み得る。受信装置（例えば、他のモーションキャプチャセンサおよび／またはカメラ）は、事象と関連付けられたデータを例えばモーションキャプチャ要素１１１内、モバイル装置１０１内、またはサーバ１７２内の不揮発性ストレージに格納するために、事象検出メッセージを用いてもよい。これらの装置は、事象と直接関連付けられデータ１９０１に加えて、事象の開始前の幾らかの量のデータ１９０２および事象の終了後の幾らかの量のデータ１９０３を格納するよう構成されてもよい。このようにして、全ての装置が同時にデータを記録できるが、複数のソースからの分散した事象データの保存を開始するためには、これらの装置のうちの１つのみからの事象トリガが用いられる。
コンピュータの複数の実施形態は、更に、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成されてもよく、または、ビデオを保存するためにリモートサーバが用いられてもよい。本発明の１以上の実施形態において、一部の記録装置は、事象が生じ得る期間を通して互いに直接通信しなくてもよい。これらの状況において、装置は、記録された全てのデータの完全な記録を、永久的なストレージまたはサーバに保存するよう構成され得る。これらの状況では、一部の装置は事象トリガメッセージを受信できない場合があるので、事象と関連付けられたデータのみの保存はできない場合がある。これらの状況では、保存されたデータは、その後で、検出された１以上の事象と関連付けられた関連部分のみを抽出するために処理され得る。例えば、複数のモバイル装置がプレイヤーまたはパフォーマーのビデオを記録して、このビデオを継続的にストレージ用サーバ１７２にアップロードしてもよい。それとは別に、プレイヤーまたはパフォーマーは、例えば、特定のモーションまたはアクション等の事象を検出可能な埋め込みセンサを備えていてもよい。埋め込みセンサのデータは、同じサーバに継続的にまたは後でアップロードされ得る。埋め込みセンサデータおよびビデオストリームを含む全てのデータは、一般的にタイムスタンプが付与されるので、埋め込みセンサによって検出された事象と関連付けられたビデオを、サーバ上で抽出して組み合わせることができる。サーバまたはコンピュータの複数の実施形態は、更に、少なくとも１つのモーションキャプチャセンサとモバイル装置との間の通信リンクが開いているときには、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。或いは、通信リンクが開いていない場合には、コンピュータの複数の実施形態は、更に、ビデオを保存し、通信リンクが開いた後に事象が受信された後で、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。例えば、本発明の一部の実施形態では、データは、上述のようにサーバにアップロードされてもよく、各装置のデータストリームと関連付けられた位置および向きのデータが、検出された事象に関連するデータを抽出するために用いられてもよい。例えば、ゴルフトーナメントを通して様々な位置でビデオを記録するために、一組の多くのモバイル装置が用いられ得る。このビデオデータは、継続的にまたはトーナメントの後でサーバにアップロードされ得る。トーナメントの後、事象検出を有するセンサデータも同じサーバにアップロードされ得る。これらの様々なデータストリームを後処理することで、同じ時間に生じた事象と物理的に近接して記録された特定のビデオストリームを識別できる。カメラが、事象を観察するための正しい方向を向いている場合には、更なるフィルタによってビデオストリームを選択してもよい。これらの選択されたストリームは、事象を複数のビデオ角度で示す集合データストリームを構成するためにセンサデータと組み合わされてもよい。
本システムは、モバイル装置と結合されたカメラ、またはモバイル装置とは別個のもしくは別様でモバイル装置に対してリモートの任意のカメラから、ビデオを取得し得る。１以上の実施形態において、ビデオは、モバイル装置に対してリモートのサーバから取得される（例えば、或る位置および時間間隔におけるビデオを求めるクエリーの後に取得される）。
サーバまたはコンピュータの複数の実施形態は、事象開始時間、事象停止時間、またはそれらの両方と最も密接に関連付けられるビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析によって、ビデオを事象データまたはモーション解析データと同期させるよう構成され得る。本発明の１以上の実施形態において、記録装置間のクロックの同期はおおよそのものであり得る。各装置からの事象のビューに基づいて、複数の記録装置からのデータ供給の同期の精度を向上させることが望ましい場合がある。１以上の実施形態では、粒度の細かい同期を支援するために、複数の異なるストリーム中の事象のシグネチャーを観察するために、複数のデータストリームの処理を用いる。例えば、埋め込みセンサは、ビデオカメラを含むモバイル装置と同期され得るが、時間の同期の精度は単に１００ミリ秒以内までであってもよい。ビデオカメラが３０フレーム／秒でビデオを記録している場合には、埋め込みセンサにおける事象検出に対応するビデオフレームは、同期されたタイムスタンプのみに基づいて、単に３フレーム以内にあると決定される。装置の一実施形態では、検出された事象に最も密接に対応する正確なフレームを決定するために、ビデオフレーム画像処理を用いることができる。更なる詳細については、図８およびその説明を参照されたい。例えば、図１７に示されるように、慣性センサによって検出された、地面に当たったスノーボードからの衝撃が、スノーボードの幾何学的境界が地面と接触しているフレームと相関され得る。他の実施形態は、複数のデータ供給の同期を改善するために、事象シグネチャーを検出する他の画像処理技術または他の方法を用いてもよい。
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定するよう構成された位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信するよう構成されている。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信するよう構成されており、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成するよう構成されている。例えば、１以上の実施形態において、事象ビデオは、例えばモバイル装置１０１、サーバ１７２、コンピュータ１０５、または本システムと結合された他の任意のコンピュータ上で、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定のビデオおよびセンサデータが特定の位置において特定の時間に生じたと判断して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。

１以上の実施形態において、マイクロコントローラまたはコンピュータは、事象の位置を決定するよう構成されるか、または、マイクロコントローラおよびコンピュータは、事象の位置を決定し、事象の中心点を設けるために、例えば、位置を相関させるまたは平均することによって位置を相関させるよう構成され、および／または、初期化中のＧＰＳセンサからの誤った位置データが最小化され得る。このようにして、モバイル装置を有する１グループのユーザが、ティーオフしているゴルファーのビデオを生成してもよく、この場合、少なくとも１つのモーションキャプチャ装置の事象位置が用いられてもよく、サーバは、観客からビデオを取得して、プロゴルファーのスイングおよびボールを打っているところの事象ビデオを生成してもよく、事象ビデオは、ゴルファーがスイングした際のゴルファーの周囲からのＢＵＬＬＥＴ ＴＩＭＥビデオを生成するために、複数の異なるカメラからのフレームを用いてもよい。得られた１または複数のビデオは、例えば、事象開始時間から事象停止時間までの、および／または、スイングまたは他の事象について任意のセットアップ時間および任意のフォロースルー時間を含む事象全体がキャプチャされることを確実にするために、事象前または事象後の所定の任意の時間値を伴う事象の継続期間に合わせてトリミングされ得る。
１以上の実施形態において、モバイル装置上のコンピュータは、事象の近位にある少なくとも１つのカメラからの事象を含む少なくとも１つの画像またはビデオを、そのエリア内で任意のカメラによって撮影された任意のビデオに対する要求を同報することによって直接要求してもよく、これは、必要に応じて、カメラが事象に近接して配置されているかどうかのみならず、事象に向けられているもしくは別様で向いているかどうかに関係する向き情報を含み得る。他の実施形態では、モバイル装置上のコンピュータによってリモートサーバからのビデオが要求されてもよい。この状況では、事象と関連付けられた任意の位置および／または時間は、事象の近くの、事象に近い時間に撮影された、またはそれらの両方の画像および／またはビデオを返すために用いられ得る。１以上の実施形態において、コンピュータまたはサーバは、ビデオを事象の継続期間に対応するようトリミングしてもよく、ここでも、例えば、ボールを打つ等の事象の位置を、例えば、ボールが用具に当たったことに対応する加速データと一致するビデオ中の対応するフレームと更に同期させるために、画像処理技術を用いてもよい。
モバイル装置上またはサーバ上のコンピュータの複数の実施形態は、１以上の事象が生じた１以上の時間のリストを表示するよう構成されてもよい。このようにして、ユーザは、事象ビデオに迅速にアクセスするために、リストから事象を見つけ出してもよい。
本発明の複数の実施形態は、モバイル装置と物理的に結合された少なくとも１つのモーションキャプチャセンサを含み得る。これらの実施形態は、例えば、任意のタイプのヘルメットに装着されたカメラ、または事象データおよびビデオデータを生成するためのカメラおよびモーションキャプチャセンサの両方を含む任意のマウント等の、センサが統合された任意のタイプの携帯電話またはカメラシステムを可能にする。
本発明の１以上の実施形態において、システムは、モーション事象データとビデオ事象データとの統合を可能にするよう構成される。図１は、そのようなシステムの実施形態の核心要素を示す。モーション事象データは、位置Ｌ１にいるユーザ１５０、用具１１０、またはモバイル装置１３０に取り付けられるよう構成され得る１以上のモーションキャプチャ要素１１１によって供給され得る。これらのモーションキャプチャ要素は、例えば、向き、位置、速度、および加速度等のモーション値を測定する１以上のセンサを含み得る。モーションキャプチャ要素は、キャプチャデータを格納するためのメモリ、およびこのデータを解析するためのマイクロプロセッサも含み得る。モーションキャプチャ要素は、他の装置と通信するため、およびモーションキャプチャデータを転送するための無線器も含み得る。
一部の実施形態では、モーションキャプチャ要素と結合されたマイクロプロセッサは、センサからのデータを収集し、そのデータをマイクロプロセッサのメモリに格納し、可能であればそのデータ内の事象を認識するためにデータを解析し得る。次に、マイクロプロセッサは、付属の無線器を介して、生モーションデータまたは事象データを送信し得る。この生モーションデータまたは事象データは、モーションキャプチャ要素、ユーザ、または用具の識別子、および、モーションキャプチャ要素によって検出された事象のタイプの識別子のような他の情報を含み得る。
一部の実施形態では、システムは、センサまたはカメラと通信する１以上のコンピュータ１０５（ラップトップコンピュータまたはデスクトップコンピュータ）、１６０（携帯電話のＣＰＵ）、または他のコンピュータも含み得る。図１Ａは、モバイル装置に統合されたコンピュータプロセッサまたは「コンピュータ」１６０の一実施形態のあり得る構成要素を示す。コンピュータは、モーション事象と関連づけられた事象データを受信するために１以上モーションキャプチャ要素１１１の無線器と通信可能な無線通信インターフェース１６４を有し得る。コンピュータは、生モーションデータを受信し、事象を決定するためにこのデータを解析し得る。他の実施形態では、事象の決定は、モーションキャプチャ要素１１１において行われてもよく、コンピュータ（例えば１０５または１６０等）は、事象データを受信してもよい。一部の実施形態では、これら２つの手法の組合せも可能である。
一部の実施形態では、１または複数のコンピュータは、更に、事象データを解析して、モーション解析データを生成し得る。このモーション解析データは、１または複数のモーションキャプチャ要素によって記録されたモーションについての注目される特性を含み得る。１以上のコンピュータは、将来的な読み出しおよび解析のために、モーションデータ、事象データ、モーション解析データ、またはそれらの組合せを格納し得る。データは、例えばメモリ１６２等にローカルに、またはデータベース１７２のようにリモートで格納され得る。一部の実施形態では、１または複数のコンピュータは、事象データから、モーション事象の開始時間および停止時間を決定し得る。次に、１または複数のコンピュータは、この事象開始時間と事象停止時間との間の時間の少なくとも或る部分内の何らかの時間間隔にわたるビデオまたは１以上の画像をキャプチャしたカメラ（例えば１０３、１３０、１３０ａ、または１３０ｂ等）からの画像データを要求し得る。本明細書におけるビデオという用語は、連続的なビデオだけでなく、個々の画像を含む（カメラが事象間隔中に単一のスナップショット画像を撮影する場合を含む）。次に、このビデオデータは、ビデオおよびモーションキャプチャ統合システムの一部を構成するために、モーションデータと関連づけられ得る。図示されるように、位置Ｌ２にあるカメラ１０３は視野Ｆ２を有し、位置Ｌ３にあるモバイル装置１０２上のカメラは視野Ｆ３を有する。少なくとも１つの実施形態においては、視野が事象と重なるカメラについては、画像解析によって、最良のビデオのコンピュータによる自動的な選択が達成される。事象のトリガのために、例えば環境センサ等のセンサ１０７も用いられてもよく、または、少なくとも、事象ビデオと組み合わされる値（例えば風速、湿度、温度、音等）についてクエリーされてもよい。他の実施形態では、システムは、位置Ｌ１の周囲の予め定義された領域内のビデオおよび事象についてクエリーしてもよく、Ｌ２およびＬ３にある各カメラの視野を用いて、そのビデオが事象をキャプチャしている可能性があるか否かを決定してもよい。
一部の実施形態では、カメラからのビデオの要求は、モーションデータのキャプチャまたは解析と同時に行われ得る。そのような実施形態では、システムは、事象が生じていることの通知を取得または生成し、次に、事象の終わりが検出されるまで、１以上のカメラからコンピュータにビデオがストリーミングされることを要求する。他の実施形態では、ユーザは、モーションキャプチャセンサを所定の回数だけタップまたは動かすことによる、事象の開始を意味するジェスチャを行い得る（例えば、野球のバットをバッターの靴に当てて２回タップすることは、バット事象の開始を意味し得る）。
他の実施形態では、ビデオの要求は、カメラ（例えば１０３等）がビデオ記録を別のコンピュータ（例えばサーバ１７２等）にアップロードした後に行われ得る。この場合には、コンピュータは、カメラから直接ではなく、サーバ１７２からのビデオを要求する。
一部の実施形態では、１または複数のコンピュータは、モーションデータとビデオデータとの同期を行い得る。この同期を行うために、様々な技術が用いられ得る。図１Ｅは、この同期処理の一実施形態を示す。モーションキャプチャ要素１１１は、「クロックＳ」として示されているクロック２９０１を含む。事象が生じたとき、モーションキャプチャ要素は、クロックＳからの時刻ｔ１Ｓ、ｔ２Ｓ、ｔ３Ｓ等を有するタイムスタンプ付きのデータ２９１０を生成する。カメラ１０３は、事象の何らかの部分のビデオまたは画像をキャプチャする。カメラは、「クロックＩ」として示されているクロック２９０２も含む。カメラは、クロックＩからの時刻ｔ１Ｉ、ｔ２Ｉ、ｔ３Ｉ等を有するタイムスタンプ付きの画像データ２９１１を生成する。コンピュータ１０５は、モーションデータおよび画像データを受信する。コンピュータは、「クロックＣ」として示されている別のクロック２９０３を含む。コンピュータは、３つのクロック２９１２、２９１３、および２９１４からの様々な時間スケールのアライメントをとることで構成される同期処理を実行する。この同期の結果が、クロック間の対応関係２９１５である。一般的に、クロックのアライメントは、異なるクロック速度を反映するために、クロック差を生成すること、および時間スケールを伸ばすまたは縮めることを必要とする。一部の実施形態では、個々のデータフレームまたは画像フレームにはタイムスタンプが付されず、その代わりに、最初または最後のフレームが時刻と関連づけられ、フレームキャプチャのための既知のクロック速度があってもよい。他の実施形態では、データはタイムスタンプを含まず、コンピュータが受信時刻およびあり得るネットワークレイテンシーに基づいてキャプチャ時刻を推定できるように、キャプチャされたら直ちに送信されてもよい。
図１Ｅに示されている実施形態では、コンピュータは同期された事象ビデオ２９２０を生成し、同期された事象ビデオ２９２０は、事象開始時間と事象停止時間との間において取得または算出されたモーションデータ、事象データ、またはモーション解析データの少なくとも一部、および、この開始時間〜停止時間以内の、カメラから取得されたビデオまたは画像の一部を含む。この同期された事象ビデオは、モーションデータおよび画像データの両方を組み込んだ、事象の拡張された統合された記録を提供する。図示されている例では、同期処理は、時刻ｔ５Ｃに第１の画像フレームＦ１を割り当て、時刻ｔ６Ｃに第１のモーションデータフレームＤ１を割り当てている。この例では、画像フレームキャプチャレートはデータフレームキャプチャレートの２倍である。
本発明の１以上の実施形態は、少なくとも１つのカメラからの少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間も取得し得る。システム上のコンピュータのうちの１つは、少なくとも１つの同期された事象ビデオを生成するために、必要に応じて、ユーザ、用具、またはユーザと結合されたモバイル装置と結合された少なくとも１つのモーションキャプチャ要素から取得されたデータまたは事象データと関連づけられた第１の時間、および少なくとも１つのビデオと関連づけられた少なくとも１つの時間に基づいて、事象データ、モーション解析データ、またはそれらの任意の組合せを少なくとも１つのビデオと同期させ得る。複数の実施形態では、少なくとも１つのカメラに、事象開始時間から事象停止時間までの期間外に生じた少なくとも１つのビデオの少なくとも一部分を別のコンピュータに転送せずに、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされた少なくとも１つの同期された事象ビデオを別のコンピュータに転送するようコマンドが送られる。また、１以上の実施形態は、事象開始時間から事象停止時間までの期間中に生じた事象データ、モーション解析データ、またはそれらの任意の組合せ、および事象開始時間から事象停止時間までの期間中にキャプチャされたビデオの両方を含む同期された事象ビデオをオーバーレイするよう構成され得る。
本発明の１以上の実施形態において、コンピュータは、事象の開始時間から停止時間まで測定された事象の時間間隔外のビデオを捨ててもよい。この捨てる処理は、注目される事象と関連づけられたビデオのみを保存することにより、ビデオストレージのためのかなりのストレージリソースを節約し得る。図１９は、この処理の一実施形態を示す。同期された事象ビデオ１９００は、事象１９０１が生じている間、並びに、予め定義された何らかの事前間隔１９０２および事後間隔１９０３にわたる、モーションおよび画像データを含む。事前間隔および事後間隔の前後の部分１９１０および１９１１は捨てられる。
１以上の実施形態において、モーションデータまたはビデオデータを受信または処理するよう構成されたコンピュータは、携帯電話、スマートホン１２０、タブレット、ＰＤＡ、ラップトップ１０５、ノートブック、または容易に運搬もしくは再配置可能な他の任意の装置を含むがそれらに限定されないモバイル装置であり得る。他の実施形態では、そのようなコンピュータは、カメラ１０３、１０４、特に、ビデオデータが取得されるカメラに統合されたものであり得る。他の実施形態では、そのようなコンピュータは、データセンターまたはクラウド型サービスにおいて仮想マシンとして実行される仮想コンピュータを含むがそれらに限定されないデスクトップコンピュータまたはサーバコンピュータ１５２であり得る。一部の実施形態では、システムは、上述のタイプのうちの任意の複数のコンピュータを含んでもよく、これらのコンピュータは、本明細書において記載される処理を協働して行い得る。当業者には自明であるように、そのようなコンピュータの分散型ネットワークは、タスクを多くの可能な方法で分割し得るものであり、所望であれば、それらの動作を、単一の集中型コンピュータの動作を再現するよう調和させることができる。本明細書におけるコンピュータという用語は、上述のタイプのコンピュータのうちの任意のものまたは全てを意味し、協働する複数のそのようなコンピュータのネットワークを含むことが意図される。
１以上の実施形態において、モーションキャプチャ要素１１１と関連づけられたマイクロコントローラ、およびコンピュータ１０５は、共通のクロックからクロック情報を取得し、それぞれのローカルな内部クロック２９０１および２９０３をこの共通の値に設定するよう構成される。この方法論は、カメラ２９０２の内部クロックを同じ共通のクロック値に設定するためにも用いられ得る。共通のクロック値は、システムの一部であってもよく、または、リモート時刻サーバとして用いられる外部クロックであってもよい。個々の装置のクロックを共通のクロックに同期させるために、ネットワークタイムプロトコルまたは他の類似のプロトコルを含む様々な技術が用いられ得る。図１８は、ＮＴＰまたはＧＰＳサーバ１８０１を共通の時刻リソースとして用いる本発明の一実施形態を示す。装置のクロックを共通のクロック１８０１に周期的に同期させることにより、モーションキャプチャデータおよびビデオデータを、それらが記録された時刻を有するタイムスタンプをそれらに付すことによって簡単に同期させることができる。
１以上の実施形態において、コンピュータは、同期された事象ビデオのシーケンスを取得または生成し得る。コンピュータは、ユーザが事象の履歴を見るために、このシーケンスの合成サマリーを表示し得る。図２０は、この処理の一実施形態を示す。ビデオクリップ１９００ａ、１９００ｂ、１９００ｃ、１９００ｄ、および１９００ｅが、それぞれ異なる事象に対応する異なる時間に取得される。これらの事象より前のビデオまたはモーションデータ１９１０および１９１１、並びに、これらの事象の間のビデオまたはモーションデータ１９１０ａ、１９０１ｂ、１９１０ｃ、および１９１０ｄが除去される。その結果が合成サマリー２０００である。一部の実施形態では、このサマリーは、ビデオから生成された１以上のサムネイル画像を含み得る。他の実施形態では、サマリーは、完全な事象ビデオからのより小さい選択部分を含み得る。合成サマリーは、各同期された事象ビデオと関連づけられたモーション解析または事象データの表示も含み得る。一部の実施形態では、コンピュータは、測定指標を取得して、各事象についてのこの測定指標の値を表示し得る。これらの測定指標値の表示は、異なる実施形態において様々であり得る。一部の実施形態では、測定指標値の表示は、棒グラフ、線グラフ、または絶対値もしくは相対値を示すための他のグラフィカルな技術であり得る。他の実施形態では、色分けまたは他の視覚的効果が用いられ得る。他の実施形態では、測定指標の数値が示され得る。一部の実施形態は、これらの手法の組合せを用い得る。図２０に示されている例では、各事象と関連づけられた速度についての測定指標値が、各値についての円を有するグラフとして示されている。
１以上の実施形態において、コンピュータは、事象のシーケンスのモーション解析データまたは事象データと関連づけられた注目される測定指標についての選択基準を受け入れ得る。例えば、ユーザは、例えば、或る閾値を超える、或る範囲内の、または或る範囲外の測定指標等といった基準を与え得る。事象の測定指標値に適用され得る任意の基準が用いられ得る。コンピュータは、選択基準に応答して、選択基準を満たす同期された事象ビデオまたはそれらのサマリー（例えばサムネイル等）のみを表示し得る。図２０は、この処理の一実施形態を示す。速度が少なくとも５であるべきことを指定する選択基準２０１０が与えられている。コンピュータは、クリップ１〜クリップ４を有する２００１を表示することによって応答し、クリップ５は、それに関連づけられている速度に基づいて除外されている。
本発明の一部の実施形態では、コンピュータは、同期された事象ビデオを選択された測定指標の値に基づいて表示するために、同期された事象ビデオをソーティングおよびランク付けし得る。一部の実施形態では、このソーティングおよびランク付けは、上述の選択基準に基づくフィルタリングに加えて行われ得る。コンピュータは、事象と関連づけられたビデオまたはサムネイルと共に、順序づけられた測定指標値のリストを表示し得る。図２０に示されている上述の例を続けると、速度に基づいてソーティングされた表示が指定されている場合には、コンピュータは、最高速度から最低速度まで順序づけし直されたクリップを有する２００２を生成する。１以上の実施形態において、コンピュータは、選択基準を満たす事象についてのビデオを組み合わせたハイライトリールを生成し得る。そのようなハイライトリールは、選択された事象についてのビデオ全体、またはモーション解析によって決定された事象における重要な瞬間に対応するビデオの一部分を含み得る。一部の実施形態では、ハイライトリールは、ビデオ上または選択されたフレーム上に、モーション解析から得た測定指標の値を示しているデータのオーバーレイまたはグラフィックを含み得る。そのようなハイライトリールは、ユーザが選択基準を指定することによって、含むべき事象を示すと、ユーザのために自動的に生成され得る。一部の実施形態では、コンピュータは、ユーザが、事象を追加または除去するために、各事象について示されるビデオを長くするまたは短くするために、モーションデータについてのグラフィックオーバーレイを追加または除去するために、または特殊効果もしくはサウンドトラックを追加するために、ハイライトリールを編集するのを可能にし得る。
１以上の実施形態において、ビデオおよびモーション統合システムは、複数のカメラ、例えばカメラ１０３、１０４、１３０、１３０ａ、および１３０ｂ等を組み込み得る。そのような実施形態では、コンピュータは、この時間フレーム中のビデオをキャプチャした複数のカメラからの事象時間フレームに対応するビデオを要求し得る。これらの各ビデオは、単一のビデオの同期について上述したように、事象データおよびモーション解析データと同期され得る。複数のカメラからのビデオは、全てがモーションデータおよび共通の時間基準に同期された、事象の異なる角度またはビューを提供し得る。
複数のカメラを有する１以上の実施形態において、コンピュータは、事象と関連づけられた１組の候補のビデオから、特定のビデオを選択し得る。選択されるビデオは、事象の、様々な可能な基準に基づく最良のまたは最も完全な画面であり得る。一部の実施形態では、コンピュータは、各ビデオの画像解析を用いて最良の選択を決定し得る。例えば、一部の実施形態は、画像解析を用いて、どのビデオが、注目される用具または人々が最も隠れていないまたは最も明瞭に見える最も完全なビデオであるかを決定し得る。一部の実施形態では、この画像解析は、ビデオのキャプチャ中のカメラの揺れの程度の解析、および最も安定した画像を有するビデオの選択を含み得る。図２１は、この処理の一実施形態を示す。モーションキャプチャ要素１１１は、カメラ１０３ａおよび１０３ｂによって記録された事象を示している。コンピュータ１０５は、両方のカメラからビデオを読み出す。カメラ１０３ｂは、事象が生じている間の揺れ２１０１を有する。揺れが最も少ないビデオを決定するために、コンピュータ１０５は、各ビデオについてのフレーム間差分を算出する。例えば、この差分は、全画素にわたる各画素のＲＧＢ値の差分の絶対値で構成され得る。この結果、カメラ１０３ｂについてはフレーム間差分２１１１、カメラ１０３ａについてはフレーム間差分２１１０が算出される。事象が生じると、両方のビデオにおいてフレーム間差分が増加するが、揺れの増加により、一貫して２１１１の方がより高い。従って、コンピュータは、処理２１２０においてビデオ２１１０を自動的に選択できる。一部の実施形態では、ユーザ２１３０は、好ましいビデオを選択してもよく、または、ユーザは、最も重要な基準を指定することによって、コンピュータが選択を行うのを補助してもよい。
本発明の１以上の実施形態において、コンピュータは、事象の開始の通知を取得または生成し、次に、その時点から事象の終了まで、事象データおよびモーション解析データをモニタリングし得る。例えば、モーションキャプチャ要素と関連づけられたマイクロコントローラは、事象が開始したら、事象データを周期的にコンピュータに送ってもよく、コンピュータは、このデータを用いて、事象が生じた際に事象をモニタリングできる。一部の実施形態では、このモニタリングデータは、その事象についてのビデオを記録可能なカメラに、制御メッセージを送るために用いられ得る。複数のカメラを有する実施形態では、制御メッセージは、事象が生じている間に、１組のカメラに同報または送信されてもよい。
一部の実施形態では、１または複数のカメラに送られるこれらの制御メッセージは、事象と関連づけられたデータ（モーション解析データを含む）に基づいて、ビデオ記録パラメータを修正し得る。図２２は、この処理の一実施形態を示す。モーションキャプチャセンサ１１１は、モーションデータをコンピュータ１０５に送信し、コンピュータ１０５は、制御メッセージをカメラ１０３に送る。図示されている例では、用具１１０は、事象が生じる前にはまず静止している。コンピュータは、アクティブな事象が生じていないことを検出し、カメラに、記録をオフにして、事象が生じるまで待機するよう指示するメッセージ２２１０を送る。モーション２２０１が開始し、コンピュータが事象の開始を検出すると、コンピュータはカメラに、記録をオンにするようメッセージ２２１１を送り、カメラは通常レートでのビデオフレーム２３２１の記録を開始する。２２０２においてモーションが急激に増加して、コンピュータが高い速度を検出すると、コンピュータはカメラに、高速事象をキャプチャするためにフレームレートを上げるようメッセージ２２１２を送る。カメラは、高いレートでビデオフレーム２３２２を生成する。急激なモーションが生じている間にはより高いフレームレートを用いることにより、ユーザは、再生中に、高モーション事象を詳細に観察するために、モーションの速度を遅くすることが可能になる。２２０３において、事象が完了し、コンピュータはカメラに、記録を停止するようメッセージ２２１３を送る。これは、事象間におけるカメラの電力およびビデオメモリを節約する。
より一般的には、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに応答して、任意の関連するビデオ記録パラメータを修正するために、１または複数のカメラに制御メッセージを送り得る。これらの記録パラメータは、例えば、ビデオのフレームレート、解像度、色深度、色またはグレースケール、圧縮方法、および圧縮品質、並びに記録のオンまたはオフを含み得る。
本発明の１以上の実施形態において、コンピュータは、例えばユーザから、サウンドトラックを受け入れて、このサウンドトラックを、同期された事象ビデオに統合し得る。この統合は、例えば、事象ビデオまたはハイライトリールの再生中に、音声サウンドトラックを追加するものである。一部の実施形態は、事象データまたはモーション解析データを用いて、同期された事象ビデオにサウンドトラックをコンピュータによって自動的に統合し得る。例えば、一部の実施形態は、サウンドトラックを解析し、例えば、音声の振幅が高い時点に基づいて、サウンドトラックのビートを決定し得る。次に、事象データまたはモーション解析データを用いて、サウンドトラックのビートが事象と同期され得る。例えば、そのような技術は、ユーザまたはオブジェクトのモーションが増減するにつれて、サウンドトラックの速度を自動的に増減し得る。これらの技術は、事象と関連づけられた聴覚的および視覚的キューを有する豊かなメディア経験を提供する。
１以上の実施形態において、コンピュータは、同期された事象ビデオを１以上のディスプレイ上で再生するよう構成される。これらのディスプレイは、コンピュータに直接取り付けられていてもよく、または、他のリモートの装置上にあってもよい。コンピュータは、事象データまたはモーション解析データを用いて、様々な効果を追加または変更するために再生を修正し得る。これらの修正は、再生中に複数回、または再生中に事象データが変化するにつれて連続的に生じ得る。
一例として、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに基づいて、同期された事象ビデオの再生速度を修正し得る。例えば、低モーション期間中には再生は通常速度で行われ、一方、高モーション期間中には、モーションの詳細をハイライトするために、再生はスローモーションに切り替わってもよい。再生速度の修正は、事象またはモーションの任意の観察または算出された特性に基づいて行われ得る。例えば、事象データは、例えばボールの打撃、ジャンプの開始もしくは終了、または他の任意の興味深い瞬間等の、特定の注目されるサブ事象を識別し得る。コンピュータは、同期された事象ビデオがこれらのサブ事象に近づいた際に、再生速度を下げるよう再生速度を修正し得る。この速度の減速は、サブ事象を詳細にハイライトするために連続的に増され得る。また、再生はサブ事象において停止されて、ユーザからの入力を待って継続してもよい。また、再生速度の減速は、モーション解析データまたは事象データからの１以上の測定指標の値にも基づき得る。例えば、モーション解析データは、動いている野球のバットまたはゴルフクラブの速度を示してもよく、再生速度は、そのようなオブジェクトの速度が増すにつれ、より遅くなるように、連続的に調節されてもよい。再生速度は、そのような測定指標のピーク値付近では非常に遅くされ得る。
図２３は、モーションデータを用いた可変速度再生の一実施形態を示す。モーションキャプチャ要素１１１は、ｘ軸１５０１上の直線加速度を含むモーションセンサ情報を記録する。（一般的に、多くの更なるセンサ値も記録され得るが、この例では簡潔のために単一の軸を用いる。）事象閾値２３０１は、ｘ軸の直線加速度がこの閾値を超えた際の注目される事象を定義する。１５０２および１５０３において事象が検出される。事象１５０２は２３０２において開始し、２３０３において完了する。再生に際しては、事象間においては通常の再生速度２３１０が用いられる。事象１５０２の開始が近づくと、ユーザが事前事象モーションをより詳細に観察できるように、２３１１で再生速度の減速が開始される。事象が生じている間、２３１３において再生速度は非常に遅くなる。２３０３における事象の終了後、再生速度は２３１２において通常速度に戻るよう徐々に上げられる。
他の実施形態では、再生速度に限定されない他の再生特性の修正が行われ得る。例えば、コンピュータは、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、またはグラフィックオーバーレイもしくは境界線の使用のうちのいずれかまたは全てを修正し得る。これらの修正は、モーション解析データ、事象データ、サブ事象、または同期された事象ビデオの他の任意の特性に基づいて行われ得る。一例として、再生が注目されるサブ事象に近づくと、点滅する特殊効果が加えられてもよく、ビデオ中の注目されるオブジェクト（例えば、用具によって打たれるところのボール等）の周囲に境界線が追加されてもよい。
サウンドトラックを含む実施形態では、再生特性の修正は、サウンドトラックの再生特性の修正を含み得る。例えばそのような修正は、サウンドトラックの音量、テンポ、音質、または音声特殊効果の修正を含み得る。例えば、再生が注目されるサブ事象に近づくと、サブ事象をハイライトするため、および再生を視聴しているユーザによりダイナミックな経験を提供するために、サウンドトラックの音量およびテンポが高められ得る。
本発明の１以上の実施形態において、コンピュータは、事象データまたはモーション解析データを用いて、ビデオストリームまたは記録されたビデオの一部分のみを選択的に保存し得る。これは図１９に示されており、事前事象部分１９０２および事後事象部分１９０３を伴う事象ビデオ１９０１のみを保存するために、ビデオ部分１９１０および１９１１が捨てられる。そのような技術は、注目される事象に焦点を当てることにより、ビデオストレージの要求を劇的に低減できる。一部の実施形態では、コンピュータは、事象が進行している間、モーションキャプチャセンサへの開いた通信リンクを有し得る。次に、コンピュータは、事象の開始の通知を受信または生成し、その時にビデオの保存を開始し、事象の終了の通知を受信または生成するまで、ビデオの保存を継続し得る。また、図２２に示されているように、コンピュータは、事象が生じている間、１または複数のカメラに、カメラ上におけるビデオの保存を開始および終了するための制御メッセージを送り得る。
他の実施形態では、コンピュータは、事象を通して開いているライブの通信リンクを介してではなく、事象の完了後にビデオおよび事象データを保存または受信し得る。これらの実施形態では、コンピュータは、注目される事象以外のビデオの部分を捨てるために、保存されているビデオを間引くことができる。例えば、サーバコンピュータ１５２は、ビデオおよび事象データの両方のリポジトリとして用いられ得る。サーバは、アップロード後に事象データとビデオとを相関させ、保存されたビデオを、事象データによって示される注目される時間フレームのみに間引いてもよい。
１以上の実施形態において、コンピュータは、ビデオと事象データおよびモーション解析データとの同期を補助するために、ビデオの画像解析を用い得る。例えば、モーション解析データは、例えば、野球またはゴルフボールのようなボールの打撃に由来する、またはスケートボードのジャンプ後の着地に由来する、（例えば、加速度計を用いて検出された）強い物理的衝撃を示し得る。コンピュータは、ビデオの画像を解析して、この衝撃が生じているフレームの位置を求め得る。例えば、ゴルフボールを記録しているビデオは、画像解析を用いて、ビデオストリーム内におけるボールが移動を開始したときを検出してもよく、ゴルフボールのモーションを有する第１のフレームがクラブによる衝撃後の第１のフレームであり、これを、対応するモーション解析データ内の衝撃と同期させることができる。これは図２４に示されており、ビデオの画像解析はゴルフボール２４０１を識別している。この例では衝撃フレーム３４として示されている、ボール２４０１が移動を開始するフレームは、モーション解析データ内の衝突の衝撃を示している特定の点と合致させることができる。これらのビデオおよびモーションデータフレームはキーフレームとして用いることができ、これらのキーフレームから、事象の開始および終了に最も密接に対応するビデオフレームを導き出すことができる。
１以上の実施形態において、コンピュータは、ビデオの画像解析を用いて、ビデオ中のオブジェクトから測定指標を生成し得る。この測定指標は、例えば、オブジェクトのモーションの何らかの態様を測定し得る。画像解析から得られたそのような測定指標は、モーションセンサからのデータのモーション解析から取得された測定指標に加えて、またはそれに関連して用いられ得る。一部の実施形態では、画像解析は、注目されるオブジェクトと関連づけられた画素の位置を求めるための当該技術分野で知られている幾つかの技術のうちの任意のものを用い得る。例えば、或るオブジェクトは、特定の色、テクスチャ、または形状を有することが既知であり得、それらの特性が、ビデオフレーム内におけるそのオブジェクトの位置を求めるために用いられ得る。一例として、ゴルフボールは、ほぼ丸く、白く、ボールの材質と関連づけられたテクスチャを有することが既知であり得る。画像解析は、これらの特性を用いて、ビデオフレーム内におけるゴルフボールの位置を求めることができる。複数のビデオフレームを用いて、ゴルフボールのおおよその速度および回転が算出され得る。例えば、静止したまたはほぼ静止したカメラを想定すると、三次元空間内におけるゴルフボールの位置を、ビデオフレーム内におけるボールの位置に基づいて、およびそのサイズに基づいて推定できる。フレーム内における位置は、画像平面上におけるボールの位置の投影を与え、サイズは、カメラに対して相対的なボールの深度を与える。複数のフレーム内におけるボールの位置を用いることにより、およびフレーム間の時間差を与えるフレームレートを用いることにより、ボールの速度を推定できる。
図２４は、この処理を示しており、ゴルフボールはフレーム２４０３内の位置２４０１、およびフレーム２４０４内の位置２４０２にある。ゴルフボールは、カメラからのボールの距離およびボールの回転を測定するために用いることができるアイコンを有する。ボールの速度は、フレーム間の移動距離およびフレーム間の時間差を用いて算出できる。単純な例として、ボールのサイズがフレーム間で知覚可能に変化する場合には、カメラの視野およびボールの見かけのサイズを用いて、ボールの位置２４０２と位置２４０１との間の画素の差を、そのまま距離に換算できる。この例に示されているフレームの差は２フレーム（フレーム３９からフレーム４１まで）であり、これはカメラのフレームレートに基づいて時間に換算できる。次に、時間に対する距離の比率として速度を算出できる。
１以上の実施形態において、コンピュータは、以前に格納された事象データまたはモーション解析データにアクセスして、新たな事象と１以上の以前の事象との比較を表示し得る。これらの比較は、同じユーザおよび同じ用具についての経時的な比較、または異なるユーザ間および異なる用具間の比較であり得る。これらの比較は、ユーザに、ユーザのパフォーマンスの変化についてのフィードバックを与えることができ、他のユーザまたは用具の他のタイプまたはモデルのユーザと比較したベンチマークを設けることができる。一例として、図１Ｄは、ユーザ１５０および１５２と関連づけられた事象データを受信する装置１０１を示している。このデータは、表示および比較のためにコンピュータ１０５に送信される。ユーザ１５１は、ユーザ１５０および１５２のパフォーマンスを比較でき、各ユーザのパフォーマンスを経時的に追跡できる。
１以上の実施形態において、モーションキャプチャ要素と結合されたマイクロコントローラは、事象データのキャプチャを調和させるために、他のモーションキャプチャセンサと通信するよう構成される。マイクロコントローラは、別のモーションキャプチャセンサに、その別のセンサも事象データをキャプチャするようトリガするために、事象の開始の通知を送信し得る。その別のセンサは、データを後でアップロードするためにローカルに保存してもよく、または、その事象が生じている間に、その事象データを、開いている通信リンクを介してコンピュータに送信してもよい。これらの技術は、１つのセンサがマスターとして動作して、スレーブセンサのネットワークを調和させることができる、一種のマスタースレーブアーキテクチャを提供する。
本発明の１以上の実施形態において、コンピュータは、事象データを用いて、事象のビデオをキャプチャ可能なまたはキャプチャしている可能性があるカメラを見出し得る。そのようなカメラは、事象の位置の近位にある必要があり、事象を見るための正しい方向に向いている必要がある。一部のシステムでは、カメラの数、位置、および向きが予めわかっておらず、動的に決定しなければならない。事象が生じた際、事象データを受信したコンピュータは、事象の付近にある、または事象を見るよう向けられている任意のカメラに、要求を同報し得る。この要求は、カメラに、例えば、事象ビデオを記録するよう、および事象ビデオを保存するよう指示し得る。次に、コンピュータは、事象が生じた後に、これらの近位の正しい向きのカメラからのビデオを要求し得る。これは図１に示されており、コンピュータ１６０は、モーションキャプチャ要素１１１から、事象開始の通知を受信し得る。コンピュータ１６０は、付近にある全てのカメラ（例えば１０３、１０４、１３０、１３０ａ、および１３０ｂ等）に要求を同報し得る。一例として、カメラ１０３および１３０は、事象の近位において事象を正しく見るよう向けられているので、ビデオを記録する。カメラ１０４は遠過ぎ、カメラ１３０ａおよび１３０ｂは十分に近いが、事象の方を向いていないので、これらのカメラはビデオを記録しない。
一部の実施形態では、１以上のコンピュータ（例えばサーバ１５２またはクラウドサービス等）上で１以上のビデオを入手可能であり、それらは後で事象データと相関され得る。これらの実施形態では、コンピュータ（例えば１５２等）は、事象を見るための正しい位置および向きにあった、格納されているビデオを探す。次に、コンピュータは、適切なビデオを読み出して、それらを事象データと組み合わせて、複数の位置および角度からのビデオを有する事象の合成画面を構成し得る。
１以上の実施形態において、コンピュータは、他のセンサが事象の近位にあり、事象と関連づけられた他の有用なデータを提供する場合には、モーションキャプチャセンサに加えて、これらの他のセンサからのセンサ値を取得し得る。例えば、そのような他のセンサは、温度、湿度、風、高度、光、音、および（心拍のような）生理学的測定指標の様々な組合せを感知し得る。コンピュータは、事象開始から事象停止までの期間中の事象の拡張された記録を生成するために、これらの他の値を読み出して、それらを事象データおよびモーション解析データと共に保存し得る。
１以上の実施形態において、マイクロプロセッサ、コンピュータ、またはそれらの両方によって、検出、モニタリング、および解析される事象のタイプは、ユーザ、用具、またはモバイル装置についての様々なタイプの重要なモーション事象を含み得る。これらの重要な事象は、重篤なまたは緊急の医学的状態または健康の指標を含み得る。そのような事象のタイプの一部は、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸を示すモーションを含み得る。これらの事象のタイプの組合せも、検出、モニタリング、または解析され得る。
本明細書で開示される思想を、具体的な実施形態およびその応用例を用いて説明したが、それらに対して、特許請求の範囲に記載される本発明の範囲を逸脱することなく、当業者によって多くの変更および変形が行われ得る。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
ビデオおよびモーション事象統合システムにおいて、ユーザ、用具、または前記ユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含み、
前記少なくとも１つのモーションキャプチャ要素が、
センサメモリと、
前記少なくとも１つのモーションキャプチャ要素の向き、位置、速度、および加速と関連付けられた１以上の値をキャプチャするよう構成されたセンサと、
第１の通信インターフェースと、
前記センサメモリ、前記センサ、および前記第１の通信インターフェースと結合されたマイクロコントローラであって、前記センサからのセンサ値を含むデータを収集し、該データを前記センサメモリに格納し、事象データを決定するために、必要に応じて前記データを解析して、該データ中の事象を認識し、該事象と関連付けられた前記データもしくは前記事象データ、または前記データおよび前記事象データの両方を前記第１の通信インターフェースを介して送信するよう構成されたマイクロコントローラと
を含み、
前記マイクロコントローラが、前記データまたは前記事象データをコンピュータに送信するよう構成され、
前記コンピュータが、メモリと、前記事象と関連づけられた前記データもしくは前記事象データ、または前記データおよび前記事象データの両方を取得するために前記第１の通信インターフェースと通信するよう構成された第２の通信インターフェースとを含み、
前記コンピュータが、前記メモリと結合されると共に前記第２の通信インターフェースと結合され、
前記コンピュータが、
前記第２の通信インターフェースから前記データを受信し、事象データを決定するために前記データを解析して前記データ内の事象を認識し、または前記第２の通信インターフェースから前記事象データを受信し、または前記第２の通信インターフェースから前記データおよび前記事象データの両方を受信し、
モーション解析データから前記事象データを解析し、
前記事象データもしくは前記モーション解析データ、または前記事象データおよび前記モーション解析データの両方を前記メモリに格納し、
前記事象データから事象開始時間および事象停止時間を取得し、
少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間を取得し、
少なくとも１つの同期された事象ビデオを作製するために、前記ユーザ、前記用具、または前記ユーザと結合された前記モバイル装置と結合された前記少なくとも１つのモーションキャプチャ要素から取得された前記データまたは前記事象データと関連づけられた第１の時間、および、前記少なくとも１つのビデオと関連づけられた少なくとも１つの時間に基づいて、前記事象データ、前記モーション解析データ、またはそれらの任意の組合せを前記少なくとも１つのビデオに同期させ、
前記事象開始時間から前記事象停止時間までの期間外に生じた前記少なくとも１つのビデオの少なくとも一部分を含まない、少なくとも前記事象開始時間から前記事象停止時間までの期間中にキャプチャされた前記少なくとも１つの同期された事象ビデオを含む前記少なくとも１つのビデオのサブセットを前記別のコンピュータに取得する
よう構成された
ことを特徴とするシステム。
実施形態２
前記コンピュータが、前記事象開始時間から前記事象停止時間までの前記期間中に生じた前記事象データ、前記モーション解析データ、またはそれらの任意の組合せと、前記事象開始時間から前記事象停止時間までの前記期間中にキャプチャされた前記ビデオとの両方を含む同期された事象ビデオを表示するよう更に構成された、実施形態１に記載のシステム。
実施形態３
前記コンピュータが、前記事象開始時間から前記事象停止時間までの期間外の前記少なくとも１つのビデオの少なくとも一部分を捨てるよう、または、カメラと結合された前記別のコンピュータに、前記少なくとも一部分を捨てるよう指示するよう更に構成された、実施形態１に記載のシステム。
実施形態４
前記コンピュータが、モバイル装置、カメラ、デスクトップコンピュータ、サーバコンピュータ、または、任意の数の前記モバイル装置、前記カメラ、前記デスクトップコンピュータ、および前記サーバコンピュータの任意の組合せ内にある少なくとも１つのコンピュータを含む、実施形態１に記載のシステム。
実施形態５
前記コンピュータが、前記少なくとも１つの同期された事象ビデオと関連づけられた測定指標を受け入れ、複数の同期された事象ビデオまたはそれらの複数の対応するサムネイルを、該複数の同期された事象ビデオまたは複数の対応するサムネイルの各々についての前記測定指標と関連づけられた値と共に表示するよう更に構成された、実施形態１に記載のシステム。
実施形態６
前記コンピュータが、前記測定指標についての選択基準を受け入れ、該選択基準に合格した前記同期された事象ビデオまたはそれらの前記サムネイルのみを表示するよう更に構成された、実施形態５に記載のシステム。
実施形態７
前記コンピュータが、前記選択基準に合格した前記同期された事象ビデオまたはそれらの前記サムネイルのみを、前記測定指標の値に従って順序づけるよう更に構成された、実施形態６に記載のシステム。
実施形態８
前記コンピュータが、前記選択基準に合格した前記複数の同期された事象ビデオのハイライトリールを生成するよう更に構成された、実施形態６に記載のシステム。
実施形態９
前記コンピュータが、画像解析に基づいて、特定の期間にわたる複数の異なるカメラと関連づけられた前記少なくとも１つの同期された事象ビデオから、表示すべき第１の同期された事象ビデオを選択するよう更に構成された、実施形態１に記載のシステム。
実施形態１０
前記コンピュータが、最小揺れ検出を含む画像解析に基づいて、特定の期間にわたる複数の異なるカメラと関連づけられた前記少なくとも１つの同期された事象ビデオから、表示すべき第１の同期された事象ビデオを選択するよう更に構成された、実施形態１に記載のシステム。
実施形態１１
前記コンピュータが、前記データ、前記事象データ、または前記モーション解析データに基づいて、前記少なくとも１つのビデオのビデオ記録パラメータを修正するために、前記コンピュータに対してローカルなまたは前記コンピュータに対して外部の制御メッセージを少なくとも１つのカメラに送るよう更に構成された、実施形態１に記載のシステム。
実施形態１２
前記ビデオ記録パラメータが、フレームレート、解像度、色深度、色またはグレースケール、圧縮方法、圧縮品質、および記録のオンまたはオフのうちの１以上を含む、実施形態１１に記載のシステム。
実施形態１３
前記コンピュータが、サウンドトラックを受け入れ、ビートと関連づけられた音声の振幅が高い時点を決定するために、前記サウンドトラックを解析し、前記ビートを前記事象と同期させるよう更に構成された、実施形態１に記載のシステム。
実施形態１４
前記コンピュータが、前記少なくとも１つの同期された事象ビデオを表示し、前記事象データ、前記モーション解析データ、またはそれらの両方に基づいて、前記少なくとも１つの同期された事象ビデオの再生特性を修正して、再生特性に対する修正を行うよう構成され、
前記再生特性を修正することが、前記少なくとも１つの同期された事象ビデオの再生を通して１回以上生じ得る、実施形態１に記載のシステム。
実施形態１５
前記再生特性に対する前記修正が、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、グラフィックオーバーレイまたは境界線の使用に対する変更のうちの１以上を含む、実施形態１４に記載のシステム。
実施形態１６
前記再生特性に対する前記修正が、前記事象ビデオが注目されるサブ事象に近づいた際、または、前記事象ビデオが前記モーション解析データ、前記事象データ、もしくはそれらの両方と関連づけられた選択された測定指標のピーク値に近づいた際、モーションの再生速度を遅くすることを含む、実施形態１４に記載のシステム。
実施形態１７
前記コンピュータが、サウンドトラックを受け入れ、ビートと関連づけられた音声の振幅が高い時点を決定するために、前記サウンドトラックを解析し、前記少なくとも１つの同期された事象ビデオと共に前記サウンドトラックを再生し、前記ビートを前記事象と同期させるよう更に構成され、
前記再生特性に対する前記修正が、前記サウンドトラックの音量、テンポ、音質、または音声特殊効果のうちの１以上を修正することを含む、
実施形態１４に記載のシステム。
実施形態１８
前記コンピュータが、前記少なくとも１つのモーションキャプチャ要素と前記コンピュータとの通信リンクが開いている間、前記事象開始時間から前記事象停止時間までの期間外の前記ビデオの少なくとも一部分を捨て、前記事象開始時間から前記事象停止時間までの前記ビデオを、前記事象開始時間から前記事象停止時間までに生じた前記モーション解析データと共に保存するよう更に構成された、実施形態１に記載のシステム。
実施形態１９
前記コンピュータが、前記少なくとも１つのモーションキャプチャ要素と前記コンピュータとの通信リンクが開いていない間、ビデオを保存し、前記通信リンクが開いた後に前記事象が受信された後、前記事象開始時間から前記事象停止時間までの期間外の前記ビデオの少なくとも一部分を捨て、前記事象開始時間から前記事象停止時間まで前記ビデオを、前記事象開始時間から前記事象停止時間までに生じた前記モーション解析データと共に保存するよう更に構成された、実施形態１に記載のシステム。
実施形態２０
前記コンピュータが、前記事象開始時間、前記事象停止時間、またはそれらの両方と最も密接に関連づけられた前記ビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析に基づいて、前記モーション解析データを前記ビデオと同期させるよう更に構成された、実施形態１に記載のシステム。
実施形態２１
前記コンピュータが、画像解析に基づいて、前記少なくとも１つの同期された事象ビデオ中のオブジェクトから測定指標を生成するよう更に構成された、実施形態１に記載のシステム。
実施形態２２
前記コンピュータが、
前記ユーザまたは用具と関連づけられた以前に格納された事象データまたはモーション解析データにアクセスし、
前記ユーザまたは用具と関連づけられた前記事象データまたは前記モーション解析データ、および、前記ユーザまたは用具と関連づけられた以前に格納された事象データまたはモーション解析データに基づいて、少なくとも１人の前記ユーザと関連づけられた前記事象データの表示を含む情報をディスプレイ上に表示する
よう更に構成された、実施形態１に記載のシステム。
実施形態２３
前記少なくとも１つのモーションキャプチャ要素内の前記マイクロコントローラが、少なくとも１つの他のモーションキャプチャ要素、前記コンピュータ、またはそれらの任意の組合せに前記事象を送信するよう構成され、前記少なくとも１つの他のモーションキャプチャ要素が前記事象を検出しなかった場合に、前記少なくとも１つの他のモーションキャプチャ要素、前記少なくとも１つの他のモバイル装置、またはそれらの任意の組合せが、前記事象と関連づけられたデータを保存する、送信する、または保存および送信するよう構成された、実施形態１に記載のシステム。
実施形態２４
前記コンピュータが、前記事象の近位にある、前記事象を見るよう向けられている、または前記事象の近位にあって前記事象を見るよう向けられているカメラ位置を要求する、または該要求を同報するよう更に構成された、実施形態１に記載のシステム。
実施形態２５
前記コンピュータが、前記事象の近位にある前記少なくとも１つのカメラからの、前記事象を含む前記ビデオを要求するよう更に構成された、実施形態１に記載のシステム。
実施形態２６
前記マイクロコントローラが温度センサと結合され、前記マイクロコントローラが、前記温度センサから取得された温度を温度事象として送信するよう構成された、実施形態１に記載のシステム。
実施形態２７
前記コンピュータが、前記事象の近位にあるセンサからのセンサ値を取得するよう更に構成され、前記センサが、温度センサ、湿度センサ、風センサ、高度センサ、光センサ、音センサ、および生理学的センサの任意の組合せを含み、前記事象開始時間から事象停止時間までの前記期間内に生じた前記センサ値を前記事象データと共に保存する、実施形態１に記載のシステム。
実施形態２８
前記事象が、前記ユーザ、前記用具、または前記モバイル装置の任意の組合せと結合された前記少なくとも１つのモーションキャプチャ要素と関連づけられたモーション、或いは、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組合せを示すモーションを含む、実施形態１に記載のシステム。
実施形態２９
前記コンピュータが、
前記ユーザまたは用具と関連づけられた以前に格納された事象データまたはモーション解析データにアクセスし、
前記ユーザまたは用具と関連づけられた前記事象データまたは前記モーション解析データ、および、少なくとも１の他のユーザまたは他の用具と関連づけられた前記以前に格納されたモーションキャプチャデータまたはモーション解析データに基づいて、前記少なくとも１人のユーザと関連づけられた前記事象データの表示を含む情報をディスプレイ上に表示する
よう更に構成された、実施形態１に記載のシステム。

１００ ビデオおよびモーション事象統合システム
１０１、１０２、１０２ａ、１０２ｂ モバイル装置
１０４、１３０、１３０ａ、１０３ｂ カメラ
１０５ コンピュータ
１１０ 用具
１１１ モーションキャプチャ要素
１２０ ディスプレイ
１５０、１５１ ユーザ
１６０ コンピュータ
１６４ 通信インターフェース
１７２ データベース

Claims (28)

  1. ビデオおよびモーション事象統合システムにおいて、ユーザ、用具、または前記ユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含み、
    前記少なくとも１つのモーションキャプチャ要素が、
    センサメモリと、
    前記少なくとも１つのモーションキャプチャ要素の向き、位置、速度、および加速と関連付けられた１以上の値をキャプチャするよう構成されたセンサと、
    第１の通信インターフェースと、
    前記センサメモリ、前記センサ、および前記第１の通信インターフェースと結合されたマイクロコントローラであって、前記センサからのセンサ値を含むデータを収集し、該データを前記センサメモリに格納し、事象データを決定するために、必要に応じて前記データを解析して、該データ中の事象を認識し、該事象と関連付けられた前記データもしくは前記事象データ、または前記データおよび前記事象データの両方を前記第１の通信インターフェースを介して送信するよう構成されたマイクロコントローラと
    を含み、
    前記マイクロコントローラが、前記データまたは前記事象データをコンピュータに送信するよう構成され、
    前記コンピュータが、メモリと、前記事象と関連づけられた前記データもしくは前記事象データ、または前記データおよび前記事象データの両方を取得するために前記第１の通信インターフェースと通信するよう構成された第２の通信インターフェースとを含み、
    前記コンピュータが、
    前記第２の通信インターフェースから前記データを受信し、事象データを決定するために前記データを解析して前記データ内の事象を認識し、または前記第２の通信インターフェースから前記事象データを受信し、または前記第２の通信インターフェースから前記データおよび前記事象データの両方を受信し、
    モーション解析データを形成するため前記事象データを解析し、
    前記事象データもしくは前記モーション解析データ、または前記事象データおよび前記モーション解析データの両方を前記メモリに格納し、
    前記事象データから事象開始時間および事象停止時間を取得し、
    前記事象を含む少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間を取得し、
    少なくとも１つの同期された事象ビデオを作製するために、前記ユーザ、前記用具、または前記ユーザと結合された前記モバイル装置と結合された前記少なくとも１つのモーションキャプチャ要素から取得された前記データまたは前記事象データと関連づけられた第１の時間、および、前記少なくとも１つのビデオと関連づけられた少なくとも１つの時間に基づいて、前記事象データ、前記モーション解析データ、またはそれらの任意の組合せを前記少なくとも１つのビデオに同期させ、
    前記事象開始時間から前記事象停止時間までの期間外に生じた前記少なくとも１つのビデオの少なくとも一部分を含まない、少なくとも前記事象開始時間から前記事象停止時間までの期間中にキャプチャされた前記少なくとも１つの同期された事象ビデオを含む前記少なくとも１つのビデオのサブセットを取得し、
    前記モーション解析データに基づいて前記事象開始時間から前記事象停止時間までの期間外の少なくとも１つのビデオの少なくとも一部分を、前記少なくとも１つのビデオを、前記少なくとも１つのモーションキャプチャ要素の向き、位置、速度および加速情報に関連付けられた１以上の値をキャプチャする前記センサからの前記センサ値を含む前記データからの前記事象データからの前記モーション解析データに基づいて前記事象開始時間から前記事象停止時間までの期間である特定の長さにトリミングし、非事象関連ビデオとして捨て、
    前記事象開始時間から前記事象停止時間までの期間外の少なくとも１つのビデオの少なくとも一部分ではなしに、前記事象開始時間から前記事象停止時間までの期間に生じたモーション解析データと同期された前記少なくとも１つの事象ビデオを格納する
    よう構成された
    ことを特徴とするシステム。
  2. 前記コンピュータが、前記事象開始時間から前記事象停止時間までの前記期間中に生じた前記事象データ、前記モーション解析データ、またはそれらの任意の組合せと、前記事象開始時間から前記事象停止時間までの前記期間中にキャプチャされた前記ビデオとの両方を含む同期された事象ビデオを表示するよう更に構成された、請求項１記載のシステム。
  3. 前記コンピュータが、モバイル装置、カメラ、デスクトップコンピュータ、サーバコンピュータ、または、任意の数の前記モバイル装置、前記カメラ、前記デスクトップコンピュータ、および前記サーバコンピュータの任意の組合せ内にある少なくとも１つのコンピュータを含む、請求項１記載のシステム。
  4. 前記コンピュータが、前記少なくとも１つの同期された事象ビデオと関連づけられた測定指標を受け入れ、複数の同期された事象ビデオまたはそれらの複数の対応するサムネイルを、該複数の同期された事象ビデオまたは複数の対応するサムネイルの各々についての前記測定指標と関連づけられた値と共に表示するよう更に構成された、請求項１記載のシステム。
  5. 前記コンピュータが、前記測定指標についての選択基準を受け入れ、該選択基準に合格した前記同期された事象ビデオまたはそれらの前記サムネイルのみを表示するよう更に構成された、請求項４記載のシステム。
  6. 前記コンピュータが、前記選択基準に合格した前記同期された事象ビデオまたはそれらの前記サムネイルのみを、前記測定指標の値に従って順序づけるよう更に構成された、請求項５記載のシステム。
  7. 前記コンピュータが、前記選択基準に合格した前記複数の同期された事象ビデオのハイライトリールを生成するよう更に構成された、請求項５記載のシステム。
  8. 前記コンピュータが、画像解析に基づいて、特定の期間にわたる複数の異なるカメラと関連づけられた前記少なくとも１つの同期された事象ビデオから、表示すべき第１の同期された事象ビデオを選択するよう更に構成された、請求項１記載のシステム。
  9. 前記コンピュータが、最小揺れ検出を含む画像解析に基づいて、特定の期間にわたる複数の異なるカメラと関連づけられた前記少なくとも１つの同期された事象ビデオから、表示すべき第１の同期された事象ビデオを選択するよう更に構成された、請求項１記載のシステム。
  10. 前記コンピュータが、前記データ、前記事象データ、または前記モーション解析データに基づいて、前記少なくとも１つのビデオのビデオ記録パラメータを修正するために、前記コンピュータに対してローカルなまたは前記コンピュータに対して外部の制御メッセージを少なくとも１つのカメラに送るよう更に構成された、請求項１記載のシステム。
  11. 前記ビデオ記録パラメータが、フレームレート、解像度、色深度、色またはグレースケール、圧縮方法、圧縮品質、および記録のオンまたはオフのうちの１以上を含む、請求項１０記載のシステム。
  12. 前記コンピュータが、サウンドトラックを受け入れ、ビートと関連づけられた音声の振幅が高い時点を決定するために、前記サウンドトラックを解析し、前記ビートを前記事象と同期させるよう更に構成された、請求項１記載のシステム。
  13. 前記コンピュータが、前記少なくとも１つの同期された事象ビデオを表示し、前記事象データ、前記モーション解析データ、またはそれらの両方に基づいて、前記少なくとも１つの同期された事象ビデオの再生特性を修正して、再生特性に対する修正を行うよう構成され、
    前記再生特を性正することが、前記少なくとも１つの同期された事象ビデオの再生を通して１回以上生じ得る、請求項１記載のシステム。
  14. 前記再生特性に対する前記修正が、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、グラフィックオーバーレイまたは境界線の使用に対する変更のうちの１以上を含む、請求項１３記載のシステム。
  15. 前記再生特性に対する前記修正が、前記事象ビデオが注目されるサブ事象に近づいた際、または、前記事象ビデオが前記モーション解析データ、前記事象データ、もしくはそれらの両方と関連づけられた選択された測定指標のピーク値に近づいた際、モーションの再生速度を遅くすることを含む、請求項１３記載のシステム。
  16. 前記コンピュータが、サウンドトラックを受け入れ、ビートと関連づけられた音声の振幅が高い時点を決定するために、前記サウンドトラックを解析し、前記少なくとも１つの同期された事象ビデオと共に前記サウンドトラックを再生し、前記ビートを前記事象と同期させるよう更に構成され、
    前記再生特性に対する前記修正が、前記サウンドトラックの音量、テンポ、音質、または音声特殊効果のうちの１以上を修正することを含む、
    請求項１３記載のシステム。
  17. 前記コンピュータが、前記少なくとも１つのモーションキャプチャ要素と前記コンピュータとの通信リンクが開いている間、前記事象開始時間から前記事象停止時間までの期間外の前記ビデオの少なくとも一部分を捨て、前記事象開始時間から前記事象停止時間までの前記ビデオを、前記事象開始時間から前記事象停止時間までに生じた前記モーション解析データと共に保存するよう更に構成された、請求項１記載のシステム。
  18. 前記コンピュータが、前記少なくとも１つのモーションキャプチャ要素と前記コンピュータとの通信リンクが開いていない間、ビデオを保存し、前記通信リンクが開いた後に前記事象が受信された後、前記事象開始時間から前記事象停止時間までの期間外の前記ビデオの少なくとも一部分を捨て、前記事象開始時間から前記事象停止時間まで前記ビデオを、前記事象開始時間から前記事象停止時間までに生じた前記モーション解析データと共に保存するよう更に構成された、請求項１記載のシステム。
  19. 前記コンピュータが、前記事象開始時間、前記事象停止時間、またはそれらの両方と最も密接に関連づけられた前記ビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析に基づいて、前記モーション解析データを前記ビデオと同期させるよう更に構成された、請求項１記載のシステム。
  20. 前記コンピュータが、画像解析に基づいて、前記少なくとも１つの同期された事象ビデオ中のオブジェクトから測定指標を生成するよう更に構成された、請求項１記載のシステム。
  21. 前記コンピュータが、
    前記ユーザまたは用具と関連づけられた以前に格納された事象データまたはモーション解析データにアクセスし、
    前記ユーザまたは用具と関連づけられた前記事象データまたは前記モーション解析データ、および、前記ユーザまたは用具と関連づけられた以前に格納された事象データまたはモーション解析データに基づいて、少なくとも１人の前記ユーザと関連づけられた前記事象データの表示を含む情報をディスプレイ上に表示する
    よう更に構成された、請求項１記載のシステム。
  22. 前記少なくとも１つのモーションキャプチャ要素内の前記マイクロコントローラが、少なくとも１つの他のモーションキャプチャ要素、前記コンピュータ、またはそれらの任意の組合せに前記事象を送信するよう構成され、前記少なくとも１つの他のモーションキャプチャ要素が前記事象を検出しなかった場合に、前記少なくとも１つの他のモーションキャプチャ要素、前記コンピュータ、またはそれらの任意の組合せが、前記事象と関連づけられたデータを保存する、送信する、または保存および送信するよう構成された、請求項１記載のシステム。
  23. 前記コンピュータが、前記事象の近位にある、前記事象を見るよう向けられている、または前記事象の近位にあって前記事象を見るよう向けられているカメラ位置を要求する、または該要求を同報するよう更に構成された、請求項１記載のシステム。
  24. 前記コンピュータが、前記事象の近位にある前記少なくとも１つのカメラからの、前記事象を含む前記ビデオを要求するよう更に構成された、請求項１記載のシステム。
  25. 前記マイクロコントローラが温度センサと結合され、前記マイクロコントローラが、前記温度センサから取得された温度を温度事象として送信するよう構成された、請求項１記載のシステム。
  26. 前記コンピュータが、前記事象の近位にあるセンサからのセンサ値を取得するよう更に構成され、前記センサが、温度センサ、湿度センサ、風センサ、高度センサ、光センサ、音センサ、および生理学的センサの任意の組合せを含み、前記事象開始時間から事象停止時間までの前記期間内に生じた前記センサ値を前記事象データと共に保存する、請求項１記載のシステム。
  27. 前記事象が、前記ユーザ、前記用具、または前記モバイル装置の任意の組合せと結合された前記少なくとも１つのモーションキャプチャ要素と関連づけられたモーション、或いは、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組合せを示すモーションを含む、請求項１記載のシステム。
  28. 前記コンピュータが、
    前記ユーザまたは用具と関連づけられた以前に格納された事象データまたはモーション解析データにアクセスし、
    前記ユーザまたは用具と関連づけられた前記事象データまたは前記モーション解析データ、および、少なくとも１の他のユーザまたは他の用具と関連づけられた前記以前に格納されたモーションキャプチャデータまたはモーション解析データに基づいて、前記少なくとも１人のユーザと関連づけられた前記事象データの表示を含む情報をディスプレイ上に表示する
    よう更に構成された、請求項１記載のシステム。
JP2017527618A 2014-11-20 2015-11-19 ビデオおよびモーション事象統合システム Active JP6980525B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/549,422 US9235765B2 (en) 2010-08-26 2014-11-20 Video and motion event integration system
US14/549,422 2014-11-20
PCT/US2015/061695 WO2016081778A1 (en) 2014-11-20 2015-11-19 Video and motion event integration system

Publications (3)

Publication Number Publication Date
JP2018504802A JP2018504802A (ja) 2018-02-15
JP2018504802A5 JP2018504802A5 (ja) 2019-01-10
JP6980525B2 true JP6980525B2 (ja) 2021-12-15

Family

ID=56014576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017527618A Active JP6980525B2 (ja) 2014-11-20 2015-11-19 ビデオおよびモーション事象統合システム

Country Status (6)

Country Link
EP (1) EP3222039B1 (ja)
JP (1) JP6980525B2 (ja)
CN (1) CN107211109B (ja)
AU (1) AU2015349817B2 (ja)
CA (1) CA3005716C (ja)
WO (1) WO2016081778A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509788B2 (en) 2016-12-30 2019-12-17 Dev Gupta Systems and methods for lossy data compression using key artifacts and dynamically generated cycles
US10976337B2 (en) * 2018-01-25 2021-04-13 Stmicroelectronics, Inc. Context awareness of a smart device through sensing transient and continuous events
IT201800003543A1 (it) * 2018-03-14 2019-09-14 Univ Cape Town “Sistema e metodo di cattura del movimento”
US10832476B1 (en) * 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations
CN108805109B (zh) * 2018-08-07 2024-04-23 深圳市天玖隆科技有限公司 一种运动数据捕获显示系统
CN109005359B (zh) * 2018-10-31 2020-11-03 广州酷狗计算机科技有限公司 视频录制方法、装置存储介质
EP3700188A1 (en) * 2019-02-20 2020-08-26 Nokia Technologies Oy Sensor configuration based on other sensor context determination
JP7103307B2 (ja) * 2019-06-07 2022-07-20 トヨタ自動車株式会社 歩行訓練システムおよび歩行訓練システムの制御プログラム
US11583729B2 (en) 2019-09-06 2023-02-21 Taylor Made Golf Company, Inc. Systems and methods for integrating measurements captured during a golf swing
CN110687806B (zh) * 2019-09-30 2023-04-07 万翼科技有限公司 一种设备控制方法及相关装置
CN112752100B (zh) * 2020-12-28 2022-08-12 杭州海康威视系统技术有限公司 录像完整性的确定方法、装置及可读存储介质
CN113457108B (zh) * 2021-07-07 2022-07-15 首都体育学院 一种基于认知表征的运动成绩提高方法和装置
CN114466153B (zh) * 2022-04-13 2022-09-09 深圳时识科技有限公司 自适应脉冲生成方法、装置、类脑芯片和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343670B2 (ja) * 2003-12-12 2009-10-14 株式会社日立国際電気 映像保存システムおよび映像保存方法
US8886298B2 (en) * 2004-03-01 2014-11-11 Microsoft Corporation Recall device
JP5028751B2 (ja) * 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
CN1985751B (zh) * 2005-12-21 2010-05-05 香港理工大学 佩戴式生理体征检测器、生理体征遥测和警报系统
US8594742B2 (en) * 2006-06-21 2013-11-26 Symbol Technologies, Inc. System and method for monitoring a mobile device
WO2008070687A2 (en) * 2006-12-04 2008-06-12 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
CN101108125B (zh) * 2007-08-02 2010-06-16 无锡微感科技有限公司 一种身体体征动态监测系统
US8136133B2 (en) * 2007-11-13 2012-03-13 Walker Digital, Llc Methods and systems for broadcasting modified live media
JP2011023812A (ja) * 2009-07-13 2011-02-03 Nikon Corp 画像記録装置及び画像表示装置
JP2011172092A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置、画像再生方法、画像再生プログラム、画像再生プログラムを記録した記録媒体および画像再生装置
US9554111B2 (en) * 2010-03-08 2017-01-24 Magisto Ltd. System and method for semi-automatic video editing
US8702516B2 (en) * 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
US20120148216A1 (en) * 2010-12-14 2012-06-14 Qualcomm Incorporated Self-editing video recording
US20130245966A1 (en) * 2011-02-17 2013-09-19 Nike, Inc. User experience
KR101810751B1 (ko) * 2011-02-17 2017-12-19 나이키 이노베이트 씨.브이. 물리적 활동 데이터와 영상 데이터간의 선택 및 상관
CN102221369B (zh) * 2011-04-29 2012-10-10 闫文闻 一种球类运动的动作识别方法、装置和动作辅助设备
JP5994306B2 (ja) * 2012-03-15 2016-09-21 ソニー株式会社 情報処理装置、情報処理システムおよびプログラム
CN103076884B (zh) * 2013-02-07 2015-03-25 泽普互动（天津）科技有限公司 用于动作识别的数据采集方法和装置以及动作识别系统
JP5867432B2 (ja) * 2013-03-22 2016-02-24 ソニー株式会社 情報処理装置、記録媒体および情報処理システム
US9792951B2 (en) * 2013-05-08 2017-10-17 Vieu Labs, Inc. Systems and methods for identifying potentially interesting events in extended recordings

Also Published As

Publication number Publication date
WO2016081778A1 (en) 2016-05-26
JP2018504802A (ja) 2018-02-15
CN107211109A (zh) 2017-09-26
CN107211109B (zh) 2018-10-26
EP3222039B1 (en) 2021-05-19
AU2015349817A1 (en) 2017-07-13
EP3222039A1 (en) 2017-09-27
CA3005716A1 (en) 2016-05-26
CA3005716C (en) 2023-02-28
EP3222039A4 (en) 2018-07-25
AU2015349817B2 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP6814196B2 (ja) 統合されたセンサおよびビデオモーション解析方法
JP6980525B2 (ja) ビデオおよびモーション事象統合システム
US9646209B2 (en) Sensor and media event detection and tagging system
CA3031040C (en) Multi-sensor event correlation system
US9418705B2 (en) Sensor and media event detection system
US9235765B2 (en) Video and motion event integration system
US9396385B2 (en) Integrated sensor and video motion analysis method
US9361522B2 (en) Motion event recognition and video synchronization system and method
US9401178B2 (en) Event analysis system
US9406336B2 (en) Multi-sensor event detection system
CA2917542C (en) Motion event recognition and video synchronization system and method
WO2017011818A1 (en) Sensor and media event detection and tagging system
WO2017011811A1 (en) Event analysis and tagging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200707

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200717

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200722

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200904

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200909

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210203

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20210910

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210922

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211020

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211117

R150 Certificate of patent or registration of utility model

Ref document number: 6980525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150