JP2023514471A - 動きベースのメディア作成 - Google Patents

Abstract

動きベースのメディア作成のためのシステムは、履物又は衣服の物品であって、履物又は衣服の物品の少なくとも一部の空間的運動をモニタし、モニタされた空間的運動を示すデータストリームを生成するように動作する少なくとも１つの加速度計又は慣性測定ユニットを有する、履物又は衣服の物品を含む。システムはさらに、履物又は衣服の物品とネットワーク接続された無線通信を行うプロセッサを含む。プロセッサは、履物又は衣服の物品からデータストリームを受信し、受信されたデータストリームから少なくとも１つの動きプリミティブを識別し、識別された少なくとも１つの動きプリミティブに応答して、オーディオサンプル又は視覚効果の再生をトリガするように構成される。

Description

関連出願の相互参照
本出願は、2019年11月22日に出願された米国仮特許出願第62/939,309号、及び2020年5月31日に出願された米国仮特許出願第63/032,689号からの優先権の利益を主張し、両出願の全体は参照によりその全体が援用される。

本開示は、履物又は衣服（apparel）の電子物品（electronic article）によって感知されるユーザのリアルタイムの動き（motion）をオーディオ及び／又はビジュアル作品（composition）に変換するためのシステムに関する。

音楽業界では、作曲者又はＤＪが電子トラックをレイヤー化して（layer）楽曲（musical composition）を作成することが一般的である。これらの楽曲を作る際に、アーティストはキーボード又は他の楽器デジタルインターフェース（ＭＩＤＩ）コントローラによってトリガされ得る個別のオーディオサンプルに頼ることがある。結果として得られる出力は、創造に表現力がある（creatively expressive）ことがあり、アレンジするために並外れたスキルを必要とすることがあるが、通常、パフォーマンス属性（performance attributes）を欠いている。

身体のパフォーマンス（physical performances）（例えば、ダンスパフォーマンス）を検討する場合、しばしば、アーティストは、楽曲と同調して反応する又はパフォーマンスすることがあるが、その動きは、典型的には、音楽に対する振り付けの反応（choreographed response）に過ぎない。

本開示は、概して、ユーザの動きをキャプチャし、感知された動きをクリエイティブ表現（creative expression）の形態に変換することができるシステムに関する。システムは、履物又は衣服の物品であって、履物又は衣服の物品の少なくとも一部の空間的な動き（spatial motion）をモニタし（monitor）、モニタされた空間的な動きを示すデータストリームを生成するように動作する少なくとも１つの加速度計又は慣性測定ユニットを有する、履物又は衣服の物品を含み得る。このシステムはさらに、履物又は衣服の物品とネットワークで無線通信している（in networked wireless communication with）プロセッサを含む。プロセッサは、履物又は衣服の物品からデータストリームを受信し；受信したデータストリームから少なくとも１つの動きプリミティブ（motion primitive）を識別し；識別された少なくとも１つの動きプリミティブに応答して、オーディオサンプル又は視覚効果の再生をトリガする；ように構成される。

動きベースのメディア作成（motion-based media creation）のためのシステムの一実施形態の概略図である。

履物の電子的な動き感知物品（motion-sensing article）の概略図である。

動きベースのメディア作成のシステムのための動作の方法の概略フロー図である。

動きベースのメディア作成のためのシステムの動作の概略的な機能ブロック図である。

複数のウェアラブルの概略図であり、各々は、共通のルールのセットによって感知された動きをオーディオ／ビジュアル出力に変換する。

ポッドにグループ化された複数のウェアラブルの概略図であり、各ポッドは、ポッド固有のルールのセットによって関連するウェアラブルの動きをオーディオ／ビジュアル出力に変換する。

複数のウェアラブルの概略図であり、各々は、別個のルールのセットによって感知された動きをオーディオ／ビジュアル出力に変換する。

本システムを用いて動きベースのチャレンジを実行するユーザの概略図である。

接続されたウェアラブルの感知された動きから生じる拡張現実視覚効果を表示するユーザデバイスの概略図である。

各参加者が位置ベースのオーディオ／ビジュアル出力への位置ベースのアクセスを備えたウェアラブルを有するフラッシュモブの概略図である。

履物の物品内に設けられた動き作動式（motion activated）光プロジェクタの概略的な部分断面側面図である。

複数の発光素子を備える履物の物品の概略斜視図である。

複数の発光素子を備える衣服の物品の概略背面図である。

履物の物品内に設けられた振動トランスデューサの概略的な部分断面図である。

複数のウェアラブルを充電するために使用される誘導充電器の概略側面図である。

パーティライトとして使用される図１５の誘導充電器の概略側面図である。

インタラクティブな小売キオスク（interactive retail kiosk）の概略斜視図である。

図１７のインタラクティブな小売キオスクなどを用いて物理的又は電子的オブジェクト又はコードを取得する方法の概略フロー図である。

ホストされた仮想世界内のパフォーマンスに影響を与えるために接続されたウェアラブルを使用する演技者のグループの概略図である。

ライブビデオ放送を補強するために使用されるウェアラブルの概略図である。

以下の説明及び添付の図は、１つ以上のオーディオサンプル又は視覚効果の再生をトリガするために、直接感知された身体の動きを使用するシステムを開示する。この技術は、ダンサーやアスリートの動きが電子マルチメディア体験の創造を推進することができる、新しい表現の形態を創造することを意図している。

オーディオ／ビジュアル（視覚）（Ａ／Ｖ）体験を作る（compose）ツールを単に提供することに加えて、本技術のいくつかの実施形態は、複数のユーザ間のソーシャルコラボレーション（social collaboration）を可能にし得る。例えば、いくつかの構成では、システムの複数のユーザは、ローカル又はネットワーク化された方法で協働して、ジョイント／コラボレーション（joint/collaborative）Ａ／Ｖ作品を作り得る。別の例では、複数のネットワーク化されたユーザが互いにモーションベースのチャレンジ（challenges）を出し（issue）得る及び／又は応答し得る。

共同作業のコンテキストでは、本技術のいくつかの実施形態は、ダンスグループ（dance troupe）又はソーシャルネットワークの複数のメンバーが、交響曲が演じるのとほぼ同じように、Ａ／Ｖ作品の作成において協力することを可能にし得る。特に、各ユーザ又は少数のユーザのグループは、それらの動きに関連する固有のサウンド又は視覚効果を有し得る。パフォーマンスの間、各メンバーの動きから生じる結合されたサウンド出力（combined sound output）は、パフォーマンスに基づくＡ／Ｖ作品を生成し、そこでは、種々のユーザの身体が「楽器（instruments）」になる。

ソーシャルメディアのコンテキストにおけるチャレンジについては、個人が様々なソーシャルメディアプラットフォームを介して互いにオンラインでチャレンジすることがますます人気が高まっている。これらのチャレンジは、しばしば、ユーザが特定のオーディオクリップに対して１つ以上のアクションを実行する又はダンスすることを含む。このようなチャレンジの一例は、ユーザが氷水を自分の頭にかけ、その後別のユーザに同じチャレンジを出すことをビデオ撮影することを含んでいた。他のチャレンジは、歌の一部に対して特定の又は即興のダンスシーケンスを実行することを含む。各例では、ユーザは、ダンス／アクションを実行することをビデオ撮影し、その結果得られたビデオクリップをオンラインビデオホスティングサービスに投稿し得る。そのようなホスティングサービスの例は、いずれもBeijing ByteDance Technology Co Ltd.が運営するTIKTOK及びDOUYIN、又はGoogle, LLCの子会社である、Youtube, LLCが運営するYOUTUBEを含む。以下に説明するように、本技術は、同様の「チャレンジ」に適している可能性がある。

いくつかの実施形態では、ユーザの表現の出力は、別個の媒体内にのみ、及び／又は、ユーザから離れた他の者（すなわち、「視聴者」）による消費のためにのみ存在し得る。例えば、ユーザの動きは、ビデオゲーム内に存在し得るような、仮想環境内の１つ以上のオーディオ及び／又は視覚効果をトリガするために使用され得る。代替的には、これらの効果は、現実世界の自然な知覚に重ね合わされ得る、拡張現実（ＡＲ）環境で提示され得る。このようなＡＲのコンテキストでは、効果は、ＡＲディスプレイグラス（AR display glasses）の場合と同様に、ユーザの実世界のビューに重ね合わされ得るように、イベントに参加している人のユーザデバイスに配信され得る。代替的には、効果は、携帯電話又はテレビなどのユーザデバイスによって視聴され得る、キャプチャされたビデオフィード、例えば、ストリーミングされたビデオ（インターネット又はテレビ）放送に重ね合わされ得る。

図１に概略的に示すように、動きベースのメディア作成システム１０は、概して、ユーザコンソール３０とネットワーク接続された履物又は衣服の電子的な動き感知物品２０を含み得る。本開示の目的のために、「履物又は衣服の電子的な動き感知物品２０」は、概して、「ウェアラブル２０」と称され得る。各ウェアラブル２０は、従来の履物又は衣服の物品と同様のスタイルに形作られ得るが、動きデータの検出及び外部への伝送を可能にする追加の電子的機能を有し得る。履物の適当な物品の例は、シューズ、ブーツ、サンダル、クリート履物（cleated footwear）等を含み得る。同様に、アパレルの適切な物品の例は、シャツ、ジャケット、パンツ、ショーツ、靴下、圧縮スリーブ、手袋、帽子、アームバンド／ブレスレットなどを含み得る。

図２に示すような本技術では、ウェアラブル２０は、動き感知回路２２と通信回路２４の両方を含み得る。動き感知回路２２は、ウェアラブル２０の少なくとも一部の空間的な動きを感知し、感知された動きを表すデータ出力ストリームを生成するように動作する少なくとも１つの加速度計又は慣性測定ユニット（ＩＭＵ）２６を含み得る。いくつかの実施形態では、動き感知回路２２は、送信のためにデータ出力ストリームを準備するため及び／又は認識された動きプリミティブ（以下により詳細に述べる）のストリーミングシーケンスに生データ出力を変換するために必要とされ得るプロセッサ２８、メモリ、及び／又は任意のバッファリング又はフィルタリング回路をさらに含み得る。

動き感知回路２２に結合された通信回路２４は、データストリームをユーザコンソール３０に外部に送信するように構成される。通信回路２４は、リアルタイム又はほぼリアルタイムでのデータ伝送を容易にするために必要とされる１つ以上のトランシーバ、アンテナ、及び／又はメモリを含み得る。このデータ伝送は、任意の適切な無線標準に従って行うことができるが、特に適切な通信プロトコルは、IEEE 802.11、802.15、1914.1、1914.3；BLUETOOTH（登録商標）又はBLUETOOTH LOW ENERGY（登録商標）（又はBluetooth SIGによって設定された他の類似のプロトコル/標準）；4G LTEセルラ、5G、5G NR;又は類似の無線データ通信プロトコルのいずれかによるものを含む。

再び図１を参照すると、ウェアラブル２０と通信するユーザコンソール３０は、コンピューティングデバイスを以下に説明するように実行させるように特別に設計されたコンピューティングデバイスオペレーティングソフトウェア又はファームウェアを含み得る。ユーザコンソールは、プロセッサ３２、メモリ３４、及びユーザインターフェース３６を含み得る。概して、本システム１０で使用されるプロセッサ３２は、１つ又は複数のデジタルコンピュータ、データ処理装置、及び／又はデジタル信号プロセッサ（ＤＳＰ）として具体化することができ、これらは、１つ又は複数のマイクロコントローラ又は中央処理装置（ＣＰＵ）、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的に消去可能なプログラマブル読出し専用メモリＥＥＰＲＯＭ）、高速クロック、アナログ－デジタル（Ａ／Ｄ）回路、デジタル－アナログ（Ｄ／Ａ）回路、入力／出力（Ｉ／Ｏ）回路、及び／又は信号調整及びバッファリング電子回路を有し得る。適切なユーザコンソールの例は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含む。

ユーザインターフェース３６は、ユーザが対応表を構築することを可能にしながら、利用可能なＡ／Ｖ効果（A/V effects）を見る及び／又は聞く能力をユーザに提供するように構成され得る。いくつかの実施形態では、ユーザインターフェース３６は、ユーザに視覚情報を出力するように動作する１つ又は複数のディスプレイ３８及び／又はユーザからの入力を受信するように動作する１つ又は複数のユーザ入力デバイス４０を含み得る。ユーザ入力デバイス４０の例は、タッチスクリーン／デジタイザ、マウス、キーボード、及び／又は複数の回転ノブ及び／又はボタンを有する制御パネル、カメラ、ジェスチャベースの入力デバイス、ＡＲ／ＶＲ仮想選択などを含む。

引き続き図１を参照すると、ウェアラブル２０と通信することに加えて、一部の実施形態では、ユーザコンソール３０は、また、１つ以上のビデオソース４２、１つ以上のオーディオソース４４、１つ以上のオーディオ出力デバイス４６、１つ以上の視覚効果コントローラ４８、及び／又は分散コンピューティングネットワーク５０（例えば、インターネット）と通信し得る。ビデオソース４２は、ライブビデオストリーム（例えば、デジタルカメラからの）、先に記録されたビデオストリーム、１つ以上の先に記録されたビデオを記憶するデジタルメモリなどを含み得る。オーディオソース４４は、一つ以上の楽器、キーボード、シンセサイザ、データファイル、オーディオサンプルのコレクション等を含み得る。いくつかの実施形態では、ビデオソース４２及び／又はオーディオソース４４は、ユーザコンソール３０に対してローカルであり得る、又は共通のローカルエリアネットワーク上に提供され得る。しかし、他の実施形態では、これらのソース４２、４４の一方又は両方は、ユーザコンソール３０からリモートであり得る、及び／又はコンソールのネットワーク接続を通じてのみアクセス可能なコンピュータによってホストされ得る。

１つ以上のオーディオ出力デバイス４６は、受信したデジタル又はアナログオーディオ信号に応答して可調音（audible sound）を放送するように動作可能な１つ以上のスピーカ、アンプ、ヘッドフォン、又は他の装置を含み得る。これらのオーディオ出力デバイス４６を介して、ユーザコンソール３０は、感知された動きに応答して１つ以上のオーディオサンプルを出力する。視覚効果コントローラ４８は、１つ又は複数の光を照明し、１つ又は複数の照明シーケンスを開始し、１つ又は複数の花火効果を開始するなどのように動作可能な１つ又は複数の装置を含み得る。いくつかの実施形態では、視覚効果コントローラ４８は、ＬＥＤ又は光ファイバの視覚照明を駆動するように、ウェアラブル２０上に存在し得る。そのような実装の例は、以下でさらに詳細に説明される。

動作において、ユーザコンソール３０は、１つ又は複数の感知された動き（すなわち、ウェアラブル２０の）を１つ又は複数のオーディオ又は視覚効果に変換するように機能し得る。種々の動きを一緒に連鎖させることによって、ユーザは、オーディオ又は視覚効果のシーケンスを「再生」することができる。図３は、ユーザコンソール３０から見た本システム１０の動作の方法を概略的に示している。示されているように、本方法は、感知された動きを所望のオーディオ／ビジュアル応答と相関させる動き対応表（motion correspondence table）を確立する（６２において）ことによって開始される。このステップは、主として初期化ステップであり、いくつかの実施形態では、予め確立された動き対応表をメモリにロードすることによってのみ実行され得る。

動き対応表が確立されると、コンソール３０は、ウェアラブルの動作を示す履物又は衣服の物品からのデータストリームを受信し得る（６４において）。ユーザコンソール３０は、少なくとも１つの動きプリミティブを識別するために（６６において）このデータストリームを連続的に分析し得る。本明細書で使用されるとき、「動きプリミティブ」は、個別のユーザ動作（discrete user action）を表す動きの定義された「ブロック」である。可能な動きプリミティブの例は、感知された直線移動、弓形移動、正弦／周期移動（sinusoidal/periodic translation）、回転、加速、ジャーク、及び／又は衝撃を含み得る。一般的な意味では、動きプリミティブは、あらかじめプログラムされた動き、ユーザ定義の動き、及び／又は自動検出された動きの任意の組み合わせを含み得る。

１つ以上の動きプリミティブがデータストリームから認識される場合（６６において）、コンソール３０は、その動きプリミティブと以前に関連付けられていたオーディオサンプル又は視覚効果の再生をトリガし得る（６８において）。いくつかの実施形態では、その動きプリミティブに以前から関連付けられているオーディオサンプル又は視覚効果は、オーディオサンプル又は視覚効果のシーケンス、又はオーディオサンプル又はビデオ効果の反復シーケンスであり得る。例えば、ユーザが足を踏み鳴らしている（stomping their foot）ことを検出すると（例えば、下向きの速度とそれに続く急激な減速を特徴とする動きプリミティブ）、ユーザコンソール３０は、単一のバスビート（bass beats）の再生をトリガし得る。代替的には、複数のバスビートの再生をトリガし得る、及び／又はバスビートのループしたシーケンスの再生をトリガし得る。このようにして、システムは、各動き（又は動きのシーケンス）が引き起こし得る／開始し得るオーディオ又はビデオ効果をユーザが定義するための非常に高い柔軟性を提供する。

図４は、本システムの動作の機能ブロック図を概略的に示す。記載されたモジュール又はブロックの各々は、実行されたときにプロセッサ３２が指定された機能を実行するように、ソフトウェア又はファームウェアとしてメモリに記憶されたコンピュータ実行可能コードを含み得る。いくつかの実施形態では、各ブロックは、さらに、指定された機能を実行するために必要とされ得る又は有利に使用され得る、任意の又はすべての必要なハードウェアを含み得る。このようなハードウェアの例は、ビデオ又はオーディオエンコーダ／デコーダ、デジタル信号プロセッサ（ＤＳＰ）などを含むことができる。

図４を参照すると、システム動作は、概して、初期化１００、及びメディア生成１０２の２つの異なるモードを含み得る。初期化１００の間、プロセッサ３２は、感知された動きを所望のオーディオ／ビデオ応答と相関させる動き対応表１１０を確立することを課され（tasked）得る。この目的のために、プロセッサ３２は、既存の動作データベース（movement database）１１２、ビデオソース４２、又は動きトラッキングウェアラブル２０のうちの少なくとも１つと通信し得る。動き対応表１１０を構築する前に、プロセッサ３２は、後の認識及び再生のために利用可能であり得る、利用可能な又は予想される動きの動きカタログ１１４をまずコンパイルし得る。

最も単純な実施形態では、動きカタログ１１４は、ダンスシーケンス、スポーツ、アクティビティなどの中の典型的な又は共通の動きを識別し得る既存の動作データベース１１２から単にインポートされ得る。一般的な動作データベースが、あまりにも扱いにくい（すなわち、あまりにも多くの適用できない動きオプション）、又は所望の動作又はダンスに十分に特異的でないことが判明する場合、いくつかの実施形態では、プロセッサ３２は、接続されたウェアラブル２０の動きを解析することによって、又は提供されたビデオソース４２から動き情報を抽出することによって、動きカタログを構築することができる。

動き情報がビデオから抽出される実施形態では、ビデオソース４２は、例えば、ライブ及びローカルにキャプチャされたビデオ、予め記録されたビデオ、及び／又はネットワーク化又はインターネットビデオフィード／ストリームを含み得る。ビデオソース４２は、物体認識及び追跡モジュール１１６を通過して、描かれたウェアラブル（又は個人の身体の一部）の三次元の動きを認識及び推定し得る。一実施形態では、物体認識及び追跡モジュール１１６は、境界／エッジ検出、パターン認識、及び／又は機械学習技術のような画像処理技術を利用して、ウェアラブル２０を認識し、その環境に対する又はよりオブジェクト中心の座標系におけるその動きを測定し得る。

プロセッサ３２は、ウェアラブル２０から生のデータストリームを受信した又はビデオストリームから描かれたウェアラブルの動きを認識した後、プリミティブ検出モジュール１１８を通って生の動きを通過させ得る。このモジュールでは、プロセッサ３２は、１つ以上の動きプリミティブ又はプリミティブのシーケンスについて生の動きを検査し得る。検出された各々の新しいプリミティブ又はシーケンスについて、プロセッサ３２は、新しい一般的な動き若しくは動きのタイプ、新しい特定の動き、又は動きカタログ１１４内の新しい動きのシーケンスをカタログ化し得る。一般的な動き又は動きのタイプは、例えば、移動（例えば、任意の並進）又は衝撃（impact）であり得る。特定の動きは、例えば、特定の方向におけるウェアラブル２０の特定の並進（translation）（例えば、履物の物品の内側（medial）方向への並進又は左足の衝撃）であり得る。最後に、動きのシーケンスは、例えば、一緒にシーケンスされる複数のプリミティブ（例えば、外側（lateral）方向の並進、続いて内側方向の並進）であり得る。

動きカタログ１１４が、直接インポート、アクティブモーションセンシング、又はビデオ分析及び分解（deconstruction）のいずれかによって確立されると、それは、インタラクティブユーザインターフェース３６を介して、利用可能なオーディオサンプル及び／又は視覚効果のコレクション１２０とともに、ユーザに提供され得る。ユーザインターフェース３６は、１つ以上のカタログ化された動き（すなわち、動きカタログ１１４からの動きのタイプ、特定の動き、又は動きのシーケンス）を利用可能なオーディオサンプル及び／又は視覚効果のコレクション１２０からの１つ以上のオーディオサンプル及び／又は視覚効果とリンクするように動作するユーザ入力１２４を受信し得る。次に、動きとオーディオサンプル及び／又は視覚効果との間に確立されたこれらの関係は、対応表１１０に記憶され得る。事実上、対応表１１０は、将来の動きをサウンド効果又は光効果に変換するトランスレータであり得る。動きとサウンド／光との間に対応を作ることに加えて、対応表１１０は、さらに、１つ以上の動きプリミティブを触覚応答とリンクさせて、観客が、その身体と機械的に通信する適切なハードウェアを備えている場合、特定の動きプリミティブの後に所定の応答を感じるようにし得る。

いくつかの実施形態では、対応表１１０は、動きカタログ１１４から完全に分離したデータ構成（data construct）である必要はなく、代わりに、複数のポインタを単に含むことができ、各ポインタは、動きカタログ１１４内の異なる各モーションエントリに付加され、異なる効果を参照する。加えて、いくつかの実施形態では、対応表は、例えば、動きのリズム、テンポ、又はフロー（flow）などのタイミングの考慮に従って規定された（prescribed）出力を修正するルールのセットをさらに含み得る。この例では、タイミングパラメータが、所定の出力のピッチ、トーン、テンポ、又は速度（又は視覚出力の色、明るさ、持続性又はタイミング）を変更するために用いられ得る。

一旦、対応表１１０が作成され、初期化１００が完了すると、システム１０は、次いで、メディア生成モード１０２に設定され得る。メディア生成モード１０２では、プロセッサ３２は、ウェアラブル２０の少なくとも一部のリアルタイムの感知された動きを示すウェアラブル２０からのデータストリーム１３０を受信するように動作し得る。データストリーム１３０は、プロセッサ３２に関連付けられた通信回路を介して受信され得、リアルタイム又はほぼリアルタイムでプロセッサに利用可能にされ得る。この受信されたデータストリーム１３０から、プロセッサ３２は、プリミティブ検出器１３２（初期化１００の間に使用されるプリミティブ検出モジュール１１８と類似又は同一であり得る）を用いて動きを分析し得る。上述の場合と同様に、プリミティブ検出器１３２は、データストリーム１３０によって表される生の動きを検査し、１つ以上の動きプリミティブ又はプリミティブのシーケンスを検出し得る。

処理時間を最小化し、従ってシステム１０の応答性を改善するために、プリミティブ検出器１３２は、動きカタログ１１４において以前に定義されている、及び／又は、対応表１１０において関連するオーディオサンプル及び／又は視覚効果と共に割り当てられているデータストリーム１３０内の動きプリミティブのみを探すように構成され得る。プリミティブを検出すると、プロセッサ３２は、対応表１１０を調べ（consult）、次に、識別された少なくとも１つの動きプリミティブに応答して、オーディオサンプル又は視覚効果の再生１３４をトリガ又は開始し得る。

いくつかの実施形態では、利用可能なオーディオサンプル及び／又は視覚効果のコレクション１２０は、ソフトウェアと共に提供され得る、又は接続された分散コンピューティングネットワーク（例えば、インターネット）からダウンロードされ得る既存のライブラリから入力され（populated）得る。しかし、一実施形態では、ユーザは、接続されたオーディオソース４４（例えば、パーソナルコンピュータ、デジタルミュージックプレーヤ、シンセサイザ、キーボードなど）から１つ以上のオーディオサンプルを直接アップロードすることによって、又はユーザの動きの結果としてシステム１０によって生成される１つ以上のサウンド又はサウンドシーケンスを記録することによって、コレクションに入力又は追加することができる。より具体的には、ユーザが動きによって特定のビート／リズム／作品を生成する場合、ユーザは、生成された作品を、単一の個別の動きによる将来の再生／トリガのために、コレクション１２０に保存することができる。このようにして、効果を増大させるために異なるサウンド／作品をレイヤー化することが可能であり得る。

一構成では、ユーザは、種々のオーディオ／ビデオ効果間での平滑化又はオートチューニング（auto-tuning）の程度を変更することができる。このようにして、初心者ユーザは、たとえその動きが１００％完全でない又は正しいテンポでなくても、うまく作られたように聞こえる又は見える作品を作ることができる。同様に、ウェアラブル２０は、ユーザが、タイミングが遅れている場合に、以前の動き又は先行する動きに基づいて動きプリミティブを予測するように構成され得る。逆に、より上級のユーザは、出力をより直接的に制御するために、平滑化／オートチューニングを減らし得る。いくつかの実施形態では、平滑化／オートチューニングは、機械学習及び人工知能技術を使用して、オーディオ／ビデオ要素を一緒にブレンドすることができ、これは、追加のビートの散在、音を引き伸ばす（drawing out notes）、初期の動き指示に基づいた後続の動きの予測などに依存し得る。

一構成では、ユーザコンソール３０は、以前に記録／生成されたオーディオトラック／ソングをとり、それを複数の個別セグメントに分割する（自動セグメント化）ように構成され得る。種々のセグメントの性質、継続時間、及び／又はセグメント化は、ユーザによってカスタマイズされ得る又は別個に作成され得る（手動セグメント化／セグメント変更）。ユーザコンソール３０は、次に、各セグメントに自動的に動きプリミティブを割り当て得る、又は各セグメントにそれら自身の動きプリミティブを割り当てるようにユーザに促し得る。これは、ダンスルーチンを選択した曲に合わせて振り付けることになり得る。次に、スクリプト化された動きを正しいテンポで実行することによって、ユーザ（又はユーザのグループ）は、（セグメント毎に）それらの動きのみを介して曲の再生を開始し得る。一実施形態では、絶対的な対応表を有する代わりに、対応表１１０は、他の要因を条件とし得る。例えば、与えられた動きプリミティブは、時間00:00:00:00から00:00:10の間に実行された場合、又は最初の動き（initial move）として実行された場合、（曲の）第１のオーディオセグメントの再生を開始し得るが、時間00:01:40から00:02:00の間に実行された場合、又はそれが１０番目と２０番目の認識されたプリミティブの間にある場合、又はそれが別のプリミティブの認識若しくは規定のオーディオセグメントの再生に続く場合、同じ動きプリミティブが２番目のオーディオセグメントの再生を開始し得る。さらなる実施形態では、様々な量の平滑化／オートチューニングはまた、音楽セグメントのこの順次再生に適用され得、一方、セグメントは、ブレンドされ得る、又は最後の音が、途切れることなく、あるセグメントから次へと流れる出力を生成するように拡張され得る。

既存の曲を振り付ける場合、ユーザコンソール３０は、その上に曲を格納したローカルメモリを含み得る、又は、コンソールは、例えば、ユーザが別々にサブスクライブし得るインターネットベースのストリーミングオーディオソースと通信し得る。

基本サウンド若しくはビートを出力すること、又は予め記録されたトラック/ソングのセグメントを出力することに加えて、いくつかの実施形態では、対応表は、オーディオアクション／制御コマンドにリンクされた１つ以上の動きプリミティブを含み得る。例えば、プリミティブを使用して、フルソングの再生を開始する、リスト内の次の曲の再生を開始する、曲を一時停止する、曲を巻き戻す、曲のビートを変更する、曲のトーンを変更する、再生の音量を変更する、フェードイン／アウトしたりする等を行い得る。このようにして、ユーザは、自身の動きを通じて、ローカル又はネットワーク化されたソースから事前に記録されたオーディオを再生するＤＪ又はプロデューサとしてふるまい（act）得る。さらに、オーディオアクション／制御コマンドは、ユーザコンソールのディスプレイと関連して動作し得る。例えば、プリミティブは、リストをスクロールするために（例えば、ある曲／トラックを見つけるために）使用され得る。

本明細書に記載される任意の用途例の目的で、任意のオーディオ再生は、個別のサウンド（discrete sounds）、サウンドのコレクション、予め記録されたサウンド、ローカルメモリに記憶されたオーディオトラック／曲のセグメント、ローカルメモリに記憶されたフルオーディオトラック／曲、インターネットベースのソースから引き出されたオーディオトラック／曲のセグメント（すなわち、サブスクリプションベースのログインを介してアクセスされ得る曲を含む）、又はインターネットベースのソースから引き出されたフルトラック／曲などを含み得ることが理解されるべきである。

上述したように、概して図１に示すように、いくつかの実施形態では、システム１０は、複数のユーザ／ウェアラブル２０に適応し（accommodate）得る。このような構成では、各ウェアラブル２０は、そのデバイスのモニタされた空間的な動きを示すそれぞれのデータストリーム１３０を生成し、ユーザコンソール３０に無線送信するように構成される。

図５～７に概略的に示すように、システム１０は、対応表１１０が全てのデバイスに対してグローバルに設定される（図５）、デバイスのグループに対して設定される（図６）、又はデバイス毎ベースで設定される（図７）ように構成され得る。図５に示すように、グローバルに設定する場合、コンソール３０は、接続されたウェアラブル（すなわち、ウェアラブル２０ａ、２０ｂ、２０ｃ）毎に同じルール／基準のセットを適用し得る。より具体的には、各ウェアラブル２０ａ、２０ｂ、２０ｃからのデータストリームは、それぞれのプリミティブ検出器１３２ａ、１３２ｂ、１３２ｃを通過し得、１３４で再生する前に共通の対応表１１０を参照し得る。単一のテーブルしかないにもかかわらず、異なるタイプのウェアラブルは、それらの異なる意図された用途のために異なるサウンドを発生し得る。例えば、時計がバスケットボールシューズと同じような衝撃力を受ける可能性は低い。

図６は、プロセッサ３２がウェアラブル（すなわち、ウェアラブル２０ａ、２０ｂ、ウェアラブル２０ｃ、２０ｄ）の異なる「ポッド（pods）」を維持し（maintains）、各ポッドはそれ自身の対応表１１０ａ、１１０ｂ（それぞれのプリミティブ検出器１３２ａ、１３２ｂ、１３２ｃ、１３２ｄによって供給される）を有する実施形態を示す。この実施形態では、ウェアラブルのグループは、それらの目的に特化され得る。例えば、ウェアラブルの第１のグループ（grouping）は、主にベーストーンを出力させ得、ウェアラブルの第２のグループは、主にピアノのようなトーン又は視覚効果を出力させ得る。初期化の間、異なるウェアラブル２０は、特定のポッドに「サブスクライブし（subscribe）」得、従って、それぞれのポッドにリンクされたＡ／Ｖの入力として機能する。

最後に、図７は、各ウェアラブル２０ａ、２０ｂ、２０ｃがそれぞれ、自身の対応表１１０ａ、１１０ｂ、１１０ｃを個別に供給される（provisioned）マルチウェアラブル使用を概略的に示している。このマルチウェアラブル環境では、各ウェアラブルに対する動きプリミティブは、他のウェアラブルの動きプリミティブとは別に割り当てることができ、その結果、同様のウェアラブル特有の動きが、各々異なる出力を生じ得る。例えば、接続された時計の横方向の並進は、第１のサウンド（例えば、クラッシュシンバルの効果（impact））の再生を生じさせ得、一方、接続された履物の物品の同様の並進は、第２のサウンド（例えば、バスドラムの効果）の再生を生じさせ得る。

図５～７に示す実施形態の各々は、複数のユーザが共通の作品を作成する際に協働することができるシステムを提供する。図５に示す実施形態では、各ウェアラブルは、共通システムへの別個の入力である。これらのデバイスは、それらの異なる性質及び用途（use）のために、異なる動きプリミティブを生成することができる（例えば、履物の物品は、時計とは異なる動きをすることができる）が、最終的には、全ての動きプリミティブは、出力のために、同じデータベースに供給される。ダンスグループは、彼らがどのように同期して動くか（すなわち、ステップからずれた動きは、ステップからずれた動きと同様の結果をもたらす可能性がある）を示すために、そのような機能に興味を持ち得る。図７では、異なる楽器から構成される小さなバンドのように、各ウェアラブルは、別々の一式の（suite of）サウンド／視覚効果を作り出すことができる。このようにして、複数のユーザが一緒になって、それぞれが独自のトーン及びテノールを備えた作品でコラボレーションし得る。最後に、図６に示す実施形態は、類似の楽器のグループが存在するシンフォニーオーケストラに類似し得るが、各グループは、独特のトーン及びテノールを有していてもよい。最終的に、本技術は、動き対する新しい芸術的表現を作り出すために使用され得、個人及び共同作業の両方に対応するのに十分に柔軟であり得る。

再び図１を参照すると、他の分散マルチユーザシナリオでは、ユーザのローカルユーザコンソール３０は、共同のオーディオ／ビジュアル体験を共同でインタラクト又は生成する目的で、分散コンピューティングネットワーク５０を介して、１つ以上のリモートユーザコンソール２３０と通信し得る。従って、デバイスの物理的な近接性は、ユーザの創造性の限界を制限することはない。

加えて、本明細書に記載される各実施形態では、ユーザコンソールの一部又は全部が、ウェアラブル２０と物理的に一体化されてもよいことにも留意されたい。例えば、ある構成では、リモートユーザコンソール２３０は、別個のコンピューティングデバイスではなく、代わりに、スマートウォッチのようなスマート／接続されたウェアラブル２２０であってもよい。この実施形態では、スマート／接続されたウェアラブル２２０は、動きデータを分散ネットワークに送信するのに十分な処理機能及び通信機能を含み得、BLUETOOTH（登録商標）のような通信プロトコルを介して、１つ以上のオーディオ出力デバイス４６又は視覚効果コントローラ４８と通信することさえできる。同様に、スマート／接続されたウェアラブル２２０は、また、追加の処理能力を欠く１つ以上の他のウェアラブル２０のためのユーザコンソール３０として機能し得る。

分散ネットワーク上でコラボレーションするリモートユーザのこの概念を基に、いくつかの実施形態では、本システムは、ユーザが所定の芸術作品を実演及び／又は作るために、又は特定のダンスシーケンスを再現するために、互いにチャレンジし合うゲームのようなコンテキストで利用され得る。例えば、あるコンテキストでは、ユーザは、ディスプレイ上の動きのシーケンス（例えば、順序付けられた動きプリミティブのシーケンス（ordered sequence of motion primitives））を提示され得る。次に、ユーザは、これらの動きを正しいテンポで（in time）時間内に複製しようと試みることができ、これは、正確に実行された場合、事前に作成されたオーディオ又はビジュアル出力を生成し得る。ユーザの動きのタイミング又は完全性の意図／表示されたものからの逸脱は、可聴出力又は視覚出力を変化させる可能性がある。さらに、いくつかの実施形態では、プロセッサ３２は、受信されたデータストリームから、ウェアラブル２０のモニタされた空間的な動きと、順序付けられた動きプリミティブのシーケンスとの間の対応を表す精度メトリック（accuracy metric）を決定するように構成され得る。精度メトリックは、例えば、提示されたシーケンスに対するユーザの動きのタイミング、大きさ、及び／又は完全性における逸脱を反映し得る。いくつかの実施形態では、提示されたシーケンスは、ユーザの経験に基づいて難易度又は複雑さが変化し得る。

図８は、このような分散されたチャレンジベースの使用の一例を概略的に示す。図示のように、各ウェアラブル２０は、インターネットのような分散コンピューティングネットワーク５０と直接的又は間接的に通信し得る。分散ネットワーク５０は、ネットワークの相互接続性、データ集約、及び／又はリモートアプリケーションホスティングを容易にし得る１つ以上のサーバ、コンピュータ、ルータ、スイッチなどを含み得る。ユーザチャレンジの一実施形態では、第１のユーザ１４０（又はユーザのグループ）は、ユーザコンソール３０を介して、リモートコンピューティングデバイス１４４（分散コンピューティングネットワーク５０の一部であり得る）から実行することになる動き／アクションのシーケンス化されたチャレンジ１４２を受信し得る。チャレンジ１４２の受信に続いて、第１のユーザ（複数可）１４０は、順序付けられた動きのシーケンス、又はその変形を再現しようと試み得る。上述の実施形態と同様に、各ウェアラブル２０は、そのデバイスのモニタされた空間的な動きを示すそれぞれのデータストリーム１３０を生成し、ユーザコンソール３０に無線送信するように構成される。このデータストリーム１３０から、ユーザコンソール３０は、関連するオーディオ／ビジュアル出力を生成し得、ユーザに、自身のパフォーマンスの定性的及び／又は定量的スコアリング１４６（すなわち、精度メトリック１４６）を提示し得る。スコアリング１４６は、ユーザコンソール３０又はリモートコンピューティングデバイス１４４のいずれかによって計算され得、所定のビートからのタイミングのずれ、所定の大きさからの動きの完全性、及び／又は元のシーケンスを装飾する手段としてベースシーケンスと組み合わされる追加の動きなどの要因を考慮し得る。

作品又はチャレンジの完了に続いて、ユーザコンソール３０は、作品のオーディオ若しくはビデオキャプチャ１４８及び／又はチャレンジからの精度メトリック／スコアリング１４６をリモートコンピューティングデバイス１４４に送信し得、それは、分散ネットワーク５０を越えて１人以上のビューア（viewers）１５０によって見られるようにホストされ得る。加えて、第１のユーザ１４０は、次のチャレンジ１５２を第２のユーザ１５４に直接又はリモートコンピューティングデバイス１４４及び／又は分散ネットワーク５０を介して出し得る。

別の協調的／競争的な例では、他のユーザに直接チャレンジを出す代わりに、本技術を使用して、物理的に分離されたユーザを一緒にする、及び／又はインターネット上でストリームされたビデオベースのワークアウトをゲーム化し（gamify）得る。例えば、オンライン／ストリーミングされたキックボクシングクラスの間、仮想クラスを見る又は聞いている各ユーザは、一連の動き又は動作を繰り返すように指示され得る。ユーザのウェアラブル２０（又は接続されたユーザコンソール３０）は、ユーザのそれぞれの動きに関連する動きプリミティブを感知し得、１つ以上の視覚効果を、教育ビデオと併せて、ユーザのディスプレイ３８上に重ね合わせ得る又はユーザのディスプレイ３８上に表示させ得る。一実施形態では、ディスプレイ３８上に表示される視覚効果の色又は性質は、予想されるもの又は指示されるものと比較したときの感知されたプリミティブの類似性、完全性、又はタイミングに従って変更され得る。例えば、ユーザが新しい個人的なベストを達成している場合又は所定の精度閾値を超えている場合、ユーザは、ディスプレイの頂部から緑色の星を表示させ得る又は紙吹雪を降らせ得る。逆に、ディスプレイは、著しい逸脱が認識された場合、ユーザに１つ以上の視覚的動機づけ要因（visual motivators）を提供し得る。一実施形態では、ユーザの動きは、インストラクタのもの又は理想化された基準と比較した場合に、それらの動きの正確性又は完全性に従ってスコア付けされ得る。この精度スコア（accuracy score）は、所定の期間にわたる精度の移動平均であり得、個人参照／目標設定のためにユーザのディスプレイ３８に表示され得る。複数のユーザがネットワーク上に分布し、各ユーザがビデオを視聴する状況では、各ユーザの精度スコアは、各ユーザが自分のランクを知ることができるように、集合グループに（おそらくは匿名で）ブロードキャストされることができる。同様に、ユーザの精度スコアは、既知のインフルエンサー、プロのアスリート、又はソーシャルネットワーク上の友人のスコアと共に、ディスプレイ３８上に表示され得る。

図９を参照すると、いくつかの実施形態では、１つ以上のウェアラブル２０の空間的な動きが記録され、１つ以上のユーザコンソール３０、２３０によってクラウドベースの分散コンピューティングネットワーク５０又はリモートコンピューティングデバイス１４４にアップロードされ得る。いくつかの実施形態では、視覚効果コントローラ４８は、動きが拡張現実感対応デバイス２００を通して再生又は見られ得るように１つ以上の視覚パラメータを記録された空間的な動きに関連付け得る。このような例では、オーバーレイされたＡＲ効果の性質（色、トレースの知覚、視覚効果のシーケンス）は、空間的な動きが行われている間に生じた動きプリミティブのタイプの結果（product）であり得る。拡張現実感対応デバイス２００は、画像が特定の実世界位置に存在することがユーザによって知覚されるように、（すなわち、デバイスを通じて知覚されるように）ユーザの実世界のビュー上にグラフィカル画像を重ね合わせるように動作するスマートフォン又はＡＲグラスであり得る。

図９に示すように、一実施形態では、１つ以上のウェアラブルの空間的な動きは、表示された実世界画像上に重ね合わされた１つ以上の持続性（persistent）又は時間減衰性（time-decaying）の視覚トレース２０２によって表され得る。視覚トレース２０２は、例えば、バスケットボールコートの半分、ゲーム、又は1日の動きの全部又は一部を表し得る。いくつかの実施形態では、異なる動きプリミティブの発生は、視覚トレース２０２の視覚効果、色、輝度、又は持続性を変化させ得る。例えば、コートを高速で疾走することは細長い薄い視覚として視覚化され得るが、鋭いラテラルカット（lateral cut）は、より厚く、より明るく、又はより顕著な視覚的外観を有し得る。図９は、単に視覚トレース２０２を示しているが、いくつかの実施形態では、対応するウェアラブル－トリガオーディオ効果があり得、これは、ビデオで記録され、再生され得る。このように、バスケットボールのダンクする又は鋭いカットをすることによって生じ得るような目立つトレースをもたらす動きプリミティブもまた、それに関連するオーディオ効果を有し得る。

さらに別の実施形態では、視覚トレースは、ユーザのデバイス２００に関連付けられたメモリに記憶されるか、又はストリーミングメディアサービス／サブスクリプションを介してユーザのデバイス２００にアクセス可能な音楽とともにスコア付けされ得る。この実施形態では、ユーザのデバイスは、動きのタイミング及びテンポ並びに生成された視覚出力を理解し得、類似のビート又はリズムを有するオーディオ／音楽トラックを選択し得る。利用可能なオーディオがビート又は動きのタイミングとわずかにミスマッチする場合、ユーザのデバイスは、最も近い可能なオーディオを選択し、次いで、マッチするようにビート又はテンポを修正するように動作し得る。

本方法における、電子的な、動きを感知する衣服又は履物の使用は、他の、より伝統的な電子入力では不可能な、新しい形の表現及び創造性を可能にする。スポーツイベント内の各スポーツ及び各アスリートは、そのアスリートのスタイル及びパフォーマンスに固有の独自の聴覚的又は視覚的体験を創出し得る。この体験は、直接（例えば、施設内のスピーカ又はライトを介して）、又はアスリートのウェアラブルとペアにされた（paired）ユーザコンソールと通信している１つ又は複数のハンドヘルドデバイスを介してユーザにブロードキャストされ得る。非スポーツ的な意味では、本技術は、パフォーマー（プロと家庭のインターネット上でストリーミングする者の両方）がデジタル的に拡張された表現の新しい手段を使用することを可能にし、彼ら自身の動きはＡ／Ｖ体験の直接的なトリガである。

あらかじめ設定されたテーマ又はジャンルが、あらかじめ定義されたルールに従ってサウンド又は視覚表現を変更しながら、新しい表現のスイートを導入するために、上記の例のいずれかで使用又は適用され得る。例えば、アイランド／ビーチのテーマは、利用可能なサウンドをよりカリプソテーマの（calypso-themed）サウンドのスイートに変更し得る、及び／又は、利用可能な色及び／又は視覚効果を、青／緑／褐色のカラーパレット内のものに変更し得る。

図１０に示すような一実施形態では、特定の対応表（又は関連するテーマ）へのアクセス又は使用は、ユーザデバイス／ウェアラブルが特定の時間及び場所に存在する場合にのみ、ロック解除され得る及び／又は利用可能とされ得る。例えば、フラッシュモブ３００のメンバーは、フラッシュモブが演じることを意図されている公園又は広場に到着すると、予め定義されたＡ／Ｖテーマへの使用可能なアクセスをすべて得ることができる。ユーザデバイス／ウェアラブル２０は、例えば、GPS、RF三角測量、wifiネットワーク認識、RFビーコン３０２、BLUETOOTH（登録商標）位置トラッキングなど（概して「位置センシング手段」）の使用を通じて、その位置を把握し得る。所定の時間に所定の位置（又はその所定の距離内）に到着すると、グループの一員として接続されたサーバ３０４に登録された任意のウェアラブル２０は、ユーザの動きプリミティブの認識を開始するように、及び／又は分散ネットワーク５０への動きデータの送信を開始するように構成され得る。ユーザにグループへのオプトインを要求することによって、参加は、グループの一員になることを承知して望む者のみに限定される一方、適切な時期に適切な場所にたまたまいる者は、除外され及び／又は知らないでグループに参加することが妨げられる。

フラッシュモブの例では、各ユーザが着用するウェアラブル２０は、共通の分散コンピューティングネットワーク（WAN、無線LANなど）への接続性を有し得、各ウェアラブルは、直接的に、又はスマートフォン、時計、又は他の接続されたデバイスを介して接続される。感知された動きプリミティブからトリガされた応答への変換は、各ウェアラブル２０にローカルに、又はネットワーク化されたサーバ３０４／データ集約デバイス上でより中央的に行われ得る。次いで、集合ユーザ出力は、ローカルＡ／Ｖシステム３０６を介して（例えば、ローカルスピーカ３０８又は視覚効果デバイスによる再生のために）オーディオ又は視覚出力に変換され得る、又は、ネットワークを介してサードパーティデバイス３１０に渡され得、そこでオーディオとして（ヘッドフォン又はスピーカを介して）出力され得る又は図９に示すのと同様の精神で拡張現実又は複合現実のスクリーン上に視覚的に表示され得る。

上述のように、いくつかの実施形態では、１つ以上の視覚効果が、感知された動きプリミティブに応答してトリガされ得る。この目的のために、図１１～１４は、１つ以上の検出された動き／動きプリミティブ（例えば、視覚効果コントローラ４８の方向）に応答して、外に向かって可視光を投影するためにトリガされ得る１つ以上の一体型発光素子４００を含むウェアラブル２０の３つの実施形態を概略的に示す。

図１１に概略的に示すように、一実施形態では、発光素子４００は、地面などの隣接する表面４０４に所定のパターンの光を投射するように動作するプロジェクタ４０２であり得る。具体的に示すように、プロジェクタは、ハウジング４０６と、発光ダイオード（ＬＥＤ）などの光源４０８と、１つ以上のレンズ４１０（例えば、１つ以上の集光レンズ及び／又は対物レンズ）と、オプションのスライド又はステンシル４１２とを含み得る。使用される場合、スライド又はステンシル４１２は、単に通常の光のボールを投射するのではなく、プロジェクタ４０２が画像（例えば、ロゴ、シルエット、又はグラフィック）を表面４０４に投射することを可能にする。一構成では、プロジェクタ４０２は、履物の物品４２２のミッドソール４２０に一体化され得、アウトソール又は地面に対向する（ground-facing）アウトソール表面４２４を通って光を投影するように方向付けされ（oriented）得る。他の実施形態では、アウトソール又は地面に対向するアウトソール表面４２４を通って光を投射する代わりに、プロジェクタは、履物の物品４２２の隣の地面表面４０４上に画像を投射するように位置決め／方向付けされ得る。このような実施形態では、プロジェクタ４０２は、ミッドソールの側壁上に配置され得る、又は少なくとも部分的にその側壁を通って延び得る。

発光素子４００が履物の物品の地面に対向するアウトソール表面４２４を通って輝く構成では、投影された光は、物品の着用者が足を地面から持ち上げた場合にのみ、周囲の観察者に見える。電力を節約するために、１つの構成では、発光素子４００は、履物の物品が、それが地面から離れて動いていることを検出した場合、又は放たれた光が観測者に見えるように足が地面から十分な距離だけ離れて動いていることが検出された場合にのみ、点灯する（illuminate）ように制御され得る（すなわち、ここでは、感知された加速データから位置が導かれ得る）。さらに別の実施形態では、発光素子４００は、ウェアラブル２０／動き感知回路２２が一定の閾値を超える上方への加速度を感知した場合にのみ、点灯するように制御され得る。このようなものは、ジャンプ又は特定の大きさのジャンプを示し得、さらに、照明のための一定の最小継続時間を確実にすること、又は、プロジェクタ４０２が十分に明瞭な画像を投影するために理想的な焦点距離が達成されることを確実にすることを助け得る。

図１２～図１３に示すように、いくつかの実施形態では、発光素子４００は、履物又は衣服の物品（すなわち、照明物品（illuminating article）４４４）上に設けられるか又は他の方法で一体化された、照明（lighted）パネル４４０及び／又は照明付きデザイン要素（illuminated design element）４４２であり得る。いくつかの実施形態では、この照明物品４４４は、上述のウェアラブル２０と同じであり得るが、他の実施形態では、ウェアラブル２０と（直接的又は間接的に）電気通信することにより、ウェアラブル２０とは異なり得る。例えば、ウェアラブル２０は履物の物品であることができ、照明物品４４４は手袋又はシャツであることができる。物品４４４は、さらに、電源４４６と、電源４４６からパネル４４０及び／又はデザイン要素４４２に供給される電力を変調するように動作するコントローラ４４８とを含み得る。いくつかの実施形態では、コントローラ４４８は、上述の視覚効果コントローラ４８であり得る。

図１２は、概して、ソール構造４６４に結合されたアッパー４６２を含む履物の物品４６０としての照明物品４４４を示す。ソール構造４６４は、物品４６０が着用されるとき、足と地面との間に延びる。異なる実施形態では、ソール構造４６４は、発泡ポリマーミッドソール、１つ以上の一体型流体充填チャンバー（例えば、エアバッグ）、発泡インソールなどを含む種々のクッションコンポーネントを含み得る。加えて、いくつかの実施形態では、電源４４６、コントローラ４４８、及び／又は物品４４４によって使用され得る任意の他のセンサ又は電子部品を収容するために、１つ又は複数の凹所又はキャビティを含み得る。

アッパー４６２は、足を収容し、カバーするための、ならびに物品４４４を足に固定するための、種々の備え（provisions）を含み得る。アッパー４６２は、足部がアッパー４６２の内部空洞内に入るための開口部４６６を含む。いくつかの実施形態は、レース、ケーブル、ストラップ、ボタン、ジッパー、ならびに物品を固定するための当該技術分野で知られた任意の他の備えを含むが、これらに限定されない固定する備えを含み得る。

図１２に一概して示されるように、一実施形態では、アッパー４６２の外壁は、ライトパネル（lighted panel）４４０を含み得る。ライトパネル４４０は、複数の異なる層を含み得、少なくとも１つは、エレクトロルミネッセンス層（又はＥＬパネル）である。使用可能な例示的なＥＬパネル技術は：発光キャパシタ（ＬＥＣ）パネル、粉末蛍光体ベースのエレクトロルミネッセンスパネル、及び薄膜エレクトロルミネッセンス材料が含むが、これらに限定されない。追加的に又は代替的に、ライトパネル４４０は、拡散されるとパネルの領域を照らすことができる１つ又は複数の発光ダイオード又は他の照明要素を含み得る。ライトパネル４４０を有する物品４４４に関するさらなる実施形態及びさらなる詳細は、例えば、その全体が参照により援用される米国特許第10,182,608号に記載されている。

いくつかの実施形態では、履物の物品４６０は、１つ以上の照明付きデザイン要素４４２を含み得る。これらのデザイン要素４４２は、ライトパネル４４０のような、より広く照明される領域ではなく、スポット照明される特徴又は個別要素を含み得る。しかし、いくつかの実施形態では、２つの間に重複があってもよい（すなわち、デザイン要素は、パネル照明ロゴ又はアクセントであり得る）。この場合、１つ以上の照明付きデザイン要素４４２は、米国特許第8,056,269号に記載されているような照明されるロゴ又は装飾、米国特許第10,004,291号に記載されているような照明されるストラップ、米国特許第8,813,395号に記載されているような照明されるストランド、及び米国特許第8,356,430号及び米国特許出願公開第2009/0158622号に記載されているような照明されるキャビティ又は流体で満たされたクッションコンポーネントを含み得、これらの文献はそれぞれ、それらの全体が参照により組み込まれる。

図１２は、物品４４４を履物の物品として図示しているが、図１３は、物品４４４をアパレル（衣服）／衣類の物品４８０として、より具体的には、着用したままの状態のシャツ又はジャケットとして図示している。他の実施形態では、アパレル／衣類の物品４８０は、他のタイプのシャツ（ロングスリーブ、ショートスリーブ、タンクトップ、ベスト）、パンツ、ソックス、ボディスーツ、帽子、手袋、アウターウェア、及び／又は他の任意の所望のタイプのアパレルを追加的に又は代替的に含み得る。図示のように、アパレル／衣類の物品４８０は、照明付きデザイン要素４４２を含むライトアレイ４８２と、複数の埋め込み導電トレース４８４と、電源４４６と、コントローラ４４８とを含む。ライトアレイ４８２は、例えば、光の単一のラインの又は光の２つ以上の列に配置された複数の別個の可視光源（例えば、ＬＥＤ、ＯＬＥＤ、エレクトロルミネッセンス材料など）を含み得る。また、ライトアレイ４８２は、例えば、光ファイバ光及び／又は光ファイバを使用する光の連続ラインを含み得る。ライトアレイ４８２は、アパレルアイテムが着用されるときに身体の湾曲に適合するように、薄く、屈曲可能で、可撓性であるように構成される。ライトアレイ４８２は、例えば、熱可塑性ポリウレタン（ＴＰＵ）又はシリコーンベースのポリマーのようなポリマー層を用いて、アパレル製品に固定することができる。アパレル／衣類の例示的な発光可能な物品に関するさらなる詳細は、米国特許出願公開第2019/0059461号及び第2019/0200690号に記載されており、両文献はその全体が参照により組み込まれている。

いくつかの構成では、図１２～図１３の発光素子４００は、図５～図７に示すユーザコラボレーションアーキテクチャの出力の１つ又は複数として使用され得る。例えば、協調的な視覚（ビジュアル）又はオーディオ／ビジュアル作品では、複数のユーザはそれぞれ、その上に設けられた１つ又は複数の発光素子４００を有する１つ又は複数の照明物品４４４を着用し得る。次いで、異なる動きプリミティブ又は動きプリミティブの組み合わせが、発光素子４００の異なる個々の照明をトリガし得、色、明度（luminosity）、持続時間、及び／又は照明パターン（例えば、点灯、点滅、高速点滅、スクロールなど）は、動きプリミティブに応答して予め定義されているか、又は、それ以外は、プリミティブの大きさの関数である。例えば、より鋭いラテラルカットは、よりアグレッシブでないラテラルカット（例えば、横方向の加速度の大きさ又は横方向のジャークの大きさ（da/dt）によって測定されるような）よりも明るいパネル照明を生じ得る。

一例では、図１３に示すようなボディスーツ又はジャケットが、自身のパフォーマンスに視覚的なセンスの良さ（visual flair）を加えたいステージパフォーマーによって使用され得る。別の例では、図１２及び図１３に示すようなアパレルの照明物品が、近くの他人に信号を送るためにランナー又はサイクリストによって使用されてもよい。例えば、スマートウォッチウェアラブルを有するランナーは、対向車に信号を送るために手を上げることがある。ウェアラブル２０は、手を持ち上げることに関連する動きのプリミティブを認識し、これは、次いで、発光素子４００の一部又は全部を点灯するようにトリガし得る。一構成では、異なる手の動きが異なる照明パターンを引き起こし得る。例えば、手を上方に伸ばすことは、ライトの第１のセットを点灯させ得、一方、手を外方に伸ばすことは、ライトの第２のセットを点灯させ得る。

本技術を用いてオーディオ／ビジュアルパフォーマンスを作る場合、外部リズムのない状態でビートにとどまることは特に困難である。より具体的には、そのような使用例では、ユーザは、そうでなければリズム／タイミングを設定するために使用され得る多くの外部キュー（例えば、ベースビート）を欠いている可能性がある。この問題は、そうでなければ、パフォーマーのテンポとリズムを同調させるために歌のビートに依存し得る共同のグループの作品において特に明白であり得る。

ビートトラッキング及び／又は他の協働する個人との同期の維持において１人又は複数のユーザを助けるために、ウェアラブル２０は、ユーザの身体に触覚を伝えるように作動する振動トランスデューサ５００を含み得る。図１４は、そのようなウェアラブルデバイス２０の一実施形態を概略的に示す。この実施形態では、振動トランスデューサ５００は、履物の物品４４４のソール構造４６４内に設けられる。しかし、他の実施形態では、振動トランスデューサ５００は、履物の物品４４４のアッパー４６２に設けられ得る、又は時計、スリーブ、シャツ、パンツ、ショーツ、手袋、帽子、又はユーザの身体に接触した他の衣服もしくはアクセサリなどの衣服の物品上に／それに設けられ得る。

振動トランスデューサ５００は、ビート又は他の触覚タイミング信号をユーザに伝えるようにプロセッサ２８の指示で動作し得る。マルチユーザ環境では、このタイミング信号は、次に、複数のユーザの各々にわたって同期され、適切にタイミングを合わせられた作品を作成するのを助ける（例えば、フラッシュモブ中）。一構成では、振動トランスデューサ５００によってユーザに伝達される振動は、特定のビートに従って切り替えられる触覚波形（tactile waveform）を含む切り替え又は複合振動（switched or compound vibration）であり得る。触覚波形は、例えば、限定されるものではないが、約100Hz～約300Hzの範囲、又は約140Hz～約210Hzの範囲、又は約230Hz～約260Hzの範囲の周波数を有する振動であり得る。この振動は、ユーザが、そのような通知が提供されたときに、振動トランスデューサ５００からの通知を最も容易に知覚できるように選択され得る。

歌又は作品の意図されたビートは、約50%未満、又はより好ましくは約30%未満、又は約5%から約25%の範囲のデューティサイクルを有する周期的な伝送を伴う触覚波形の周期的な伝送によって表され得る。ビートは、約0.1Hz～約3Hzの伝送周波数（transmission frequency）を有し得る。より適切には、毎分あたりのビート（beats per minute）（ＢＰＭ）で測定される場合、切り替えられるビートは、毎分約30～約160回の個別の触覚波形を伝送し得る。いくつかの実施形態では、作品のすべてのビートは、表される必要はない。むしろ、特定の同期ビート（例えば、作品中の４つのうちの１つ又は８つの連続ビートのうちの１つ）のみが表され得る。ビートの特定の周波数にかかわらず、触覚波形は短時間のブザー音（short-duration buzz）を表し得、ビートはそのような短時間のブザー音が生じるタイミングである。

いくつかの実施形態では、振動トランスデューサによって伝達される周期的振動の代わりに、同様のビートが、ユーザの身体の周りのウェアラブル２０（又はウェアラブル２０と通信する履物又は衣服の物品）の一部を収縮する又は締めることによって、伝達され得る。収縮を達成するために、ウェアラブル２０（又は他の物品）は、着用者の身体の一部の周りの接線方向において、物品の１つ以上の繊維、コード、レース、閉鎖機構、又は他のフィット調整機構（fit-adjusting aspects）を引っ張るように動作する１つ以上の引張機構を含み得る。そうすることで、物品における張力が、半径方向の寸法においてサイズを収縮又は縮小するように物品に促し得、これは着用者に圧縮力を付与する。このような圧縮に特に適し得る物品は、靴（適応レース引張（adaptive lace tensioning））、圧縮スリーブ／衣服、時計／ブレスレットを含む。

いくつかの実施形態では、引張機構は、作動信号に応答して物品内に埋め込まれた引張ファイバを巻き取る／巻き戻すように作動するモータを含み得る。他の実施形態では、引張機構は、１つ以上のリニアアクチュエータ、高速応答能動材料（例えば、ピエゾアクチュエータ）、又は微小電気機械システム（ＭＥＭＳ）を含み得る。引張機構は、ユーザの足／身体に対して瞬間的な圧縮を周期的に誘発するように、与えられた切り替えられるビートに応答するように構成され得る。履物に関しての引張機構のさらなる説明は、米国特許第10,448,707号、米国特許出願公開第2018/0199673号、第2017/0265583号、及び／又は米国特許出願第16/694,306号に提供されており、それらのそれぞれは、その全体が参照により援用される。

図１５は、上述のようなウェアラブル２０と共に使用され得る充電装置６００を概略的に示す。理解されるように、各ウェアラブル２０は、上述の機能を実行するデバイスの能力を維持するために周期的な再充電を必要とするバッテリを含み得る。防水手段を提供するために、充電装置６００は、１つ以上の誘導コイル６０２を備える誘導充電装置であり得る。各誘導コイル６０２は、コイル６０２が交流波形で通電され、ウェアラブル２０に近接させられたときに、ウェアラブル２０内に充電電流を磁気的に誘導するように動作し得る。履物の物品の場合、２つの誘導充電パック６０４、６０６が必要とされ得（すなわち、各靴に１つ）、各パック６０４、６０６は、通電可能な誘導コイル６０２を含む。例示的な充電装置は、米国特許出願公開第2017/0150773号に記載されており、これは、その全体が参照により組み込まれる。

図１６に概略的に示すように、いくつかの実施形態では、充電装置６００は、ディスコボール又はパーティライトを兼ねる能力をさらに含み得る。より具体的には、各充電パック６０４、６０６は、変化する強度及び／又は色の光を投影するように動作する複数の点灯要素６０８（例えば、ＬＥＤ）を含み得る。さらに、充電装置６００は、パーティをするのに適した状態で充電装置を支持し得るフック又はスタンドのような取り付け特徴部６１０を含み得る。取り付け特徴部６１０は、充電パック６０４、６０６の各々がそこから延びている中央ハブ６１２と一体化されていてもよく、あるいは、それ以外の方法で取り付けてもよい。中央ハブ612は、エネルギー蓄積装置６１４、移動機構６１６、及び／又は照明コントローラ６１８を含み得、同時に、充電パックに延びる任意のワイヤに対して適切な歪み解放も提供する。

パーティライトとして使用される場合、エネルギー蓄積装置６１４（例えば、バッテリ）は、照明要素６０８を点灯するために必要な電力、ならびに、外部通信を容易にするために必要な電力、又は、移動機構６１６の動力付きの機構を駆動するために必要な電力を供給し得る。エネルギー蓄積装置６１４は、充電装置がＡＣ電源にプラグインされるとき、ウェアラブル２０と同時に充電され得る。逆に、エネルギー蓄積装置６１４は、充電装置６００がパーティライトとして動作するときにエネルギーを消費し得る。

移動機構６１６は、充電パック６０４、６０６及び／又は照明要素６０８の移動を誘導して、ディスコボール又は他の移動スポットライトと同様の視覚効果を提供するように構成され得る。移動機構は、例えば、１つ又は複数のモータ、巻取り／スプリング駆動機構、又は関節式（articulating mirrors）ミラー／レンズを含み得る。移動機構６１６は、概して、充電パック又は照明要素の少なくとも一部の回転又は振動を生成して、光がどのように投射されるかを変え得る。図１６に概略的に示すように、特定の一実施形態では、移動機構６１６は、取り付け特徴部６１０に対して中央ハブ６１２を回転させ得、これは、充電パック６０４、６０６を、中心軸６２０周りに回転させ得る。

照明コントローラ６１８は、視覚効果を生成するために、１つ以上の照明要素６０８を点灯することに関与し得る。一つの構成では、照明コントローラ６１８は、予めプログラムされ得る及び／又はユーザ制御され得る反復パターンで、照明要素６０８を単に点灯し得る。例えば、照明パターン及びシーケンスの所定のコレクションが、製造時に照明コントローラに予めプログラムされ得る。次に、ユーザは、例えば、ハブ６１２上のボタンをクリックすることによって、又は接続された無線デバイス（例えば、リモート、スマートフォン、コンピュータ等）を介してそれを選択することによって、所望のパターン／シーケンスを選択し得る。

別の構成では、照明コントローラ６１８は、一体化された又は接続されたマイクロホンを介して感知され得るオーディオに応答して、照明要素６０８を点灯し得る。照明コントローラは、例えば、感知された低周波ビートに応答してライトをパルスにし得る、又は、感知されたピッチ又は周波数に従って照明パターン又は色を変更し得る。一構成では、マイクロホンは、接続された無線デバイスに統合され得、この無線デバイスは、感知された生のオーディオデータ、オーディオサマリーデータ（例えば、ビート又はピッチデータ）、又は感知された生のオーディオ又はオーディオサマリーデータに基づくプログラムコマンドのいずれかを送信し得る。

さらに別の構成では、照明コントローラ６１８は、ウェアラブル２０からデジタル信号を受信し得、上述のように、１つ以上の感知された動きプリミティブに基づいて、照明要素６０８を点灯し得る。そのように、照明コントローラ６１８は、視覚効果コントローラ４８を含み得る、又は、視覚効果コントローラ４８と通信し得、充電装置６００は、ユーザの動きの視覚表現を表示する手段として機能し得る（又は、そうでなければ、ユーザの動きを補完し得る）。このようにして、照明要素６０８が、それらの動きを同期させる、及び／又は、光の近くで踊っている１人以上の人のリズミカルな動きと共に点滅させることが可能であり得る。

いくつかの実施形態では、識別された少なくとも１つの動きプリミティブに応答してオーディオサンプル又は視覚効果の再生をトリガする代わりに、動きプリミティブは、外部ゲームへの入力として機能し得る。例えば、いくつかの実施形態では、靴は、動きのシーケンスがビデオディスプレイ上に表示されるダンスベースのビデオゲームへの入力として機能し得、ユーザは、ハイスコアを達成するために動きを複製することに最善を尽くさなければならない。別の実施形態では、図１７に示されるように、ゲームは、小売中心のゲームであってもよく、これは、小売製品又はデジタル収集品（digital collectible）を獲得するために、ロック解除コード、トークン、パス、認可、又は機会を獲得するために、ユーザが１つ以上の動きのシーケンスを実行することを必要とする。いくつかの実施態様では、小売製品又はデジタル収集品は、両方が参照によりその全体が組み込まれる米国特許出願第15/931,764号及び／又は第16/707,720号に記載されているような、限定リリース小売製品、小売製品のデジタル表現、暗号で保護されたデジタル資産、又は、供給が限定又は制限されているその他のアイテムであり得る。

図１７は、概して、ユーザ７０２が小売製品７０４、小売製品のデジタル表現、物理的な又はデジタルの小売製品を取得するためのロック解除コード若しくはロック解除コードの一部、又は成果（accomplishment）のデジタル認識（例えば、ソーシャルメディアで共有され得る仮想バッジ）を取得するために、アクティブなユーザの関与（active user engagement）を必要とするインタラクティブ小売キオスク７００を示す。

図１８は、図１７のインタラクティブ小売りキオスク７００で実行され得るような、物理的若しくは電子的オブジェクト又はコードを取得する方法８００を概略的に示す。図示のように、方法は、（８０２において）キオスク７００の予め定義された物理的な近さの中にユーザ７０２が存在することを認識することによって開始し得る。一構成では、キオスク７００は、カメラ、ＲＦＩＤリーダー、キオスク７００の隣のフロアに設けられた圧力マット、又はユーザが押すことによりシステムにユーザの近さを警告するボタンを含み得る。別の構成では、ユーザ７０２は、通信ネットワーク７１０を介してサーバノード７０８と無線デジタル通信しているワイヤレスコンピューティングデバイス７０６を所有し得る。ワイヤレスコンピューティングデバイス７０６は、ＧＰＳ受信機などのユーザの位置を認識するための手段、無線ビーコン３０２若しくはローカルエリアネットワークへの装置の近接を認識することができる無線通信コンポーネント、又は周囲環境内の視覚的側面若しくはデジタルコードを知覚及び認識することができるカメラを有し得る。一旦ユーザの位置が認識されると、デバイス上で動作しているアプリケーションは、キオスク７００近傍のユーザの相対的又は絶対的位置の表示をサーバノード７０８に送信し得、これはゲームを初期化し得る。

ワイヤレスコンピューティングデバイス７０６は、さらに、ユーザがパスワードを入力すること、識別可能な生体認証機能（例えば、指紋又は顔認識）を提示すること、又はその他の方法でアプリケーションに安全にログインすることを要求するアプリケーションを含むことによってなど、ユーザのアイデンティティ（identity）を認証する能力を含み得る。ステップ８０４において、ユーザのワイヤレスコンピューティングデバイス７０６は、キオスク７００の所定の近さの中又はジオフェンス内に物理的に存在するものとして、ユーザのアイデンティティ及び位置を認証し得る。

ユーザが認証され、キオスク７００の近くに認識されると、サーバ７０８は、ユーザに特定のチャレンジ（課題（challenge））を提示し得る（８０６において）。一構成では、チャレンジは、キオスク７００に結合されているか、又はキオスク７００と通信しているディスプレイ７１２を介してユーザ７０２に提示され得る。別の実施形態では、チャレンジは、通信ネットワーク７１０及びそれらのワイヤレスコンピューティングデバイス７０６に設けられたディスプレイを介してユーザに提示され得る。一般に、チャレンジは、ユーザが順番に実行するように要求される一連の動き、動作、又はアクションを含み得る。例えば、チャレンジは、ダンスシーケンス、ジャンピングジャック、ランジ、バーピー、ハイニー、キックなどのエクササイズのセット、又は一連のヨガポーズを含み得る。

ユーザが８０６においてチャレンジを提示されると、ユーザ７０２は、要求された身体活動を実行し得、サーバノード７０８は、チャレンジが成功裏に完了したと決定し得る（８０８において）。この決定は、直接観察（例えば、キオスク７００に設けられたカメラ又は圧力マットを介する）又はチャレンジが実行されたことのデジタル表示の受領のいずれかに由来し得る。一構成では、受信されたデジタル表示は、ウェアラブル２０によって、動きプリミティブの送信されたシーケンスとして、又は、ウェアラブル２０が、チャレンジの成功裏の完了中に期待されるものとマッチする又は近似する動きプリミティブのシーケンスを検出したことの単純な表示として提供され得る。

ユーザ７０２がチャレンジ（８０８において）成功裏に完了したという決定に続いて、キオスク７００は、小売製品と交換され得る（８１２においてで）、又は小売製品（又は限定発売デジタルオブジェクト）と一括して交換されることになる他のコードと組み合わせされ得るコードをユーザに提示する（８１０において）。図１７に概して示されるように、一実施形態では、キオスク７００は、ユーザ７０２に、その上に印刷された機械読取可能コード７１６を有する印刷されたレシート７１４を渡し得る。別の実施形態では、キオスク７００は、ユーザデバイス７０６又はチャレンジの発行前にサーバ７０８によって認証されていたユーザカウントに、コード７１６をデジタル的に送信し得る。一旦送信されると、コード７１６は、ユーザが将来の時点でコードにアクセスできるように、デジタルロッカー／ストレージ内又はコールドストレージディジタルウォレット内に維持され得る。

一実施形態では、キオスク７００は、小売店に位置し得、コードは、小売店員に手渡され得る又はキオスク７００に表示された製品７０４と同様のスタイル又はデザインの小売製品を引き換えるためにインターネットインターフェースに入力され得る。別の実施形態では、ユーザは、製品の資格を得るために、各々が異なるキオスクからの複数のコードを取得する必要があり得る。このマルチキオスクシナリオでは、複数のキオスクは、地理的領域及び／又は複数の小売店に分布され得、ユーザは、全体が参照により組み込まれる米国特許出願公開第2019/0213619号及び米国特許出願第16/874,944号に記載されているように、それらを検索することを要求され得る。この構成では、ユーザは、製品のロック解除に必要なコードを蓄積するために、スカベンジャーハントに送られ得る。米国特許出願第16/874,944号に一般的に記載されているように、一実施形態では、シューズに組み込まれているターンバイターン方式のナビゲーションの使用により（例えば、レースを選択的に引っ張ることにより、又は図１４に示された触覚トランスデューサの選択的作動により）、ユーザは次のキオスクに案内され得る。

小売キオスク７００は、物理的な製品ディスプレイとして図１７に示されているが、他の実施形態では、それは、単に、特大のロゴ、標識、又は、直接的な対話機能を有しても有しなくてもよい他のマーカーのような、小売ではないディスプレイであり得る。いくつかの実施形態では、キオスク７００は、仮想キオスクであり得る（すなわち、拡張又は混合現実コンテキストにおいて適切なワイヤレスコンピューティングデバイスで観察可能である）、又は、仮想ウェイポイント若しくはジオフェンス領域などの位置であり得る。

上述の開示の大部分は、主として、ライブ環境内でのオーディオ及び／又は視覚効果を生成することに焦点を当ててきたが、同様の経験は、仮想世界（例えば、図１９に示すような）内で生成することもでき、又は、ライブイベントのビデオ放送を拡張するために使用することもできる（例えば、図２０に示すような）。

図１９を参照すると、音楽アーティスト９００がオンライン仮想環境内でライブコンサートパフォーマンスを放送することがますます一般的になっている。このような仮想環境９０２は、インターネットのような分散コンピューティングネットワーク５０に接続されたゲームサーバ９０４によってホスト及び／又は維持され得る。複数のユーザは、環境９０２内のユニークなユーザ制御アバター９０６によって、仮想環境と、そして互いとインタラクト（対話）し得る。ゲームプレイの間、各アバター９０６は、異なるそれぞれのユーザ９１０によって制御されるウェブ対応コンピューティングデバイス９０８によって作られるそれぞれの動き／アクションコマンドに応答し得る。各ユーザ９１０は、それぞれのウェブ対応コンピューティングデバイス９０８に関連付けられたディスプレイを介して、仮想環境９０２内のアバター９０６からの／アバター９０６の一人称又は三人称視点を経験し得る。このような環境の人気のある例は、Epic Gamesが開発したFORTNITE（登録商標）ゲームを通して存在する。

図１９に示す実施形態では、上述した実施形態と非常によく似て、ユーザコンソール３０は、音楽パフォーマー９００の身体に設けられたウェアラブル２０からのデータストリームを受信し得る、することができる。ユーザコンソール３０は、以前にその動きプリミティブに関連付けられていたオーディオサンプル又は視覚効果の再生をトリガするために、類似の動き対応表１１０に依存し得る。しかし、主な違いは、トリガされたオーディオサンプル又は視覚効果が、仮想環境９０２内でのみ発生することである。例えば、パフォーマーの足の横方向のスウィッシュ（swish）は、環境内の空を変色させ得、ユーザの足の踏み鳴らしは、バーチャル花火を打ち上げさせ得、ユーザの拳の下向きの突きは、例えば、パフォーマーのアバター９１２から外向きに発する視覚的衝撃波を伴い得る、強いパーカッション／キックドラムの再生を引き起こし得る。加えて、サウンド又は視覚効果を制御するためにのみ使用される動きプリミティブの代わりに、パフォーマーのウェアラブル（複数可）によって感知される動きプリミティブはまた、仮想環境９０２内のパフォーマーのアバター９１２の動き又はアクションの一部又は全部を制御又は変更するために使用され得る。

図１９は、仮想世界の態様を制御するためにウェアラブル２０を利用するが、図２０に示すシステム９５０は、ライブビデオ放送の１つ以上の態様を拡張するために感知された動きを使用するように動作する。スポーツイベントに関連して、アスリートのユニフォームの一部は、着用者の動き／活動から１つ以上の動きプリミティブを検出又は抽出するように動作するウェアラブル２０を含み得る。アスリートが所定のムーブ（move）又は一連のムーブを実行する場合、スポーツイベントの視覚放送（visual broadcast）９５２（テレビ、ケーブル、バーチャルリアリティ、インターネットストリームなど）は、次に、１つ以上の視覚効果９５４によって拡張／変更されて、アスリートのアクションを強調させ得る又は目立たせ得る。例えば、バスケットボールゲームにおいて、アスリートが閾値量の力又は跳躍力でボールをダンクしようとする場合、地面に着地したときに、放送システム９５６は、コート表面上のアスリート自身から発生する爆発のグラフィックでビデオフィード９５８をオーバーレイし得る。別の例では、バスケットボール選手がシグネチャクロスオーバームーブ（signature crossover move）を実行する場合、一連のアクションは、放送システム９５６に、まるでアスリートの植物の足がコート表面をしわだらけにしているかのように、ビデオフィード９５８内のフロアの認識された輪郭をグラフィックに変化させ得る。その際、本技術のこの使用は、アスリート自身の直接的に感知された動きによってトリガされながら（第三者の視覚観察者（third party visual observer）によってではなく）、装飾又は漫画的なビデオゲーム（例えば、Electronic Arts Inc.製のNBA JAMに類似）の側面を、ライブアクションスポーツに注入する。

いくつかの実施形態では、運動トリガに加えて、視覚効果の生成は、ゲーム内のタイミング、最近のスコアリング活動、又はコート／フィールド上の他のプレーヤの相対的ポジショニングなどの外部要因にさらに条件付けられ得る。さらに、いくつかの実施形態では、効果の存在、性質、又は色は、見ているユーザによって提供される（すなわち、ユーザのそれぞれのウェブ対応コンピューティングデバイス９６０を介して）１つ以上の好み又は属性に基づいて変化し得る。このような実施形態では、ユーザは、まず、好きなチーム又はプレーヤを予め選択し得、これは、異なるプレーヤ／チームに異なる動き対応表を動的に割り当て得る。ビデオ放送の間、予め選択された好きなチーム又はプレーヤは、次に、第１のセットのサウンド／グラフィックスによって拡張され得、他のプレーヤ（及び、特に、対戦相手のプレーヤ／チーム）は、第２のセットのサウンド／グラフィックスによって拡張され得る。指定された好きなプレーヤ／チームと相手との間の扱いの違いは、あらかじめ選択された好きなプレーヤをヒーローとしてキャストし、相手のプレーヤ／チームを悪役としてキャストする効果があり得る。これは、例えば、異なるカラーパレット、異なるグラフィックス、及び／又は異なるサウンド効果の使用によって達成され得る。

強化された（enhanced）スポーツ放送９５２と同様に、図１９に示すような仮想環境９０２に移植された視覚効果は、その世界内のユーザの１つ以上の属性又は好みに応じて異なり得る。例えば、ユーザのアバターが着用する衣服／スキンは、特定のカラースキーム又は視覚効果をロック解除し得る。同様に、ユーザのアバターのレベル又は経験も、異なる視覚又はオーディオ効果をロック解除し得る。これは、例えば、全く異なる対応表を適用することによって、又は特定の基準を条件として対応表の側面を作成することによって生じ得る。

単に視覚又はオーディオ効果を変化させることに加えて、対応表の出力が１つ以上の触覚信号の形態でユーザに送信されることも可能である。各触覚信号は、触覚応答を提供するために、ユーザの身体上の触覚デバイスに指示し得る。これらの触覚応答は、ユーザに配置された履物又は衣服の物品の振動又は収縮の形態であり得、視覚又はオーディオ効果の１つ以上と同期され得る。このようにして、本技術は、より没入的なユーザ体験を提供するために、複数の感覚によってもたらされ得る。一実施形態では、触覚信号は、さらに、ライブアスリートが経験しているものに類似し得る１つ以上の触覚感覚を伝達する又は与えることを試み得る。

現在説明されている技術の様々な特徴及び動作方法は、以下の条項に記載されている：

条項１： 動きベースのメディア作成のためのシステムは、履物又は衣服の物品であって、前記履物又は衣服の物品の少なくとも一部の空間的な動きをモニタし、モニタされた前記空間的な動きを示すデータストリームを生成するように動作する少なくとも１つの加速度計又は慣性測定ユニットを有する、履物又は衣服の物品と；前記履物又は衣服の物品とネットワーク接続された無線通信を行うプロセッサであって、前記プロセッサは：前記履物又は衣服の物品から前記データストリームを受信し；受信された前記データストリームから少なくとも１つの動きプリミティブを識別し；識別された前記少なくとも１つの動きプリミティブに応答してオーディオサンプル又は視覚効果の再生をトリガする；ように構成される、プロセッサと、を有する。

条項２： 識別された前記少なくとも１つの動きプリミティブは、第１の動きプリミティブ及び第２の動きプリミティブを含み、前記オーディオサンプル又は視覚効果は、第１のオーディオサンプル又は第１の視覚効果であるとともに前記第１の動きプリミティブに応答してトリガされ；前記プロセッサは、さらに：識別された前記第２の動きプリミティブに応答して、第２のオーディオサンプル又は第２の視覚効果の再生をトリガするように構成され；前記第１のオーディオサンプル又は第１の視覚効果は、前記第２のオーディオサンプル又は第２の視覚効果とは異なる、条項１に記載のシステム。

条項３： ユーザ入力デバイスとディスプレイと通信するユーザ入力とをさらに有し、前記プロセッサは、さらに：複数のオーディオサンプルのライブラリを維持し；前記ユーザ入力デバイスからの受信された入力に基づいて、前記複数のオーディオサンプルから選択されたオーディオサンプルを予め定義された動きプリミティブと関連付け；前記識別された動きプリミティブを前記予め定義された動きプリミティブとマッチさせる；ように構成され、前記識別された動きプリミティブに応答して前記オーディオサンプル又は前記視覚効果の前記再生をトリガすることは、前記識別された動きプリミティブの前記予め定義された動きプリミティブとのマッチングに応答して前記選択されたオーディオサンプルを出力することを含む、条項１～２のいずれかに記載のシステム。

条項４： ユーザ入力デバイスとディスプレイと通信するユーザ入力とをさらに有し、さらに、前記プロセッサは：複数の視覚効果のライブラリを維持し；前記ユーザ入力デバイスからの受信された入力に基づいて、前記複数の視覚効果から選択された視覚効果を予め定義された動きプリミティブと関連付け；前記識別された動きプリミティブを前記予め定義された動きプリミティブにマッチさせる；ようにさらに構成され、前記識別された動きプリミティブに応答して前記オーディオサンプル又は前記視覚効果の前記再生をトリガすることは、前記識別された動きプリミティブの前記予め定義された動きプリミティブとのマッチングに応答して前記選択された視覚効果を出力することを含む、条項１～３条のいずれかに記載のシステム。

条項５： 前記履物又は衣服の物品は、少なくとも１つのライトをさらに有し；前記選択された視覚効果を出力することは、前記履物又は衣服の物品の前記少なくとも１つのライトを点灯することを含む、条項４に記載のシステム。

条項６： 前記履物又は衣服の物品は履物の物品である、条項１～５のいずれかに記載のシステム。

条項７： 前記ユーザコンソールは、分散ネットワークと通信しており；前記プロセッサは、さらに、前記分散ネットワークからチャレンジを受信し、前記チャレンジは、順序付けられたいくつかの動きプリミティブ（ordered number of motion primitives）を含み；ユーザ表示装置を介してユーザに前記チャレンジを表示し；受信された前記データストリームから、前記モニタされた前記履物又は衣服の物品の空間的な動きと前記順序付けられたいくつかの動きプリミティブとの間の対応を表す精度メトリックを決定する；ように構成される、条項１～６のいずれかに記載のシステム。

条項８： 前記プロセッサは、さらに、前記精度メトリックを前記分散ネットワークに送信するように構成される、条項７に記載のシステム。

条項９： 前記プロセッサは、仮想環境において前記オーディオサンプル又は前記視覚効果の前記再生をトリガするように構成される、条項１～８のいずれかに記載のシステム。

条項１０： 前記オーディオサンプル又は前記視覚効果の前記再生は、前記仮想環境内のアバターの動きである、条項９に記載のシステム。

条項１１： 前記プロセッサは、ビデオフィード上のオーバーレイとして前記オーディオサンプル又は前記視覚効果の前記再生をトリガするように構成される、条項１～８のいずれかに記載のシステム。

条項１２： 前記プロセッサは、さらに、前記履物又は衣服の物品と所定の場所との間の距離を決定するように構成され、前記プロセッサは、前記距離が所定の閾値を下回る場合にのみ、オーディオサンプル又は視覚効果の再生をトリガするように構成される、条項１～１１のいずれかに記載のシステム。

条項１３： ユーザの動きからエンターテインメント体験を作り出す方法であって、前記方法は：複数のデータストリームを受信するステップであって、各データストリームは、異なる履物又は衣服の物品からのものであり、それぞれの前記物品の空間的動きを表す、ステップと；受信された複数のデータストリームの各々に応答して、オーディオサンプル又は視覚効果の再生をトリガするステップと、を含む方法。

条項１４： 前記複数のデータストリームから複数の動きプリミティブを識別するステップをさらに含み、前記オーディオサンプル又は視覚効果の再生をトリガするステップは、識別された前記複数の動きプリミティブのそれぞれの異なるものに対して異なるオーディオサンプル又は視覚効果の再生をトリガするステップを含む、条項１３に記載の方法。

条項１５： 複数の予め定義された動きプリミティブを複数の異なるオーディオサンプル又は視覚効果にマッピングするステップをさらに含む、条項１４に記載の方法。

条項１６： 前記マッピングするステップは、前記複数の動きプリミティブのそれぞれを、前記複数の異なるオーディオサンプル又は視覚効果のうちの異なるものにマッピングするステップを含む、条項１５に記載の方法。

条項１７： 分散ネットワークからチャレンジを受信するステップであって、前記チャレンジは、順序付けられたいくつかの動きプリミティブを含む、ステップと；１つ又は複数のユーザ表示装置を介して１又は複数のユーザに対するチャレンジを表示するステップと；受信された複数のデータストリームから、前記識別された複数の動きプリミティブと前記順序付けられたいくつかの動きプリミティブとの間の対応を表す精度メトリックを決定するステップと；をさらに含む、条項１４～１６のいずれかに記載の方法。

条項１８： 複数のオーディオサンプルのライブラリ及び複数の予め定義された動きプリミティブのライブラリを維持するステップと；ユーザ入力デバイスからの受信された入力に基づいて、前記複数のオーディオサンプルからの異なる選択されたオーディオサンプルを前記複数の予め定義された動きプリミティブの各々と関連付けるステップと；前記複数のデータストリームから複数の動きプリミティブを識別するステップと；前記識別された動きプリミティブの各々を前記予め定義された動きプリミティブの１つとマッチさせるステップと；をさらに含み、前記オーディオサンプル又は視覚効果の前記再生をトリガするステップは、識別された動きプリミティブとマッチするぞれぞれの前記予め定義された動きプリミティブに関連付けられた前記オーディオサンプルを出力するステップを含む、条項１３～１７のいずれかに記載の方法。

条項１９： 複数の視覚効果のライブラリ及び複数の予め定義された動きプリミティブのライブラリを維持するステップと；ユーザ入力デバイスからの受信された入力に基づいて、前記複数の視覚効果からの異なる選択された視覚効果を前記複数の予め定義された動きプリミティブの各々と関連付けるステップと；前記複数のデータストリームから複数の動きプリミティブを識別するステップと；識別された前記動きプリミティブの各々を前記予め定義された動きプリミティブの１つとマッチさせるステップと；をさらに含み、前記オーディオサンプル又は視覚効果の再生をトリガするステップは、識別された動きプリミティブとマッチする各予め定義された動きプリミティブに関連付けられた前記視覚効果を出力するステップを含む、条項１３～１７のいずれかに記載の方法。

条項２０： 視覚効果を出力するステップは、履物又は衣服の物品上の少なくとも１つのライトを点灯するステップを含む、条項１９に記載の方法。

条項２１： 前記複数のデータストリームを受信するステップは、無線デジタル通信プロトコルを介して前記データストリームを受信するステップを含む、条項１３～２０のいずれかに記載の方法。

条項２２： 前記複数のデータストリームの第１のデータストリームから第１の動きプリミティブを識別するとともに前記複数のデータストリームの第２のデータストリームから第２の動きプリミティブを識別するステップであって、前記第１の動きプリミティブ及び前記第２の動きプリミティブは同じである、ステップ；をさらに含み、前記オーディオサンプル又は前記視覚効果の再生をトリガするステップは、前記第１の動きプリミティブの識別に応答して第１のオーディオサンプル又は視覚効果の再生をトリガするステップと、前記第２の動きプリミティブの識別に応答して第２のオーディオサンプル又は視覚効果の再生をトリガするステップとを含み；前記第１のオーディオサンプル又は視覚効果は前記第２のオーディオサンプル又は視覚効果とは異なる、条項１３～２１のいずれかに記載の方法。

Claims (20)

1. 動きベースのメディア作成のためのシステムであって：
   履物又は衣服の物品であって、前記履物又は衣服の物品の少なくとも一部の空間的な動きをモニタし、モニタされた前記空間的な動きを示すデータストリームを生成するように動作する少なくとも１つの加速度計又は慣性測定ユニットを有する、履物又は衣服の物品と；
   前記履物又は衣服の物品とネットワーク接続されて無線通信を行うプロセッサであって、前記プロセッサは：
   前記履物又は衣服の物品から前記データストリームを受信し；
   受信された前記データストリームから少なくとも１つの動きプリミティブを識別し；
   識別された前記少なくとも１つの動きプリミティブに応答して、オーディオサンプル又は視覚効果の再生をトリガする；ように構成される、
   プロセッサと；を有する、
   システム。
2. 識別された前記少なくとも１つの動きプリミティブは、第１の動きプリミティブ及び第２の動きプリミティブを含み、前記オーディオサンプル又は視覚効果は、第１のオーディオサンプル又は第１の視覚効果であるとともに前記第１の動きプリミティブに応答してトリガされ；
   前記プロセッサは、さらに：
   識別された前記第２の動きプリミティブに応答して、第２のオーディオサンプル又は第２の視覚効果の再生をトリガするように構成され；
   前記第１のオーディオサンプル又は第１の視覚効果は、前記第２のオーディオサンプル又は第２の視覚効果とは異なる、
   請求項１に記載のシステム。
3. ユーザ入力デバイスと、前記プロセッサと通信するディスプレイとをさらに有し、前記プロセッサは、さらに：
   複数のオーディオサンプルのライブラリを維持し；
   前記ユーザ入力デバイスからの受信された入力に基づいて、前記複数のオーディオサンプルから選択されたオーディオサンプルを予め定義された動きプリミティブと関連付け；
   前記識別された動きプリミティブを前記予め定義された動きプリミティブとマッチさせる；ように構成され、
   前記識別された動きプリミティブに応答して前記オーディオサンプル又は前記視覚効果の前記再生をトリガすることは、前記識別された動きプリミティブの前記予め定義された動きプリミティブとのマッチングに応答して、前記選択されたオーディオサンプルを出力することを含む、
   請求項１に記載のシステム。
4. ユーザ入力デバイスと、前記プロセッサと通信するディスプレイとをさらに含み、前記プロセッサは、さらに：
   複数の視覚効果のライブラリを維持し；
   前記ユーザ入力デバイスからの受信された入力に基づいて、前記複数の視覚効果から選択された視覚効果を予め定義された動きプリミティブと関連付け；
   前記識別された動きプリミティブを前記予め定義された動きプリミティブにマッチさせる；ように構成され、
   前記識別された動きプリミティブに応答して前記オーディオサンプル又は前記視覚効果の前記再生をトリガすることは、前記識別された動きプリミティブの前記予め定義された動きプリミティブとのマッチングに応答して、前記選択された視覚効果を出力することを含む、
   請求項１に記載のシステム。
5. 前記履物又は衣服の物品は、少なくとも１つのライトをさらに有し；
   前記選択された視覚効果を出力することは、前記履物又は衣服の物品の前記少なくとも１つのライトを点灯することを含む、
   請求項４に記載のシステム。
6. 前記プロセッサは、仮想環境において前記オーディオサンプル又は前記視覚効果の前記再生をトリガするように構成される、
   請求項１に記載のシステム。
7. 前記オーディオサンプル又は前記視覚効果の前記再生は、前記仮想環境内のアバターの動きである、
   請求項６に記載のシステム。
8. 前記プロセッサは、ビデオフィード上のオーバーレイとして前記オーディオサンプル又は前記視覚効果の前記再生をトリガするように構成される、
   請求項１に記載のシステム。
9. 前記プロセッサは、さらに、前記履物又は衣服の物品と所定の位置との間の距離を決定するように構成され、前記プロセッサは、前記距離が所定の閾値を下回る場合にのみ、オーディオサンプル又は視覚効果の再生をトリガするように構成される、
   請求項１に記載のシステム。
10. 前記履物又は衣服の物品は、さらに、ユーザの身体に触覚を伝達するように動作する振動トランスデューサを有し、
    前記プロセッサは、さらに、前記振動トランスデューサに、前記ユーザにビート又は触覚タイミング信号を伝達させるように構成される。
    請求項１に記載のシステム。
11. ユーザの動きからエンターテインメント体験を作り出す方法であって、前記方法は：
    複数のデータストリームを受信するステップであって、各データストリームは、異なる履物又は衣服の物品からのものであり、それぞれの前記物品の空間的な動きを表す、ステップと；
    受信された前記複数のデータストリームの各々に応答して、オーディオサンプル又は視覚効果の再生をトリガするステップと；を含む、
    方法。
12. 前記複数のデータストリームから複数の動きプリミティブを識別するステップをさらに含み、
    前記オーディオサンプル又は視覚効果の再生をトリガするステップは、識別された前記複数の動きプリミティブのそれぞれの異なるものに対して異なるオーディオサンプル又は視覚効果の再生をトリガするステップを含む、
    請求項１１に記載の方法。
13. 複数の予め定義された動きプリミティブを複数の異なるオーディオサンプル又は視覚効果にマッピングするステップをさらに含む、
    請求項１２に記載の方法。
14. 前記マッピングするステップは、前記複数の動きプリミティブのそれぞれを、前記複数の異なるオーディオサンプル又は視覚効果のうちの異なるものにマッピングするステップを含む、
    請求項１３に記載の方法。
15. 前記受信された複数のデータストリームの各々に応答して、オーディオサンプル又は視覚効果の再生をトリガするステップは、視覚効果を表示するステップ又は仮想環境内でアバターの運動を開始させるステップを含む、
    請求項１１に記載の方法。
16. 複数のオーディオサンプルのライブラリ及び複数の予め定義された動きプリミティブのライブラリを維持するステップと；
    ユーザ入力デバイスからの受信された入力に基づいて、前記複数のオーディオサンプルからの異なる選択されたオーディオサンプルを前記複数の予め定義された動きプリミティブの各々と関連付けるステップと；
    前記複数のデータストリームから複数の動きプリミティブを識別するステップと；
    識別された前記動きプリミティブの各々を、前記予め定義された動きプリミティブの１つとマッチさせるステップと；をさらに含み、
    前記オーディオサンプル又は視覚効果の前記再生をトリガするステップは、識別された動きプリミティブとマッチするそれぞれの前記予め定義された動きプリミティブに関連付けられた前記オーディオサンプルを出力するステップを含む、
    請求項１１に記載の方法。
17. 複数の視覚効果のライブラリ及び複数の予め定義された動きプリミティブのライブラリを維持するステップと；
    ユーザ入力デバイスからの受信された入力に基づいて、前記複数の視覚効果からの異なる選択された視覚効果を前記複数の予め定義された動きプリミティブの各々と関連付けるステップと；
    前記複数のデータストリームから複数の動きプリミティブを識別するステップと；
    識別された前記動きプリミティブの各々を、前記予め定義された動きプリミティブの１つとマッチさせるステップと；をさらに含み、
    前記オーディオサンプル又は視覚効果の前記再生をトリガするステップは、識別された動きプリミティブとマッチする各予め定義された動きプリミティブに関連付けられた前記視覚効果を出力するステップを含む、
    請求項１１に記載の方法。
18. 前記視覚効果を出力するステップは、前記履物又は衣服の物品上の少なくとも１つのライトを点灯させるステップを含む、
    請求項１７に記載の方法。
19. 前記複数のデータストリームを受信するステップは、無線デジタル通信プロトコルを介して前記データストリームを受信するステップを含む、
    請求項１１に記載の方法。
20. 前記複数のデータストリームの第１のデータストリームから第１の動きプリミティブを識別するとともに前記複数のデータストリームの第２のデータストリームから第２の動きプリミティブを識別するステップであって、前記第１の動きプリミティブ及び前記第２の動きプリミティブは同じである、ステップをさらに含み、
    前記オーディオサンプル又は視覚効果の再生をトリガするステップは、前記第１の動きプリミティブの識別に応答して第１のオーディオサンプル又は視覚効果の再生をトリガするステップと、前記第２の動きプリミティブの識別に応答して第２のオーディオサンプル又は視覚効果の再生をトリガするステップとを含み、
    前記第１のオーディオサンプル又は視覚効果は、前記第２のオーディオサンプル又は視覚効果とは異なる。
    請求項１１に記載の方法。
    

Images