WO2019035349A1 - 通信装置及び通信方法 - Google Patents

Abstract

本技術は、事象の検出結果を含む通信データの送信先で事象の検出時刻を容易に検出することができるようにする通信装置及び通信方法に関する。 通信装置は、所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する所要時間を推定する所要時間推定部と、前記通信データ、及び、前記所要時間を含む所要時間情報を前記後段の装置へ送信する送信部とを備える。本技術は、例えば、ユーザに装着されたセンサからのセンサデータに基づいて、ユーザのモーションを検出するシステムに適用できる。

Description

通信装置及び通信方法

　本技術は、通信装置及び通信方法に関し、特に、事象の検出結果を含む通信データの送受信を行う場合に用いて好適な通信装置及び通信方法に関する。

　従来、動作関連演算装置が、複数のユーザにそれぞれ装着したセンサ装置からの運動情報に基づいて、各ユーザの運動リズムを推定し、各ユーザの運動リズムと基本となる運動リズムとの間の相違度や、ユーザ間の運動リズムの相違度を計算し、その結果をユーザにフィードバックするシステムが提案されている（例えば、特許文献１参照）。

特開２０１１－８７７９４号公報

　ところで、特許文献１に記載の発明において、動作関連演算装置が、各センサ装置における運動情報の検出時刻を正確に検出しようとした場合、例えば、各センサ装置の時計を同期させる必要がある。しかし、各センサ装置の時計を同期させるためには、例えば、センサ装置の電源を投入する毎に、各センサ装置と動作関連演算装置との間、又は、各センサ装置間で通信を行い、同期処理を行う必要が生じる。

　本技術は、このような状況に鑑みてなされたものであり、事象の検出結果を含む通信データの送信先で事象の検出時刻を容易に検出できるようにするものである。

　本技術の第１の側面の通信装置は、所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する第１の所要時間を推定する所要時間推定部と、前記通信データ、及び、前記第１の所要時間を含む所要時間情報を前記後段の装置へ送信する送信部とを備える。

　本技術の第１の側面の通信方法は、通信装置が、所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する所要時間を推定し、前記通信データ、及び、前記所要時間を含む所要時間情報を前記後段の装置へ送信する。

　本技術の第２の側面の通信装置は、所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報を受信する受信部と、前記所要時間情報に基づいて、前記事象が検出された時刻を算出する時刻算出部とを備える。

　本技術の第２の側面の通信方法は、通信装置が、所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報を受信し、前記所要時間情報に基づいて、前記事象が検出された時刻を算出する。

　本技術の第１の側面においては、所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する所要時間が推定され、前記通信データ、及び、前記所要時間を含む所要時間情報が前記後段の装置へ送信される。

　本技術の第２の側面においては、所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報が受信され、前記所要時間情報に基づいて、前記事象が検出された時刻が算出される。

　本技術の第１の側面又は第２の側面によれば、事象の検出結果を含む通信データの送信先で事象の検出時刻を容易に検出することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術を適用したモーション認識システムの第１の実施の形態を示すブロック図である。 ウエアラブルセンサの装着位置の例を示す図である。 ウエアラブルセンサの第１の実施の形態を示すブロック図である。 ウエアラブルセンサが備えるセンサの仕様例を示す表である。 モーション認識装置の第１の実施の形態を示すブロック図である。 ウエアラブルセンサの処理の第１の実施の形態を説明するためのフローチャートである。 通信パケットのフォーマットの第１の実施の形態を示す図である。 動き検出データの構成例を示す表である。 モーション認識装置の処理の第１の実施の形態を説明するためのフローチャートである。 フィギュアスケートにおいてモーションの認識を行う場合の例を示す図である。 ダンスの技の例を示す図である。 ダンスの技の例を示す図である。 本技術を適用した学習システムの構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 学習処理部の構成例を示すブロック図である。 モーション登録処理を説明するためのフローチャートである。 モーション登録処理のユーザインタフェースの例を示す図である。 ダンスのジャンルの階層構造を示す図である。 ダンスの技の階層構造を示す図である。 学習データの例を示す図である。 データ欠損率とモーションの認識精度の関係を示すグラフである。 通信パケットの再送回数、データ欠損率、最大遅延時間、及び、モーションの認識精度の関係を示す表である。 モーション認識のリアルタイム性に寄与する要素を説明するための図である。 本技術を適用したモーション認識システムの第２の実施の形態を示すブロック図である。 ウエアラブルセンサの第２の実施の形態を示すブロック図である。 モーション認識装置の第２の実施の形態を示すブロック図である。 モーション認識装置の処理の第２の実施の形態を説明するためのフローチャートである。 ウエアラブルセンサの処理の第２の実施の形態を説明するためのフローチャートである。 通信パケットのフォーマットの第２の実施の形態を示す図である。 モーション認識装置と各ウエアラブルセンサとの間の通信を示すシーケンス図である。 本技術を適用したモーション認識システムの第３の実施の形態を示すブロック図である。 ウエアラブルセンサの第３の実施の形態を示すブロック図である。 モーション認識装置の第３の実施の形態を示すブロック図である。 ウエアラブルセンサの処理の第３の実施の形態を説明するためのフローチャートである。 通信パケットのフォーマットの第３の実施の形態を示す図である。 モーション認識装置の処理の第３の実施の形態を説明するためのフローチャートである。 本技術を適用したモーション認識システムの第４の実施の形態を示すブロック図である。 中継器の構成例を示すブロック図である。 中継器の処理を説明するためのフローチャートである。 通信パケットのフォーマットの第４の実施の形態を示す図である。 本技術を適用した演出システムの構成例を示すブロック図である。 演出制御部の構成例を示すブロック図である。 演出制御処理を説明するためのフローチャートである。 モーションの遷移と効果音の関係を示す遷移図である。 効果音が出力されるタイミングの例を示す図である。 本技術を適用した解析システムの構成例を示すブロック図である。 解析処理部の構成例を示すブロック図である。 解析処理を説明するためのフローチャートである。 解析処理の提示方法の第１の例を示す図である。 行動解析部の表示内容を拡大した図である。 解析処理の提示方法の第２の例を示す図である。 解析処理の提示方法の第３の例を示す図である。

　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（モーション認識システム及び学習システム）
　２．第２の実施の形態（モーション認識システム）
　３．第３の実施の形態（モーション認識システム）
　４．第４の実施の形態（モーション認識システム）
　５．第５の実施の形態（演出システム）
　６．第６の実施の形態（解析システム）
　７．適用例
　８．変形例
　９．その他

　＜＜１．第１の実施の形態＞＞
　まず、図１乃至図２３を参照して、本技術の第１の実施の形態について説明する。

　＜モーション認識システムの第１の実施の形態＞
　図１は、本技術を適用したモーション認識システムの第１の実施の形態であるモーション認識システム１００の構成例を示している。

　モーション認識システム１００は、ユーザのモーションの認識処理を行うシステムである。

　ここで、モーションとは、例えば、所定の分類に基づく、ユーザ（人）の行動を構成する動きの単位のことである。従って、モーションは、行動よりも短時間のユーザの動きとなる。また、モーションは、ユーザの全身の動きであってもよいし、ユーザの体の一部の動きであってもよい。

　一方、行動とは、所定の分類に基づく、一連のモーションの集合体であり、複数のモーションの組み合わせからなる。例えば、所定の目的を達成するための一連のモーションの集合体が行動となる。

　なお、本技術において、行動及びモーションの分類は、任意に設定したり変更したりすることが可能である。例えば、ダンス、アイススケート、ラグビー、トライアスロン、水泳、登山等のスポーツの種目に基づいて、モーションを認識する対象となる行動が分類される。この場合、例えば、体操総合のように複数の種目を組み合わせたスポーツを、１つの行動とみなすことも可能である。

　また、例えば、通勤、運転、仕事、勉強、育児、睡眠、料理、食べる、ＴＶを観る、歌う、演奏する、撮影する等の日常生活の行動に基づいて、モーションを認識する対象となる行動が分類される。

　一方、例えば、ダンスという行動に対して、スライド、ジャーク、ビズマーキー等のダンスの技に基づいて、認識対象となるモーションが分類される。或いは、ダンスという行動に対して、回転、跳躍、ステップ、横揺れ、縦揺れ等のダンスの動きに基づいて、認識対象となるモーションが分類される。なお、ダンスの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

　例えば、フィギュアスケートという行動に対して、アクセル、ルッツ、サルコウ等のフィギュアスケートの技に基づいて、認識対象となるモーションが分類される。或いは、フィギュアスケートという行動に対して、滑る、回転する、跳ぶ、ステップする等のフィギュアスケートの動きに基づいて、認識対象となるモーションが分類される。なお、フィギュアスケートの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

　例えば、ラグビーという行動に対して、スクラム、トライ、ラン、パス、タックル等のラグビー特有の動きに基づいて、認識対象となるモーションが分類される。或いは、例えば、ラグビーという行動に対して、走る、跳ぶ、投げる、捕る、ぶつかる等の一般的な動きに基づいて、認識対象となるモーションが分類される。なお、ラグビー特有の動き及び一般的な動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

　例えば、水泳という行動に対して、クロール、平泳ぎ、バタフライ、背泳ぎ等の水泳の泳法に基づいて、認識対象となるモーションが分類される。或いは、例えば、水泳という行動に対して、飛び込み、ターン、息継ぎ、キック等の水泳の動きに基づいて、認識対象となるモーションが分類される。なお、水泳の泳法及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。

　例えば、トライアスロンという行動に対して、スイミング、サイクリング、ランニングのトライアスロンの種目に基づいて、認識対象となるモーションが分類される。

　例えば、体操総合という行動に対して、あん馬、床、吊り輪等の体操の種目に基づいて、認識対象となるモーションが分類される。

　例えば、通勤という行動に対して、歩く、休む、電車に乗る、階段を登る等の通勤時の動きに基づいて、認識対象となるモーションが分類される。

　例えば、運転という行動に対して、アクセル、ブレーキ、ギア変更、後方確認等の運転時の動きに基づいて、認識対象となるモーションが分類される。

　例えば、仕事という行動に対して、話す、聞く、書く、電話、ＰＣを使う、打合せ等の仕事時の動きに基づいて、認識対象となるモーションが分類される。

　なお、同じユーザの動きが、分類の違いにより、行動にもモーションにもなり得る。例えば、トライアスロンの各種目（スイミング、サイクリング、ランニング）は、それぞれ単独でモーションを認識する対象となる行動にもなり得る。すなわち、スイミング、サイクリング、又は、ランニングが行動に分類され、各行動に対してモーションの認識処理が行われる場合がある。

　モーション認識システム１００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－６、及び、モーション認識装置１０２を備える。

　なお、以下、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－６を個々に区別する必要がない場合、単にウエアラブルセンサ１０１と称する。

　各ウエアラブルセンサ１０１は、モーションを認識する対象となるユーザの互いに異なる位置（以下、検出ポイント又は検出位置と称する）に装着され、各検出ポイントの動きを検出するセンサ装置である。各ウエアラブルセンサ１０１は、各検出ポイントの動きの検出結果を示す動き検出データを含む通信パケットをモーション認識装置１０２に送信する。

　モーション認識装置１０２は、例えば、ユーザから離れた位置に設置される。そして、モーション認識装置１０２は、各ウエアラブルセンサ１０１により検出されたユーザの各検出ポイントの動きに基づいて、ユーザのモーションの認識処理を行う。モーション認識装置１０２は、ユーザのモーションに対応する処理の制御に用いる制御データ（以下、モーション制御データと称する）を後段の装置に送信する。

　なお、各ウエアラブルセンサ１０１とモーション認識装置１０２との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ１０１の消費電力を削減するとともに、ウエアラブルセンサ１０１を小型化することが可能になる。

　また、モーション認識装置１０２と後段の装置との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。

　＜各ウエアラブルセンサ１０１の装着位置の例＞
　図２は、各ウエアラブルセンサ１０１の装着位置（検出ポイント）の例を模式的に示している。なお、図中、各ウエアラブルセンサ１０１の装着位置を円で示している。

　例えば、ウエアラブルセンサ１０１－１は、ユーザの頭部に装着され、頭部の動きを検出する。ウエアラブルセンサ１０１－２は、ユーザの腰に装着され、腰の動きを検出する。すなわち、ウエアラブルセンサ１０１－１及びウエアラブルセンサ１０１－２により、ユーザの体幹の動き、重心、姿勢等が検出される。

　ウエアラブルセンサ１０１－３は、ユーザの左手首に装着され、左手首の動きを検出する。ウエアラブルセンサ１０１－４は、ユーザの右手首に装着され、右手首の動きを検出する。すなわち、ウエアラブルセンサ１０１－３及びウエアラブルセンサ１０１－４により、ユーザの両手の動きや手首のスナップ等が検出される。

　ウエアラブルセンサ１０１－５は、ユーザの左足首に装着され、左足首の動きを検出する。ウエアラブルセンサ１０１－６は、ユーザの右足首に装着され、右足首の動きを検出する。すなわち、ウエアラブルセンサ１０１－５及びウエアラブルセンサ１０１－６により、ユーザの両足の動きやステップ等が検出される。

　そして、ユーザの体幹、両手、及び、両足の相互の動きの連動性に基づいて、ユーザのモーションが認識される。

　なお、図１及び図２のウエアラブルセンサ１０１の装着数及び装着位置は、その一例であり、認識対象となるモーションの種類等により適宜変更される。例えば、ウエアラブルセンサ１０１は、ユーザの頭部、胴体、左手、右手、左足、及び、右足のうちの２カ所以上に装着される。

　なお、一般的に、ウエアラブルセンサ１０１の装着数が多くなるほど、モーションの認識精度が向上する一方、ユーザに与える負荷が大きくなる。一方、ウエアラブルセンサ１０１の装着数が少なくなるほど、ユーザに与える負荷が小さくなる一方、モーションの認識精度が低下する。

　また、ウエアラブルセンサ１０１の装着方法は、特に限定されない。例えば、バンド、ベルト、サポータ、テープ、クリップ等が用いられる。なお、各検出ポイントの動きを高精度に検出できるように、ユーザの動きを阻害したり、ユーザに不快感を与えたりしない程度に、できる限り各ウエアラブルセンサ１０１の装着位置が動かないようにすることが望ましい。

　＜ウエアラブルセンサ１０１の構成例＞
　図３は、図１のウエアラブルセンサ１０１の構成例を示している。また、図４は、ウエアラブルセンサ１０１の各センサの仕様の例を示している。

　ウエアラブルセンサ１０１は、ＨＤＲ（High Dynamic Range）加速度センサ１３１、ＬＤＲ（Low Dynamic Range）加速度センサ１３２、ＨＤＲ（High Dynamic Range）ジャイロセンサ１３３、ＬＤＲ（Low Dynamic Range）ジャイロセンサ１３４、地磁気センサ１３５、歪みセンサ１３６、気圧センサ１３７、時刻情報取得部１３８、センサデータ取得部１３９、マージ処理部１４０、姿勢検出部１４１、補正部１４２、バッファ１４３、パケット生成部１４４、送信制御部１４５、及び、送信部１４６を備える。

　ＨＤＲ加速度センサ１３１は、ウエアラブルセンサ１０１が装着されている位置（検出ポイント）のピッチ軸（ｘ軸）、ロール軸（ｙ軸）、及び、ヨー軸（ｚ軸）の３軸方向の加速度の検出を行う。例えば、ＨＤＲ加速度センサ１３１は、１０２４Ｈｚのサンプリング周波数で検出ポイントの加速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＨＤＲ加速度データと称する）を出力する。

　ＬＤＲ加速度センサ１３２は、検出ポイントのピッチ軸、ロール軸、及び、ヨー軸の３軸方向の加速度の検出を行う。例えば、ＬＤＲ加速度センサ１３２は、１０２４Ｈｚのサンプリング周波数で検出ポイントの加速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＬＤＲ加速度データと称する）を出力する。

　なお、ＨＤＲ加速度センサ１３１の方がＬＤＲ加速度センサ１３２より検出可能な加速度のダイナミックレンジが広い。例えば、ＨＤＲ加速度センサ１３１は±３２Ｇ、ＬＤＲ加速度センサ１３２は±１６Ｇでセンサデータを出力する。

　ＨＤＲジャイロセンサ１３３は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りの角速度の検出を行う。例えば、ＨＤＲジャイロセンサ１３３は、１０２４Ｈｚのサンプリング周波数で検出ポイントの角速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＨＤＲ角速度データと称する）を出力する。

　ＬＤＲジャイロセンサ１３４は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りの角速度の検出を行う。例えば、ＬＤＲジャイロセンサ１３４は、１０２４Ｈｚのサンプリング周波数で検出ポイントの角速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＬＤＲ角速度データと称する）を出力する。

　なお、ＨＤＲジャイロセンサ１３３の方がＬＤＲジャイロセンサ１３４より検出可能な角速度のダイナミックレンジが広い。例えば、ＨＤＲジャイロセンサ１３３は±４０００ｄｐｓ、ＬＤＲジャイロセンサ１３４は±２０００ｄｐｓでセンサデータを出力する。

　地磁気センサ１３５は、検出ポイント周辺のピッチ軸、ロール軸、及び、ヨー軸の３軸方向の地磁気の検出を行う。例えば、地磁気センサ１３５は、１２８Ｈｚのサンプリング周波数で検出ポイント周辺の地磁気をサンプリングし、１６ビット×３軸のセンサデータ（以下、地磁気データと称する）を出力する。

　歪みセンサ１３６は、検出ポイントのピッチ軸及びロール軸の２軸方向の歪み（例えば、検出ポイントの伸縮等）を検出する。例えば、歪みセンサ１３６は、２５６Ｈｚのサンプリング周波数で検出ポイントの歪みをサンプリングし、１６ビット×２軸のセンサデータ（以下、歪みデータと称する）を出力する。

　気圧センサ１３７は、検出ポイント周辺の気圧を検出する。例えば、検出ポイント周辺の気圧に基づいて、検出ポイントの高さ方向の位置が検出される。例えば、気圧センサ１３７は、１２８Ｈｚのサンプリング周波数で検出ポイント周辺の気圧をサンプリングし、２４ビットのセンサデータ（以下、気圧データと称する）を出力する。

　時刻情報取得部１３８は、例えば時計等により構成され、現在時刻を示す時刻情報を取得し、センサデータ取得部１３９に供給する。

　センサデータ取得部１３９は、ＨＤＲ加速度センサ１３１、ＬＤＲ加速度センサ１３２、ＨＤＲジャイロセンサ１３３、及び、ＬＤＲジャイロセンサ１３４からそれぞれＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、及び、ＬＤＲ角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部１４０に供給する。また、センサデータ取得部１３９は、地磁気センサ１３５から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部１４１に供給する。さらに、センサデータ取得部１３９は、歪みセンサ１３６及び気圧センサ１３７からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部１４２に供給する。

　マージ処理部１４０は、ＨＤＲ加速度データとＬＤＲ加速度データのマージ処理、及び、ＨＤＲ角速度データとＬＤＲ角速度データのマージ処理を行う。マージ処理部１４０は、マージ後の加速度データ及び角速度データを姿勢検出部１４１及びバッファ１４３に供給する。

　姿勢検出部１４１は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢の検出を行う。検出ポイントの姿勢は、例えば、オイラー角により表される。姿勢検出部１４１は、計算結果を示すデータ（以下、姿勢データと称する）をバッファ１４３に供給する。

　補正部１４２は、歪みデータ及び気圧データの補正を行い、補正後の歪みデータ及び気圧データをバッファ１４３に供給する。

　バッファ１４３は、姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを一時的に蓄積する。

　パケット生成部１４４は、バッファ１４３に蓄積されている姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含むデータ（以下、動き検出データと称する）を送信するための通信パケットを生成し、送信制御部１４５に供給する。

　送信制御部１４５は、送信部１４６による通信パケットの送信を制御する。

　送信部１４６は、所定の方式の無線通信により通信パケットをモーション認識装置１０２に送信する。

　なお、図示を省略しているが、ウエアラブルセンサ１０１の各部は、例えば、バッテリにより駆動される。

　＜モーション認識装置１０２の構成例＞
　図５は、モーション認識装置１０２の構成例を示している。

　モーション認識装置１０２は、受信部１６１、パケット復元部１６２、バッファ１６３、サンプルデータ生成部１６４、モーション認識部１６５、送信制御部１６６、及び、送信部１６７を備える。

　受信部１６１は、各ウエアラブルセンサ１０１の送信部１４６と対応する方式の無線通信により、各ウエアラブルセンサ１０１から通信パケットを受信し、パケット復元部１６２に供給する。

　パケット復元部１６２は、各ウエアラブルセンサ１０１の通信パケットの復元を行い、通信パケットに含まれる動き検出データとタイムスタンプを関連付けて、バッファ１６３に供給する。

　バッファ１６３は、各ウエアラブルセンサ１０１の通信パケットから抽出された動き検出データ及びタイムスタンプを一時的に蓄積する。

　サンプルデータ生成部１６４は、バッファ１６３に蓄積されている動き検出データを用いて、モーション認識処理に用いるサンプルデータを生成し、モーション認識部１６５に供給する。

　モーション認識部１６５は、ユーザのモーションの認識に用いるモデルであるモーション認識モデルを用いて、サンプルデータに基づいて、ユーザのモーションの認識処理を行う。モーション認識部１６５はユーザのモーションの認識結果を送信制御部１６６に供給する。

　送信制御部１６６は、ユーザのモーションの認識結果に基づいて、モーション制御データを生成し、送信部１６７によるモーション制御データの送信を制御する。すなわち、送信制御部１６６は、モーション認識装置１０２からのモーション制御データの出力を制御する。

　送信部１６７は、所定の方式の無線通信又は有線通信により、モーション制御データを後段の装置に送信する。

　＜ウエアラブルセンサ１０１の処理＞
　次に、図６のフローチャートを参照して、ウエアラブルセンサ１０１の処理について説明する。この処理は、例えば、ウエアラブルセンサ１０１の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ１において、センサデータ取得部１３９は、センサデータの取得を開始する。

　具体的には、センサデータ取得部１３９は、ＨＤＲ加速度センサ１３１、ＬＤＲ加速度センサ１３２、ＨＤＲジャイロセンサ１３３、及び、ＬＤＲジャイロセンサ１３４からそれぞれＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、及び、ＬＤＲ角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部１４０に供給する処理を開始する。また、センサデータ取得部１３９は、地磁気センサ１３５から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部１４１に供給する処理を開始する。さらに、センサデータ取得部１３９は、歪みセンサ１３６及び気圧センサ１３７からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部１４２に供給する処理を開始する。

　ステップＳ２において、マージ処理部１４０は、加速度データ及び角速度データのマージ処理を開始する。

　具体的には、マージ処理部１４０は、ＨＤＲ加速度データとＬＤＲ加速度データをマージし（合成し）、マージ後の加速度データをバッファ１４３に供給し、蓄積させる処理を開始する。

　なお、マージ後の加速度データのうち、ＬＤＲ加速度データのダイナミックレンジの範囲内のデータには、ＬＤＲ加速度データに基づくデータが使用され、それ以外の範囲のデータには、ＨＤＲ加速度データに基づくデータが使用される。これにより、マージ後の加速度データにおいて、ＬＤＲ加速度データのダイナミックレンジの範囲内の加速度の検出精度が向上する。

　また、マージ処理部１４０は、ＨＤＲ角速度データとＬＤＲ角速度データをマージし（合成し）、マージ後の角速度データをバッファ１４３に供給し、蓄積させる処理を開始する。

　なお、マージ後の角速度データのうち、ＬＤＲ角速度データのダイナミックレンジの範囲内のデータには、ＬＤＲ角速度データに基づくデータが使用され、それ以外の範囲のデータには、ＨＤＲ角速度データに基づくデータが使用される。これにより、マージ後の角速度データにおいて、ＬＤＲ角速度データのダイナミックレンジの範囲内の角速度の検出精度が向上する。

　ステップＳ３において、姿勢検出部１４１は、姿勢の検出を開始する。具体的には、姿勢検出部１４１は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢を示すピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りのオイラー角を検出する処理を開始する。また、姿勢検出部１４１は、検出結果を示す姿勢データをバッファ１４３に供給し、蓄積させる処理を開始する。

　ステップＳ４において、補正部１４２は、歪みデータ及び気圧データの補正を開始する。例えば、補正部１４２は、歪みデータ及び気圧データのノイズ除去、データサイズの変換等の処理を開始する。また、補正部１４２は、補正後の歪みデータ及び気圧データをバッファ１４３に供給し、蓄積させる処理を開始する。

　ステップＳ５において、パケット生成部１４４は、通信パケットを送信するタイミングであるか否かを判定する。この判定処理は、通信パケットを送信するタイミングであると判定されるまで繰り返し実行され、通信パケットを送信するタイミングであると判定された場合、処理はステップＳ６に進む。

　なお、例えば、通信パケットは、所定の間隔で送信される。例えば、通信パケットは、１２８Ｈｚの送信頻度で（すなわち、１秒間に１２８回）送信される。この場合、通信パケットに含まれる動き検出データのサンプリング周波数は１２８Ｈｚとなる。

　ステップＳ６において、パケット生成部１４４は、通信パケットを生成する。例えば、パケット生成部１４４は、最新の姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データをバッファ１４３から読み出す。また、パケット生成部１４４は、現在時刻を示す時刻情報を時刻情報取得部１３８から取得する。そして、パケット生成部１４４は、バッファ１４３から読み出した姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む通信パケットを生成する。

　図７は、パケット生成部１４４により生成される通信パケットのフォーマットの例を示している。通信パケットは、ヘッダ、タイムスタンプ、及び、動き検出データを含む。

　タイムスタンプには、例えば、センサデータを取得した時刻が設定される。なお、センサデータを取得した時刻には、例えば、通信パケット内の動き検出データに用いられた各センサデータの取得時刻のうち、最も早い時刻が設定される。また、例えば、動き検出データに含まれる各データの取得タイミングが異なる場合、データ毎にタイムスタンプ（センサデータを取得した時刻）を通信パケットに格納するようにしてもよい。この場合、通信パケットのフォーマットは、例えば、ヘッダ、タイムスタンプ１、動き検出データに含まれるデータ１（例えば、姿勢データ）、タイムスタンプ２、動き検出データに含まれるデータ２（例えば、加速度データ）、・・・のようになる。

　動き検出データには、バッファ１４３から読み出された姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データが含まれる。なお、動き検出データは、例えば、所定の方式により暗号化される。

　図８は、動き検出データに含まれる各データの仕様例を示している。

　姿勢データのサイズは、例えば、１６ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、姿勢データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは６，１４４ｂｐｓ（bit per second）となる。

　加速度データのサイズは、例えば、２０ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、加速度データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは７，６８０ｂｐｓとなる。

　角速度データのサイズは、例えば、２０ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、角速度データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは７，６８０ｂｐｓとなる。

　歪みデータのサイズは、例えば、１６ビット×２軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、歪みデータのサンプリング周波数は１２８Ｈｚとなり、ビットレートは４，０９６ｂｐｓとなる。

　気圧データのサイズは、例えば、２４ビットとされる。通信パケットの送信頻度が１２８Ｈｚの場合、気圧データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは２，０４８ｂｐｓとなる。

　パケット生成部１４４は、通信パケットを送信制御部１４５に供給する。また、パケット生成部１４４は、通信パケットにより送信する各データ、及び、それより古いデータをバッファ１４３から削除する。

　ステップＳ７において、送信部１４６は、送信制御部１４５の制御の下に、通信パケットをモーション認識装置１０２に送信する。

　その後、処理はステップＳ５に戻り、ステップＳ５以降の処理が実行される。

　＜モーション認識装置１０２の処理＞
　次に、図９のフローチャートを参照して、図６の各ウエアラブルセンサ１０１の処理に対応してモーション認識装置１０２により実行される処理について説明する。この処理は、例えば、モーション認識装置１０２の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ３１において、受信部１６１は、通信パケットの受信を開始する。すなわち、受信部１６１は、各ウエアラブルセンサ１０１から送信されてくる通信パケットを受信し、受信した通信パケットをパケット復元部１６２に供給する処理を開始する。

　ステップＳ３２において、パケット復元部１６２は、通信パケットの復元を開始する。例えば、パケット復元部１６２は、各ウエアラブルセンサ１０１から受信した通信パケットに含まれる動き検出データの復号等を行った後、動き検出データと通信パケットに含まれるタイムスタンプとを関連付けて、バッファ１６３に供給し、蓄積させる処理を開始する。

　ステップＳ３３において、サンプルデータ生成部１６４は、モーション認識処理を行うタイミングであるか否かを判定する。この判定処理は、モーション認識処理を行うタイミングであると判定されるまで繰り返し実行され、モーション認識処理を行うタイミングであると判定された場合、処理はステップＳ３４に進む。

　なお、例えば、モーション認識処理は、所定の間隔で実行される。例えば、モーション認識処理は、通信パケットの送信頻度と同じ頻度で（例えば、１秒間に１２８回）実行される。

　ステップＳ３４において、サンプルデータ生成部１６４は、タイムスタンプが近い動き検出データを抽出する。

　例えば、サンプルデータ生成部１６４は、バッファ１６３に蓄積されている各動き検出データのタイムスタンプに基づいて、現在の時刻から過去の方向に遡りながら、全ての検出ポイントの動き検出データのタイムスタンプが所定の時間（例えば、数ミリ秒）の範囲内に収まる時間帯を検出する。そして、サンプルデータ生成部１６４は、タイムスタンプがその時間帯に含まれる動き検出データを抽出する。これにより、タイムスタンプが近い動き検出データが検出ポイント毎に１つずつ抽出される。すなわち、各検出ポイントにおいてほぼ同じタイミングで検出された動きに対応する動き検出データが抽出される。

　なお、全ての検出ポイントの動き検出データのタイムスタンプが所定の時間の範囲内に収まる時間帯が検出されなかった場合、例えば、検出データの数が最大になる時間帯を検出し、その時間帯の動き検出データを抽出するようにしてもよい。この場合、一部の検出ポイントの動き検出データが欠落した状態になる。或いは、全ての検出ポイントの動き検出データが抽出されるように、動き検出データを抽出する時間帯の幅を広げるようにしてもよい。

　ステップＳ３５において、サンプルデータ生成部１６４は、抽出した動き検出データを用いてサンプルデータを生成する。具体的には、サンプルデータ生成部１６４は、ステップＳ３４の処理で抽出した各検出ポイントの動き検出データを含むサンプルデータを生成し、モーション認識部１６５に供給する。また、サンプルデータ生成部１６４は、抽出した動き検出データ、及び、抽出した動き検出データよりタイムスタンプが古い動き検出データをバッファ１６３から削除する。

　ステップＳ３６において、モーション認識部１６５は、サンプルデータに基づいて、モーション認識処理を行う。例えば、モーション認識部１６５は、モーション認識モデルを用いて、ユーザの各検出ポイントの姿勢、加速度、角速度、歪み（伸縮）、及び、気圧（高さ）に基づいて、ユーザのモーションを認識する。

　なお、モーション認識モデルは、例えば、ユーザの各検出ポイント間の動きの関係（例えば、各検出ポイントの連動性等）に基づいて、ユーザのモーションの認識を行うモデルである。モーション認識モデルは、例えば、事前の学習処理により生成される。モーション認識モデルの学習方法には、再帰型ニューラルネットワーク（ＲＮＮ）等の任意の方法を採用することが可能である。

　モーション認識部１６５は、ユーザのモーションの認識結果を送信制御部１６６に供給する。

　ステップＳ３７において、モーション認識装置１０２は、認識結果を送信する。具体的には、送信制御部１６６は、ユーザのモーションの認識結果に基づいて、モーション制御データを生成し、送信部１６７に供給する。

　なお、モーション制御データは、例えば、ユーザのモーションの認識結果、及び、認識されたモーションに対応する処理の制御情報のうち少なくとも１つを含む。

　また、モーション制御データに、モーション認識に用いられた各検出ポイントの動き検出データを含ませるようにしてもよい。これにより、後段の装置において、動き検出データに基づいて、認識されたモーションの詳細を検出することが可能になる。

　そして、送信部１６７は、モーション制御データを後段の装置、例えば、スマートフォン、パーソナルコンピュータ、各種のシステム等に送信する。

　なお、モーション制御データの送信を、間欠送信により行うようにしてもよい。例えば、モーションの認識結果が変化したタイミングで、モーション制御データを送信するようにしてもよい。これにより、モーション認識装置１０２の消費電力を削減することができる。

　また、モーション制御データの送信プロトコルには、例えば、ＨＩＤ（Human Interface Device）やＭＩＤＩ（Music Instrument Digital Interface）等の汎用のプロトコルを用いてもよい。これにより、後段の装置において、既存のソフトウエア等を使用することが可能になる。

　その後、処理はステップＳ３３に戻り、ステップＳ３３以降の処理が実行される。

　以上のようにして、ユーザのモーションを容易かつ正確に認識することができる。

　例えば、図１０に示されるように、ユーザがフィギュアスケートを行っている場合に、トリプルアクセル等の個々の技を認識するとともに、その技を行っている期間を検出することができる。

　或いは、例えば、ユーザの行動を構成する「立つ」、「かがむ」、「座る」、「起き上がる」、「寝ころぶ」、「歩く」、「走る」、「止まる」、「跳ねる」、「這う」、「くぐる」、「振る」、「投げる」、「蹴る」等の個々の動きを容易かつ正確に認識することができる。

　なお、モーション認識システム１００は、ユーザのモーションの種類（例えば、モーションの意味情報）までを認識し、各モーションの詳細な動きの認識は行わない。

　例えば、ユーザがダンスを行っている場合、図１１及び図１２に示されるように、ポップコーン、スライド、ラコステ、バートシンプソン、フォーシング、ブルックリン、ジャーク、ビズマーキー、ワーム、フロントグルーブ、ジャンプ等のダンスの個々の技の種類が認識される。一方、個々の技における動きの違いまでは認識されない。すなわち、ユーザが同じダンスの技を手足の動きやリズムを変えて行っても、同じダンスの技として認識され、それ以上の違いは認識されない。

　なお、このように、所定の分類に基づくユーザのモーションの種類までの認識に限定することにより、ウエアラブルセンサ１０１の装着数を少なくすることができる。その結果、ＣＧ（Computer Graphics）等で用いられる従来のモーションキャプチャシステムと比較して、ユーザの負担を軽減することができる。例えば、ユーザは、ウエアラブルセンサ１０１を装着しても、動きがほとんど制約されずに、ほぼ普段通りの動きをすることが可能になる。

　また、従来のモーションキャプチャシステムでは、ユーザの全身の位置や姿勢の情報が出力される。そして、例えば、アプリケーションプログラムの開発者は、その情報に基づいてユーザのモーションを認識するためのアルゴリズムを独自に開発して、アプリケーションプログラムに組み込む必要がある。

　一方、モーション認識システム１００では、モーションの種類まで認識され出力されるため、アプリケーションプログラムの開発者の負荷が軽減される。

　また、例えば、カメラを設置して撮影された映像に基づいて、ユーザのモーションを認識する方法と比較して、モーション認識を行う場所や環境等の制約が少なくなる。

　例えば、カメラの設置位置、撮影範囲、撮影条件等を気にせずに、モーション認識を行うことが可能になる。例えば、カメラの撮影範囲やオクルージョンを気にせずに、ユーザが自由に行動しながら、モーション認識を行うことが可能になる。例えば、暗所、海上（例えば、ウインドサーフィン等）等におけるユーザのモーションを認識することができる。また、例えば、認識対象となるユーザは、ステージのセットや背景等との関係を気にせずに、所望の色やデザインの服装やコスチュームを身に付けることができる。また、例えば、ステージの構造や演出等によりカメラの設置位置が制限され、その結果、ユーザのモーションの認識可能な範囲が制限されることもない。

　また、ユーザ毎にモーション認識システム１００を設けることにより、他のユーザの影響を受けることなく、各ユーザのモーションを個別に認識することができる。例えば、集団でのダンスパフォーマンスにおいて、個々のパフォーマのモーションを認識したり、特定のパフォーマのモーションを認識したりすることができる。

　また、ウエアラブルセンサ１０１の各センサのサンプリング周波数が、一般的なカメラのフレームレートより高速であるため、より高速なユーザのモーションを認識することが可能である。例えば、ダンスのターンやステップ等の高速な動きを正確に認識することができる。

　なお、モーション認識システム１００にカメラを設けて、カメラで撮影した映像に基づいて、ユーザの位置を検出するようにしてもよい。或いは、ウエアラブルセンサ１０１の少なくとも１つに、ＧＮＳＳ（Global Navigation Satellite System）受信機等のユーザの位置情報を検出可能なデバイスを設け、ユーザの位置を検出するようにしてもよい。これにより、モーションの認識結果と位置情報の検出結果に基づいて、ユーザの動きをより詳細に検出することが可能になる。

　＜学習システムの構成例＞
　図１３は、本技術を適用した学習システムの一実施の形態である学習システム２００の構成例を示している。なお、図中、図１のモーション認識システム１００と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

　学習システム２００は、モーション認識装置１０２のモーション認識部１６５に適用するモーション認識モデルの学習処理を行うシステムである。

　学習システム２００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－６及び学習処理装置２０１を備える。

　学習処理装置２０１は、各ウエアラブルセンサ１０１から送信されてくる通信パケットに含まれる動き検出データに基づいて、モーション認識モデルの学習処理を行う。

　＜情報処理装置の構成例＞
　図１４は、図１３の学習処理装置２０１に適用可能な情報処理装置２２０の構成例を示している。

　情報処理装置２２０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット等により構成される。情報処理装置２２０は、ＣＰＵ（Central Processing Unit）２２１、ＲＯＭ（Read Only Memory）２２２、ＲＡＭ（Random Access Memory）２２３、バス２２４、入出力インタフェース２２５、入力部２２６、出力部２２７、記憶部２２８、通信部２２９、ドライブ２３０、及び、リムーバブルメディア２３１を備える。

　ＣＰＵ２２１、ＲＯＭ２２２、及び、ＲＡＭ２２３は、バス２２４により相互に接続されている。バス２２４には、さらに、入出力インタフェース２２５が接続されている。入出力インタフェース２２５には、入力部２２６、出力部２２７、記憶部２２８、通信部２２９、及び、ドライブ２３０が接続されている。

　入力部２２６は、例えば、キーボード、マウス、マイクロフォン等を備える。

　出力部２２７は、例えば、ディスプレイ、スピーカ等を備える。

　記憶部２２８は、例えば、ハードディスクや不揮発性のメモリ等を備える。

　通信部２２９は、例えば、無線又は有線の通信装置、ネットワークインタフェース等を備える。

　ドライブ２３０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２３１を駆動する。

　情報処理装置２２０では、ＣＰＵ２２１が、例えば、記憶部２２８に記憶されているプログラムを、入出力インタフェース２２５及びバス２２４を介して、ＲＡＭ２４３にロードして実行することにより、各種の処理が行われる。

　情報処理装置２２０（ＣＰＵ２２１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２３１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　情報処理装置２２０では、プログラムは、リムーバブルメディア２３１をドライブ２３０に装着することにより、入出力インタフェース２２５を介して、記憶部２２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２２９で受信し、記憶部２２８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２２８に、あらかじめインストールしておくことができる。

　なお、以下、バス２２４及び入出力インタフェース２２５の記載を適宜省略する。例えば、ＣＰＵ２２１と通信部２２９が、バス２２４及び入出力インタフェース２２５を介してデータの送受信を行う場合、単に、ＣＰＵ２２１と通信部２２９がデータの送受信を行うと記載する。

　＜学習処理部の構成例＞
　図１５は、情報処理装置２２０のＣＰＵ２２１が所定の制御プログラムを実行することにより実現される学習処理部２５１の構成例を示している。

　学習処理部２５１は、パケット復元部２６１、バッファ２６２、サンプルデータ生成部２６３、バッファ２６４、学習データ生成部２６５、学習部２６６、及び、ＵＩ（ユーザインタフェース）制御部２６７を備える。

　パケット復元部２６１は、図５のパケット復元部１６２と同様に、各ウエアラブルセンサ１０１の通信パケットの復元を行い、通信パケットに含まれる動き検出データとタイムスタンプを関連付けて、バッファ２６２に供給する。

　バッファ２６２は、各ウエアラブルセンサ１０１の通信パケットから抽出された動き検出データを一時的に蓄積する。

　サンプルデータ生成部２６３は、図５のサンプルデータ生成部１６４と同様に、バッファ２６２に蓄積されている動き検出データを用いて、サンプルデータを生成し、バッファ２６４に供給する。

　バッファ２６４は、サンプルデータを一時的に蓄積する。

　学習データ生成部２６５は、バッファ２６４に蓄積されているサンプルデータにラベルを付加することにより学習データを生成し、学習部２６６に供給する。ラベルは、例えば、サンプルデータに含まれる動き検出データが検出されたときのユーザのモーションの種類を示す。

　学習部２６６は、学習データに基づいて、モーション認識モデルの学習処理を行う。なお、モーション認識モデルの学習処理には、任意の学習方法を採用することが可能である。

　ＵＩ制御部２６７は、入力部２２６を介して入力されるユーザ入力等に基づいて、出力部２２７を制御して、モーション認識モデルの学習処理を行う際のユーザインタフェースの制御を行う。

　＜モーション登録処理＞
　次に、図１６のフローチャートを参照して、学習システム２００により実行される学習処理の一例として、モーション登録処理ついて説明する。モーション登録処理とは、モーション認識モデルに新たに認識させるモーションを登録する処理である。以下では、新たなダンスの技を認識対象として登録する場合を例に挙げて説明する。

　ステップＳ１０１において、学習処理部２５１は、着目ポイントの選択を受け付ける。

　例えば、出力部２２７は、ＵＩ制御部２６７の制御の下に、図１７のウインドウＷ１を表示する。ウインドウＷ１には、ユーザがウエアラブルセンサ１０１を装着している部位（検出ポイント）が円で示されている。そして、ユーザは、入力部２２６を介して、検出ポイントの中から着目ポイントを選択する。

　ここで、着目ポイントとは、登録するモーションにおいて特に着目する検出ポイント（部位）のことである。例えば、登録するモーションの特徴を特に顕著に表す部位における検出ポイントが、着目ポイントに選択される。そして、例えば、学習処理において、着目ポイントの動きが、他の検出ポイントの動きより重視される。

　例えば、両手を大きく振るダンスの技を新しいモーションとして登録する場合、両手の動きが重要であり、それ以外の部位の動きはあまり重要ではない。従って、この場合、例えば、図１７のウインドウＷ１に示されるように、両手首が着目ポイントに選択される。

　ＵＩ制御部２６７は、入力部２２６から着目ポイントの選択結果を取得し、学習部２６６に供給する。

　なお、必ずしも着目ポイントを選択する必要はない。

　ステップＳ１０２において、学習処理部２５１は、テンポの設定を受け付ける。

　例えば、出力部２２７は、ＵＩ制御部２６７の制御の下に、図１７のウインドウＷ２を表示する。ウインドウＷ２には、モーションを登録する際のクリック音のテンポを設定するためのスライダ２８１が表示されている。例えば、ユーザは、入力部２２６を介して、スライダ２８１を左右に動かすことにより、モーションを登録する際のテンポを設定する。この例では、テンポが１２０ｂｐｍ（beats per minute）に設定されている。

　ＵＩ制御部２６７は、入力部２２６からテンポの設定結果を取得する。

　ステップＳ１０３において、学習処理部２５１は、モーションを登録するタイミングの設定を受け付ける。

　例えば、出力部２２７は、ＵＩ制御部２６７の制御の下に、図１７のウインドウＷ３を表示する。ウインドウＷ３には、４拍子のクリック音を示す１から４の丸数字が表示されている。なお、ウインドウＷ３、並びに、後述するウインドウＷ５及びウインドウＷ６において、丸数字の上の”ピッ”等の文字は、各拍子において出力されるクリック音を示しており、実際には表示されない。

　例えば、ユーザは、入力部２２６を介して、モーションを登録するタイミングを設定する。この例では、１拍目と２拍目のクリック音の間にモーションを登録するように設定した例が示されている。すなわち、１拍目のクリック音が出力されてから２拍目のクリック音が出力されるまでの期間が、モーションの登録期間に設定されている。この場合、例えば、１拍目と２拍目のクリック音の音量が大きくなり、３拍目と４拍目のクリック音の音量が小さくなる。

　ＵＩ制御部２６７は、入力部２２６からテンポの設定結果を取得する。

　ステップＳ１０４において、モーション認識システム１００は、モーションの登録を受け付ける。

　例えば、出力部２２７は、ＵＩ制御部２６７の制御の下に、図１７のウインドウＷ４を表示し、モーションの登録を開始するタイミングを提示する。そして、出力部２２７は、ＵＩ制御部２６７の制御の下に、モーションの登録を開始するタイミングになった時点で、図１７のウインドウＷ５を表示するとともに、設定されたテンポでクリック音の出力を開始する。上述したように、クリック音は、１拍目と２拍目で音量が大きくなり、３拍目と４拍目で音量が小さくなる。

　なお、例えば、一部のウエアラブルセンサ１０１にスピーカを内蔵して、そのスピーカからクリック音を出力するようにしてもよい。

　例えば、ユーザは、ウエアラブルセンサ１０１を装着した状態で、１拍目と２拍目のクリック音の間のモーション登録期間中に登録対象となるモーションを行う。例えば、ユーザは、１拍目のクリック音が出力されたとき、モーションを開始し、２拍目のクリック音が出力されたとき、モーションを終了する。これにより、ユーザは、学習システム２００に対して、確実にモーションを入力することができる。また、ユーザは、ゲーム感覚で楽しみながら、モーションの登録を行うことができる。なお、ユーザがより楽しみながらモーションを登録できるように、ユーザの所望の楽曲に合わせてクリック音が出力されるようにしてもよい。

　各ウエアラブルセンサ１０１は、図６を参照して上述した処理により、各検出ポイントの動きを示す動き検出データを含む通信パケットを所定の周期で送信する処理を開始する。

　情報処理装置２２０（学習処理装置２０１）の通信部２２９は、各ウエアラブルセンサ１０１から通信パケットを受信し、パケット復元部２６１に供給する処理を開始する。

　パケット復元部２６１は、図９のステップＳ３２と同様の処理により、各ウエアラブルセンサ１０１の通信パケットを復元し、通信パケットに含まれる動き検出データをタイムスタンプと関連付けて、バッファ２６２に供給し、蓄積させる処理を開始する。

　サンプルデータ生成部２６３は、図９のステップＳ３４及びステップＳ３５と同様の処理により、バッファ２６２に蓄積されている動き検出データを用いて、サンプルデータを生成し、バッファ２６４に供給し、蓄積させる処理を開始する。なお、このとき、例えば、１拍目と２拍目のクリック音の間に検出された動き検出データのみ用いて、サンプルデータが生成される。

　ステップＳ１０５において、学習処理部２５１は、モーションの学習を行う。具体的には、学習データ生成部２６５は、バッファ２６４に蓄積されているサンプルデータに新たに登録するモーションの種類を示すラベルを付加することにより学習データを生成し、学習部２０６に供給する処理を開始する。

　学習部２０６は、取得した学習データに基づいて、モーション認識モデルに新たなモーションを登録するための学習処理を開始する。このとき、着目ポイントが選択されている場合、例えば、学習部２０６は、着目ポイントの動き検出データに対する重みを、他の検出ポイントの動き検出データに対する重みより大きくして学習処理を行う。すなわち、学習部２０６は、検出ポイント間で重みをつけて学習処理を行う。

　そして、新たなモーションの登録が完了したとき、出力部２２７は、ＵＩ制御部２６７の制御の下に、図１７のウインドウＷ６を表示し、モーションの登録の完了を通知するとともに、登録時のクリック音と異なる”ピピッ”というクリック音を出力する。

　ステップＳ１０６において、情報処理装置２２０（学習処理装置２０１）は、信頼度を提示する。具体的には、学習部２０６は、所定の方法により、今回登録したモーションの信頼度を算出する。モーションの信頼度は、例えば、モーションの登録に用いられた学習データの量や、学習データに含まれるサンプルデータの分散、他のモーションに誤判定する確率等に基づいて算出される。そして、モーションの信頼度が高いほど、そのモーションの認識精度が高くなり、モーションの信頼度が高いほど、そのモーションの認識精度が低くなる。

　また、出力部２２７は、ＵＩ制御部２６７の制御の下に、図１７のウインドウＷ７を表示し、今回登録したモーションの信頼度を提示する。また、モーションの信頼度が十分でない場合には、例えば、もう少し学習データが必要な旨のメッセージが表示される。これにより、例えば、ユーザは、これ以上学習させる必要があるか否か、或いは、他のモーションとの差異を明確にするためにモーションを変更すべきか否か等の判断を行うことができる。

　その後、モーション登録処理は終了する。

　このように、ユーザは、分かりやすいユーザインタフェースに従って、簡単に楽しみながら新しいモーションを登録することができる。また、着目ポイントを設定することにより、モーションの登録が効率化され、例えば、新しいモーションを、より少ない学習データで高い認識精度で登録することが可能になる。

　＜モーション認識モデルの認識精度を向上させる方法＞
　次に、モーション認識モデルの認識精度を向上させる方法の一例について説明する。具体的には、ダンスの個々の技をモーションとして認識するモーション認識モデルの認識精度を向上させる場合の例について説明する。

　図１８は、ダンスのジャンルを整理した例を示す図である。この図に示されるように、ダンスのジャンルは、階層構造により表される。すなわち、図内の下のジャンルほど発生時期が古く、上のジャンルほど発生時期が新しい。そして、古いジャンルをベースにして新しいジャンルが生み出される。

　例えば、古いジャンルの技を組み合わせたり、改良したりすることにより、新しいジャンルの技の一部が生み出される。そのため、新しいジャンルの技の一部に、古いジャンルのダンスの技の特徴が含まれるようになる。従って、古いジャンルほど他のジャンルに対する影響力が大きくなり、新しいジャンルほど他のジャンルに対する影響力は小さくなる。

　例えば、ジャズ、ロック、ポップ、ブレイクは、それぞれソウルをベースにして生みだされたジャンルである。ミドルスクールは、ジャズ、ロック、ポップ、ブレイクをベースにして生みだされたジャンルである。ガールズ、ハウスは、それぞれミドルスクールをベースにして生みだされたジャンルである。ニュースクールは、ガールズ、ハウスをベースにして生みだされたジャンルである。

　また、古いジャンルのダンスの技に基づいて新しいジャンルのダンスの技が生み出されるため、図１９に示されるように、ダンスの技も階層構造により表すことができる。なお、図１９では、ダンスの技の間の関係を矢印で示している。すなわち、矢印で結ばれている技のうち、矢印の元の技は、矢印の先の技の影響を受けている。例えば、ジャークは、スライドとワームの影響を受けている。より具体的には、スライドとワームを組み合わせた技がジャークである。

　このように、ダンスの技を階層化し、主従関係を整理することにより、各ダンスの技の特徴の関係を明確にし、各技の間の特徴の違いを明確にすることができる。そして、この整理した結果を用いて、ダンスの技を認識するモーション認識モデルの学習を行うことにより、ダンスの技の認識精度を向上させることができる。

　＜モーション認識のリアルタイム性を向上させる方法＞
　次に、図２０及び図２３を参照して、モーション認識システム１００において、モーション認識のリアルタイム性を向上させる方法について説明する。

　例えば、モーションの認識結果を利用するケースによっては、モーション認識のリアルタイム性が求められる場合がある。すなわち、ユーザがあるモーションを行ってから、そのモーションが認識されるまでの所要時間（以下、遅延時間と称する）をできる限り短くすることが求められる場合がある。例えば、パフォーマの動きに追従して舞台演出を行う場合、スポーツのトレーニング等で選手の動きの認識結果を即座にフィードバックする場合、リアルタイム性が重視されるゲームにおいてプレイヤーの動きによりコマンドを入力する場合等である。

　一方、従来の無線通信では、一般的に確実にデータの送受信を行うことが重視され、通信エラーが発生した場合、データの再送を行う仕様が組み込まれている。しかし、例えば、ウエアラブルセンサ１０１とモーション認識装置１０２との間で通信エラーが発生し、通信パケットの再送が繰り返されると、その分遅延時間が長くなってしまう。そして、例えば、全ての検出ポイントの通信パケットが揃ってからモーション認識処理を行おうとすると、ユーザがモーションを行ってから認識されるまでの時間（遅延時間）が長くなり、リアルタイム性が担保されなくなる。

　これに対して、例えば、リアルタイム性を重視するために、通信パケットの再送回数を制限してしまうと、一部のウエアラブルセンサ１０１からの通信パケット（動き検出データ）が欠損した状態が発生する確率が高くなる。すなわち、一部の検出ポイントの動きがモーション認識装置１０２に通知されない確率が高くなる。

　しかし、モーション認識装置１０２のモーション認識部１６５は、ユーザの複数の検出ポイントの動きに基づいて、ユーザのモーションの認識を行う。従って、いくつかの検出ポイントの通信パケットが欠損し、それらの検出ポイントの動きが通知されなくても、他の検出ポイントの動きに基づいて、ユーザのモーションを正確に認識できる場合も少なくない。

　そこで、認識精度を下げずに、モーション認識のリアルタイム性を確保するために、例えば、学習システム２００において、通信パケット（動き検出データ）の欠損を前提にして、モーション認識モデルの学習を行うとともに、モーション認識システム１００において、通信パケットの再送回数を制限することが考えられる。

　具体的には、例えば、学習システム２００の学習部２６６において、ドロップアウト等の手法に従って、各検出ポイントの動き検出データが部分的に欠損した学習データを用いてモーション認識モデルの学習処理を行うことが考えられる。

　例えば、図２０は、そのような学習データの例の一部を示している。具体的には、図２０は、学習データに含まれる各検出ポイントの動き検出データのうち、角速度データ及び加速度データの波形の例を示している。各グラフの横軸は時間を示し、縦軸は角速度又は加速度を示している。また、この図では、各検出ポイントの角速度データの波形及び加速度データの波形がほぼ同じになっているが、実際には各検出ポイント間で異なる波形となる。

　なお、図内の各グラフの斜線で消された部分は、動き検出データが欠損している部分を示す。このように、各検出ポイントの動き検出データが部分的に欠損した学習データを用いて学習処理を行うことにより、動き検出データの欠損に対してロバストなモーション認識モデルが構築される。

　なお、例えば、各ウエアラブルセンサ１０１とモーション認識装置１０２との間の通信状況を実測し、通信エラーの発生傾向を分析した結果に基づいて、より実際の状況に近くなるように動き検出データを欠損させた学習データを用いるようにすることが望ましい。

　そして、モーション認識システム１００において、動き検出データの欠損に対してロバストなモーション認識モデルを用いた上で、各ウエアラブルセンサ１０１とモーション認識装置１０２との間の通信パケットの再送回数が制限される。

　例えば、通信パケットの送信頻度が１２８Ｈｚである場合、通信パケットの送信間隔は約７．８ミリ秒となる。この場合、例えば、約７．８ミリ秒の間に、通信パケットの送信が完了するように再送回数を制限することが考えられる。

　ただし、通信パケットの再送回数と動き検出データの欠損率とはトレードオフの関係にある。また、動き検出データの欠損率とモーションの認識精度ともトレードオフの関係にある。

　具体的には、図２１は、動き検出データの欠損率とモーションの認識精度（Ｆ値）との関係を示すグラフである。横軸はデータ欠損率（単位は％）を示し、縦軸は認識精度を示している。

　このグラフに示されるように、動き検出データの欠損率が低くなるほど、モーションの認識精度が高くなり、動き検出データの欠損率が高くなるほど、モーションの認識精度が低くなる。

　また、図２２は、通信パケットの再送回数の上限値と、動き検出データの欠損率、通信パケットの最大遅延時間、及び、モーションの認識精度（Ｆ値）との関係の例を示している。

　例えば、通信パケットの再送回数を３回に制限した場合、動き検出データの欠損率は２．５％となり、最大遅延時間は１１．７ミリ秒となり、モーションの認識精度は０．９０となる。

　一方、通信パケットの再送回数を２回に制限した場合、動きデータの欠損率は５．０％に上昇し、モーションの認識精度は０．８５に低下する。一方、最大遅延時間は７．８ミリ秒に短縮される。

　さらに通信パケットの再送回数を１回に制限した場合、動きデータの欠損率は８．０％に上昇し、モーションの認識精度は０．８０に低下する。一方、最大遅延時間は３．９ミリ秒に短縮される。

　そこで、例えば、モーションの認識結果を利用するケースに応じて、各ウエアラブルセンサ１０１の通信パケットの再送回数を変更できるようにすることが望ましい。

　例えば、モーション認識のリアルタイム性が重視される場合には、通信パケットの再送回数が１回に制限される。これにより、モーションの認識精度が多少低下するが、ユーザのモーションに迅速に追従するアプリケーションを実現することができる。

　一方、例えば、モーション認識のリアルタイム性があまり重視されない場合には、モーションの再送回数が３回に増やされる。これにより、ユーザのモーションの認識精度が向上し、ユーザのモーションにより適切に追従するアプリケーションを実現することができる。

　なお、再送回数の他に、モーション認識のリアルタイム性に寄与する要素として、例えば、図２３に示されるように、ウエアラブルセンサ１０１の装着数、動き検出データのサイズ、及び、動き検出データのサンプリング周波数（通信パケットの送信頻度）がある。

　例えば、ウエアラブルセンサ１０１の装着数を減らすと、時分割収容数が減少するため、通信パケットの再送回数を変えずに、動き検出データのサンプリング周波数（通信パケットの送信頻度）を上げることができる。その結果、モーション認識処理の周期が短くなり、遅延時間が減少するため、モーション認識のリアルタイム性が向上する。一方、ウエアラブルセンサ１０１の装着数を減らすと、検出ポイントが減少するため、モーションの認識精度が低下する。逆に、ウエアラブルセンサ１０１の装着数を増やすと、モーション認識のリアルタイム性は低下するが、モーションの認識精度は向上する。

　また、例えば、動き検出データのサイズを小さくすると、通信パケットのペイロードサイズが減少するため、通信パケットの再送回数を変えずに、動き検出データのサンプリング周波数（通信パケットの送信頻度）を上げることができる。その結果、モーション認識処理の周期が短くなり、遅延時間が減少するため、モーション認識のリアルタイム性が向上する。一方、動き検出データのサイズを小さくすると、動き検出データに含まれる各データのサイズが小さくなり、加速度、角速度等の分解能が低下する。その結果、モーションの認識精度が低下する。逆に、動き検出データのサイズを大きくすると、モーション認識のリアルタイム性は低下するが、モーションの認識精度は向上する。

　さらに、動き検出データのサンプリング周波数（通信パケットの送信頻度）を上げると、モーション認識処理の周期が短くなり、遅延時間が減少するため、モーション認識のリアルタイム性が向上する。一方、通信パケットの送信周期が短くなるため、遅延時間を通信パケットの送信周期内に収めようとした場合、通信パケットの再送回数を減らす必要が生じる。その結果、データ欠損率が大きくなり、モーションの認識精度が低下する。逆に、動き検出データのサンプリング周波数を下げると、モーション認識のリアルタイム性は低下するが、モーションの認識精度は向上する。

　従って、モーション認識のリアルタイム性、及び、モーションの認識精度のどちらを重視するかに基づいて、通信パケット再送回数、ウエアラブルセンサ１０１の装着数、動き検出データのサイズ、及び、動き検出データのサンプリング周波数のうち１つ以上を調整できるようにすることが望ましい。これにより、モーション認識システム１００が、リアルタイム性が要求されるアプリケーション、及び、認識精度が要求されるアプリケーションのいずれにも適切に対応することが可能になる。

　＜＜２．第２の実施の形態＞＞
　次に、図２４乃至図３０を参照して、本技術の第２の実施の形態について説明する。

　上述したように、モーション認識システム１００では、ユーザの検出ポイント間の動きの関係に基づいて、モーションの認識が行われる。従って、モーションの認識精度を向上させるためには、各検出ポイントの動きを検出するタイミングをできる限り同期させることが重要になる。或いは、できる限り同じタイミングで各検出ポイントにおいて検出された動き検出データを用いて、モーション認識処理を行うことが重要になる。

　これに対して、モーション認識システム１００では、各通信パケットのタイムスタンプに基づいて、できる限り同じタイミングで各検出ポイントにおいて検出された動き検出データを用いて、モーション認識処理が行われる。

　しかし、この場合、各ウエアラブルセンサ１０１の時刻情報取得部１３８の時刻にズレが生じると、各検出ポイント間の動き検出データの検出タイミングの差が大きくなる。その結果、モーションの認識精度が低下する。

　従って、何らかの方法により、各ウエアラブルセンサ１０１の時刻情報取得部１３８間の時刻の同期処理が必要になる。しかし、この時刻の同期処理は、例えば、各ウエアラブルセンサ１０１の電源がオンされる度に行う必要があり、処理の負荷が高くなる。また、モーション認識システム１００の使用中の時刻のズレに対応するには、より複雑な処理が必要になる。

　一方、モーション認識処理に用いる各検出ポイントの動き検出データの検出タイミングは、必ずしも厳密に同時である必要はなく、ある程度のズレ（例えば、数ミリ秒単位、或いは、１サンプル以内）が許容される場合も多い。

　そこで、この第２の実施の形態では、モーション認識装置側で、各ウエアラブルセンサが動き検出データを検出するタイミングを制御することにより、各検出ポイントにおいて、できる限り同じタイミングで検出された動き検出データを用いて、モーション認識処理を行うようにするものである。

　＜モーション認識システムの第２の実施の形態＞
　図２４は、本技術を適用したモーション認識システムの第２の実施の形態であるモーション認識システム３００の構成例を示している。

　モーション認識システム３００は、ウエアラブルセンサ３０１－１乃至ウエアラブルセンサ３０１－６、及び、モーション認識装置３０２を備える。

　なお、以下、ウエアラブルセンサ３０１－１乃至ウエアラブルセンサ３０１－６を個々に区別する必要がない場合、単にウエアラブルセンサ３０１と称する。

　各ウエアラブルセンサ３０１は、図１の各ウエアラブルセンサ１０１と同様に、ユーザの互いに異なる検出ポイントに装着される。各ウエアラブルセンサ３０１は、モーション認識装置３０２の制御の下に、各検出ポイントの動きを検出し、検出結果を含む通信パケットをモーション認識装置３０２に送信する。

　モーション認識装置３０２は、各ウエアラブルセンサ３０１から受信した通信パケットに含まれる各検出ポイントの動き検出データに基づいて、ユーザのモーションの認識処理を行う。モーション認識装置３０２は、ユーザのモーションの認識結果に基づくモーション制御データを後段の装置に送信する。

　＜ウエアラブルセンサ３０１の構成例＞
　図２５は、図２４のウエアラブルセンサ３０１の構成例を示している。なお、図中、図３のウエアラブルセンサ１０１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

　ウエアラブルセンサ３０１は、ウエアラブルセンサ１０１と比較して、パケット生成部１４４及び送信制御部１４５の代わりに、パケット生成部３３１及び送信制御部３３４が設けられ、バッファ３３２及び受信部３３３が追加され、時刻情報取得部１３８が削除されている点が異なる。

　パケット生成部３３１は、バッファ１４３に蓄積されている姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む動き検出データを送信するための通信パケットを生成し、バッファ３３２に供給する。

　バッファ３３２は、通信パケットを一時的に蓄積する。

　受信部３３３は、送信部１４６と同じ方式の無線通信により、通信パケットの送信を要求する送信要求信号をモーション認識装置３０２から受信し、送信制御部３３４に供給する。

　送信制御部３３４は、送信部１４６による通信パケットの送信を制御する。

　＜モーション認識装置３０２の構成例＞
　図２６は、図２４のモーション認識装置３０２の構成例を示している。なお、図中、図５のモーション認識装置１０２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

　モーション認識装置３０２は、モーション認識装置１０２と比較して、通信制御部３６１及び送信部３６２が追加され、バッファ１６３が削除されている点が異なる。

　通信制御部３６１は、各ウエアラブルセンサ３０１に通信パケットの送信を要求する送信要求信号を生成し、送信部３６２に供給する。また、通信制御部３６１は、受信部１６１から供給される各ウエアラブルセンサ３０１からの通信パケットをパケット復元部１６２に供給する。

　送信部３６２は、各ウエアラブルセンサ３０１の受信部３３３と対応する方式の無線通信により、送信要求信号を各ウエアラブルセンサ３０１に送信する。

　＜モーション認識装置３０２の処理＞
　次に、図２７のフローチャートを参照して、モーション認識装置３０２の処理について説明する。

　この処理は、例えば、モーション認識装置３０２の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ２０１において、通信制御部３６１は、変数ｉの値を１に設定する。

　ステップＳ２０２において、モーション認識装置３０２は、ｉ番目のウエアラブルセンサ（ウエアラブルセンサ３０１－ｉ）に通信パケットの送信を要求する。具体的には、通信制御部３６１は、ウエアラブルセンサ３０１－ｉに通信パケットの送信を要求するための送信要求信号を生成し、送信部３６２に供給する。送信部３６２は、ウエアラブルセンサ３０１－ｉに送信要求信号を送信する。

　これに対して、ウエアラブルセンサ３０１－ｉは、後述する図２８のステップＳ２３６において、送信要求信号を受信し、ステップＳ２３７において、通信パケットを送信する。

　ステップＳ２０３において、受信部１６１は、ｉ番目のウエアラブルセンサ（ウエアラブルセンサ３０１－ｉ）から通信パケットを受信する。受信部１６１は、受信した通信パケットを通信制御部３６１に供給する。通信制御部３６１は、通信パケットをパケット復元部１６２に供給する。

　ステップＳ２０４において、パケット復元部１６２は、通信パケットの復元を行う。例えば、パケット復元部１６２は、取得した通信パケットに含まれる動き検出データの復号等を行った後、動き検出データをサンプルデータ生成部１６４に供給する。

　ステップＳ２０５において、通信制御部３６１は、変数ｉの値を１つインクリメントする。

　ステップＳ２０６において、通信制御部３６１は、変数ｉの値が定数Ｍ以下であるか否かを判定する。ここで、定数Ｍはウエアラブルセンサ３０１の台数を示し、現在の例では、Ｍ＝６となる。変数ｉの値が定数Ｍ以下であると判定された場合、すなわち、まだ通信パケットの送信を要求していないウエアラブルセンサ３０１がある場合、処理はステップＳ２０２に戻る。

　その後、ステップＳ２０６において、変数ｉの値が定数Ｍを超えたと判定されるまで、ステップＳ２０２乃至ステップＳ２０６の処理が繰り返し実行される。これにより、全てのウエアラブルセンサ３０１に対して順番に通信パケットの送信が要求され、各ウエアラブルセンサ３０１から順番に通信パケットが受信される。

　なお、例えば、ステップＳ２０４において通信パケットの復元を行うのと並行して、次のウエアラブルセンサ３０１に通信パケットの送信を要求するようにしてもよい。

　一方、ステップＳ２０６において、変数ｉの値が定数Ｍを超えたと判定された場合、処理はステップＳ２０７に進む。

　ステップＳ２０７において、サンプルデータ生成部１６４は、サンプルデータを生成する。すなわち、サンプルデータ生成部１６４は、パケット復元部１６２から供給された各ウエアラブルセンサ３０１からの動き検出データを含むサンプルデータを生成する。サンプルデータ生成部１６４は、生成したサンプルデータをモーション認識部１６５に供給する。

　そして、ステップＳ２０８及びステップＳ２０９において、図９のステップＳ３６及びステップＳ３７と同様の処理が実行される。その後、処理はステップＳ２０１に戻り、ステップＳ２０１以降の処理が実行される。

　＜ウエアラブルセンサ３０１の処理＞
　次に、図２８のフローチャートを参照して、図２７のモーション認識装置３０２の処理に対応してウエアラブルセンサ３０１により実行される処理について説明する。

　この処理は、例えば、ウエアラブルセンサ３０１の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ２３１乃至ステップＳ２３４において、図６のステップＳ１乃至ステップＳ４と同様の処理が実行される。

　ステップＳ２３５において、パケット生成部３３１は、通信パケットの生成を開始する。具体的には、パケット生成部３３１は、最新の姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データをバッファ１４３から読み出し、読み出したデータを含む通信パケットを生成し、バッファ３３２に蓄積する処理を開始する。

　図２９は、パケット生成部３３１により生成される通信パケットのフォーマットの例を示している。

　この通信パケットは、図７の通信パケットと比較して、タイムスタンプが削除されている点が異なる。すなわち、モーション認識装置３０２が、各ウエアラブルセンサ３０１が通信パケットを送信するタイミングを制御するため、タイムスタンプが不要になる。

　ステップＳ２３６において、送信制御部３３４は、通信パケットの送信が要求されたか否かを判定する。この判定処理は、通信パケットの送信が要求されたと判定されるまで、所定のタイミングで繰り返し実行される。

　そして、送信制御部３３４は、受信部３３３を介して、モーション認識装置３０２から送信要求信号を受信した場合、通信パケットの送信が要求されたと判定し、処理はステップＳ２３７に進む。

　ステップＳ２３７において、ウエアラブルセンサ３０１は、通信パケットを送信する。具体的には、送信制御部１４５は、通信パケットをバッファ３３２から読み出し、送信部１４６に供給する。送信制御部１４５は、読み出した通信パケットをバッファ３３２から削除する。送信部１４６は、通信パケットをモーション認識装置３０２に送信する。

　その後、処理はステップＳ２３６に戻り、ステップＳ２３６以降の処理が実行される。

　図３０は、図２７及び図２８の処理における、モーション認識装置３０２と各ウエアラブルセンサ３０１との間の通信を示すシーケンス図である。

　このように、モーション認識装置３０２から各ウエアラブルセンサ３０１に順番に送信要求信号（ＲＥＱ）が送信され、各ウエアラブルセンサ３０１から順番に通信パケット（ＡＣＫ）が送信される。従って、同期信号やタイムスタンプ等を使用せずに、モーション認識処理に用いる各ウエアラブルセンサ３０１の動き検出データの検出タイミングを合わせることができる。従って、モーション認識処理の精度を向上させることができる。また、モーション認識装置３０２において、各ウエアラブルセンサ３０１からの通信パケットが揃うまで、通信パケットをバッファリングして待ち合わせる処理が不要となる。

　また、図２９を参照して上述したように、通信パケットにタイムスタンプを付加する必要がなくなり、通信パケットのデータ量が削減される。これにより、通信パケットの通信時間が短縮され、消費電力が削減される。また、通信エラー時の通信パケットの再送回数を増やすことができ、通信の安定性が向上する。

　そして、モーション認識装置３０２は、各ウエアラブルセンサ３０１から通信パケットを受信した後、サンプルデータを生成し、モーション認識処理を実行する。例えば、モーション認識処理が１秒間に１２８回行われる場合、以上の処理が、７.８ミリ秒の周期で実行される。

　なお、例えば、ウエアラブルセンサ３０１が、モーション認識装置３０２から送信要求情報を受信したとき、通信パケットを生成し、生成した通信パケットを送信するようにしてもよい。

　＜＜３．第３の実施の形態＞＞
　次に、図３１乃至図３６を参照して、本技術の第３の実施の形態について説明する。

　第３の実施の形態は、第２の実施の形態と異なる方法により、できる限り同じタイミングで各検出ポイントにおいて検出された動き検出データを用いて、モーション認識処理を行うようにするものである。

　＜モーション認識システムの第３の実施の形態＞
　図３１は、本技術を適用したモーション認識システムの第３の実施の形態であるモーション認識システム４００の構成例を示している。

　モーション認識システム４００は、ウエアラブルセンサ４０１－１乃至ウエアラブルセンサ４０１－６、及び、モーション認識装置４０２を備える。

　なお、以下、ウエアラブルセンサ４０１－１乃至ウエアラブルセンサ４０１－６を個々に区別する必要がない場合、単にウエアラブルセンサ４０１と称する。

　各ウエアラブルセンサ４０１は、図１の各ウエアラブルセンサ１０１と同様に、ユーザの互いに異なる検出ポイントに装着され、各検出ポイントの動きを検出し、検出結果を含む通信パケットをモーション認識装置４０２に送信する。

　モーション認識装置４０２は、各ウエアラブルセンサ４０１から受信した通信パケットに含まれる各検出ポイントの動き検出データに基づいて、ユーザのモーションの認識処理を行う。モーション認識装置４０２は、ユーザのモーションの認識結果に基づくモーション制御データを後段の装置に送信する。

　＜ウエアラブルセンサ４０１の構成例＞
　図３２は、図３１のウエアラブルセンサ４０１の構成例を示している。なお、図中、図３のウエアラブルセンサ１０１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

　ウエアラブルセンサ４０１は、ウエアラブルセンサ１０１と比較して、パケット生成部１４４の代わりにパケット生成部４３３が設けられ、クロック生成部４３１及び所要時間推定部４３２が追加されている点が異なる。

　クロック生成部４３１は、所定の周波数のクロック信号を生成し、所要時間推定部４３２等のウエアラブルセンサ４０１の各部に供給する。なお、図３のウエアラブルセンサ１０１及び図２５のウエアラブルセンサ３０１においてもクロック生成部４３１は設けられるが、特に処理の説明に必要がないため、図示を省略している。

　所要時間推定部４３２は、モーション認識装置４０２に送信する姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データをバッファ１４３から読み出し、パケット生成部４３３に供給する。また、所要時間推定部４３２は、クロック信号に基づいて、それらのデータの送信に要する時間（以下、送信所要時間と称する）を推定し、推定結果を示す情報をパケット生成部４３３に供給する。

　パケット生成部４３３は、所要時間推定部４３２から供給されるデータを送信するための通信パケットを生成し、送信制御部１４５に供給する。

　＜モーション認識装置４０２の構成例＞
　図３３は、図３１のモーション認識装置４０２の構成例を示している。なお、図中、図５のモーション認識装置１０２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

　モーション認識装置４０２は、モーション認識装置１０２と比較して、時刻情報取得部４６１及び検出時刻算出部４６２が追加されている点が異なる。

　時刻情報取得部４６１は、例えば、時計等により構成され、現在時刻を示す時刻情報を取得し、検出時刻算出部４６２に供給する。

　検出時刻算出部４６２は、各ウエアラブルセンサ４０１から受信した通信パケットに含まれる動き検出データ及び送信所要時間をパケット復元部１６２から取得する。そして、検出時刻算出部４６２は、現在時刻及び送信所要時間に基づいて、動き検出データに対応する検出ポイントの動きが検出された時刻（以下、動き検出時刻と称する）を算出する。検出時刻算出部４６２は、動き検出データと動き検出時刻を関連付けて、バッファ１６３に供給する。

　＜ウエアラブルセンサ４０１の処理＞
　次に、図３４のフローチャートを参照して、ウエアラブルセンサ４０１の処理について説明する。この処理は、例えば、ウエアラブルセンサ４０１の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ３０１乃至ステップＳ３０４において、図６のステップＳ１乃至ステップＳ４と同様の処理が実行される。

　ステップＳ３０５において、所要時間推定部４３２は、通信パケットを送信するタイミングであるか否かを判定する。この判定処理は、通信パケットを送信するタイミングであると判定されるまで繰り返し実行され、通信パケットを送信するタイミングであると判定された場合、処理はステップＳ３０６に進む。

　ステップＳ３０６において、所要時間推定部４３２は、送信所要時間を推定する。具体的には、所要時間推定部４３２は、最新の姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを、モーション認識装置４０２に送信するデータとしてバッファ１４３から読み出す。そして、所要時間推定部４３２は、それらのデータを含む動き検出データの送信に要する送信所要時間を推定する。

　送信所要時間は、例えば、検出ポイントの動きが検出されてから、検出された動きに対応する動き検出データを含む通信パケットがモーション認識装置４０２に到着するまでの所要時間とされる。

　また、検出ポイントの動きが検出された時刻（動き検出時刻）は、例えば、検出ポイントの動きの検出が開始された時刻とされる。より具体的には、例えば、動き検出時刻は、動き検出データに用いられるセンサデータのうち、センサデータ取得部１３９により最初に取得されたセンサデータの取得時刻とされる。例えば、動き検出データには、ＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、ＬＤＲ角速度データ、地磁気データ、歪みデータ、及び、気圧データのセンサデータが用いられる。そして、モーション認識装置４０２に送信する動き検出データに用いられる各センサデータの取得時刻のうち、最も早い時刻が動き検出時刻とされる。

　例えば、所要時間推定部４３２は、検出ポイントの動きが検出されてから、検出された動きに対応する動き検出データを含む通信パケットが生成されるまでの所要時間（以下、パケット生成時間と称する）を推定する。パケット生成時間は、例えば、検出ポイントの動きの検出が開始された時刻（動き検出時刻）と、検出された動きに対応する動き検出データを含む通信パケットの生成が完了する時刻（以下、パケット生成時刻と称する）との間の時間とされる。

　例えば、所要時間推定部４３２は、各センサデータのサイズ等に基づいて、所定の計算式を用いて、パケット生成時間を算出する。パケット生成時間の計算式は、例えば、センサデータ取得部１３９がセンサデータを取得するタイミング、センサデータを取得してから通信パケットを生成するまでの処理内容、及び、ウエアラブルセンサ４０１の処理能力等に基づいて、事前に作成される。

　また、例えば、所要時間推定部４３２は、通信パケットが生成されてからモーション認識装置４０２に到着するまでの所要時間（以下、パケット送信時間と称する）を推定する。パケット送信時間は、例えば、パケット生成時刻と、モーション認識装置４０２に通信パケットが到着する時刻（以下、パケット到着時刻と称する）との間の時間とされる。

　例えば、所要時間推定部４３２は、通信パケットのサイズ、及び、ウエアラブルセンサ４０１とモーション認識装置４０２との間の通信状況等に基づいて、所定の計算式を用いて、パケット送信時間を算出する。パケット送信時間の計算式は、例えば、ウエアラブルセンサ４０１とモーション認識装置４０２との間の通信方式及び通信経路、並びに、ウエアラブルセンサ４０１及びモーション認識装置４０２の処理能力等に基づいて、事前に作成される。

　なお、例えば、事前にウエアラブルセンサ４０１とモーション認識装置４０２との間で通信パケットを送受信した場合の実測時間に基づいて、パケット送信時間を算出するようにしてもよい。

　そして、所要時間推定部４３２は、パケット生成時間とパケット送信時間を加算することにより、送信所要時間を算出する。

　なお、通信エラー等により、通信パケットが再送される場合には、その再送に要する時間も送信所要時間に加算される。例えば、通信エラーの検出に要する時間、再送を行うまでの待ち時間、再送処理に要する時間等が送信所要時間に加算される。

　所要時間推定部４３２は、バッファ１４３から読み出した姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データ、並びに、送信所要時間の推定結果をパケット生成部４３３に供給する。また、パケット生成部１４４は、通信パケットにより送信する各データ、及び、それより古いデータをバッファ１４３から削除する。

　ステップＳ３０７において、パケット生成部４３３は、通信パケットを生成する。

　図３５は、パケット生成部４３３により生成される通信パケットのフォーマットの例を示している。この通信パケットは、図７の通信パケットと比較して、タイムスタンプの代わりに送信所要時間を含む点が異なる。すなわち、所要時間推定部４３２により推定された送信所要時間が通信パケットに含まれる。

　そして、パケット生成部４３３は、通信パケットを送信制御部１４５に供給する。

　ステップＳ３０８において、送信部１４６は、送信制御部１４５の制御の下に、通信パケットをモーション認識装置４０２に送信する。

　その後、処理はステップＳ３０５に戻り、ステップＳ３０５以降の処理が実行される。

　＜モーション認識装置４０２の処理＞
　次に、図３６のフローチャートを参照して、図３４の各ウエアラブルセンサ４０１の処理に対応してモーション認識装置４０２により実行される処理について説明する。

　この処理は、例えば、モーション認識装置４０２の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ３３１において、受信部１６１は、通信パケットの受信を開始する。すなわち、受信部１６１は、各ウエアラブルセンサ４０１から送信されてくる通信パケットを受信し、受信した通信パケットをパケット復元部１６２に供給する処理を開始する。

　ステップＳ３３２において、パケット復元部１６２は、通信パケットの復元を開始する。例えば、パケット復元部１６２は、各ウエアラブルセンサ１０１から受信した通信パケットに含まれる動き検出データの復号等を行った後、復元後の通信パケットを検出時刻算出部４６２に供給する処理を開始する。

　ステップＳ３３３において、検出時刻算出部４６２は、検出ポイントの動きが検出された時刻の算出を開始する。具体的には、検出時刻算出部４６２は、パケット復元部１６２から供給される通信パケットに含まれる動き検出データに対応する検出ポイントの動きが検出された時刻（動き検出時刻）の算出を開始する。また、検出時刻算出部４６２は、動き検出データと動き検出時刻を関連付けてバッファ１６３に供給し、蓄積させる処理を開始する。

　ここで、動き検出時刻の算出方法の例について説明する。

　例えば、検出時刻算出部４６２は、通信パケットが受信部１６１により受信されてから（通信パケットがモーション認識装置４０２に到着してから）、パケット復元部１６２により復元されるまでの所要時間（以下、パケット復元時間と称する）を推定する。

　例えば、検出時刻算出部４６２は、通信パケットのサイズ等に基づいて、所定の計算式を用いて、パケット復元時間を算出する。パケット復元時間の計算式は、例えば、通信パケットの復元処理の内容、及び、モーション認識装置４０２の処理能力等に基づいて、事前に作成される。

　そして、検出時刻算出部４６２は、時刻情報取得部４６１から現在時刻を示す時刻情報を取得し、通信パケットに含まれる送信所要時間、及び、推定したパケット復元時間を現在時刻から引くことにより、動き検出時刻を算出する。

　ステップＳ３３４において、図９のステップＳ３の処理と同様に、モーション認識処理を行うタイミングであるか否かが判定される。この判定処理は、所定のタイミングで繰り返し実行され、モーション認識処理を行うタイミングであると判定された場合、処理はステップＳ３３５に進む。

　ステップＳ３３５において、サンプルデータ生成部１６４は、検出時刻が近い動き検出データを抽出する。すなわち、サンプルデータ生成部１６４は、タイムスタンプの代わりに動き検出時刻を用いて、図９のステップＳ３４の処理と同様の方法により、動き検出データを抽出する。これにより、動き検出時刻が近い動き検出データが検出ポイント毎に１つずつ抽出される。すなわち、各検出ポイントにおいてほぼ同じタイミングで検出された動きに対応する動き検出データが抽出される。

　そして、ステップＳ３３６乃至ステップＳ３３８において、図９のステップＳ３５乃至ステップＳ３７と同様の処理が実行される。

　その後、処理はステップＳ３３４に戻り、ステップＳ３３４以降の処理が実行される。

　以上のようにして、モーション認識装置４０２において、容易かつ正確に動き検出時刻を検出することができる。そして、できる限り同じタイミングで各検出ポイントにおいて検出された動き検出データを用いて、モーション認識処理が行われ、その結果、モーションの認識精度が向上する。

　また、各ウエアラブルセンサ４０１及びモーション認識装置４０２の電源投入後に、所要時間の測定や時刻の同期を行うことなく、すぐに通信を開始することができる。さらに、例えば、通信経路が不安定になり、一時的に通信パケットの送信を中止しても、通信経路が復旧したタイミングで、所要時間の測定や時刻の同期を行うことなく、すぐに通信を再開することができる。

　＜＜４．第４の実施の形態＞＞
　次に、図３７乃至図４０を参照して、本技術の第４の実施の形態について説明する。

　第４の実施の形態は、ウエアラブルセンサ４０１とモーション認識装置４０２とが中継器を介して通信を行う場合の実施の形態である。

　＜モーション認識システムの第４の実施の形態＞
　図３７は、本技術を適用したモーション認識システムの第４の実施の形態であるモーション認識システム５００の構成例を示している。

　なお、図中、図３１のモーション認識システム４００と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

　モーション認識システム５００は、モーション認識システム４００と比較して、中継器５０１－１及び中継器５０１－２が追加されている点が異なる。

　中継器５０１－１は、ウエアラブルセンサ４０１－１乃至ウエアラブルセンサ４０１－３とモーション認識装置４０２との間において通信パケットの中継を行う。すなわち、中継器５０１－１は、ウエアラブルセンサ４０１－１乃至ウエアラブルセンサ４０１－３から通信パケットを受信し、モーション認識装置４０２に転送する。

　中継器５０１－２は、ウエアラブルセンサ４０１－４乃至ウエアラブルセンサ４０１－６とモーション認識装置４０２との間において通信パケットの中継を行う。すなわち、中継器５０１－２は、ウエアラブルセンサ４０１－４乃至ウエアラブルセンサ４０１－６から通信パケットを受信し、モーション認識装置４０２に転送する。

　なお、以下、中継器５０１－１及び中継器５０１－２を個々に区別する必要がない場合、単に中継器５０１と称する。

　＜中継器５０１の構成例＞
　図３８は、中継器５０１の構成例を示している。

　中継器５０１は、受信部５３１、バッファ５３２、クロック生成部５３３、所要時間推定部５３４、パケット更新部５３５、送信制御部５３６、及び、送信部５３７を備える。

　受信部５３１は、各ウエアラブルセンサ４０１の送信部１４６に対応する方式の無線通信により、各ウエアラブルセンサ４０１から通信パケットを受信し、バッファ５３２に供給する。

　バッファ５３２は、通信パケットを一時的に蓄積する。

　クロック生成部５３３は、所定の周波数のクロック信号を生成し、所要時間推定部５３４等の中継器５０１の各部に供給する。

　所要時間推定部５３４は、モーション認識装置４０２に転送する通信パケットをバッファ５３２から読み出し、パケット更新部５３５に供給する。また、所要時間推定部４３２は、クロック信号に基づいて、通信パケットの中継に要する時間（以下、中継所要時間と称する）を推定し、推定結果を示す情報をパケット更新部５３５に供給する。

　パケット更新部５３５は、所要時間推定部５３４により推定された中継所要時間を通信パケットに付加することにより、通信パケットを更新する。パケット更新部５３５は、更新後の通信パケットを送信制御部５３６に供給する。

　送信制御部５３６は、送信部５３７による通信パケットの送信を制御する。

　送信部５３７は、モーション認識装置４０２の受信部１６１と対応する方式の無線通信により、通信パケットをモーション認識装置４０２に送信する。

　＜中継器５０１の処理＞
　次に、図３９のフローチャートを参照して、中継器５０１の処理について説明する。

　この処理は、例えば、中継器５０１の電源がオンされたとき開始され、オフされたとき終了する。

　ステップＳ４０１において、受信部５３１は、通信パケットを受信したか否かを判定する。この判定処理は、通信パケットを受信したと判定されるまで繰り返し実行される。そして、受信部５３１が、ウエアラブルセンサ４０１から送信された通信パケットを受信したと判定した場合、処理はステップＳ４０２に進む。受信部５３１は、受信した通信パケットをバッファ５３２に蓄積する。

　ステップＳ４０２において、所要時間推定部５３４は、中継所要時間を推定する。具体的には、所要時間推定部５３４は、通信パケットをバッファ５３２から読み出す。そして、所要時間推定部５３４は、通信パケットの中継に要する中継所要時間を推定する。

　中継所要時間は、例えば、受信部５３１が通信パケットを受信してから（通信パケットが中継器５０１に到着してから）、その通信パケットがモーション認識装置４０２に到着するまでの所要時間とされる。

　例えば、所要時間推定部５３４は、通信パケットのサイズ、及び、中継器５０１とモーション認識装置４０２との間の通信状況等に基づいて、所定の計算式を用いて、中継所要時間を算出する。中継所要時間の計算式は、例えば、中継器５０１とモーション認識装置４０２との間の通信方式及び通信経路、並びに、中継器５０１及びモーション認識装置４０２の処理能力等に基づいて、事前に作成される。

　なお、例えば、事前に中機器５０１とモーション認識装置４０２との間で通信パケットを送受信した場合の実測時間に基づいて、中継所要時間を算出するようにしてもよい。

　また、例えば、中継器５０１において通信エラー等により通信パケットが再送される場合、その再送に要する時間が中継所要時間に加算される。さらに、中継器５０１において通信パケットが一時保管される場合、その保管される時間が中継所要時間に加算される。

　所要時間推定部５３４は、バッファ５３２から読み出した通信パケット、及び、中継所要時間の推定結果をパケット更新部５３５に供給する。さらに、所要時間推定部５３４は、読み出した通信パケットをバッファ５３２から削除する。

　ステップＳ４０３において、パケット更新部５３５は、通信パケットに中継所要時間を付加する。

　図４０は、中継所要時間を付加した後の通信パケットのフォーマットの例を示している。

　図４０の通信パケットは、図３５の通信パケットと比較して、ヘッダと送信所要時間の間に中継所要時間が追加されている点が異なる。

　なお、図５０の通信パケットの送信所要時間には、ウエアラブルセンサ４０１とモーション認識装置４０２の間の送信所要時間ではなく、ウエアラブルセンサ４０１と中継器５０１の間の送信所要時間が設定される。

　そして、送信所要時間及び中継所要時間を含む情報が、全体の所要時間情報となる。すなわち、送信所要時間と中継所要時間と加算した時間が、ウエアラブルセンサ４０１で検出ポイントの動きが検出されてから、検出された動きに対応する動き検出データを含む通信パケットがモーション認識装置４０２に到着するまでのトータルの所要時間となる。

　そして、パケット更新部５３５は、中継所要時間を付加することにより更新した通信パケットを送信制御部５３６に供給する。

　ステップＳ４０４において、送信部５３７は、送信制御部５３６の制御の下に、通信パケットをモーション認識装置４０２に送信する。

　その後、処理はステップＳ４０１に戻り、ステップＳ４０１以降の処理が実行される。

　なお、モーション認識装置４０２の検出時刻算出部４６２は、上述した図３６のステップＳ３３３において、送信所要時間及びパケット復元時間に加えて、通信パケットに含まれる中継所要時間を現在時刻から引くことにより、動き検出時刻を算出する。

　このように、ウエアラブルセンサ４０１とモーション認識装置４０２の間に中継器５０１を設けても、モーション認識装置４０２において、容易かつ正確に動き検出時刻を検出することができる。

　例えば、ウエアラブルセンサ４０１を装着したユーザが空間内を自由に移動する場合、ウエアラブルセンサ４０１とモーション認識装置４０２との間の通信経路（中継器５０１）が動的に変更され、通信速度や通信状況が変化する場合が想定される。例えば、最も通信状態がよい通信経路を選択したり、通信エラーが発生している経路を回避したり、ウエアラブルセンサ４０１に最も近い中継器５０１を選択する場合等である。

　これに対して、この第４の実施の形態の技術を用いれば、通信経路が変更されたり、又は、通信経路がメッシュ状に複数存在する場合など、使用する通信経路を予め知ることが困難な場合でも、通信経路上のウエアラブルセンサ４０１、中継器５０１、及び、モーション認識装置４０２の間で、所要時間の測定や時刻の同期を行うことなく、すぐに通信を開始することができる。また、モーション認識装置４０２において、各ウエアラブルセンサ４０１の動き検出時刻を容易かつ正確に検出することができる。

　そして、できる限り同じタイミングで各検出ポイントにおいて検出された動き検出データを用いて、モーション認識処理が行われ、その結果、モーションの認識精度が向上する。

　なお、ウエアラブルセンサ４０１とモーション認識装置４０２の間に中継器５０１を２段以上設けることも可能である。この場合、例えば、各中継器５０１において、中継所要時間が通信パケットに付加される。

　＜＜５．第５の実施の形態＞＞
　次に、図４１乃至図４５を参照して、本技術の第５の実施の形態について説明する。

　この第５の実施の形態では、上述したモーション認識システムを、コンサート、ダンス、演劇等の各種のパフォーマンスの演出に用いる場合の例を示している。

　＜演出システム６００の構成例＞
　図４１は、本技術を適用した演出システム６００の構成例を示している。

　演出システム６００は、各パフォーマの動きに合わせて映像、音、照明等を制御することにより、パフォーマンス演出を行うシステムである。

　演出システム６００は、モーション認識システム６０１－１乃至モーション認識システム６０１－ｎ、受信機６０２、カメラ６０３、パッドコントローラ６０４、演出制御装置６０５、シンセサイザ６０６、オーディオミキサ６０７、パワーアンプ６０８、音響装置６０９、映像装置６１０、ＤＭＸコントローラ６１１、及び、照明装置６１２を備える。

　なお、以下、モーション認識システム６０１－１乃至モーション認識システム６０１－ｎを個々に区別する必要がない場合、モーション認識システム６０１と称する。

　各モーション認識システム６０１は、例えば、上述したモーション認識システム１００、モーション認識システム３００、モーション認識システム４００、又は、モーション認識システム５００のいずれかにより構成される。

　また、モーション認識システム６０１は、モーションを認識する対象となるパフォーマの数だけ設けられ、それぞれ個別に各パフォーマのモーションの認識処理を行う。各モーション認識システム６０１は、各パフォーマのモーションの認識結果に基づくモーション制御データを受信機６０２に送信する。

　なお、例えば、パフォーマが１人だけの場合、モーション認識システム６０１は１つのみでも構わない。

　受信機６０２は、各モーション認識システム６０１からモーション制御データを受信し、演出制御装置６０５に供給する。

　なお、各モーション認識システム６０１と受信機６０２との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。また、受信機６０２と演出制御装置６０５との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。

　カメラ６０３は、例えば、各パフォーマやステージ等の撮影を行い、撮影の結果得られた映像データを演出制御装置６０５に供給する。

　パッドコントローラ６０４は、例えば、鍵盤や打楽器等の演奏データの入力に用いられる入力装置であり、入力された演奏データを演出制御装置６０５に供給する。パッドコントローラ６０４から出力される演奏データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）の規格に従ったデータとされる。

　演出制御装置６０５は、例えば、パーソナルコンピュータ、タブレット、スマートフォン等により構成される。なお、以下、演出制御装置６０５が、図１４の情報処理装置２２０により構成される場合を例に挙げて説明する。

　演出制御装置６０５には、上述したデータ以外に、例えば、パフォーマンス演出に用いる映像データ、音響データ、並びに、映像、音声、又は、照明のエフェクトパターン等を示す制御データ等が入力される。

　演出制御装置６０５は、例えば、ＶＪ（Video Jockey）用のソフトウエアを実行することにより、パフォーマンス演出に関わる各種の処理を実行する。例えば、演出制御装置６０５は、映像のリミックス、映像や音声のエフェクト処理、オーディオ解析、ＢＰＭ（Beats Per Minute）検知等を行う。また、例えば、演出制御装置６０５は、ＭＩＤＩデータ、ＯＳＣ（Open Sound Control）データ、及び、ＤＭＸ（Digital Multiplexing）データの処理や出力等を行う。

　そして、演出制御装置６０５は、演出用の音声を生成するための音響制御データをシンセサイザ６０６に供給し、演出用の音声を出力するための音響データをオーディオミキサ６０７に供給する。また、演出制御装置６０５は、演出用の映像を出力するための映像データを映像装置６１０に供給する。さらに、演出制御装置６０５は、演出用の照明を制御するためのＤＭＸデータを照明装置６１２に供給する。

　シンセサイザ６０６は、演出制御装置６０５からの音響制御データに基づいて、演出用の各種の音声を生成し、生成した音声を出力するための音響データをオーディオミキサ６０７に供給する。

　オーディオミキサ６０７は、演出制御装置６０５からの音響データとシンセサイザ６０６からの音響データのミキシングを行い、ミキシング後の音響データをパワーアンプ６０８に供給する。また、オーディオミキサ６０７は、図示せぬマイクロフォンを介して入力された音声データを演出制御装置６０５に供給する。

　パワーアンプ６０８は、音響データの増幅を行い、増幅後の音響データを音響装置６０９に供給する。

　音響装置６０９は、例えばスピーカ等により構成され、音響データに基づく音声を出力する。

　映像装置６１０は、例えば、プロジェクタやモニタ等により構成され、映像データに基づく映像をステージ等に投影したり、表示したりする。

　ＤＭＸコントローラ６１１は、照明装置６１２を制御するための装置である。ＤＭＸコントローラ６１１は、ユーザ入力等に従って、照明装置６１２を制御するためのＤＭＸデータを生成し、照明装置６１２に供給する。

　照明装置６１２は、例えば、各種のライトや光源等により構成される。照明装置６１２は、演出制御装置６０５及びＤＭＸコントローラ６１１からのＤＭＸデータに基づいて、各種の照明演出を行う。

　＜演出制御部６３１の構成例＞
　図４２は、演出制御装置６０５が図１４の情報処理装置２２０により構成される場合に、情報処理装置２２０のＣＰＵ２２１が所定の制御プログラムを実行することにより実現される演出制御部６３１の構成例を示している。

　演出制御部６３１は、楽曲及び各パフォーマの動きに基づいて、パフォーマンス演出の制御を行う。例えば、演出制御部６３１は、複数のパフォーマが楽曲に合わせてダンスをする場合に、楽曲及び各パフォーマのダンスに基づいて、パフォーマンス演出の制御を行う。

　演出制御部６３１は、楽曲入力部６４１、楽曲解析部６４２、モーション入力部６４３、割り込み制御部６４４、シナリオ生成部６４５、音響制御部６４６、映像制御部６４７、及び、照明制御部６４８を備える。

　楽曲入力部６４１は、外部から入力される楽曲データを取得し、楽曲解析部６４２に供給する。

　楽曲解析部６４２は、楽曲データの解析処理を行う。楽曲解析部６４２は、楽曲データ及び解析結果をシナリオ生成部６４５に供給する。

　モーション入力部６４３は、各モーション認識システム６０１から送信されるモーション制御データを受信機６０２から取得し、割り込み制御部６４４に供給する。

　割り込み制御部６４４は、各モーション認識システム６０１からのモーション制御データに基づいて、割り込み制御を行う。例えば、割り込み制御部６４４は、各パフォーマが所定のモーションを行ったことが検出された場合、そのモーションが検出されたことをシナリオ生成部６４５に通知し、楽曲データの解析結果に基づく演出シナリオに、各パフォーマのモーションに対応する演出を追加させる。

　シナリオ生成部６４５は、外部から供給される制御データ、楽曲データの解析結果、及び、各パフォーマのモーションの認識結果に基づいて、パフォーマンス演出用の演出シナリオを生成する。シナリオ生成部６４５は、生成した演出シナリオを音響制御部６４６、映像制御部６４７、及び、照明制御部６４８に供給する。また、シナリオ生成部６４５は、楽曲データを音響制御部６４６に供給する。

　音響制御部６４６は、シナリオ生成部６４５から供給される楽曲データ、及び、外部から供給される音響データを、演出シナリオに基づいて加工して、演出用の音響データを生成し、オーディオミキサ６０７に供給する。また、音響制御部６４６は、演出シナリオに基づいて音響制御データを生成し、シンセサイザ６０６に供給する。

　映像制御部６４７は、カメラ６０３から供給される映像データ、及び、外部から供給される映像データを演出シナリオに基づいて加工して、演出用の映像データを生成する。映像制御部６４７は、映像データを映像装置６１０に供給する。

　照明制御部６４８は、演出シナリオに基づいて、演出用のＤＭＸデータを生成し、照明装置６１２に供給する。

　なお、例えば、図４２の演出制御部６３１をプラグインソフトウエアにより実現することにより、ホールやライブハウス等のステージに設置されている既存の演出装置を用いて、モーション認識システム６０１を用いた演出システムを構築することができる。また、例えば、パーソナルコンピュータやタブレット等を用いて、本番のステージ環境をシミュレートすることが可能になる。

　＜演出制御処理＞
　次に、図４３のフローチャートを参照して、演出システム６００により実行される演出制御処理について説明する。

　この処理は、例えば、情報処理装置２２０（演出制御装置６０５）の入力部２２６を介して、パフォーマンス演出の実行の指令が入力されたとき開始される。

　ステップＳ５０１において、演出制御部６３１は、楽曲の解析を開始する。

　具体的には、楽曲入力部６４１は、外部から入力される楽曲データを取得し、楽曲解析部６４２に供給する処理を開始する。

　楽曲解析部６４２は、楽曲データに基づく楽曲のコード進行、テンポ、ビート、構造、含まれる楽器音等を解析し、解析結果をシナリオ生成部６４５に供給する処理を開始する。

　ステップＳ５０２において、シナリオ生成部６４５は、演出シナリオの生成を開始する。具体的には、シナリオ生成部６４５は、外部から供給される制御データ、及び、楽曲データの解析結果に基づいて、楽曲に合わせて音響、映像、及び、照明を制御し、パフォーマンス演出を行うための演出シナリオを生成し、音響制御部６４６、映像制御部６４７、及び、照明制御部６４８に供給する処理を開始する。また、シナリオ生成部６４５は、楽曲データを音響制御部６４６に供給する処理を開始する。

　ステップＳ５０３において、演出制御部６３１は、音響、映像、照明の制御を開始する。

　具体的には、音響制御部６４６は、シナリオ生成部６４５から供給される楽曲データ、及び、外部から供給される音響データを、演出シナリオに基づいて加工して、演出用の音響データを生成し、オーディオミキサ６０７に供給する処理を開始する。また、音響制御部６４６は、演出シナリオに基づいて音響制御データを生成し、シンセサイザ６０６に供給する処理を開始する。

　シンセサイザ６０６は、音響制御データに基づいて、演出用の各種の音声を生成し、生成した音声を出力するための音響データをオーディオミキサ６０７に供給する処理を開始する。

　オーディオミキサ６０７は、演出制御装置６０５からの音響データとシンセサイザ６０６からの音響データのミキシングを行い、ミキシング後の音響データをパワーアンプ６０８に供給する処理を開始する。

　パワーアンプ６０８は、音響データの増幅を行い、増幅後の音響データを音響装置６０９に供給する処理を開始する。

　音響装置６０９は、音響データに基づく音声を出力する処理を開始する。

　映像制御部６４７は、カメラ６０３から供給される映像データ、及び、外部から供給される映像データを演出シナリオに基づいて加工して、演出用の映像データを生成し、映像装置６１０に供給する処理を開始する。

　映像装置６１０は、映像データに基づく映像をステージ等に投影したり、表示したりする処理を開始する。

　照明制御部６４８は、演出シナリオに基づいて、演出用のＤＭＸデータを生成し、照明装置６１２に供給する処理を開始する。

　ＤＭＸコントローラ６１１は、ユーザ入力等に従って、ＤＭＸデータを生成し、照明装置６１２に供給する処理を開始する。

　照明装置６１２は、照明制御部６４８及びＤＭＸコントローラ６１１からのＤＭＸデータに基づいて、各種の照明演出を行う処理を開始する。

　ステップＳ５０４において、各モーション認識システム６０１は、各パフォーマのモーションの認識処理を開始する。そして、各モーション認識システム６０１は、各パフォーマのモーションの認識結果に基づくモーション制御データの受信機６０２への送信を開始する。

　受信機６０２は、各モーション認識システム６０１からモーション制御データを受信し、情報処理装置２２０（演出制御装置６０５）の通信部２２９（図１４）に送信する処理を開始する。

　通信部２２９は、各モーション認識システム６０１のモーション制御データをモーション入力部６４３に供給する処理を開始する。

　モーション入力部６４３は、各モーション認識システム６０１のモーション制御データを割り込み制御部６４４に供給する処理を開始する。

　ステップＳ５０５において、割り込み制御部６４４は、各モーション認識システム６０１のモーション制御データに基づいて、所定のモーションが検出されたか否かを判定する。所定のモーションが検出されたと判定された場合、処理はステップＳ５０６に進む。

　ステップＳ５０６において、演出制御部６３１は、割り込み処理を行う。

　例えば、割り込み制御部６４４は、所定のモーションが検出されたことをシナリオ生成部６４５に通知する。

　シナリオ生成部６４５は、外部から供給される制御データ、及び、楽曲データの解析結果に基づいて生成している演出シナリオに、検出されたモーションに対応した演出を追加する。

　これにより、例えば、パフォーマのダンスのステップに合わせて映像や照明が制御されるようになる。例えば、パフォーマの全身のリズムや動きの激しさ、手足の緩急等に応じて、照明の色や明るさが制御される。例えば、パフォーマと同じダンスの技を行うＣＧキャラクタが表示されたり、パフォーマのダンスのステップに合わせて照明が点滅したりする。

　その後、処理はステップＳ５０７に進む。

　一方、ステップＳ５０５において、所定のモーションが検出されていないと判定された場合、ステップＳ５０６の処理はスキップされ、処理はステップＳ５０７に進む。

　ステップＳ５０７において、シナリオ生成部６４５は、演出を終了するか否かを判定する。演出を終了しないと判定された場合、処理はステップＳ５０５に戻る。

　その後、ステップＳ５０７において、演出を終了すると判定されるまで、ステップＳ５０５乃至ステップＳ５０７の処理が繰り返し実行される。

　一方、ステップＳ５０７において、シナリオ生成部６４５は、情報処理装置２２０（演出制御装置６０５）の入力部２２６を介して、パフォーマンス演出の終了の指令が入力された場合、演出を終了すると判定し、演出制御処理は終了する。

　以上のようにして、楽曲データの解析結果や外部からの制御データに基づく演出を行いつつ、パフォーマのモーションに合わせた演出を行うことができる。

　＜パフォーマンス演出の具体例＞
　ここで、図４４及び図４５を参照して、演出システム６００によるパフォーマンス演出の具体例について説明する。具体的には、空手の選手（パフォーマ）による空手の型に合わせて効果音を出力する場合の例について説明する。

　図４４は、認識対象となるモーション（空手の技）と出力される効果音の関係を示す遷移図である。

　例えば、構え、右手突き、左手突き、右足蹴り、左足蹴りが認識対象となるモーションとされる。

　そして、モーションの遷移に基づいて、効果音が選択され出力される。すなわち、遷移前のモーションと遷移後のモーションの組み合わせに基づいて、演出内容（効果音）が選択され、出力される。

　例えば、選手が構えた状態から右手突き又は左手突きを行った場合、効果音Ａが出力され、選手が構えた状態から右手蹴り又は左手蹴りを行った場合、効果音Ｅが出力される。

　選手が右手突きを行った後に構えに戻った場合、効果音Ｂが出力され、選手が右手突きを行った後に左手突きを行った場合、効果音Ｃが出力される。選手が左手突きを行った後に構えに戻った場合、効果音Ｂが出力され、選手が左手突きを行った後に右手突きを行った場合、効果音Ｄが出力される。

　選手が右足蹴りを行った後に構えに戻った場合、効果音Ｆが出力され、選手が右足蹴りを行った後に左足蹴りを行った場合、効果音Ｇが出力される。選手が左足蹴りを行った後に構えに戻った場合、効果音Ｆが出力され、選手が左足蹴りを行った後に右足蹴りを行った場合、効果音Ｈが出力される。

　これにより、選手の一連の動きの中で、動きの遷移に基づいて効果音を動的に変化させることができる。その結果、より効果的な演出を行うことができる。例えば、より粒度の細かい演出が実現され、より選手の動きにあった演出や、より臨場感の高い演出を実現することが可能になる。

　図４５は、効果音が出力されるタイミングの例を示している。

　図４５の上の図は、効果音、モーション認識、及び、センサデータの波形の時系列の推移の例を示している。

　この例では、選手のモーションが完了し、その認識が完了した時点で効果音が出力される。例えば、選手が右手突きを行い、右手突きが完了し、その認識が完了した時点で、「ダンッ」という効果音が出力される。次に、選手が右手突きを行った状態から構えに戻り、構えが完了し、その認識が完了した時点で、「シャッ」という効果音が出力される。次に、選手が構えた状態から右足蹴りを行い、右足蹴りが完了し、その認識が完了した時点で、「ドドーンッ」という効果音が出力される。

　一方、モーションの完了前、すなわち、モーションの途中で効果音を出力させたい場合も想定される。これに対して、例えば、図４５の下の図に示されるように、モーション認識システム６０１のモーション認識部１６５においてモーション認識の予測を行い、その結果に基づいて、エフェクトタイミング（すなわち、効果音の出力タイミング）を早めるようにしてもよい。

　例えば、選手が右手突きを行っている最中に、右手突きの認識の予測が完了した時点で、「ダンッ」という効果音が出力される。次に、選手が右手突きを行った状態から構えに戻っている最中に、構えの認識の予測が完了した時点で、「シャッ」という効果音が出力される。次に、選手が構えた状態から右足蹴りを行っている最中に、右足蹴りの予測が完了した時点で、「ドドーンッ」という効果音が出力される。

　このように、モーション認識の予測を用いることにより、モーションが完了する前の途中の段階で、実行中のモーションに対する演出を行うことが可能になる。

　なお、ユーザのモーションの遷移に基づいて、効果音以外の演出内容の制御を行うことも可能である。

　また、例えば、モーションの遷移ではなく、モーションの種類毎に効果音等の演出内容を制御するようにしてもよい。例えば、選手が右手突きを行った場合に効果音Ａを出力し、左手突きを行った場合に効果音Ｂを出力し、右足蹴りを行った場合に効果音Ｃを出力し、左足蹴りを行った場合に効果音Ｄを出力するようにしてもよい。

　＜＜６．第６の実施の形態＞＞
　次に、図４６乃至図５２を参照して、本技術の第６の実施の形態につい説明する。

　この第６の実施の形態では、上述したモーション認識システムを、人の行動の解析処理に用いた場合の例を示している。

　＜解析システム７００の構成例＞
　図４６は、本技術を適用した解析システム７００の構成例を示している。なお、図中、図４１の演出システム６００と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

　解析システム７００は、１人以上のユーザの行動の解析を行うシステムである。

　解析システム７００は、モーション認識システム６０１－１乃至モーション認識システム６０１－ｎ、受信機６０２、カメラ６０３、及び、解析処理装置７０１を備える。

　モーション認識システム６０１は、行動の解析対象となるユーザの数だけ設けられる。なお、解析対象となるユーザが１人のみの場合、モーション認識システム６０１は１つのみでも構わない。

　解析処理装置７０１は、例えば、パーソナルコンピュータ、タブレット、スマートフォン等により構成される。なお、以下、解析処理装置７０１が、図１４の情報処理装置２２０により構成される場合を例に挙げて説明する。

　解析処理装置７０１は、受信機６０２から供給される各モーション認識システム６０１のモーション制御データ、及び、カメラ６０３から供給される映像データに基づいて、各ユーザの行動の解析処理を行う。

　＜解析処理部７３１の構成例＞
　図４７は、解析処理装置７０１が図１４の情報処理装置２２０により構成される場合に、情報処理装置２２０のＣＰＵ２２１が所定の制御プログラムを実行することにより実現される解析処理部７３１の構成例を示している。

　解析処理部７３１は、解析部７４１及びＵＩ（User Interface）制御部７４２を備える。

　解析部７４１は、受信機６０２から供給される各モーション認識システム６０１のモーション制御データ、及び、カメラ６０３から供給される映像データに基づいて、各ユーザの行動の解析を行う。

　ＵＩ制御部７４２は、情報処理装置２２０の入力部２２６を介して入力されるユーザ入力等に基づいて、出力部２２７を制御して、各ユーザの行動の解析結果を提示する際のユーザインタフェースの制御を行う。

　＜解析処理＞
　次に、図４８のフローチャートを参照して、解析システム７００により実行される解析処理について説明する。

　この処理は、例えば、情報処理装置２２０（解析処理装置７０１）の入力部２２６を介して、解析処理の実行の指令が入力されたとき開始される。

　ステップＳ６０１において、各モーション認識システム６０１は、各ユーザのモーションの認識処理を行う。そして、各モーション認識システム６０１は、各ユーザのモーションの認識結果に基づくモーション制御データを受信機６０２に送信する。

　受信機６０２は、各モーション認識システム６０１からモーション制御データを受信し、情報処理装置２２０の通信部２２９（図１４）に送信する。

　通信部２２９は、受信した各ユーザのモーション制御データを記憶部２２８に記憶させる。

　また、カメラ６０３は、各ユーザが行動する様子を撮影し、その結果得られた映像データを記憶部２２８に記憶させる。

　ステップＳ６０２において、解析部７４１は、各ユーザの行動の解析を行う。具体的には、解析部７４１は、記憶部２２８に記憶されている各ユーザのモーション制御データ、及び、カメラ６０３により撮影された映像データに基づいて、各ユーザの行動の解析を行う。解析部７４１は、解析結果を示す解析データを記憶部２２８に記憶させる。

　なお、この解析処理は、各ユーザのモーションの認識処理と並行して行うようにしてもよいし、各ユーザの行動が終了し、各ユーザのモーションの認識処理が終了した後に行うようにしてもよい。

　ステップＳ６０３において、出力部２２７は、ＵＩ制御部７４２の制御の下に、記憶部２２８に記憶されている解析データに基づいて、解析結果を提示する。

　その後、解析処理は終了する。

　ここで、図４９乃至図５２を参照して、解析結果の提示方法の例について説明する。具体的には、ラグビーの試合の各選手の行動の解析結果を提示する場合の例について説明する。

　この場合、例えば、ステイ、ウォーク、ラン、パス、キック、キャッチ、タックル、スクラム、ターン、トライ等の各選手のラグビー特有の動きがモーションとして認識される。

　そして、例えば、出力部２２７において、図４９に示されるような解析画面が表示される。この解析画面は、映像表示部８７１、操作部８７２、時間表示部８７３、ポジション解析部８７４、及び、行動解析部８７５に大きく分かれる。

　映像表示部８７１には、カメラ６０３により撮影されたラグビーの試合の映像が表示される。

　操作部８７２には、映像表示部８７１に表示される映像に対して、再生、停止、早送り、巻き戻し等の操作を行うためのボタン等が表示される。

　時間表示部８７３には、映像表示部８７１に表示されている映像の時間に関する情報が表示される。

　ポジション解析部８７４には、映像表示部８７１に表示されている映像の時刻における各選手のポジジョンの解析結果が表示される。

　なお、各選手のポジション（位置情報）は、例えば、カメラ６０３により撮影される映像データや、ＧＮＳＳ受信機等を用いて検出される。

　行動解析部８７５には、各選手の行動の解析結果が表示される。図５０は、行動解析部８７５の表示内容を拡大した図である。

　具体的には、行動解析部８７５には、複数の選手のモーションの認識結果が縦方向に並べて表示される。例えば、図５０の例では、選手Ａ乃至選手Ｄのモーションの認識結果が縦方向に並べて表示されている。例えば、行動解析部８７５内の表示を縦方向にスクロールすることにより、表示する選手を変更することができる。

　また、選手毎のモーション（動き）の遷移が横方向に時系列に並べて表示されている。例えば、選手Ａのモーションが、スクラム、キャッチ、ラン、パス、ラン、タックル、ランの順に遷移していることが示されている。

　また、各選手のモーションのうち、パス、キャッチ、トライ等のボールの移動や得点に関わるモーションが、他のモーションと区別できるように、異なる色等で表示されている。

　さらに、各選手の行動の解析結果に基づいて、ボールの位置がトラッキングされ、その結果が、トラッキングライン８８１により表示されている。

　また、映像表示部８７１に表示されている映像の時刻に対応するタイムライン８８２が表示されている。このタイムライン８８２を左右にスライドさせることにより、映像表示部８７１に表示される映像の時刻を調整することができる。これにより、各選手が各モーションを行ったときの映像を容易に検索することができる。

　このように、図４９及び図５０の解析画面により、映像だけでは分からない個々の選手の動きや選手間のコンビネーション等を把握し、詳細に分析することが可能になる。

　図５１は、各選手のモーションの認識結果及び位置情報に基づいて、各選手のモーションの実行位置を解析した結果を提示した例を示している。具体的には、図５１の解析画面には、選手Ａがキックを行った回数が表示されるとともに、キックを行った位置がヒートマップの形式で表示されている。例えば、選手Ａがキックを行った回数が多い領域が強調して表示されている。

　図５１の解析画面は、例えば、解析対象とする選手を切り替えたり、解析対象とするモーションを切り替えたりすることが可能である。また、例えば、複数の選手を一度に解析対象に設定したり、複数のモーションを一度に解析対象にしたりすることも可能である。

　これにより、各選手のモーションとその実行位置の関係を詳細に把握することができる。

　図５２は、各選手のモーションの認識結果に基づいて、各選手のリロードに要する時間（例えば、選手が倒れてからプレイに復帰するまでの時間）を解析した結果を提示した例を示している。

　具体的には、図５２のウインドウ８９１には、選手Ａがリロードを行った時刻、及び、リロードに要した時間の一覧が表示されている。

　また、ウインドウ８９２には、リロードに要した時間の変化を示す折れ線グラフが表示されている。グラフの横軸はリロードの回数、すなわち何回目のリロードかを示し、縦軸は各回のリロードに要した時間を示している。

　なお、以上の例では、ラグビーの試合の解析結果を提示する例を示したが、もちろん他のスポーツに適用することも可能である。例えば、図５１のヒートマップを、サッカーのボールを蹴った位置、バスケットボールのシュートを打った位置、ハンドボールのパスを行った位置等に適用することが可能である。

　＜＜７．適用例＞＞
　次に、上述した例以外の本技術の適用例について説明する。

　＜モーション認識処理の適用例＞
　例えば、本技術のモーション認識処理により認識されたモーションにより、各種の装置の操作やコマンドの入力等を行うことが可能である。

　具体的には、例えば、各種の装置や、ＶＲ（Virtual Reality）又はＡＲ（Augmented Reality）を用いたシステムの操作を行うことが可能である。

　例えば、バーチャル格闘ゲームにおいて、プレイヤーの技の認識に本技術のモーション認識処理を用いることが可能である。そして、例えば、認識した技が相手のプレイヤーにヒットした場合、攻撃したプレイヤーのシステムに振動をフィードバックするようにしてもよい。

　例えば、ＡＲを用いたゲームにおいて、ユーザがボールを投げるモーションが認識された場合、その速度や方向に応じてボールがヒットする地点が計算され、その地点のアイテムが取得されるようにしてもよい。

　例えば、ＡＲを用いたシステムにおいて、ドアを開けるモーションが認識された場合、表示されているドアが開いたり、箱を開けるモーションが認識された場合、表示されている箱が開いたりするようにしてもよい。

　例えば、認識されたユーザのモーションによりドローン等を操作するようにしてもよい。

　また、例えば、スポーツ等の動きの評価に本技術のモーション認識処理を適用することが可能である。

　具体的には、例えば、ダンス教室やヨガ教室において、先生と生徒のモーションの認識結果を比較して、その比較結果を音声や振動等でリアルタイムに生徒にフィードバックすることが可能である。これにより、例えば、生徒は、先生が見えない位置にいても、自分の動きやポーズが正しいか否かを即座に認識することができる。なお、この場合、クラスのレベルに応じて、モーションの認識精度を変えるようにしてもよい。例えば、上級クラスでは、個々のモーションが正確に認識されるように認識精度を厳しくし、初級クラスでは、認識精度を甘くして、ユーザの１つの動きに対して複数のモーションの候補が認識されるようにしてもよい。

　さらに、例えば、パフォーマのモーションの認識結果に基づいて、ダンスを撮影した映像の特定の技を行った部分を切り取って繋げることにより、自動的にプロモーションビデオを生成することが可能である。また、ダンスの技の種類に応じて、カットチェンジやクロスフェード等の効果を自動的に入れることが可能である。

　また、例えば、ゲームの開発環境用ソフトウエアに対して、モーションの認識結果を利用するプラグインソフトウエアを作成し、プレイヤーの体の動きを用いたゲームの開発に適用することができる。

　また、例えば、病院等でのリハビリテーションを行う場合に、本技術のモーション認識処理を適用することが可能である。

　具体的には、例えば、正しいリハビリテーションの動きの手順を示すプログラム及び映像を事前に準備し、患者は映像を見ながらリハビリテーションを行う。そして、リハビリテーションを実行中の患者のモーションを認識し、プログラムの動きと患者の動きを比較することにより、リハビリテーションの達成度を検出するようにしてもよい。そして、例えば、患者がプログラムの手順通りにリハビリテーションを実行できた場合、次のステージに自動的に進めるようにしてもよい。これにより、各患者が、１人でプログラムに従って正確なリハビリテーションを実行することが可能になる。また、各患者のリハビリテーションの実行記録を自動的に生成し、蓄積することができ、病院側で各患者のリハビリテーションの進捗状況を自動的に管理することが可能になる。

　また、例えば、色、明るさ等が可変のペンライト又はリストバンドを携帯又は装着した観客のモーションに合わせて、ペンライトやリストバンドの色や明るさを制御するようにしてもよい。これにより、ステージと観客席で連携した演出等が可能になる。

　＜モーションデータ及び演出データの流通＞
　また、例えば、プロのパフォーマや振付師が、手本となる動き（振付やダンス等）を撮影した映像、及び、その動きに対応するモーション制御データを含むモーションデータをインターネット等で流通させるようにしてもよい。なお、モーション制御データは、本技術のモーション認識システムを用いて取得される。

　そして、例えば、クリエータが、その映像の動きに合わせた演出を行うための演出データをインターネット等で流通させるようにしてもよい。演出データは、例えば、映像の動きに合わせて流す映像又は音声、並びに、映像、音声又は照明の制御に用いる制御データ等を含む。

　これに対して、例えば、演出家は、モーションデータと映像データを入手し、入手したデータを用いて、オフラインでステージの演出を制作することができる。また、他のパフォーマやユーザは、演出データを入手して、各自が行うパフォーマンスの演出に用いることができる。

　＜モーションの認識対象＞
　なお、以上の説明では、人のモーションを認識する場合に本技術を適用する例を示したが、人以外のオブジェクトのモーションを認識する場合にも本技術を適用することが可能である。認識対象となるオブジェクトは、動物等の生物、又は、ロボット等の無生物のいずれであってもよい。また、認識対象が無生物である場合、ロボット等のように自律的或いはユーザ操作により動く無生物、又は、海の浮き等の波や風等の外部からの力により動く無生物のいずれであってもよい。

　＜＜８．変形例＞＞
　以下、上述した本開示に係る技術の実施の形態の変形例について説明する。

　＜ウエアラブルセンサの装着数、装着位置に関する変形例＞
　上述したように、ウエアラブルセンサの装着数や装着位置（検出ポイント）は、認識対象となるモーションや、要求される認識精度等により変更することが可能である。

　例えば、上述したダンスの技を認識する例において、頭部及び腰の代わりに、バンド等を用いて、背中にウエアラブルセンサを装着するようにしてもよい。

　例えば、ユーザがＡＲアイウエアを装着して、体を使ったインタラクションを行う際に本技術を適用する場合、例えば、ウエアラブルセンサは、頭部及び両手首の３か所に装着される。なお、頭部にウエアラブルセンサを装着する代わりに、ＡＲアイウエアにセンサを内蔵させてもよい。また、両手首には、例えば、軽量なバンドを用いてウエアラブルセンサが装着される。

　例えば、全身を使ったコマンド入力に本技術を適用する場合、軽量なバンドを用いて両手首及び両足首の４か所にウエアラブルセンサが装着される。

　例えば、上述したリハビリテーションにモーション認識システムを適用する場合、リハビリテーションの対象となる行動や体の部位に応じて、ウエアラブルセンサの装着数及び装着位置が設定される。例えば、腕のリハビリテーションを行う場合、巻き付け型のベルトを用いて、上腕及び手首の２か所にウエアラブルセンサが装着される。例えば、歩行動作のリハビリテーションを行う場合、巻き付け型のベルトを用いて、両太もも及び両足首の４か所にウエアラブルセンサが装着される。

　＜第３の実施の形態及び第４の実施の形態の変形例＞
　また、上述した第３の実施の形態及び第４の実施の形態の技術は、ウエアラブルセンサとモーション認識装置との間の通信だけでなく、一般的な送信機と受信機の間の通信に適用することが可能である。

　これにより、送信機、中継器、及び、受信機の間の所要時間の測定や時刻の同期を行うことなく、すぐに通信を開始したり、再開したりすることができる。また、受信機において、所定の事象が検出された時刻を正確に検出することができる。

　なお、検出時刻を検出する対象となる事象は、特に限定されない。例えば、ウエアラブルセンサの各センサにより検出される加速度、角速度等も、事象の一種である。

　また、送信機と受信機の間の通信経路が動的に変更されても、送信機、中継器、及び、受信機の間の所要時間の測定や時刻の同期を行うことなく、すぐに通信を開始することができる。また、受信機において、所定の事象が検出された時刻を正確に検出することができる。

　さらに、例えば、送信機が、省電力等の目的によりデータの送信を遅らせたり、データの送信を間引いたりしても、受信機において、所定の事象が検出された時刻を正確に検出することができる。

　なお、例えば、送信機と受信機の間の通信頻度が低い場合（例えば、１日１回等）に、送信機、中継器、及び、受信機の間の所要時間の測定や時刻の同期を行った場合、実データの送信にかかるコストに比較して、所要時間の測定や時刻の同期にかかるコストが大きくなる。ここで、コストとは、例えば、通信ネットワークの通信帯域の確保や時計のメインテナンスにかかるコスト、消費電力等である。一方、本技術を用いれば、そのようなコストの無駄を削減することができる。

　また、例えば、送信機、又は、送信機を備える装置に検出データを蓄積し、送信機と受信機又は中継器とが通信可能な状態になったときに、送信機から受信機又は中継器に検出データを送信する場合にも、本技術を適用することができる。この場合、送信機は、各検出データに送信所要時間を付加して送信するが、この送信所要時間には、各検出データが蓄積されていた時間が含まれる。従って、検出データが検出された時刻に応じて、各検出データに付加する送信所要時間が異なるようになる。

　以下、この適用例の具体例について説明する。

　例えば、水泳の選手が、複数の部位に各種のセンサを備える送信機を装着した状態で練習を行う。送信機は、水中にある場合など中継器又は受信機と通信できない場合、定期的に取得されるセンサデータを内部に蓄積する。そして、送信機は、受信機と通信可能になったとき、蓄積している各センサデータを、センサデータ毎の蓄積時間を含む送信所要時間情報とともに送信する。そして、例えば、センサデータ、並びに、送信所要時間に基づいて、選手の各事象の発生時刻が検出される。また、検出結果に基づいて、選手の各事象を時系列に並べたグラフを表示したり、選手のフォームをＣＧによりアニメーション化したりすることができる。

　例えば、複数のダンサーが、それぞれ複数の部位に各種のセンサを備える送信機を装着した状態で演技を行う。各送信機は、演技中に定期的に取得されるセンサデータを内部に蓄積し、演技終了後に蓄積している各センサデータを、センサデータ毎の蓄積時間を含む送信所要時間情報とともに受信機に送信する。そして、例えば、センサデータ及び送信所要時間に基づいて、各ダンサーの各事象の発生時刻が検出される。この検出結果に基づいて、各ダンサーの動きのタイミングや正確さ等の確認を行うことができる。また、例えば、各ダンサーの演技を撮影した映像のタイムラインと各事象の発生時刻を同期させて、表示させることができる。

　例えば、車両に設けられたセンサが、車両の各部品の走行中の状態を定期的に検出し、検出したセンサデータが車両に蓄積される。そして、車両が車庫に駐車され、車両に設けられている送信機と車庫に設けられている受信機とが通信可能な状態になったとき、送信機は、車両に蓄積されている各センサデータを、センサデータ毎の蓄積時間を含む送信所要時間情報とともに受信機に送信する。そして、センサデータ及び送信所要時間に基づいて、車両の各部品の事象の発生時刻が検出される。また、例えば、車両の各部品の事象の検出結果に基づいて、車両の部品の不具合、不具合の発生時刻、発生原因等が検出される。

　例えば、各積み荷にそれぞれセンサデバイスが装着され、各センサデバイスは、輸送中の各積み荷の温度、湿度、衝撃等を定期的に検出し、検出したセンサデータを内部に蓄積する。そして、各積み荷がそれぞれ送り先に到着したとき、積み荷に装着されているセンサデバイスは、蓄積している各センサデータを、センサデータ毎の蓄積時間を含む送信所要時間情報とともに、送り先の受信機に送信する。そして、センサデータ及び送信所要時間に基づいて、輸送中に積み荷に発生した事象及び発生時刻が検出される。

　例えば、患者にセンサデバイスが装着され、センサデバイスは、患者のバイタルサインを定期的に検出し、検出したセンサデータを内部に蓄積する。センサデバイスは、受信機に近づけられたとき、蓄積している各センサデータを、センサデータ毎の蓄積時間を含む送信所要時間情報とともに、受信機に送信する。そして、センサデータ及び送信所要時間に基づいて、患者の各事象及び発生時刻が検出される。

　＜その他の変形例＞
　上述した各装置やシステムの機能の分担はその一例であり、適宜変更することが可能である。例えば、図１５の学習処理部２５１、図４２の演出制御部６３１、又は、図４７の解析処理部７３１の機能の一部又は全部をモーション認識装置に設けるようにしてもよい。

　また、例えば、モーション認識装置をユーザが装着するようにしてもよい。この場合、モーション認識装置とウエアラブルセンサを一体化してもよい。

　＜＜９．その他＞＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータ（例えば、情報処理装置２２０）にインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。

（１）
　所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する第１の所要時間を推定する所要時間推定部と、
　前記通信データ、及び、前記第１の所要時間を含む所要時間情報を前記後段の装置へ送信する送信部と
　を備える通信装置。
（２）
　前記第１の所要時間は、前記事象が検出されてから前記通信データが前記後段の装置に到着するまでの時間である
　前記（１）に記載の通信装置。
（３）
　前記通信装置は、人に装着され、
　前記事象は、前記人の動きである
　前記（２）に記載の通信装置。
（４）
　前記通信データを受信する受信部を
　さらに備え、
　前記第１の所要時間は、前記通信データが前記通信装置に到着してから前記後段の装置に到着するまでの時間である
　前記（１）に記載の通信装置。
（５）
　前記受信部は、前記通信データ、及び、前記通信データが前記通信装置に到着するまでに要する第２の所要時間を含む前記所要時間情報を受信し、
　前記送信部は、前記通信データ、並びに、前記第１の所要時間及び前記第２の所要時間を含む前記所要時間情報を前記後段の装置へ送信する
　前記（４）に記載の通信装置。
（６）
　前記第２の所要時間は、前段の装置において前記事象が検出されてから前記通信データが前記通信装置に到着するまでの時間である
　前記（５）に記載の通信装置。
（７）
　前記前段の装置は、人に装着され、
　前記事象は、前記人の動きである
　前記（６）に記載の通信装置。
（８）
　前記第２の所要時間は、前記通信データが前段の装置に到着してから前記通信装置に到着するまでの時間である
　前記（５）に記載の通信装置。
（９）
　通信装置が、
　所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する所要時間を推定し、
　前記通信データ、及び、前記所要時間を含む所要時間情報を前記後段の装置へ送信する
　通信方法。
（１０）
　所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報を受信する受信部と、
　前記所要時間情報に基づいて、前記事象が検出された時刻を算出する時刻算出部と
　を備える通信装置。
（１１）
　前記所要時間は、前記事象が検出されてから前記通信データが前記通信装置に到着するまでに要する時間である
　前記（１０）に記載の通信装置。
（１２）
　前記所要時間は、前記通信データが前段の装置に到着してから前記通信装置に到着するまでに要する時間を含む
　前記（１１）に記載の通信装置。
（１３）
　前記所要時間は、前段の装置において前記事象が検出されてから前記通信データが前記通信装置に到着するまでに要する時間である
　前記（１１）に記載の通信装置。
（１４）
　前記前段の装置は、人に装着され、
　前記事象は、前記人の動きである
　前記（１３）に記載の通信装置。
（１５）
　前記時刻算出部は、現在の時刻から前記所要時間を引くことにより、前記事象が検出された時刻を算出する
　前記（１０）乃至（１４）のいずれかに記載の通信装置。
（１６）
　前記事象は、人の動きである
　前記（１０）に記載の通信装置。
（１７）
　通信装置が、
　所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報を受信し、
　前記所要時間情報に基づいて、前記事象が検出された時刻を算出する
　通信方法。

　１００　モーション認識システム，　１０１　ウエアラブルセンサ，　１０２　モーション認識装置，　１３９　センサデータ取得部，　１４４　パケット生成部，　１４５　送信制御部，　１６１　受信部，　１６５　モーション認識部，　１６６　送信制御部，　１６７　送信部，　２００　学習システム，　２０１　学習処理装置，　２２０　情報処理装置,　２２１　ＣＰＵ，　２２９　通信部，　２６５　学習データ生成部，　２６６　学習部，　２６７　ＵＩ制御部，　３００　モーション認識システム，　３０１　ウエアラブルセンサ，　３０２　モーション認識装置，　３３１　パケット生成部，　３３４　送信制御部，　３６１　通信制御部，　４００　モーション認識システム，　４０１　ウエアラブルセンサ，　４０２　モーション認識装置，　４３２　所要時間推定部,　４３３　パケット生成部，　４６２　検出時刻算出部，　５０１　中継器，　５３１　受信部，　５３４　所要時間推定部，　５３５　パケット更新部，　５３６　送信制御部，　５３７　送信部，　６００　演出システム，　６０１　モーション認識システム，　６０５　演出制御装置，　６３１　演出制御部，　６４５　シナリオ生成部,　６４６　音響制御部，　６４７　映像制御部，　６４８　照明制御部，　７００　解析システム,　７０１　解析処理装置，　７３１　解析処理部，　７４１　解析部，　７４２　ＵＩ制御部

Claims (17)

1. 　所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する第１の所要時間を推定する所要時間推定部と、
   　前記通信データ、及び、前記第１の所要時間を含む所要時間情報を前記後段の装置へ送信する送信部と
   　を備える通信装置。
2. 　前記第１の所要時間は、前記事象が検出されてから前記通信データが前記後段の装置に到着するまでの時間である
   　請求項１に記載の通信装置。
3. 　前記通信装置は、人に装着され、
   　前記事象は、前記人の動きである
   　請求項２に記載の通信装置。
4. 　前記通信データを受信する受信部を
   　さらに備え、
   　前記第１の所要時間は、前記通信データが前記通信装置に到着してから前記後段の装置に到着するまでの時間である
   　請求項１に記載の通信装置。
5. 　前記受信部は、前記通信データ、及び、前記通信データが前記通信装置に到着するまでに要する第２の所要時間を含む前記所要時間情報を受信し、
   　前記送信部は、前記通信データ、並びに、前記第１の所要時間及び前記第２の所要時間を含む前記所要時間情報を前記後段の装置へ送信する
   　請求項４に記載の通信装置。
6. 　前記第２の所要時間は、前段の装置において前記事象が検出されてから前記通信データが前記通信装置に到着するまでの時間である
   　請求項５に記載の通信装置。
7. 　前記前段の装置は、人に装着され、
   　前記事象は、前記人の動きである
   　請求項６に記載の通信装置。
8. 　前記第２の所要時間は、前記通信データが前段の装置に到着してから前記通信装置に到着するまでの時間である
   　請求項５に記載の通信装置。
9. 　通信装置が、
   　所定の事象の検出結果を含む通信データが後段の装置に到着するまでに要する所要時間を推定し、
   　前記通信データ、及び、前記所要時間を含む所要時間情報を前記後段の装置へ送信する
   　通信方法。
10. 　所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報を受信する受信部と、
    　前記所要時間情報に基づいて、前記事象が検出された時刻を算出する時刻算出部と
    　を備える通信装置。
11. 　前記所要時間は、前記事象が検出されてから前記通信データが前記通信装置に到着するまでに要する時間である
    　請求項１０に記載の通信装置。
12. 　前記所要時間は、前記通信データが前段の装置に到着してから前記通信装置に到着するまでに要する時間を含む
    　請求項１１に記載の通信装置。
13. 　前記所要時間は、前段の装置において前記事象が検出されてから前記通信データが前記通信装置に到着するまでに要する時間である
    　請求項１１に記載の通信装置。
14. 　前記前段の装置は、人に装着され、
    　前記事象は、前記人の動きである
    　請求項１３に記載の通信装置。
15. 　前記時刻算出部は、現在の時刻から前記所要時間を引くことにより、前記事象が検出された時刻を算出する
    　請求項１０に記載の通信装置。
16. 　前記事象は、人の動きである
    　請求項１０に記載の通信装置。
17. 　通信装置が、
    　所定の事象の検出結果を含む通信データ、及び、前記通信データが到着するまでに要する所要時間を含む所要時間情報を受信し、
    　前記所要時間情報に基づいて、前記事象が検出された時刻を算出する
    　通信方法。

Images