JP6055659B2 - 端末装置、通信システム、端末装置の判定結果記録方法、プログラム - Google Patents

Description

本発明は、ダンサーの踊りなど、人の動作を判定する端末装置、通信システム、端末装置の判定結果記録方法、プログラムに関する。

従来、ダンサーの踊りを採点する採点装置が知られている。例えば、特許文献１では、ダンサーをカメラで撮像して、ダンサーの頭部、腹部および両手先の位置を検出する。そして、ダンサーの各部の移動時間（各部の移動量を示す軌跡曲線の極小値間または極大値間の長さ）と、音楽再生装置から出力される伴奏曲のリズム（一拍の時間間隔）と、を比較し、これらが所定の関係（１／３，１／２，１，４／３，３／２，２，３，４・・・など）となる場合、リズム感が良いと判定する。

特開２００２−３５１９１号公報

ところが、上記特許文献１の技術は、ダンサーの動作を検出するためにカメラを用いるため、専用の場所を確保してカメラを設置する必要があり、場所を移動する際にはカメラを持ち運ばなければならない。このため、手軽に用いることができないといった課題がある。

また、クラブやミュージックバー等、次々と演奏される楽曲に合わせてダンスを楽しむ状況では、ユーザーがどの楽曲に合わせて踊ったかを、記録として残したいといった要望がある。これは、「楽曲に合わせて踊っている＝その楽曲を気に入っている」という図式が成り立つことを前提とすると、お気に入りの楽曲を記録することと同義である。ところが、従来、お気に入りの楽曲を記録する方法は、楽曲リストにユーザーが手動でブックマークする方法しかなかった。しかしながら、踊っている途中でブックマークの操作を行うことは困難であるし、踊った楽曲を覚えておいて後でブックマークする方法では、信憑性がない。

本発明は、上記の問題点に鑑み、ユーザーのお気に入りの楽曲を、煩雑な操作を行うことなく記録可能な端末装置、通信システム、端末装置の判定結果記録方法、プログラムを提供することを目的とする。

本発明の端末装置は、楽曲のビート情報を取得するビート情報取得部と、自装置を所持するユーザーの動作を検出する動作検出部と、ビート情報と、動作検出部による検出値との比較結果に応じて、ユーザーが楽曲に合わせて体を動かしているか否かを判定する動作判定部と、楽曲を示す情報に、動作判定部の判定結果を示す識別情報を関連付けて記録する記録部と、を備え、ビート情報取得部は、外部から、楽曲のビートタイミングに合わせて、各ビート位置を示すビート情報を取得することを特徴とする。

本発明の端末装置の判定結果記録方法は、楽曲のビート情報を取得するステップと、自装置を所持するユーザーの動作を検出するステップと、ビート情報と、ユーザーの動作検出値との比較結果に応じて、ユーザーが楽曲に合わせて体を動かしているか否かを判定するステップと、楽曲を示す情報に、ユーザーが楽曲に合わせて体を動かしているか否かの判定結果を示す識別情報を関連付けて記録するステップと、を実行し、ビート情報を取得するステップでは、外部から、楽曲のビートタイミングに合わせて、各ビート位置を示すビート情報を取得することを特徴とする。

本発明の構成によれば、端末装置によりユーザーの動作を検出するため、専用の場所以外でも、端末装置だけで手軽に動作判定を行うことができる。また、ビート情報と動作検出値との比較により、ユーザーが楽曲に合わせて体を動かしているか否かを判定し、その判定結果を、楽曲を示す情報に関連付けて記録するため、煩雑な操作を必要とすることなく、お気に入りの楽曲を容易に記録することができる。また、楽曲のビートタイミングごとにビート情報を取得するため、途中でテンポの変わる楽曲であっても、正確に楽曲のビート位置を特定することができる。また、マイクロフォン等で楽曲の再生音を集音してビート位置を特定する場合と比較して、周囲の雑音を検出する虞がないため、より信頼性の高い動作判定を行うことができる。
なお、「自装置を所持する」とは、ユーザーが端末装置を身に付けたり、ポケットに収容したりしておくことも含む概念である。
また、「楽曲のビート情報」とは、楽曲の拍位置を示す情報を指す。さらに「ビート情報の取得」とは、楽曲の集音またはビートタイミングの取得によってビート情報を取得しても良いし、楽曲のＢＰＭ（Beats Per Minute）または拍位置情報と、楽曲再生開始時刻とをビート情報として取得しても良い。ここで、「拍位置情報」とは、楽曲の先頭からの各拍位置の再生タイミングを示す情報を指す。

上記の端末装置において、動作検出部は、自装置内蔵の加速度センサーにより、ユーザーの動作を検出し、動作判定部は、ビート情報に基づくビート位置と、加速度センサーの検出データに基づく振幅ピーク位置との同一時間軸上における比較結果に応じて、ユーザーが楽曲に合わせて体を動かしているか否かを判定することを特徴とする。

本発明の構成によれば、楽曲のビート位置と加速度センサーの検出データに基づく振幅ピーク位置（振幅値のピーク位置）とを、同一時間軸上で比較することにより、ユーザーがビートに合わせて体を動かしているか否か（踊っているか否か）を正確に判定することができる。例えば、ビート位置間隔とピーク位置間隔が合っている（位相が同じ）場合でも、ビート位置とピーク位置の時間軸上の位置関係が離れている場合は、踊っていないと判定することで、楽曲の速度とたまたま同じスピードで歩いている場合などの誤判定を防止できる。また、加速度センサーは、スマートフォンや携帯電話など汎用の端末装置に一般的に内蔵されているため、コストをかけることなく本発明を適用できる。

本発明の通信システムは、楽曲のビート情報を取得するビート情報取得部、自装置を所持するユーザーの動作を検出する動作検出部、ビート情報と、動作検出部による検出値との比較結果に応じて、ユーザーが楽曲に合わせて体を動かしているか否かを判定する動作判定部、および楽曲を示す情報に、動作判定部の判定結果を示す識別情報を関連付けて記録する記録部、を備える１以上の端末装置と、１以上の端末装置と通信可能な情報処理装置と、を備えた通信システムであって、端末装置は、動作判定部の判定結果を情報処理装置に送信する判定結果送信部をさらに備え、情報処理装置は、１以上の端末装置から送信された判定結果を集計する集計部と、集計部の集計結果を出力する集計結果出力部と、を備えたことを特徴とする。

本発明の構成によれば、情報処理装置により、端末装置による動作判定結果を集計し、その集計結果を出力するため、クラブやミュージックバー等のフロア内で、どの位の人が踊っているか、すなわち演奏した楽曲をどの位の人が気に入っているかの判断材料とすることができる。
なお、「集計結果出力部」は、集計結果を、表示、音声、通信等で出力することが考えられる。

上記の通信システムにおいて、動作判定部は、ユーザーが楽曲に合わせて体を動かしていると判定した場合、その動作の鋭さをさらに判定し、判定結果は、ユーザーが楽曲に合わせて体を動かしているか否か、または動作の鋭さに応じて可変する動作指標値であることを特徴とする。

本発明の構成によれば、（１）．踊っているか否かに応じて動作指標値を求める、（２）．単に踊っているか否かだけでなく動きの鋭さ（キレ）も考慮して動作指標値を求める、のいずれかの方法により、ユーザーのお気に入り度を判断することができる。後者の場合、例えばキレの良い動きをしている場合は、その楽曲のお気に入り度が高く、キレの悪い動きをしている場合は、その楽曲のお気に入り度が低い、と判断することができる。
なお、上記（１）の場合、楽曲単位で踊っているか否かを判定し、動作指標値を二値（「０」または「１」）で表しても良いし、所定時間（拍単位、小節単位など）ごとに踊っているか否かを検出し、その二値の合計値または平均値等により、動作指標値を表しても良い。

上記の通信システムにおいて、集計部は、楽曲別に、各端末装置から送信された動作指標値を合計することを特徴とする。

本発明の構成によれば、楽曲別の人気度を判断することができる。

上記の通信システムにおいて、情報処理装置は、通信圏内に存在する、動作判定部による判定が可能な端末装置を検出する端末装置検出部をさらに備え、集計部は、各端末装置から送信された動作指標値の合計を、端末装置検出部により検出された端末装置数で除算した盛り上がり指数を算出することを特徴とする。

本発明の構成によれば、動作指標値の合計を端末装置数で除算することにより、フロア内の盛り上がり度を判断することができる。つまり、「お気に入り度（動作指標値）の平均値が高い＝盛り上がっている」という図式が成り立つことを前提として、フロア内の人数に左右されることがなく、盛り上がり度を判断することができる。

上記の通信システムにおいて、情報処理装置は、楽曲別に算出した盛り上がり指数を、所定期間記憶する記憶部をさらに備え、集計部は、所定期間内に記憶された楽曲別の盛り上がり指数の合計、または所定期間内に記憶された楽曲別の盛り上がり指数の平均値に基づき、楽曲別ランキングを算出することを特徴とする。

本発明の構成によれば、所定期間（一日、一週間、一ヶ月など）内における楽曲別ランキングを判断することができる。つまり、「盛り上がり指数の合計が高い（演奏回数が多い）、または盛り上がり指数の平均値が高い＝楽曲の人気度が高い」という図式が成り立つことを前提として、所定期間における楽曲別の人気度を判断することができる。

本発明のプログラムは、コンピューターに、上記の端末装置の判定結果記録方法における各ステップを実行させることを特徴とする。

このプログラムを用いることにより、ユーザーのお気に入りの楽曲を、煩雑な操作を行うことなく記録可能な端末装置の判定結果記録方法を実現できる。

第１実施形態に係る楽曲再生システムのシステム構成図である。 （ａ）は、店内サーバーのハードウェア構成を示すブロック図であり、（ｂ）は、端末装置のハードウェア構成を示すブロック図である。 第１実施形態に係る楽曲再生システムの機能構成を示すブロック図である。 無線ＬＡＮルーターから送出されるビート情報の説明図である。 （ａ）は、集計部が取得する情報を示し、（ｂ）〜（ｄ）は、集計部の集計項目を示す説明図である。 （ａ）は、ユーザーが踊っている場合のビート情報と加速度センサーデータの比較結果を示し、（ｂ）は、ユーザーが踊っていない場合のビート情報と加速度センサーデータの比較結果を示す図である。 端末装置に表示される楽曲ログ表示画面の一例を示す図である。 端末装置の動作判定処理を示すフローチャートである。 （ａ）は、ユーザーが穏やかな動作で踊っている場合のビート情報と加速度センサーデータの比較結果を示し、（ｂ）は、ユーザーが激しい動作で踊っている場合のビート情報と加速度センサーデータの比較結果を示し、（ｃ）は、ユーザーがキレのある動作で踊っている場合のビート情報と加速度センサーデータの比較結果を示す図である。 （ａ）は、ユーザーがキレのない動作をしている場合の周波数解析結果を示し、（ｂ）は、ユーザーがキレのある動作をしている場合の周波数解析結果を示す図である。 第２実施形態に係る楽曲再生システムのシステム構成図である。

以下、添付の図面を参照し、本発明の一実施形態について説明する。なお、以下に示す各実施形態では、本発明の通信システムを含む楽曲再生システムＳＹをクラブやミュージックバー等に導入し、顧客であるユーザー（ダンサー）の動作判定を行うことを想定する。

[第１実施形態]
図１は、本発明の第１実施形態に係る楽曲再生システムＳＹのシステム構成図である。楽曲再生システムＳＹは、ＤＪブースに設置された楽曲再生装置１およびＬＡＮハブ２と、店内の任意の場所に設置された店内サーバー３および無線ＬＡＮルーター４と、フロア内の顧客が所持する複数台の端末装置５と、から成る。なお、請求項における「通信システム」は、このうち店内サーバー３および複数台の端末装置５によりその主要部が構成される。また、請求項における「情報処理装置」は、店内サーバー３に相当する。

楽曲再生装置１は、ＤＪプレーヤー（Ａ）１１、ミキサー１２およびＤＪプレーヤー（Ｂ）１３、を備え、各ＤＪプレーヤー１１，１３で再生した楽曲を、ミキサー１２にて繋ぐ（ミックスする）ことにより、途切れなく楽曲再生を行う。また、楽曲の再生に伴い、楽曲のビート位置（拍位置）を示すビート情報を送出したり、楽曲再生情報を出力する。楽曲再生情報とは、楽曲再生装置１で再生した楽曲のタイトル、楽曲の作曲者や歌手などのアーティスト名、楽曲再生装置１を操作するＤＪ名、楽曲再生日時などを指す。なお、楽曲再生装置１は、専用機器に限らず、パーソナルコンピューターや各種タブレット端末にＤＪアプリケーションをインストールしたものであっても良い。

ＬＡＮハブ２は、スイッチングハブであり、楽曲再生装置１（ＤＪプレーヤー（Ａ）１１、ミキサー１２およびＤＪプレーヤー（Ｂ）１３）と、店内サーバー３を接続している。また、無線ＬＡＮルーター４は、無線ＬＡＮアクセスポイントとして機能し、店内サーバー３と各端末装置５を接続している。なお、各部の接続形態（ネットワーク形態）は、これに限るものではなく、例えば無線ＬＡＮを介して楽曲再生装置１と店内サーバー３を接続するなど、適宜設計変更が可能である。

店内サーバー３は、各端末装置５から、顧客の動作判定結果を示す動作指標値を受信し、集計を行う。また、その集計結果を、楽曲再生装置１に出力する。さらに、店内サーバー３は、楽曲再生装置１から、ビート情報や楽曲再生情報を取得し、これを各端末装置５に送信する。

端末装置５は、例えばスマートフォンであり、店内サーバー３から転送された楽曲再生情報に基づいて、楽曲ログ表示画面Ｄ１（図７参照）を表示する。また、内蔵された加速度センサー５４（図２（ｂ）参照）によりユーザーの動作を検出し、ユーザーが踊っているか否かを判定する。また、その判定結果をブックマーク６２として楽曲ログ表示画面Ｄ１に記録したり、判定結果を示す動作指標値を、店内サーバー３に送信する。なお、端末装置５としては、スマートフォン以外の各種タブレット端末、携帯電話、小型パーソナルコンピューター等を適用しても良い。

次に、図２を参照し、店内サーバー３および端末装置５のハードウェア構成について説明する。同図（ａ）は、店内サーバー３のブロック図である。店内サーバー３は、制御機構３１、ルーター側インターフェース（以下、「ルーター側Ｉ／Ｆ」と表記する）３２、ハブ側インターフェース（以下、「ハブ側Ｉ／Ｆ」と表記する）３３、メモリー３４、ディスプレイ３５および操作キー３６を備えている。

制御機構３１は、ＣＰＵ（Central Processing Unit）およびＲＡＭ（Random Access Memory）等により構成され、店内サーバー３内の各部を統括制御する。また、ルーター側Ｉ／Ｆ３２は、無線ＬＡＮルーター４を介し、各端末装置５との情報の入出力を行う。また、ハブ側Ｉ／Ｆ３３は、ＬＡＮハブ２を介し、楽曲再生装置１との情報の入出力を行う。また、メモリー３４は、各種制御プログラムおよび各種データを不揮発に記憶する。本実施形態では、各端末装置５から受信した動作指標値の集計結果の記憶等にも用いられる。また、ディスプレイ３５は、集計結果の表示など、各種情報の表示を行う。また、操作キー３６は、集計項目の設定など、各種操作に用いられる。

図２（ｂ）は、端末装置５のブロック図である。端末装置５は、制御機構５１、無線通信インターフェース（以下、「無線通信Ｉ／Ｆ」と表記する）５２、メモリー５３、加速度センサー５４およびタッチパネル５５を備えている。

制御機構５１は、ＣＰＵおよびＲＡＭ等により構成され、端末装置５内の各部を統括制御する。また、無線通信Ｉ／Ｆ５２は、無線ＬＡＮルーター４を介し、店内サーバー３との情報の入出力を行う。また、メモリー５３は、各種制御プログラムおよび各種データを不揮発に記憶する。本実施形態では、端末装置５にて、動作判定（踊っているか否かの判定）、楽曲のログ表示、ブックマークの記録等を行うための動作判定アプリケーションの記憶等にも用いられる。当該動作判定アプリケーションは、不図示のアプリケーションサーバーからダウンロードされる。

また、加速度センサー５４は、所定のサンプリング周期で加速度の変化を検出するものであり、本実施形態ではユーザーの動作判定に用いる。ユーザーは、動作判定を行う場合、端末装置５を洋服のポケットやバッグに収容したり、手に持ったり、手首等に装着したりして用いる。なお、加速度センサー５４としては、重力加速度センサーなどを用い、１軸、２軸、３軸など軸数は問わない。複数軸の加速度センサー５４を用いる場合は、各軸の検出データにおける振幅値の積算結果からユーザーの動作を判定する。また、加速度センサー５４を複数個用いたり、ジャイロセンサー、角速度センサー、地磁気センサー等と組み合わせて用いたりすることで、ユーザーの動作をより正確に判定可能としても良い。

タッチパネル５５は、楽曲ログ表示画面Ｄ１（図７参照）や動作判定アプリケーションの環境設定画面など、各種情報を表示する。楽曲ログ表示画面Ｄ１は、楽曲再生情報に基づく楽曲再生リスト上に、ユーザーが各楽曲に合わせて踊ったか否かを示すブックマーク６２を表示する。

次に、図３を参照し、楽曲再生システムＳＹ（楽曲再生装置１、店内サーバー３および端末装置５）の機能構成について説明する。楽曲再生装置１は、主な機能構成として、再生部１１０および表示部１２０を備えている。再生部１１０は、各ＤＪプレーヤー１１，１３にて楽曲を再生し、楽曲の再生開始時など所定のタイミングで、楽曲再生情報を店内サーバー３に出力する。また、楽曲再生装置１は、楽曲のビートタイミングに合わせてビート情報を送出する。

図４に示すように、楽曲再生装置１で再生される（フロアに流される）楽曲のビートタイミングに合わせて、無線ＬＡＮルーター４からリアルタイムにパケットを送出する。この場合、各パケットの位置（時刻）がビート位置を示し、時間軸上において隣り合うパケット間の長さがビート間隔を示す。なお、このビート情報は、プレーヤー１１，１３間における拍の同期処理（ミックスする２以上の楽曲の拍を合わせるため処理）に必要なビート情報を利用する。つまり、本実施形態の端末装置５は、楽曲再生装置１に元々搭載されている同期処理機能を利用して、ビート情報を取得する。

表示部１２０は、各ＤＪプレーヤー１１，１３に設けられた所定の表示領域に、店内サーバー３により集計された各種集計結果を表示する。集計結果としては、「動作指標値の合計」、「盛り上がり指数」および「楽曲別ランキング」等の集計項目を表示する（図５（ｂ）〜（ｄ）参照）。これにより、ＤＪに対し、フロア内が現在どの程度盛り上がっているのか、また演奏を行っている店では最近どのような楽曲が人気なのか、などに関する情報を提供できる。

店内サーバー３は、主な機能構成として、ビート情報送信部３１０、端末装置検出部３２０、集計部３３０、記憶部３４０、集計結果出力部３５０および表示部３６０を備えている。

ビート情報送信部３１０は、ルーター側Ｉ／Ｆ３２により、楽曲再生装置１（再生部１１０）の再生に伴って送出されたビート情報を、通信可能な各端末装置５に送信する。端末装置検出部３２０は、通信圏内にあり且つ動作判定アプリケーションが起動している各端末装置５を検出する。なお、上記「通信可能な各端末装置５」とは、本実施形態において、通信圏内にあり且つ動作判定アプリケーションが起動している端末装置５を指すものとする。

集計部３３０は、制御機構３１により、通信可能な各端末装置５から送信された動作判定結果（動作指標値）を集計する。ここで、図５を参照し、集計部３３０の詳細について説明する。図５（ａ）は、集計部３３０が取得する情報、すなわち「動作指標値」を示している。「動作指標値」は、各端末装置５を所持するユーザーが踊っているか否かを示す情報である。また、「楽曲に合わせて踊っている＝その楽曲を気に入っている」という図式が成り立つことを前提とすると、「動作指標値」は、各ユーザーのお気に入り度を指す。なお、本実施形態では、楽曲別に、踊っているか否かを二値（「０」または「１」）で表すものとする。

また、図５（ｂ）〜（ｄ）は、集計部３３０の集計項目を示している。図５（ｂ）に示すように、「動作指標値の合計」は、通信可能な各端末装置５から取得した動作指標値の合計、すなわちフロア内で踊っている人数を指す。

また、図５（ｃ）に示すように、「盛り上がり指数」は、「動作指標値の合計」を、動作判定アプリケーション起動中の（＝通信可能な）端末装置５の数で除算することにより求められる値であり、フロア内で踊っている人の割合を示している。また、「お気に入り度（動作指標値）の平均値が高い＝盛り上がっている」という図式が成り立つことを前提とすると、「盛り上がり指数」は、フロア内の盛り上がり度を指す。

また、図５（ｄ）に示すように、「楽曲別ランキングＡ」は、例えば１週間（所定期間）における盛り上がり指数の合計に基づくランキングを示している。つまり、「盛り上がり指数の合計が高い（演奏回数が多い）＝楽曲の人気度が高い」という図式が成り立つことを前提とすると、「楽曲別ランキングＡ」は、その週における楽曲の人気度を指す。なお、１週間内における楽曲別の「盛り上がり指数」の合計、および各楽曲の演奏回数は、記憶部３４０（メモリー３４）に記憶されている。また、「楽曲別ランキングＢ」は、例えば１週間（所定期間）における盛り上がり指数の平均値に基づくランキングを示している。盛り上がり指数の平均値」は、所定期間における盛り上がり指数の合計を演奏回数で除算することにより求められる。つまり、「盛り上がり指数の平均値が高い＝楽曲の人気度が高い」という図式が成り立つことを前提とすると、「楽曲別ランキングＢ」も、その週における楽曲の人気度を指す。

なお、上記の集計項目（「動作指標値の合計」、「盛り上がり指数」、「楽曲別ランキングＡ」、「楽曲別ランキングＢ」）のうち、のいずれを集計対象とするか、またいずれを楽曲再生装置１に出力するかについて、店内サーバー３の操作キー３６の操作により選択可能としても良い。

集計結果出力部３５０は、集計部３３０の集計結果を、店内サーバー３の表示部３６０（ディスプレイ３５）に表示すると共に、楽曲再生装置１（表示部１２０）に送信する。なお、集計結果のうち、「動作指標値の合計」および「盛り上がり指数」は、数秒〜数分単位で集計され、その都度、集計結果を出力する。また、「楽曲別ランキング」は、楽曲再生装置１で、ＤＪがランキング表示操作を行ったとき、または店内サーバー３で、サーバー管理者がランキング表示操作を行ったときに集計され、その都度、集計結果を出力する。なお、「楽曲別ランキング」も、ＤＪやサーバー管理者の操作に拠らず、定期的に集計を行う構成でも良い。また、各集計項目について、所定のタイミング（楽曲の再生開始時／再生終了時、ＤＪの交代時など）で集計を行う構成でも良い。

端末装置５は、主な機能構成として、ビート情報取得部５１０、動作検出部５２０、動作判定部５３０、記録部５４０および判定結果送信部５５０を備えている。

ビート情報取得部５１０は、無線通信Ｉ／Ｆ５２により、店内サーバー３（ビート情報送信部３１０）から転送されたビート情報を取得する。動作検出部５２０は、加速度センサー５４により、端末装置５を所持するユーザーの動作を検出する。

動作判定部５３０は、ビート情報取得部５１０により取得したビート情報と、動作検出部５２０による検出値との比較結果に応じて、ユーザーが楽曲に合わせて体を動かしているか否かを判定する。ここで、動作判定の原理について説明する。図６（ａ）は、ユーザーが踊っている場合のビート情報と、加速度センサー５４の検出データ（以下、「加速度センサーデータ」と称する）との比較結果をグラフで示す図である。同図横軸は、時間を示し、縦軸はユーザーの動きの振幅（加速度センサーデータの振幅値）を示している。また、グラフ上の細点線は、ユーザーの動きに基づく加速度センサーデータ（振幅波形）を示し、太直線は、楽曲のビートに基づくビート情報（ビート位置）を示している。

同図に示すように、加速度センサーデータのピーク位置（ピーク時間ｔ１）とビート位置（ビート時間ｔ２）の経時的な位置関係が近い場合（ピーク位置とビート位置の同期率が高い場合）、制御機構５１は、ユーザーがビートに合わせて体を動かしている（踊っている）と判定する。また、図６（ｂ）に示すように、加速度センサーデータのピーク位置（ピーク時間ｔ１）とビート位置（ビート時間ｔ２）の経時的な位置関係が離れている場合、制御機構５１は、ビートに合わせて体を動かしていない（踊っていない）と判定する。なお、本実施形態では、ビート間隔と、時間軸上で隣り合うピーク位置の間隔（以下、「ピーク間隔」と称する）が同じまたは所定の関係であっても（ビート情報と加速度センサーデータの位相が一致、または１／２倍、１／３倍などの関係にあっても）、ピーク位置（ピーク時間ｔ１）とビート位置（ビート時間ｔ２）の時間軸上における位置関係が離れている場合、踊っていないと判定する。これにより、ユーザーが楽曲の速度とたまたま同じスピードで歩いている場合に、その動作を「踊っている」と誤判定してしまうことがない。

記録部５４０は、制御機構５１により、楽曲を示す情報に、動作判定部５３０の判定結果を示す識別情報を関連付けて記録する。図７は、識別情報として、ブックマーク６２を記録した場合の楽曲ログ表示画面Ｄ１の表示例を示している。楽曲ログ表示画面Ｄ１は、現在再生楽曲表示領域Ｅ１と、過去再生楽曲表示領域Ｅ２と、を含む。現在再生楽曲表示領域Ｅ１には、現在再生中の楽曲について、楽曲アルバムのカバーアート６１、タイトル、アーティスト、ＤＪ名などを表示する。また、楽曲の再生中に、動作判定部５３０により「踊っている」と判定された場合、記録部５４０により記録されたブックマーク６２を表示する。一方、過去再生楽曲表示領域Ｅ２には、過去に再生された各楽曲について、楽曲アルバムのカバーアート６１、タイトル、アーティスト、ＤＪ名、日付（再生日時）などを表示する。また、各楽曲の再生中に、動作判定部５３０により「踊っている」と判定された楽曲については、ブックマーク６２が表示されている。

なお、特に図示しないが、ユーザーが、現在再生楽曲表示領域Ｅ１および過去再生楽曲表示領域Ｅ２に表示されたブックマーク６２の選択操作を行うことで、楽曲販売Ｗｅｂサイトの、該当する楽曲の楽曲購入ページにアクセスしたり、楽曲情報サイトから楽曲詳細情報（アルバム名、発売日、楽曲レコメンドなど）をポップアップ画面として表示させたりすることができる。

なお、楽曲ログ表示画面Ｄ１にブックマーク６２を記録するのではなく、楽曲再生ログに、踊ったことを示すフラグを関連付けて記憶するだけでも良い。この場合、当該楽曲再生ログを、他の装置（自宅ＰＣ）などで読み取った際に、お気に入りの楽曲か否かが識別可能に表示される。

判定結果送信部５５０は、無線通信Ｉ／Ｆ５２により、動作判定部５３０の判定結果（動作指標値）を、店内サーバー３（集計部３３０）に送信する。なお、本実施形態において判定結果送信部５５０は、動作判定部５３０により「踊っている」と判定された時点で、判定結果（動作指標値＝「１」）を送信するものとする。

次に、図８のフローチャートを参照し、端末装置５の動作判定処理について説明する。同図に示すように、動作判定処理は、加速度センサーデータ処理スレッド、ビート情報処理スレッド、評価スレッドおよび判定結果処理スレッドから成る。

まず、加速度センサーデータ処理スレッドから説明する。端末装置５（制御機構５１）は、加速度センサー５４の検出結果である加速度センサーデータを取得し（Ｓ０１）、当該加速度センサーデータを一定時間バッファリングする（Ｓ０２）。続いて、当該一定時間分の加速度センサーデータに対し、ローパスフィルターを用いてフィルタリング処理を行うことでノイズを除去する（Ｓ０３）。また、ノイズを除去された加速度センサーデータのピーク位置（ピーク時間ｔ１）およびピーク間隔（周波数）を検出し（Ｓ０４）、さらにバッファリングに要した時間とフィルタリング処理によってずれた位相を補正する（ピーク時間ｔ１を補正する，Ｓ０５）。なお、Ｓ０５の後は、無限ループとなり、Ｓ０１に戻る。

一方、ビート情報処理スレッドでは、無線ＬＡＮルーター４を介してビート情報を取得すると（Ｓ１１）、その取得時間をビート位置（ビート時間ｔ２）として取得し（Ｓ１２）、当該ビート位置を示すビート情報を一定時間バッファリングする（Ｓ１３）。なお、Ｓ１３の後は、無限ループとなり、Ｓ１１に戻る。

続いて、評価スレッドでは、加速度センサーデータ処理スレッドで求めたピーク位置（ピーク時間ｔ１）と、ビート情報処理スレッドで求めたビート位置（ビート時間ｔ２）の、一定時間内における差分の積算値を算出し、その積算値が予め定められた所定値以下か否かを判別する（Ｓ２１）。そして、積算値が所定値以下の場合は（Ｓ２１：Ｙｅｓ）、ユーザーが踊っていると判定する（Ｓ２２）。また、積算値が所定値を超える場合は（Ｓ２１：Ｎｏ）、ユーザーが踊っていない（例えば、ユーザーが静止している、または歩いているなど）と判定する（Ｓ２３）。

なお、特に図示しないが、評価スレッドによる踊っているか否かの判定は、一定時間分のユーザーの動きに対しての判定である。したがって、楽曲に合わせて踊ったか否かの判定は、楽曲再生中、評価スレッドを複数回繰り返すことにより行われる。例えば、１つの楽曲に対して、評価スレッドにより所定回数以上「踊っている」と判定された場合、または「踊っている」と判定された回数が「踊っていない」と判定された回数よりも多い場合、その楽曲に合わせて「踊った」と判定する、などの判定方法が考えられる。

続いて、判定結果処理スレッドでは、評価スレッドによる評価（判定結果）を、楽曲ログ表示画面Ｄ１に、ブックマーク６２として記録する（Ｓ２４，図７参照）。また、判定結果である動作指標値を、店内サーバー３に送信する（Ｓ２５）。

以上、説明したとおり、本実施形態によれば、ユーザーが踊っているか否かの判定結果を、ブックマーク６２として記録するため、煩雑な操作を必要とすることなく、お気に入りの楽曲を記録することができる。また、店内サーバー３により、各端末装置５による動作判定結果を集計し、その集計結果を出力するため、クラブやミュージックバー等のフロア内で、どの位の人が踊っているか、すなわち演奏した楽曲をどの位の人が気に入っているかの判断材料とすることができる。また、集計結果として、動作指標値の合計を端末装置数で除算した「盛り上がり指数」を算出するため、フロア内の人数に左右されることがなく、客観的な盛り上がり度を判断することができる。また、集計結果として、所定期間内における「楽曲別ランキング」を算出するため、所定期間における楽曲別の人気度を判断することができる。

また、ユーザーの動作を、端末装置５に内蔵された加速度センサー５４を用いて検出するため、クラブなど、ユーザーが自由に踊る場所を変えられる環境でも、手軽に動作判定を行うことができる。また、加速度センサー５４は、汎用の端末装置５に一般的に内蔵されているため、コストをかけることなく動作判定処理を実行できる。さらに、同一時間軸上で、楽曲のビート位置と加速度センサー５４の検出データに基づく振幅値のピーク位置とを比較することで、ユーザーが踊っているか否かを正確に判定することができる。

また、楽曲のビートタイミングごとに、各ビート位置を示すビート情報を取得するため、途中でテンポの変わる楽曲であっても、正確に楽曲のビート位置を判定することができる。また、マイクロフォン等で楽曲の再生音を集音してビート位置を検出する場合と比較して、クラブ等の大音量環境で集音することによるサチレーションや、ユーザーの激しい動きによる雑音の検出などの心配がないため、より信頼性の高い判定を行うことができる。

また、評価スレッドでは、一定時間内におけるビート位置とピーク位置の差分の積算値が所定値以下か否かの簡単な判定により、ユーザーが踊っているか否かを判定できるため、制御負荷が小さい。さらに、加速度センサーデータ処理スレッドでは、加速度センサーデータのバッファリングおよびフィルタリング処理に要する時間ずれを補正するため、より正確に動作判定を行うことができる。

［変形例１］
なお、上記の実施形態では、評価スレッドにおいて、ユーザーが踊っているか否かを判定したが、さらに踊り方について判定しても良い。以下、図９および図１０を参照し、踊りの評価方法の変形例について説明する。図９（ａ）〜（ｃ）は、異なるユーザーの動きに基づく３種類の加速度センサーデータ（細点線）を示している。なお、図９（ａ）〜（ｃ）に示すビート情報（太直線）は同一であり、加速度センサーデータと同期していることを示している。このように、踊り方の評価は、ユーザーが踊っていると判定した場合（Ｓ２２の後）のみ、行うことが好ましい。

例えば、図９（ａ）に示すように、加速度センサーデータのピーク位置の振幅が小さい場合（例えば、一定時間内におけるピーク位置の振幅の積算値または平均値が所定値以下となる場合、または一定時間内においてピーク位置の振幅が所定値を超える回数が所定回数以下となる場合など）、制御機構５１は、ユーザーが穏やかに踊っていると評価する。逆に、図９（ｂ）に示すように、加速度センサーデータのピーク位置の振幅が大きい場合（例えば、一定時間内におけるピーク位置の振幅の積算値が所定値を超える場合、または一定時間内においてピーク位置の振幅が所定値を超える回数が所定回数を超える場合など）、制御機構５１は、ユーザーが激しく踊っていると評価する。

さらに、図９（ｃ）に示すように、加速度センサーデータ（検出波形）のピーク位を示す凸型波形の立ち上がりおよび／または立下りが急峻となる場合、制御機構５１は、ユーザーがキレのある動作をしている（鋭い動作をしている）と評価する。なお、ユーザーの動きにキレがあるか否かは、加速度センサーデータの周波数解析（ＦＦＴ解析）により、より正確に評価できる。図１０は、実際の実験結果に基づく、加速度センサーデータの周波数解析結果（周波数分布）を示す図である。

図１０において横軸は、周波数［Hz］を示し、縦軸は振幅エネルギーを示している。また、同図（ａ）は、ユーザーがキレのない動作で踊っている場合の周波数解析結果を示し、同図（ｂ）は、ユーザーがキレのある動作で踊っている場合の周波数解析結果を示している。同図（ａ）に示すように、キレのない踊りをしたときは、動きが滑らかである（正弦波に近い）ため、動きの基本周期と２逓倍周期のみがピークとして出現する。これに対し、同図（ｂ）に示すように、キレのある踊りをしたときは、動きが鋭くなるため、基本周期の５逓倍程度までピークが出現する。このように、基本周期を基準として、ピークが何逓倍まで出現しているかに応じて、キレがあるか否かを評価することが可能である。例えば、基本周期の５逓倍周期までピークが出現している場合は、キレがある動作であり、相でない場合は、キレがないと判定しても良い。また、ピークが２逓倍周期まで出現している場合は「レベル１」、３逓倍周期まで出現している場合は「レベル２」、４逓倍周期まで出現している場合は「レベル３」・・・などとレベル判定しても良い。

また、本変形例において、動作判定部５３０は、踊り方（例えば、激しい動作か否か、またはユーザーの動作にキレがあるか否か）に応じて、動作指標値を可変しても良い。つまり、踊っているか否かに応じて単純に、「０」または「１」で動作指標値を表すのではなく、例えばキレがある場合は「１」、キレがない場合は「０．５」、踊っていない場合は「０」など、キレの有無に応じて動作指標値を可変しても良い。また、上記のとおり、キレのレベル（何逓倍周期までピークが出現しているか）に応じて、さらに細かく動作指標値を可変しても良い。この構成によれば、単に踊っているか否かだけでなく踊り方も考慮して、ユーザーのお気に入り度を判断することができる。

また、当該動作指標値を、楽曲ログ表示画面Ｄ１に表示することにより、評価スレッドの評価を、ユーザーに提示しても良い。この構成によれば、ダンスが上手いか否かをユーザー自身に示すことができ、ユーザーの向上心を掻き立てることができる。

［変形例２］
また、上記の実施形態の評価スレッドでは、加速度センサー５４を用いて、ユーザーの動作判定を行ったが、他のセンサーを用いても良い。例えば、方位センサーを用いて、端末装置５が向く方向を、０〜３６０°で検出し、方位センサーの検出データが、周期的に変化した場合、ユーザーが踊っていると判定しても良い。

また、加速度センサー５４の検出結果と組合せ、方位センサーの検出データが周期的に変化し、且つその周期に合わせて加速度センサー５４の振幅ピーク値がある一定値を超えている場合、ユーザーが踊っていると判定しても良い。さらに、その周期とビート情報の周期とを比較し、周期が逓倍または整数倍となる場合、ユーザーが踊っていると判定しても良い。さらに、第１実施形態に示した評価スレッドで踊っていると判定され、且つ変形例２の評価スレッドでも踊っていると判定された場合（ａｎｄ条件を満たした場合）、ユーザーが踊っていると判定しても良い。このように、方位センサーを用いることで、単に歩いているときの動作と踊っているときの動作を、明確に区別することができる。

［変形例３］
また、上記の実施形態では、ビートタイミングを示すパケットの取得によってビート情報を取得したが（図４参照）、楽曲の再生音をマイクロフォンで集音し、再生音の解析結果をビート情報として取得しても良い。この構成によれば、汎用の端末装置５に一般的に内蔵されているマイクロフォンを用いることができるため、コストをかけることなくビート情報を取得できる。

また、その他、ビート情報として、楽曲の再生開始時に、楽曲のＢＰＭ（Beats Per Minute）または拍位置情報を取得しても良い。また、楽曲再生開始前に、楽曲再生開始時刻と、ＢＰＭまたは拍位置情報を取得しても良い。

［第２実施形態］
次に、図１１を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、店内サーバー３により、各端末装置５の動作判定結果の集計を行うものとしたが、本実施形態は、外部サーバー７により集計を行う。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図１１は、第２実施形態に係る楽曲再生システムＳＹのシステム構成図である。本実施形態に係る楽曲再生システムＳＹは、第１実施形態（図１参照）と比較して、複数の店内サーバー３と通信可能な外部サーバー７が追加されている。なお、同図では、楽曲再生装置１およびＬＡＮハブ２の図示を省略している。

外部サーバー７は、例えばインターネット上（クラウド上）に設けられ、コンピューターネットワークを介して、各店の店内サーバー３と接続されている。本実施形態の店内サーバー３は、主な機能構成として、第１実施形態に示したビート情報送信部３１０、端末装置検出部３２０の他、情報転送部３７０を備えている。情報転送部３７０は、各端末装置５の動作判定結果（動作指標値）を受信し、定期的または所定のタイミングで、外部サーバー７に転送する。

外部サーバー７は、主な機能構成として、集計部３３０、記憶部３４０および集計結果出力部３５０を備えている。集計部３３０は、各店内サーバー３（情報転送部３７０）から転送された動作指標値に基づいて、第１実施形態に示した集計を行う。また、集計結果出力部３５０は、集計部３３０の集計結果を、外部サーバー７のディスプレイへの表示、所定のＷｅｂサイトへの公開、電子メールの送信等により出力する。特に「楽曲ランキング」については、複数の店内サーバー３から転送された動作指標値に基づいてランク付けすることができるため、店やＤＪの好みによらず、より客観的なランキング結果が期待できる。また、外部サーバー７により、各店から収集した動作指標値を、楽曲別、ＤＪ別、店別、地域別、時間帯別、曜日別などに分類・解析し、それらの解析情報を、顧客サービスやトレンドの動向把握に利用することができる。

以上説明したとおり、第２実施形態によれば、外部サーバー７にて集計を行うことで、店の垣根を越えて、全国的または世界的な情報収集が可能となり、それらを各種サービスや事業展開に役立てることができる。

［変形例１］
なお、集計結果出力部３５０は、集計部３３０の集計結果を、店内サーバー３に戻しても良い。この場合、店内サーバー３は、取得した集計結果を、ディスプレイ３５に表示したり、楽曲再生装置１に出力する。

［変形例２］
また、集計部３３０を、店内サーバー３と外部サーバー７の両方に設けても良い。この場合、店内サーバー３の集計部３３０により「動作指標値の合計」および「盛り上がり指数」を集計し、外部サーバー７の集計部３３０により「楽曲別ランキング」を集計することが好ましい。またこの場合、情報転送部３７０は、外部サーバー７に対し、動作指標値を転送しても良いし、楽曲別の「盛り上がり指数」を転送しても良い。

以上、２つの実施形態および変形例を示したが、これらに示した楽曲再生システムＳＹの各機能および各処理工程をプログラムとして提供しても良い。また、そのプログラムを各種記憶媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供しても良い。すなわち、コンピューターを楽曲再生システムＳＹの各機能として機能させるためのプログラム、コンピューターに楽曲再生システムＳＹの各処理工程を実行させるためのプログラムおよびそれを記録した記憶媒体も、本発明の権利範囲に含まれる。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…楽曲再生装置 ２…ＬＡＮハブ ３…店内サーバー ４…無線ＬＡＮルーター ５…端末装置 ７…外部サーバー ３１…制御機構 ３２…ルーター側インターフェース ３３…ハブ側インターフェース ３４…メモリー ３５…ディスプレイ ３６…操作キー ５１…制御機構 ５２…無線通信インターフェース ５３…メモリー ５４…加速度センサー ５５…タッチパネル ６１…カバーアート ６２…ブックマーク Ｄ１…楽曲ログ表示画面 Ｅ１…現在再生楽曲表示領域 Ｅ２…過去再生楽曲表示領域 ＳＹ…楽曲再生システム

Claims (11)

1. 楽曲のビート情報を取得するビート情報取得部と、
   自装置を所持するユーザーの動作を検出する動作検出部と、
   前記ビート情報と、前記動作検出部による検出値との比較結果に応じて、前記ユーザーが前記楽曲に合わせて体を動かしているか否かを判定する動作判定部と、
   前記楽曲を示す情報に、前記動作判定部の判定結果を示す識別情報を関連付けて記録する記録部と、を備え、
   前記ビート情報取得部は、外部から、前記楽曲のビートタイミングに合わせて、各ビート位置を示す前記ビート情報を取得することを特徴とする端末装置。
2. 前記動作検出部は、自装置内蔵の加速度センサーにより、ユーザーの動作を検出し、
   前記動作判定部は、前記ビート情報に基づくビート位置と、前記加速度センサーの検出データに基づく振幅ピーク位置との同一時間軸上における比較結果に応じて、前記ユーザーが前記楽曲に合わせて体を動かしているか否かを判定することを特徴とする請求項１に記載の端末装置。
3. 楽曲のビート情報を取得するビート情報取得部、
   自装置を所持するユーザーの動作を検出する動作検出部、
   前記ビート情報と、前記動作検出部による検出値との比較結果に応じて、前記ユーザーが前記楽曲に合わせて体を動かしているか否かを判定する動作判定部、および
   前記楽曲を示す情報に、前記動作判定部の判定結果を示す識別情報を関連付けて記録する記録部、
   を備える１以上の端末装置と、
   前記１以上の端末装置と通信可能な情報処理装置と、を備えた通信システムであって、
   前記端末装置は、
   前記動作判定部の判定結果を前記情報処理装置に送信する判定結果送信部をさらに備え、
   前記情報処理装置は、
   前記１以上の端末装置から送信された前記判定結果を集計する集計部と、
   前記集計部の集計結果を出力する集計結果出力部と、を備えたことを特徴とする通信システム。
4. 前記ビート情報取得部は、外部から、前記楽曲のビートタイミングに合わせて、各ビート位置を示す前記ビート情報を取得することを特徴とする、請求項３に記載の通信システム。
5. 前記動作検出部は、自装置内蔵の加速度センサーにより、ユーザーの動作を検出し、
   前記動作判定部は、前記ビート情報に基づくビート位置と、前記加速度センサーの検出データに基づく振幅ピーク位置との同一時間軸上における比較結果に応じて、前記ユーザーが前記楽曲に合わせて体を動かしているか否かを判定することを特徴とする請求項４に記載の通信システム。
6. 前記動作判定部は、前記ユーザーが前記楽曲に合わせて体を動かしていると判定した場合、その動作の鋭さをさらに判定し、
   前記判定結果は、前記ユーザーが前記楽曲に合わせて体を動かしているか否か、または前記動作の鋭さに応じて可変する動作指標値であることを特徴とする請求項３〜５のいずれか１項に記載の通信システム。
7. 前記集計部は、前記楽曲別に、各端末装置から送信された前記動作指標値を合計することを特徴とする請求項６に記載の通信システム。
8. 前記情報処理装置は、
   通信圏内に存在する、前記動作判定部による判定が可能な前記端末装置を検出する端末装置検出部をさらに備え、
   前記集計部は、各端末装置から送信された前記動作指標値の合計を、前記端末装置検出部により検出された端末装置数で除算した盛り上がり指数を算出することを特徴とする請求項７に記載の通信システム。
9. 前記情報処理装置は、
   前記楽曲別に算出した前記盛り上がり指数を、所定期間記憶する記憶部をさらに備え、
   前記集計部は、前記所定期間内に記憶された前記楽曲別の前記盛り上がり指数の合計、または前記所定期間内に記憶された前記楽曲別の前記盛り上がり指数の平均値に基づき、楽曲別ランキングを算出することを特徴とする請求項８に記載の通信システム。
10. 楽曲のビート情報を取得するステップと、
    自装置を所持するユーザーの動作を検出するステップと、
    前記ビート情報と、前記ユーザーの動作検出値との比較結果に応じて、前記ユーザーが前記楽曲に合わせて体を動かしているか否かを判定するステップと、
    前記楽曲を示す情報に、前記ユーザーが前記楽曲に合わせて体を動かしているか否かの判定結果を示す識別情報を関連付けて記録するステップと、を実行し、
    前記ビート情報を取得するステップでは、外部から、前記楽曲のビートタイミングに合わせて、各ビート位置を示す前記ビート情報を取得することを特徴とする端末装置の判定結果記録方法。
11. コンピューターに、請求項１０に記載の端末装置の判定結果記録方法における各ステップを実行させるためのプログラム。

Images