WO2017026148A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2017026148A1 WO2017026148A1 PCT/JP2016/063682 JP2016063682W WO2017026148A1 WO 2017026148 A1 WO2017026148 A1 WO 2017026148A1 JP 2016063682 W JP2016063682 W JP 2016063682W WO 2017026148 A1 WO2017026148 A1 WO 2017026148A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- movement
- tempo
- user
- learning
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
Definitions
- the present disclosure proposes an information processing apparatus, an information processing method, and a program that can more accurately grasp whether the movement of the human body is synchronized with the tempo.
- the processor compares the feature amount of the motion data acquired from the motion sensor that detects the motion of the body part with a predetermined tempo, and the motion data determined to be similar to the tempo.
- the degree of similarity between the process of storing the feature quantity in the learning database, the feature quantity of the sensed motion data of the body part of the user, and the feature quantity of the motion data of the same part accumulated in the learning database is calculated. If the similarity satisfies the condition, the process of determining that the synchronization is synchronized with a predetermined tempo, and if the similarity is determined, set the motion data of the same part stored in the learning database. And a process of estimating the movement of the other part of the user based on the feature amount of the motion data of the other part accumulated in the above.
- the movement of the human body using the movement data detected by the sensor and the learning data to what extent the user is synchronized with the music in the music recommendation system. It is possible to more accurately grasp whether or not is synchronized with the tempo of music (that is, whether or not it is on music).
- the sensor 22 is realized by, for example, an acceleration sensor 22a that detects movement of the neck and an acceleration sensor 22b that detects movement of the foot.
- the acceleration sensor 22a is a neck type device that is worn on the user's neck, and the acceleration sensor 22b is worn on the user's shoes or ankle.
- the sensor 22 is not limited to an acceleration sensor, and may include an acceleration sensor and a gyro sensor.
- the server 3 determines, based on the transmitted acceleration data and music information, whether the user's movement is synchronized with the music and how much the user is riding on the music (that is, the degree of riding on the music). At this time, the server 3 determines whether or not the user's movement is on music using a movement data set (also referred to as a learning data set) of a plurality of parts of the human body in the corresponding music genre learned in advance. The server 3 can also estimate and complement the movement of the user's part to which the sensor is not attached using the learning data set.
- a movement data set also referred to as a learning data set
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】人体の動きがテンポと同期しているかをより正確に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、を備える、情報処理装置。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
昨今の音楽プレーヤーでは数百~数千の曲を聞くことが可能であり、ユーザは自身の好みでプレイリストを作成して音楽を楽しんでいる。また、近年では、ユーザの嗜好を把握し、自動的にユーザの好みに応じた音楽を推薦する音楽推薦システムが提案されている。
例えば、下記特許文献1では、楽曲のビート情報とユーザの動作を検出した検出とを比較して、ユーザが楽曲に合わせて体を動かしているか否かを判定することで、「楽曲に合わせて踊っている=その楽曲を気に入っている」という図式を前提として、ユーザのお気に入りの楽曲を煩雑な操作を行うことなく記録することが記載されている。
しかしながら、ユーザが楽曲に合わせて動いているか否かを判定する際に用いるセンサデータは、センサが取り付けられている部分、すなわちユーザの全体の動きにおける局所的な部分の動きしか検知できず、ユーザが楽曲に合わせて動いているか否かを正確に把握できていなかった。
そこで、本開示では、人体の動きがテンポと同期しているかをより正確に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、人体の動きがテンポと同期しているかをより正確に把握することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
3.動作処理
3-1.学習処理
3-2.同期判断処理
3-3.推定処理
4.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.構成
3.動作処理
3-1.学習処理
3-2.同期判断処理
3-3.推定処理
4.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
本開示の一実施形態による情報処理システムでは、ユーザが楽曲等のテンポに合わせて動いているか否かをより正確に把握することを可能とする。
本開示の一実施形態による情報処理システムでは、ユーザが楽曲等のテンポに合わせて動いているか否かをより正確に把握することを可能とする。
(背景)
ユーザが楽曲に合わせて動いているか否かを判定する際の動作検出センサ(例えば加速度センサ)が単一の場合、取得されるデータは局所的なものであって、取り付けたセンサから離れた体の一部が動いていたとしても、感知することができない。また、複数のセンサをユーザに取り付けることで複数個所の動きを認識することは可能であるが、取り付けた個所以外の動きを認識することはできない。
ユーザが楽曲に合わせて動いているか否かを判定する際の動作検出センサ(例えば加速度センサ)が単一の場合、取得されるデータは局所的なものであって、取り付けたセンサから離れた体の一部が動いていたとしても、感知することができない。また、複数のセンサをユーザに取り付けることで複数個所の動きを認識することは可能であるが、取り付けた個所以外の動きを認識することはできない。
そこで、本実施形態による情報処理システムでは、音楽推薦を行うシステム内において、ユーザがどの程度その音楽と同期しているかを、センサにより検知した動きデータと、学習データとを用いて、人体の動きが音楽のテンポとの同期しているか否か(すなわち、音楽に乗っているか否か)をより正確に把握することを可能とする。
図1は、本開示の一実施形態による情報処理システムの概要を説明する図である。図1に示すように、本実施形態による情報処理システム1は、ユーザの動きを検知するセンサ22(22a、22b)と、センサ22から取得したセンサデータおよび現在ユーザが聞いている楽曲に関する情報を送信するユーザ端末2と、サーバ3とを含む。
センサ22は、例えば首の動きを検知する加速度センサ22a、および足の動きを検知する加速度センサ22bにより実現される。加速度センサ22aは、ネック型デバイスであってユーザの首に装着され、また、加速度センサ22bはユーザの靴または足首に装着される。なおセンサ22は加速度センサに限定されず、加速度センサおよびジャイロセンサを含むものであってもよい。
ユーザ端末2は、センサ22とBluetooth(登録商標)やWi-Fi(登録商標)により無線接続し、センサ22で検知された加速度データを受信する(例えば10Hz以上の周波数で量子化されて取得される)。また、ユーザ端末2は、楽曲を再生する音楽プレーヤーとしても機能する。再生する楽曲はユーザ端末2に格納されていてもよいし、クラウドから取得されてもよい。ユーザ端末2は、ユーザが装着する再生装置23と無線/有線接続して、楽曲データを出力し、再生するよう制御する。
なお、再生装置23が単体で音楽プレーヤーとして機能してもよい。この場合、再生装置23は、再生中の楽曲に関する情報(例えばタイトル、アーティスト等を含む)を、Bluetooth(登録商標)やWi-Fi(登録商標)により無線接続するユーザ端末2へ送信する。
ユーザ端末2は、ユーザが聞いている楽曲に関する情報と、ユーザの動きを示す加速度データとを紐付けて、基地局4およびネットワーク5を介してサーバ3へ送信する。なお、ここではユーザ端末2がセンサ22から取得した加速度データを楽曲に関する情報と共にサーバ3へ送信するが、本実施形態はこれに限定されず、センサ22が直接ネットワーク5に接続し、サーバ3へ送信してもよい。
サーバ3は、送信された加速度データと楽曲情報に基づいて、ユーザの動きが音楽と同期しているか、また、どの程度音楽に乗っているか(すなわち、音楽への乗り具合)を判断する。この際、サーバ3は、予め学習した対応する音楽ジャンルにおける人体の複数部位の動きデータセット(学習データセットとも称す)を用いて、ユーザの動きが音楽に乗っているか否かを判断する。また、サーバ3は、かかる学習データセットを用いて、センサが取り付けられていないユーザの部位の動きを推定、補完することも可能である。
ユーザが音楽に乗っているか否かをより正確に判断できることで、ユーザへの音楽推薦、お気に入り曲の登録、ユーザの嗜好抽出等の精度が向上する。また、ユーザの体全てに多量のセンサを設けることなく、バーチャルリアリティ上のキャラクターの全身の動きにユーザの動きを反映させることが可能となる。
以下、このような本開示による情報処理システムについて具体的に説明する。
<<2.構成>>
図2は、本実施形態によるサーバ3(情報処理装置の一例)の構成例を示すブロック図である。図2に示すように、本実施形態によるサーバ3は、制御部30、通信部31、部位動作学習データDB32、加速度ログDB33を有する。
図2は、本実施形態によるサーバ3(情報処理装置の一例)の構成例を示すブロック図である。図2に示すように、本実施形態によるサーバ3は、制御部30、通信部31、部位動作学習データDB32、加速度ログDB33を有する。
制御部30は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ3内の動作全般を制御する。制御部110は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部30は、図2に示すように、テンポ解析部301、加速度特徴量抽出部302、学習部303、推定部305、および同期判断部304としても機能し得る。なおここで説明する機能は一例であって、制御部30の機能はこれに限定されない。
テンポ解析部301は、ユーザ端末2から送信された楽曲情報に基づいて、該当する楽曲の特定部分のテンポを解析する機能を有する。特定部分のテンポとは、ユーザが聞いている部分である。リアルタイムで処理する場合は現在ユーザが聞いている部分であって、後から処理する場合は、対応する加速度データのタイムスタンプに基づいて特定される。
加速度特徴量抽出部302は、ユーザ端末2から送信された各部位の加速度データから特徴量を抽出する機能を有する。具体的には、例えば加速度特徴量抽出部302は、加速度データの距離および振幅をパラメータとして、ユーザの体の各部位の周期的な動作を平滑化する。パラメータは、例えば加速度データの局所波形および波形から抽出される。
学習部303は、テンポ解析部301により解析されたテンポと、加速度特徴量抽出部302により抽出された各部位の特徴量(例えば部位の周期的な動作を示す平滑化されたデータ)とに基づいて、両者が似ているか否かに基づいて、テンポに同期している(すなわち音楽に乗っている)人体の複数部位の動作を学習し、音楽のテンポ種類(例えばバラード、ロック、ゆっくり等)と紐付けて部位動作学習データDB32に格納する。例えば、被験者の首、足、腰に装着された加速度センサから、首、足、腰の加速度データが取得され、当該加速度データの特徴量が、被験者が聞いている音楽のテンポと同じまたは似ている場合、学習部303は、これらをセット(組み合わせであって、学習データセットとも称す)として、被験者が乗っている音楽の種類とを紐付けて部位動作学習データDB32に格納する。部位動作学習データDB32に格納されるデータは、加速度データの特徴量の他、これを正規化(例えばノーマライズ処理)したものであってもよい。また、学習部303は、個人または属性(例えば性別、年齢、および/または文化等)毎の学習結果を部位動作学習データDB32に格納し、個人または属性による差異を考慮したデータベースを生成することも可能である。これにより、個人に応じた音楽に乗っている状態のより細かい判断や、人種によって異なる音楽に乗っている状態の高精度の判断(例えば日本人は頭を振って音楽に乗る傾向があるが、西洋人は体全体で音楽に乗る傾向がある等)が可能となる。
同期判断部304は、加速度特徴量抽出部302により抽出された、ユーザの各部位の動きを示す加速度データの各特徴量に基づいて、ユーザの動きがユーザの聞いている音楽のテンポと同期しているか、すなわちユーザが音楽に乗っているか否かを判断する。同期判断部304は、ユーザの各部位の動きの特徴量と、部位動作学習データDB32に格納されている対応する各部位の学習データとを比較して類似度を算出し、両者が同期しているか否か(すなわち、同じまたは似ているか否か)を判断する。類似度は、例えば特徴量の差分であって、差分が小さい程似ていると言えるため、類似度の値は似ている程小さく算出される。同期判断部304による具体的な同期判断処理については、図6を参照して後述する。
推定部305は、センサが取り付けられていない部位の動きを、検知された他の部位の動きの特徴量に基づいて推定する機能を有する。例えば推定部305は、同期判断部304により同期していると判断された際の学習データセットから、ユーザの検知されていない部位の動きを示す3軸ベクトル(例えば加速度データ)を抽出する。これにより、例えば首の動きと足の動きしか得られていない場合であっても、部位動作学習データDB32を参照し、センサが取り付けられていない腰の動きを補完することが可能となる。
部位動作学習データDB32は、学習部303により学習された、音楽に乗っている際の人体の複数部位の動きを示すデータ(例えば加速度データが平滑化されたもの)を格納する学習データベースである。
加速度ログDB33は、サーバ3がユーザ端末2から送信された加速度データを、タイムスタンプと共に格納する。
以上、本実施形態によるサーバ3の具体的な構成について説明した。続いて、本実施形態による情報処理システムの動作処理について、図3~図8を参照して具体的に説明する。
<<3.動作処理>>
<3-1.学習処理>
図3は、本実施形態による学習処理を示すフローチャートである。学習処理では、被検体の各部位にセンサ22を取り付けて、音楽を流し、音楽に乗っている際の被検体の体の各部位の動きを学習する。ここで、センサ22は、例えば頭部、首、みぞおち、腹、または腰や、左右の肩、上腕部、手首、手の甲、腰の外側、臀部、もも、膝、すね、足首、または足の甲等の少なくとも複数部位に設けられる。サーバ3は、被検体の各部位に取り付けられたセンサ22により検知された加速度データと、被検体が聞いている楽曲に関する楽曲情報を受信し、学習処理を開始する。
<3-1.学習処理>
図3は、本実施形態による学習処理を示すフローチャートである。学習処理では、被検体の各部位にセンサ22を取り付けて、音楽を流し、音楽に乗っている際の被検体の体の各部位の動きを学習する。ここで、センサ22は、例えば頭部、首、みぞおち、腹、または腰や、左右の肩、上腕部、手首、手の甲、腰の外側、臀部、もも、膝、すね、足首、または足の甲等の少なくとも複数部位に設けられる。サーバ3は、被検体の各部位に取り付けられたセンサ22により検知された加速度データと、被検体が聞いている楽曲に関する楽曲情報を受信し、学習処理を開始する。
図3に示すように、まず、サーバ3のテンポ解析部301は、ユーザ端末2から送信された楽曲情報に基づいて該当する楽曲のテンポを解析する(ステップS103)。楽曲のテンポの解析は、例えば音圧の取得であってもよい。
次に、加速度特徴量抽出部302は、音楽を聞いている際のユーザの各部位の動きを検知したセンサ22の加速度データから特徴量を抽出する(ステップS106)。例えば加速度特徴量抽出部302は、加速度データのベクトルの距離を時系列に並べて距離の振幅を抽出する。
次いで、学習部303は、抽出した振幅の周期が、解析した音楽のテンポと同じあるいは近いか否かを判断する(ステップS109)。学習部303は、複数部位の動きの加速度センサデータ各々を、解析した音楽のテンポと比較する。ここで、図4に、音楽のテンポ(ここでは「音圧」)と加速度ベクトルの距離のグラフの一例を示す。学習部303は、図4に示すように、加速度データのベクトルの距離を時系列に並べて抽出した距離の振幅の周期と、対応する音圧(音楽のテンポの一例)とを比較し、これらが同期しているか否か(すなわち、同じあるいは類似しているか否か)が判断される。同じあるいは近いと判断された場合、音楽に乗っている状態と言える。なお学習部303は、加速度データ側のタイムスタンプに対応する楽曲の特定部分のテンポとを比較し、特定部分の音楽を聞いている際の被検体の動きを判断するようにする。
次に、抽出した振幅の周期が、解析した音楽のテンポと同じあるいは近いと判断された場合(ステップS109/Yes)、学習部303は、対象の加速度データの特徴量をノーマライズ処理した結果を部位動作学習データDB32に格納する(ステップS112)。これにより、音楽に乗っている状態の動きの学習結果を蓄積することができる。なお乗っている音楽の種類も併せて格納する。
また学習部303は、複数部位の動き各々を音楽のテンポと比較するが、音楽のテンポと同期する動きが1つでも存在した場合、他の部位の動きの特徴量もノーマライズ処理し、複数部位の動きをセットで部位動作学習データDB32に格納する。
ノーマライズ処理は、例えば加速度データを時間情報と距離の2次元でパターン化した振幅データの1周期分について、時間軸に対する最大振幅を元に距離を正規化する。ここで、図5に、部位動作学習データDB32に格納される複数部位のノーマライズ処理した結果(加速度距離パターンとも称す)のセットの一例を示す。図5左には、例えば図4に示す加速度データをノーマライズ処理した結果を示す。当該加速度データが、例えば首の加速度データであって、音楽に乗っている状態と判断された場合、他の部位の動き、例えば足の加速度データおよび腰の加速度データも図5に示すようにノーマライズ処理され、これら3つのデータがセットで部位動作学習データDB32に格納される。
以上、本実施形態による学習処理について具体的に説明した。続いて、上述した学習結果を用いた各処理について以下説明する。
<3-2.同期判断処理>
図6は、本実施形態による同期判断処理を示すフローチャートである。ここでは、ユーザが音楽を聞いている際の動きを、ユーザの体に設けられた複数センサにより検知し、ユーザが聞いている音楽に乗っているかを判断し、また、音楽への乗り具合も検出する。
図6は、本実施形態による同期判断処理を示すフローチャートである。ここでは、ユーザが音楽を聞いている際の動きを、ユーザの体に設けられた複数センサにより検知し、ユーザが聞いている音楽に乗っているかを判断し、また、音楽への乗り具合も検出する。
図6に示すように、まず、サーバ3のテンポ解析部301は、ユーザ端末2から送信された楽曲情報に基づいて該当する楽曲のテンポを解析する(ステップS203)。
次に、加速度特徴量抽出部302は、音楽を聞いている際のユーザの各部位の動きを検知したセンサ22(例えばセンサ22a、22b)の加速度データから特徴量を抽出する(ステップS206)。例えば加速度特徴量抽出部302は、加速度データのベクトルの距離を時系列に並べて距離の振幅を抽出する。
次いで、同期判断部304は、加速度特徴量抽出部302で抽出された各部位の動き(例えば加速度データ)の特徴量を、部位動作学習データDBに登録された特徴量と比較し、類似度を算出する(ステップS209)。すなわち、同期判断部304は、ユーザから検知した各部位の動きの特徴量と、部位動作学習データDBに登録されている各部位に該当する特徴量とを比較し、その類似度(例えば差分)を算出する。また、同期判断部304は、解析した楽曲のテンポに対応する各部位の動きデータを部位動作学習データDBから抽出して用いてもよい。より具体的には、例えば同期判断部304は、ユーザの「首」および「足」の動きの特徴量と、部位動作学習データDBに登録されている「首」および「足」の動きの特徴量とを各々比較する。この際、同期判断部304は、ユーザが聞いていた音楽のテンポがバラードであった場合、部位動作学習データDBに登録されているバラードの「首」および「足」の動きの特徴量を抽出し、比較に用いる。
ここで、図7を参照して類似度の算出方法について説明する。図7は、ユーザに取り付けられたセンサ22により検知されたセンサデータ(例えば加速度データ)の特徴量データと、部位動作学習データDBに登録されている平滑化されたデータの類似度の算出方法について説明する図である。同期判断部304は、図7に示すように、ユーザの首に取り付けられたセンサ22aにより検知された加速度データに基づく特徴量データ40m、および足に取り付けられたセンサ22bの加速度データに基づく特徴量データ41mそれぞれについて、対応する部位の学習データ(具体的には、平滑化された首の動きデータ40s、および足の動きデータ41s)と比較する。具体的には、同期判断部304は、全てのサンプリングポイント毎に、特徴量データ40mと平滑化された動きデータ40sとの差分(例えばポイント401、402の差分、ポイント403、404の差分、およびポイント405、406の差分)を算出し、差分の和を求める。このようなサンプリングポイント毎の差分算出および合算を、使用した全てのセンサから取得した加速度データの特徴量データに対して実施し、さらにその総和を算出する。つまり、同期判断部304は、首の加速度の差分合計と、足の加速度の差分合計との総和を、類似度として算出する。以上、類似度を差分の総和として算出する方法について詳細したが、本実施形態による類似度の算出方法はこれに限定されない。
次に、同期判断部304は、算出した類似度が所定の閾値以下であるか否かを判断する(ステップS212)。例えば同期判断部304は、算出した類似度である差分の総和の割合が、学習データの値に対して比較的少ない場合、ユーザの動きが音楽に乗っている時の動きと近いと判断でき、ユーザが音楽に乗っていると言える。
次いで、算出した類似度が所定の閾値以下であると判断した場合(ステップS212/Yes)、同期判断部304は、ユーザが音楽に乗っていると判断する(ステップS215)。また、同期判断部304は、類似度の数値を、ユーザが音楽に乗っている具合を示す数値とし得る。また、同期判断部304は、ユーザに取り付けられているセンサのうち、より音楽に乗っている動きを検知しているセンサを選び、当該センサにより検知された加速度データの特徴量と学習データとの類似度(例えば差分)を、音楽への乗り具合を示す数値としてもよい。
一方、類似度が閾値を上回る場合(ステップS212/No)、同期判断部304は、ユーザは音楽に乗っていないと判断する(ステップS218)。
以上説明したように、本実施形態によるサーバ3は、複数のセンサから取得したユーザの動きを示す加速度データの特徴量と、学習データとを比較して、ユーザの動きが音楽に乗っているか否かの判断を行うことができる。判断結果は、例えば音楽推薦やお気に入り楽曲の登録に用いられる。また、音楽に乗っている具合を示す数値(類似度に基づく)は、推薦の優先度やお気に入り優先度等に反映させることができる。
<3-3.推定処理>
続いて、センサを取り付けていない部位の動きの推定について、図7を参照して説明する。図7は、本実施形態による推定処理を示すフローチャートである。ここでは、ユーザが音楽に乗っていると判断された際に、さらにセンサが取り付けられていない部位の動きを推定することが可能となる。
続いて、センサを取り付けていない部位の動きの推定について、図7を参照して説明する。図7は、本実施形態による推定処理を示すフローチャートである。ここでは、ユーザが音楽に乗っていると判断された際に、さらにセンサが取り付けられていない部位の動きを推定することが可能となる。
図7に示すように、まず、ステップS303~ステップS312では、図6に示すステップS203~S212と同様の処理が行われ、サーバ3の制御部30は、ユーザに取り付けられたセンサにより検知した各部位の動きが音楽に乗っているか否かを判断する。
次いで、算出した類似度が所定の閾値以下であると判断した場合(ステップS312/Yes)、同期判断部304は、ユーザが音楽に乗っていると判断する(ステップS315)。また、同期判断部304は、類似度の数値を、ユーザが音楽に乗っている具合を示す数値とし得る。
次に、推定部305は、センサが取り付けられておらず検知されていないユーザの他の部位の動きデータを推定し、音楽に乗っているユーザの動きを補完する(ステップS316)。より具体的には、推定部305は、比較に用いた学習データセットに含まれる他の部位の加速度データ(具体的には、例えばx,y,z三軸ベクトル)を取得し、ユーザの当該部位の動きとして推定し、補完する。これにより、例えば両足と首にセンサをつけるのみで、音楽に乗っている時の腕や腰の動きを推定し、バーチャル・リアリティ上のキャラクタの全身の動きに反映させることができる。また、制御部30は、推定した部位の動きも考慮して、ユーザの音楽への乗り具合を算出してもよい。
一方、類似度が閾値を上回る場合(ステップS312/No)、同期判断部304は、ユーザは音楽に乗っていないと判断する(ステップS318)。
以上説明したように、本実施形態によるサーバ3では、センサが取り付けられていない個所の動きも推定し、補完することが可能となる。
<<4.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、ユーザの体の動きと音楽のテンポとの同期をより正確に判断することが可能となる。
上述したように、本開示の実施形態による情報処理システムでは、ユーザの体の動きと音楽のテンポとの同期をより正確に判断することが可能となる。
また、本開示の実施形態による情報処理システムでは、センサが取り付けられておらず物理的に検知できなかった部位の動きを推定、補完することも可能となる。
また、上述した実施形態では、ユーザの体の動きと音楽のテンポとの同期を判断しているが、本実施形態はこれに限定されず、例えば踊りのテンポ等、一定の動きを行う動作や運動へ応用することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したサーバ3に内蔵されるCPU、ROM、およびRAM等のハードウェアに、サーバ3の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、同期判断処理および推定処理がサーバ3で実行されるシステム構成に限定されず、全てまたは少なくとも一部がユーザ端末2側で行われてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
を備える、情報処理装置。
(2)
前記学習部は、身体の複数部位の動きデータの特徴量をセットで前記学習データベースに蓄積する、前記(1)に記載の情報処理装置。
(3)
前記学習部は、前記身体の複数部位の動きデータの特徴量を、前記似ていると判断したテンポの種類と紐付けて前記学習データベースに蓄積する、前記(2)に記載の情報処理装置。
(4)
前記判断部は、前記ユーザが聞いている音楽のテンポの種類に紐付けられて前記学習データベースに蓄積されている前記同部位の動きデータの特徴量を抽出し、前記センシングされたユーザの身体の部位の動きデータの特徴量との類似度を算出する、前記(3)に記載の情報処理装置。
(5)
前記学習部は、前記テンポに似ていると判断された動きデータの特徴量を正規化したデータを前記学習データベースに蓄積する、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記類似度は、前記動きデータの特徴量の差分に基づいて算出される、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
プロセッサが、
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、
を含む、情報処理方法。
(8)
コンピュータを、
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
として機能させるための、プログラム。
(1)
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
を備える、情報処理装置。
(2)
前記学習部は、身体の複数部位の動きデータの特徴量をセットで前記学習データベースに蓄積する、前記(1)に記載の情報処理装置。
(3)
前記学習部は、前記身体の複数部位の動きデータの特徴量を、前記似ていると判断したテンポの種類と紐付けて前記学習データベースに蓄積する、前記(2)に記載の情報処理装置。
(4)
前記判断部は、前記ユーザが聞いている音楽のテンポの種類に紐付けられて前記学習データベースに蓄積されている前記同部位の動きデータの特徴量を抽出し、前記センシングされたユーザの身体の部位の動きデータの特徴量との類似度を算出する、前記(3)に記載の情報処理装置。
(5)
前記学習部は、前記テンポに似ていると判断された動きデータの特徴量を正規化したデータを前記学習データベースに蓄積する、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記類似度は、前記動きデータの特徴量の差分に基づいて算出される、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
プロセッサが、
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、
を含む、情報処理方法。
(8)
コンピュータを、
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
として機能させるための、プログラム。
1 情報処理システム
2 ユーザ端末
22 センサ
23 再生装置
3 サーバ
30 制御部
301 テンポ解析部
302 加速度特徴量抽出部
303 学習部
304 同期判断部
305 推定部
31 通信部
32 部位動作学習データDB
33 加速度ログDB
5 ネットワーク
2 ユーザ端末
22 センサ
23 再生装置
3 サーバ
30 制御部
301 テンポ解析部
302 加速度特徴量抽出部
303 学習部
304 同期判断部
305 推定部
31 通信部
32 部位動作学習データDB
33 加速度ログDB
5 ネットワーク
Claims (8)
- 身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
を備える、情報処理装置。 - 前記学習部は、身体の複数部位の動きデータの特徴量をセットで前記学習データベースに蓄積する、請求項1に記載の情報処理装置。
- 前記学習部は、前記身体の複数部位の動きデータの特徴量を、前記似ていると判断したテンポの種類と紐付けて前記学習データベースに蓄積する、請求項2に記載の情報処理装置。
- 前記判断部は、前記ユーザが聞いている音楽のテンポの種類に紐付けられて前記学習データベースに蓄積されている前記同部位の動きデータの特徴量を抽出し、前記センシングされたユーザの身体の部位の動きデータの特徴量との類似度を算出する、請求項3に記載の情報処理装置。
- 前記学習部は、前記テンポに似ていると判断された動きデータの特徴量を正規化したデータを前記学習データベースに蓄積する、請求項1に記載の情報処理装置。
- 前記類似度は、前記動きデータの特徴量の差分に基づいて算出される、請求項1に記載の情報処理装置。
- プロセッサが、
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、
を含む、情報処理方法。 - コンピュータを、
身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
として機能させるための、プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159418 | 2015-08-12 | ||
JP2015-159418 | 2015-08-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017026148A1 true WO2017026148A1 (ja) | 2017-02-16 |
Family
ID=57983022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/063682 WO2017026148A1 (ja) | 2015-08-12 | 2016-05-06 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2017026148A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112118502A (zh) * | 2020-09-10 | 2020-12-22 | 北京小米移动软件有限公司 | 耳机控制方法、装置、设备及存储介质 |
WO2022250099A1 (ja) * | 2021-05-28 | 2022-12-01 | 京セラ株式会社 | 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008299631A (ja) * | 2007-05-31 | 2008-12-11 | Sony Ericsson Mobilecommunications Japan Inc | コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム |
JP2014097188A (ja) * | 2012-11-14 | 2014-05-29 | Pioneer Electronic Corp | 端末装置、通信システム、端末装置の判定結果記録方法、プログラム |
-
2016
- 2016-05-06 WO PCT/JP2016/063682 patent/WO2017026148A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008299631A (ja) * | 2007-05-31 | 2008-12-11 | Sony Ericsson Mobilecommunications Japan Inc | コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム |
JP2014097188A (ja) * | 2012-11-14 | 2014-05-29 | Pioneer Electronic Corp | 端末装置、通信システム、端末装置の判定結果記録方法、プログラム |
Non-Patent Citations (2)
Title |
---|
HIROYUKI OKUSHI: "A Note on Music Recommendation Based on Human Motion and Its Application", ITE TECHNICAL REPORT, vol. 36, no. 9, 13 February 2012 (2012-02-13), pages 281 - 285 * |
RYOMA UCHIDA: "Improving Fault Tolerance of Wearable Sensor-based Activity Recognition Technique by Completing Defective Feature Value", IPSJ SIG NOTES, 15 June 2012 (2012-06-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112118502A (zh) * | 2020-09-10 | 2020-12-22 | 北京小米移动软件有限公司 | 耳机控制方法、装置、设备及存储介质 |
WO2022250099A1 (ja) * | 2021-05-28 | 2022-12-01 | 京セラ株式会社 | 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Fall detection based on dual-channel feature integration | |
US9700241B2 (en) | Gait analysis system and method | |
EP2964352B1 (en) | Extending gameplay with physical activity monitoring device | |
KR20160031246A (ko) | 보행 환경 인식 방법 및 장치 | |
US20130090213A1 (en) | Exercise-Based Entertainment And Game Controller To Improve Health And Manage Obesity | |
CN107617201B (zh) | 用于自动配置传感器的方法、电子设备和记录介质 | |
US20140257535A1 (en) | Personal training with physical activity monitoring device | |
EP2964075A1 (en) | Automatic exercise segmentation and recognition | |
WO2012026818A1 (en) | Method and system for determining the walking or running speed of a person | |
CN103699795A (zh) | 一种运动行为识别方法、装置及运动强度监测系统 | |
CN110471529A (zh) | 动作评分方法及装置 | |
CN106705989B (zh) | 记步方法、设备及终端 | |
CN107205661A (zh) | 使用来自多个设备的数据进行能量消耗计算 | |
CN106383585B (zh) | 基于可穿戴设备的用户情绪识别方法及系统 | |
CN107249456A (zh) | 使用来自多个装置的数据进行能量消耗计算 | |
CN108717548B (zh) | 一种面向传感器动态增加的行为识别模型更新方法及系统 | |
WO2017026148A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Wang et al. | Recognition of the Gait Phase Based on New Deep Learning Algorithm Using Multisensor Information Fusion. | |
CN106799039A (zh) | 一种体育活动监测方法及系统 | |
Kailas | Basic human motion tracking using a pair of gyro+ accelerometer MEMS devices | |
CN111353345B (zh) | 提供训练反馈的方法、装置、系统、电子设备、存储介质 | |
Boehner | A smartphone application for a portable fall detection system | |
JP6054905B2 (ja) | 経路形状判定装置、運動支援システム及びプログラム | |
CN111353346A (zh) | 动作识别方法、装置、系统、电子设备、存储介质 | |
CN111353347A (zh) | 动作识别纠错方法、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16834845 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16834845 Country of ref document: EP Kind code of ref document: A1 |