WO2017026148A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017026148A1
WO2017026148A1 PCT/JP2016/063682 JP2016063682W WO2017026148A1 WO 2017026148 A1 WO2017026148 A1 WO 2017026148A1 JP 2016063682 W JP2016063682 W JP 2016063682W WO 2017026148 A1 WO2017026148 A1 WO 2017026148A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
movement
tempo
user
learning
Prior art date
Application number
PCT/JP2016/063682
Other languages
English (en)
French (fr)
Inventor
幸由 廣瀬
律子 金野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017026148A1 publication Critical patent/WO2017026148A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that can more accurately grasp whether the movement of the human body is synchronized with the tempo.
  • the processor compares the feature amount of the motion data acquired from the motion sensor that detects the motion of the body part with a predetermined tempo, and the motion data determined to be similar to the tempo.
  • the degree of similarity between the process of storing the feature quantity in the learning database, the feature quantity of the sensed motion data of the body part of the user, and the feature quantity of the motion data of the same part accumulated in the learning database is calculated. If the similarity satisfies the condition, the process of determining that the synchronization is synchronized with a predetermined tempo, and if the similarity is determined, set the motion data of the same part stored in the learning database. And a process of estimating the movement of the other part of the user based on the feature amount of the motion data of the other part accumulated in the above.
  • the movement of the human body using the movement data detected by the sensor and the learning data to what extent the user is synchronized with the music in the music recommendation system. It is possible to more accurately grasp whether or not is synchronized with the tempo of music (that is, whether or not it is on music).
  • the sensor 22 is realized by, for example, an acceleration sensor 22a that detects movement of the neck and an acceleration sensor 22b that detects movement of the foot.
  • the acceleration sensor 22a is a neck type device that is worn on the user's neck, and the acceleration sensor 22b is worn on the user's shoes or ankle.
  • the sensor 22 is not limited to an acceleration sensor, and may include an acceleration sensor and a gyro sensor.
  • the server 3 determines, based on the transmitted acceleration data and music information, whether the user's movement is synchronized with the music and how much the user is riding on the music (that is, the degree of riding on the music). At this time, the server 3 determines whether or not the user's movement is on music using a movement data set (also referred to as a learning data set) of a plurality of parts of the human body in the corresponding music genre learned in advance. The server 3 can also estimate and complement the movement of the user's part to which the sensor is not attached using the learning data set.
  • a movement data set also referred to as a learning data set

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】人体の動きがテンポと同期しているかをより正確に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　昨今の音楽プレーヤーでは数百～数千の曲を聞くことが可能であり、ユーザは自身の好みでプレイリストを作成して音楽を楽しんでいる。また、近年では、ユーザの嗜好を把握し、自動的にユーザの好みに応じた音楽を推薦する音楽推薦システムが提案されている。
　例えば、下記特許文献１では、楽曲のビート情報とユーザの動作を検出した検出とを比較して、ユーザが楽曲に合わせて体を動かしているか否かを判定することで、「楽曲に合わせて踊っている＝その楽曲を気に入っている」という図式を前提として、ユーザのお気に入りの楽曲を煩雑な操作を行うことなく記録することが記載されている。
特開２０１４－９７１８８号公報
　しかしながら、ユーザが楽曲に合わせて動いているか否かを判定する際に用いるセンサデータは、センサが取り付けられている部分、すなわちユーザの全体の動きにおける局所的な部分の動きしか検知できず、ユーザが楽曲に合わせて動いているか否かを正確に把握できていなかった。
　そこで、本開示では、人体の動きがテンポと同期しているかをより正確に把握することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、人体の動きがテンポと同期しているかをより正確に把握することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態によるサーバの構成例を示すブロック図である。 本実施形態による学習処理を示すフローチャートである。 本実施形態による音楽のテンポ（具体的には音圧）と加速度ベクトルの距離のグラフを示す図である。 本実施形態による部位動作学習データＤＢに格納される複数部位のノーマライズ処理した結果のセットの一例を示す図である。 本実施形態による同期判断処理を示すフローチャートである。 本実施形態によるセンサデータの特徴量と平滑化されたデータの類似度の算出方法について説明する図である。 本実施形態による推定処理を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　３．動作処理
　　３－１．学習処理
　　３－２．同期判断処理
　　３－３．推定処理
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　本開示の一実施形態による情報処理システムでは、ユーザが楽曲等のテンポに合わせて動いているか否かをより正確に把握することを可能とする。
　（背景）
　ユーザが楽曲に合わせて動いているか否かを判定する際の動作検出センサ（例えば加速度センサ）が単一の場合、取得されるデータは局所的なものであって、取り付けたセンサから離れた体の一部が動いていたとしても、感知することができない。また、複数のセンサをユーザに取り付けることで複数個所の動きを認識することは可能であるが、取り付けた個所以外の動きを認識することはできない。
　そこで、本実施形態による情報処理システムでは、音楽推薦を行うシステム内において、ユーザがどの程度その音楽と同期しているかを、センサにより検知した動きデータと、学習データとを用いて、人体の動きが音楽のテンポとの同期しているか否か（すなわち、音楽に乗っているか否か）をより正確に把握することを可能とする。
　図１は、本開示の一実施形態による情報処理システムの概要を説明する図である。図１に示すように、本実施形態による情報処理システム１は、ユーザの動きを検知するセンサ２２（２２ａ、２２ｂ）と、センサ２２から取得したセンサデータおよび現在ユーザが聞いている楽曲に関する情報を送信するユーザ端末２と、サーバ３とを含む。
　センサ２２は、例えば首の動きを検知する加速度センサ２２ａ、および足の動きを検知する加速度センサ２２ｂにより実現される。加速度センサ２２ａは、ネック型デバイスであってユーザの首に装着され、また、加速度センサ２２ｂはユーザの靴または足首に装着される。なおセンサ２２は加速度センサに限定されず、加速度センサおよびジャイロセンサを含むものであってもよい。
　ユーザ端末２は、センサ２２とBluetooth（登録商標）やWi-Fi（登録商標）により無線接続し、センサ２２で検知された加速度データを受信する（例えば10Hz以上の周波数で量子化されて取得される）。また、ユーザ端末２は、楽曲を再生する音楽プレーヤーとしても機能する。再生する楽曲はユーザ端末２に格納されていてもよいし、クラウドから取得されてもよい。ユーザ端末２は、ユーザが装着する再生装置２３と無線／有線接続して、楽曲データを出力し、再生するよう制御する。
　なお、再生装置２３が単体で音楽プレーヤーとして機能してもよい。この場合、再生装置２３は、再生中の楽曲に関する情報（例えばタイトル、アーティスト等を含む）を、Bluetooth（登録商標）やWi-Fi（登録商標）により無線接続するユーザ端末２へ送信する。
　ユーザ端末２は、ユーザが聞いている楽曲に関する情報と、ユーザの動きを示す加速度データとを紐付けて、基地局４およびネットワーク５を介してサーバ３へ送信する。なお、ここではユーザ端末２がセンサ２２から取得した加速度データを楽曲に関する情報と共にサーバ３へ送信するが、本実施形態はこれに限定されず、センサ２２が直接ネットワーク５に接続し、サーバ３へ送信してもよい。
　サーバ３は、送信された加速度データと楽曲情報に基づいて、ユーザの動きが音楽と同期しているか、また、どの程度音楽に乗っているか（すなわち、音楽への乗り具合）を判断する。この際、サーバ３は、予め学習した対応する音楽ジャンルにおける人体の複数部位の動きデータセット（学習データセットとも称す）を用いて、ユーザの動きが音楽に乗っているか否かを判断する。また、サーバ３は、かかる学習データセットを用いて、センサが取り付けられていないユーザの部位の動きを推定、補完することも可能である。
　ユーザが音楽に乗っているか否かをより正確に判断できることで、ユーザへの音楽推薦、お気に入り曲の登録、ユーザの嗜好抽出等の精度が向上する。また、ユーザの体全てに多量のセンサを設けることなく、バーチャルリアリティ上のキャラクターの全身の動きにユーザの動きを反映させることが可能となる。
　以下、このような本開示による情報処理システムについて具体的に説明する。
　＜＜２．構成＞＞
　図２は、本実施形態によるサーバ３（情報処理装置の一例）の構成例を示すブロック図である。図２に示すように、本実施形態によるサーバ３は、制御部３０、通信部３１、部位動作学習データＤＢ３２、加速度ログＤＢ３３を有する。
　制御部３０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ３内の動作全般を制御する。制御部１１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部３０は、図２に示すように、テンポ解析部３０１、加速度特徴量抽出部３０２、学習部３０３、推定部３０５、および同期判断部３０４としても機能し得る。なおここで説明する機能は一例であって、制御部３０の機能はこれに限定されない。
　テンポ解析部３０１は、ユーザ端末２から送信された楽曲情報に基づいて、該当する楽曲の特定部分のテンポを解析する機能を有する。特定部分のテンポとは、ユーザが聞いている部分である。リアルタイムで処理する場合は現在ユーザが聞いている部分であって、後から処理する場合は、対応する加速度データのタイムスタンプに基づいて特定される。
　加速度特徴量抽出部３０２は、ユーザ端末２から送信された各部位の加速度データから特徴量を抽出する機能を有する。具体的には、例えば加速度特徴量抽出部３０２は、加速度データの距離および振幅をパラメータとして、ユーザの体の各部位の周期的な動作を平滑化する。パラメータは、例えば加速度データの局所波形および波形から抽出される。
　学習部３０３は、テンポ解析部３０１により解析されたテンポと、加速度特徴量抽出部３０２により抽出された各部位の特徴量（例えば部位の周期的な動作を示す平滑化されたデータ）とに基づいて、両者が似ているか否かに基づいて、テンポに同期している（すなわち音楽に乗っている）人体の複数部位の動作を学習し、音楽のテンポ種類（例えばバラード、ロック、ゆっくり等）と紐付けて部位動作学習データＤＢ３２に格納する。例えば、被験者の首、足、腰に装着された加速度センサから、首、足、腰の加速度データが取得され、当該加速度データの特徴量が、被験者が聞いている音楽のテンポと同じまたは似ている場合、学習部３０３は、これらをセット（組み合わせであって、学習データセットとも称す）として、被験者が乗っている音楽の種類とを紐付けて部位動作学習データＤＢ３２に格納する。部位動作学習データＤＢ３２に格納されるデータは、加速度データの特徴量の他、これを正規化（例えばノーマライズ処理）したものであってもよい。また、学習部３０３は、個人または属性（例えば性別、年齢、および／または文化等）毎の学習結果を部位動作学習データＤＢ３２に格納し、個人または属性による差異を考慮したデータベースを生成することも可能である。これにより、個人に応じた音楽に乗っている状態のより細かい判断や、人種によって異なる音楽に乗っている状態の高精度の判断（例えば日本人は頭を振って音楽に乗る傾向があるが、西洋人は体全体で音楽に乗る傾向がある等）が可能となる。
　同期判断部３０４は、加速度特徴量抽出部３０２により抽出された、ユーザの各部位の動きを示す加速度データの各特徴量に基づいて、ユーザの動きがユーザの聞いている音楽のテンポと同期しているか、すなわちユーザが音楽に乗っているか否かを判断する。同期判断部３０４は、ユーザの各部位の動きの特徴量と、部位動作学習データＤＢ３２に格納されている対応する各部位の学習データとを比較して類似度を算出し、両者が同期しているか否か（すなわち、同じまたは似ているか否か）を判断する。類似度は、例えば特徴量の差分であって、差分が小さい程似ていると言えるため、類似度の値は似ている程小さく算出される。同期判断部３０４による具体的な同期判断処理については、図６を参照して後述する。
　推定部３０５は、センサが取り付けられていない部位の動きを、検知された他の部位の動きの特徴量に基づいて推定する機能を有する。例えば推定部３０５は、同期判断部３０４により同期していると判断された際の学習データセットから、ユーザの検知されていない部位の動きを示す３軸ベクトル（例えば加速度データ）を抽出する。これにより、例えば首の動きと足の動きしか得られていない場合であっても、部位動作学習データＤＢ３２を参照し、センサが取り付けられていない腰の動きを補完することが可能となる。
　部位動作学習データＤＢ３２は、学習部３０３により学習された、音楽に乗っている際の人体の複数部位の動きを示すデータ（例えば加速度データが平滑化されたもの）を格納する学習データベースである。
　加速度ログＤＢ３３は、サーバ３がユーザ端末２から送信された加速度データを、タイムスタンプと共に格納する。
　以上、本実施形態によるサーバ３の具体的な構成について説明した。続いて、本実施形態による情報処理システムの動作処理について、図３～図８を参照して具体的に説明する。
　＜＜３．動作処理＞＞
　＜３－１．学習処理＞
　図３は、本実施形態による学習処理を示すフローチャートである。学習処理では、被検体の各部位にセンサ２２を取り付けて、音楽を流し、音楽に乗っている際の被検体の体の各部位の動きを学習する。ここで、センサ２２は、例えば頭部、首、みぞおち、腹、または腰や、左右の肩、上腕部、手首、手の甲、腰の外側、臀部、もも、膝、すね、足首、または足の甲等の少なくとも複数部位に設けられる。サーバ３は、被検体の各部位に取り付けられたセンサ２２により検知された加速度データと、被検体が聞いている楽曲に関する楽曲情報を受信し、学習処理を開始する。
　図３に示すように、まず、サーバ３のテンポ解析部３０１は、ユーザ端末２から送信された楽曲情報に基づいて該当する楽曲のテンポを解析する（ステップＳ１０３）。楽曲のテンポの解析は、例えば音圧の取得であってもよい。
　次に、加速度特徴量抽出部３０２は、音楽を聞いている際のユーザの各部位の動きを検知したセンサ２２の加速度データから特徴量を抽出する（ステップＳ１０６）。例えば加速度特徴量抽出部３０２は、加速度データのベクトルの距離を時系列に並べて距離の振幅を抽出する。
　次いで、学習部３０３は、抽出した振幅の周期が、解析した音楽のテンポと同じあるいは近いか否かを判断する（ステップＳ１０９）。学習部３０３は、複数部位の動きの加速度センサデータ各々を、解析した音楽のテンポと比較する。ここで、図４に、音楽のテンポ（ここでは「音圧」）と加速度ベクトルの距離のグラフの一例を示す。学習部３０３は、図４に示すように、加速度データのベクトルの距離を時系列に並べて抽出した距離の振幅の周期と、対応する音圧（音楽のテンポの一例）とを比較し、これらが同期しているか否か（すなわち、同じあるいは類似しているか否か）が判断される。同じあるいは近いと判断された場合、音楽に乗っている状態と言える。なお学習部３０３は、加速度データ側のタイムスタンプに対応する楽曲の特定部分のテンポとを比較し、特定部分の音楽を聞いている際の被検体の動きを判断するようにする。
　次に、抽出した振幅の周期が、解析した音楽のテンポと同じあるいは近いと判断された場合（ステップＳ１０９／Ｙｅｓ）、学習部３０３は、対象の加速度データの特徴量をノーマライズ処理した結果を部位動作学習データＤＢ３２に格納する（ステップＳ１１２）。これにより、音楽に乗っている状態の動きの学習結果を蓄積することができる。なお乗っている音楽の種類も併せて格納する。
　また学習部３０３は、複数部位の動き各々を音楽のテンポと比較するが、音楽のテンポと同期する動きが１つでも存在した場合、他の部位の動きの特徴量もノーマライズ処理し、複数部位の動きをセットで部位動作学習データＤＢ３２に格納する。
　ノーマライズ処理は、例えば加速度データを時間情報と距離の２次元でパターン化した振幅データの１周期分について、時間軸に対する最大振幅を元に距離を正規化する。ここで、図５に、部位動作学習データＤＢ３２に格納される複数部位のノーマライズ処理した結果（加速度距離パターンとも称す）のセットの一例を示す。図５左には、例えば図４に示す加速度データをノーマライズ処理した結果を示す。当該加速度データが、例えば首の加速度データであって、音楽に乗っている状態と判断された場合、他の部位の動き、例えば足の加速度データおよび腰の加速度データも図５に示すようにノーマライズ処理され、これら３つのデータがセットで部位動作学習データＤＢ３２に格納される。
　以上、本実施形態による学習処理について具体的に説明した。続いて、上述した学習結果を用いた各処理について以下説明する。
　＜３－２．同期判断処理＞
　図６は、本実施形態による同期判断処理を示すフローチャートである。ここでは、ユーザが音楽を聞いている際の動きを、ユーザの体に設けられた複数センサにより検知し、ユーザが聞いている音楽に乗っているかを判断し、また、音楽への乗り具合も検出する。
　図６に示すように、まず、サーバ３のテンポ解析部３０１は、ユーザ端末２から送信された楽曲情報に基づいて該当する楽曲のテンポを解析する（ステップＳ２０３）。
　次に、加速度特徴量抽出部３０２は、音楽を聞いている際のユーザの各部位の動きを検知したセンサ２２（例えばセンサ２２ａ、２２ｂ）の加速度データから特徴量を抽出する（ステップＳ２０６）。例えば加速度特徴量抽出部３０２は、加速度データのベクトルの距離を時系列に並べて距離の振幅を抽出する。
　次いで、同期判断部３０４は、加速度特徴量抽出部３０２で抽出された各部位の動き（例えば加速度データ）の特徴量を、部位動作学習データＤＢに登録された特徴量と比較し、類似度を算出する（ステップＳ２０９）。すなわち、同期判断部３０４は、ユーザから検知した各部位の動きの特徴量と、部位動作学習データＤＢに登録されている各部位に該当する特徴量とを比較し、その類似度（例えば差分）を算出する。また、同期判断部３０４は、解析した楽曲のテンポに対応する各部位の動きデータを部位動作学習データＤＢから抽出して用いてもよい。より具体的には、例えば同期判断部３０４は、ユーザの「首」および「足」の動きの特徴量と、部位動作学習データＤＢに登録されている「首」および「足」の動きの特徴量とを各々比較する。この際、同期判断部３０４は、ユーザが聞いていた音楽のテンポがバラードであった場合、部位動作学習データＤＢに登録されているバラードの「首」および「足」の動きの特徴量を抽出し、比較に用いる。
　ここで、図７を参照して類似度の算出方法について説明する。図７は、ユーザに取り付けられたセンサ２２により検知されたセンサデータ（例えば加速度データ）の特徴量データと、部位動作学習データＤＢに登録されている平滑化されたデータの類似度の算出方法について説明する図である。同期判断部３０４は、図７に示すように、ユーザの首に取り付けられたセンサ２２ａにより検知された加速度データに基づく特徴量データ４０ｍ、および足に取り付けられたセンサ２２ｂの加速度データに基づく特徴量データ４１ｍそれぞれについて、対応する部位の学習データ（具体的には、平滑化された首の動きデータ４０ｓ、および足の動きデータ４１ｓ）と比較する。具体的には、同期判断部３０４は、全てのサンプリングポイント毎に、特徴量データ４０ｍと平滑化された動きデータ４０ｓとの差分（例えばポイント４０１、４０２の差分、ポイント４０３、４０４の差分、およびポイント４０５、４０６の差分）を算出し、差分の和を求める。このようなサンプリングポイント毎の差分算出および合算を、使用した全てのセンサから取得した加速度データの特徴量データに対して実施し、さらにその総和を算出する。つまり、同期判断部３０４は、首の加速度の差分合計と、足の加速度の差分合計との総和を、類似度として算出する。以上、類似度を差分の総和として算出する方法について詳細したが、本実施形態による類似度の算出方法はこれに限定されない。
　次に、同期判断部３０４は、算出した類似度が所定の閾値以下であるか否かを判断する（ステップＳ２１２）。例えば同期判断部３０４は、算出した類似度である差分の総和の割合が、学習データの値に対して比較的少ない場合、ユーザの動きが音楽に乗っている時の動きと近いと判断でき、ユーザが音楽に乗っていると言える。
　次いで、算出した類似度が所定の閾値以下であると判断した場合（ステップＳ２１２／Ｙｅｓ）、同期判断部３０４は、ユーザが音楽に乗っていると判断する（ステップＳ２１５）。また、同期判断部３０４は、類似度の数値を、ユーザが音楽に乗っている具合を示す数値とし得る。また、同期判断部３０４は、ユーザに取り付けられているセンサのうち、より音楽に乗っている動きを検知しているセンサを選び、当該センサにより検知された加速度データの特徴量と学習データとの類似度（例えば差分）を、音楽への乗り具合を示す数値としてもよい。
　一方、類似度が閾値を上回る場合（ステップＳ２１２／Ｎｏ）、同期判断部３０４は、ユーザは音楽に乗っていないと判断する（ステップＳ２１８）。
　以上説明したように、本実施形態によるサーバ３は、複数のセンサから取得したユーザの動きを示す加速度データの特徴量と、学習データとを比較して、ユーザの動きが音楽に乗っているか否かの判断を行うことができる。判断結果は、例えば音楽推薦やお気に入り楽曲の登録に用いられる。また、音楽に乗っている具合を示す数値（類似度に基づく）は、推薦の優先度やお気に入り優先度等に反映させることができる。
　＜３－３．推定処理＞
　続いて、センサを取り付けていない部位の動きの推定について、図７を参照して説明する。図７は、本実施形態による推定処理を示すフローチャートである。ここでは、ユーザが音楽に乗っていると判断された際に、さらにセンサが取り付けられていない部位の動きを推定することが可能となる。
　図７に示すように、まず、ステップＳ３０３～ステップＳ３１２では、図６に示すステップＳ２０３～Ｓ２１２と同様の処理が行われ、サーバ３の制御部３０は、ユーザに取り付けられたセンサにより検知した各部位の動きが音楽に乗っているか否かを判断する。
　次いで、算出した類似度が所定の閾値以下であると判断した場合（ステップＳ３１２／Ｙｅｓ）、同期判断部３０４は、ユーザが音楽に乗っていると判断する（ステップＳ３１５）。また、同期判断部３０４は、類似度の数値を、ユーザが音楽に乗っている具合を示す数値とし得る。
　次に、推定部３０５は、センサが取り付けられておらず検知されていないユーザの他の部位の動きデータを推定し、音楽に乗っているユーザの動きを補完する（ステップＳ３１６）。より具体的には、推定部３０５は、比較に用いた学習データセットに含まれる他の部位の加速度データ（具体的には、例えばｘ,ｙ,ｚ三軸ベクトル）を取得し、ユーザの当該部位の動きとして推定し、補完する。これにより、例えば両足と首にセンサをつけるのみで、音楽に乗っている時の腕や腰の動きを推定し、バーチャル・リアリティ上のキャラクタの全身の動きに反映させることができる。また、制御部３０は、推定した部位の動きも考慮して、ユーザの音楽への乗り具合を算出してもよい。
　一方、類似度が閾値を上回る場合（ステップＳ３１２／Ｎｏ）、同期判断部３０４は、ユーザは音楽に乗っていないと判断する（ステップＳ３１８）。
　以上説明したように、本実施形態によるサーバ３では、センサが取り付けられていない個所の動きも推定し、補完することが可能となる。
　　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザの体の動きと音楽のテンポとの同期をより正確に判断することが可能となる。
　また、本開示の実施形態による情報処理システムでは、センサが取り付けられておらず物理的に検知できなかった部位の動きを推定、補完することも可能となる。
　また、上述した実施形態では、ユーザの体の動きと音楽のテンポとの同期を判断しているが、本実施形態はこれに限定されず、例えば踊りのテンポ等、一定の動きを行う動作や運動へ応用することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したサーバ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、サーバ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、同期判断処理および推定処理がサーバ３で実行されるシステム構成に限定されず、全てまたは少なくとも一部がユーザ端末２側で行われてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
　センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
　同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
を備える、情報処理装置。
（２）
　前記学習部は、身体の複数部位の動きデータの特徴量をセットで前記学習データベースに蓄積する、前記（１）に記載の情報処理装置。
（３）
　前記学習部は、前記身体の複数部位の動きデータの特徴量を、前記似ていると判断したテンポの種類と紐付けて前記学習データベースに蓄積する、前記（２）に記載の情報処理装置。
（４）
　前記判断部は、前記ユーザが聞いている音楽のテンポの種類に紐付けられて前記学習データベースに蓄積されている前記同部位の動きデータの特徴量を抽出し、前記センシングされたユーザの身体の部位の動きデータの特徴量との類似度を算出する、前記（３）に記載の情報処理装置。
（５）
　前記学習部は、前記テンポに似ていると判断された動きデータの特徴量を正規化したデータを前記学習データベースに蓄積する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記類似度は、前記動きデータの特徴量の差分に基づいて算出される、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　プロセッサが、
　身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、
　センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、
　同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、
を含む、情報処理方法。
（８）
　コンピュータを、
　身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
　センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
　同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
として機能させるための、プログラム。
　１　　情報処理システム
　２　　ユーザ端末
　２２　　センサ
　２３　　再生装置
　３　　サーバ
　３０　　制御部
　３０１　　テンポ解析部
　３０２　　加速度特徴量抽出部
　３０３　　学習部
　３０４　　同期判断部
　３０５　　推定部
　３１　　通信部
　３２　　部位動作学習データＤＢ
　３３　　加速度ログＤＢ
　５　　ネットワーク

Claims (8)

  1. 　身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
    　センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
    　同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
    を備える、情報処理装置。
  2. 　前記学習部は、身体の複数部位の動きデータの特徴量をセットで前記学習データベースに蓄積する、請求項１に記載の情報処理装置。
  3. 　前記学習部は、前記身体の複数部位の動きデータの特徴量を、前記似ていると判断したテンポの種類と紐付けて前記学習データベースに蓄積する、請求項２に記載の情報処理装置。
  4. 　前記判断部は、前記ユーザが聞いている音楽のテンポの種類に紐付けられて前記学習データベースに蓄積されている前記同部位の動きデータの特徴量を抽出し、前記センシングされたユーザの身体の部位の動きデータの特徴量との類似度を算出する、請求項３に記載の情報処理装置。
  5. 　前記学習部は、前記テンポに似ていると判断された動きデータの特徴量を正規化したデータを前記学習データベースに蓄積する、請求項１に記載の情報処理装置。
  6. 　前記類似度は、前記動きデータの特徴量の差分に基づいて算出される、請求項１に記載の情報処理装置。
  7. 　プロセッサが、
    　身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する処理と、
    　センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する処理と、
    　同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する処理と、
    を含む、情報処理方法。
  8. 　コンピュータを、
    　身体の部位の動きを検知する動きセンサから取得した動きデータの特徴量と、所定のテンポとを比較し、前記テンポに似ていると判断された動きデータの特徴量を学習データベースに蓄積する学習部と、
    　センシングされたユーザの身体の部位の動きデータの特徴量と、前記学習データベースに蓄積されている同部位の動きデータの特徴量との類似度を算出し、当該類似度が条件を満たす場合、所定のテンポに同期していると判断する判断部と、
    　同期していると判断された場合、前記学習データベースに蓄積されている前記同部位の動きデータとセットで蓄積されている他の部位の動きデータの特徴量に基づいて、前記ユーザの同他の部位の動きを推定する推定部と、
    として機能させるための、プログラム。
PCT/JP2016/063682 2015-08-12 2016-05-06 情報処理装置、情報処理方法、およびプログラム WO2017026148A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015159418 2015-08-12
JP2015-159418 2015-08-12

Publications (1)

Publication Number Publication Date
WO2017026148A1 true WO2017026148A1 (ja) 2017-02-16

Family

ID=57983022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063682 WO2017026148A1 (ja) 2015-08-12 2016-05-06 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2017026148A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118502A (zh) * 2020-09-10 2020-12-22 北京小米移动软件有限公司 耳机控制方法、装置、设备及存储介质
WO2022250099A1 (ja) * 2021-05-28 2022-12-01 京セラ株式会社 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2014097188A (ja) * 2012-11-14 2014-05-29 Pioneer Electronic Corp 端末装置、通信システム、端末装置の判定結果記録方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2014097188A (ja) * 2012-11-14 2014-05-29 Pioneer Electronic Corp 端末装置、通信システム、端末装置の判定結果記録方法、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROYUKI OKUSHI: "A Note on Music Recommendation Based on Human Motion and Its Application", ITE TECHNICAL REPORT, vol. 36, no. 9, 13 February 2012 (2012-02-13), pages 281 - 285 *
RYOMA UCHIDA: "Improving Fault Tolerance of Wearable Sensor-based Activity Recognition Technique by Completing Defective Feature Value", IPSJ SIG NOTES, 15 June 2012 (2012-06-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118502A (zh) * 2020-09-10 2020-12-22 北京小米移动软件有限公司 耳机控制方法、装置、设备及存储介质
WO2022250099A1 (ja) * 2021-05-28 2022-12-01 京セラ株式会社 情報処理装置、電子機器、情報処理システム、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
Wang et al. Fall detection based on dual-channel feature integration
US9700241B2 (en) Gait analysis system and method
EP2964352B1 (en) Extending gameplay with physical activity monitoring device
KR20160031246A (ko) 보행 환경 인식 방법 및 장치
US20130090213A1 (en) Exercise-Based Entertainment And Game Controller To Improve Health And Manage Obesity
CN107617201B (zh) 用于自动配置传感器的方法、电子设备和记录介质
US20140257535A1 (en) Personal training with physical activity monitoring device
EP2964075A1 (en) Automatic exercise segmentation and recognition
WO2012026818A1 (en) Method and system for determining the walking or running speed of a person
CN103699795A (zh) 一种运动行为识别方法、装置及运动强度监测系统
CN110471529A (zh) 动作评分方法及装置
CN106705989B (zh) 记步方法、设备及终端
CN107205661A (zh) 使用来自多个设备的数据进行能量消耗计算
CN106383585B (zh) 基于可穿戴设备的用户情绪识别方法及系统
CN107249456A (zh) 使用来自多个装置的数据进行能量消耗计算
CN108717548B (zh) 一种面向传感器动态增加的行为识别模型更新方法及系统
WO2017026148A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Wang et al. Recognition of the Gait Phase Based on New Deep Learning Algorithm Using Multisensor Information Fusion.
CN106799039A (zh) 一种体育活动监测方法及系统
Kailas Basic human motion tracking using a pair of gyro+ accelerometer MEMS devices
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
Boehner A smartphone application for a portable fall detection system
JP6054905B2 (ja) 経路形状判定装置、運動支援システム及びプログラム
CN111353346A (zh) 动作识别方法、装置、系统、电子设备、存储介质
CN111353347A (zh) 动作识别纠错方法、电子设备、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16834845

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16834845

Country of ref document: EP

Kind code of ref document: A1