JP5803962B2 - 情報処理装置、センサ装置、情報処理システムおよび記録媒体 - Google Patents

情報処理装置、センサ装置、情報処理システムおよび記録媒体 Download PDF

Info

Publication number
JP5803962B2
JP5803962B2 JP2013060062A JP2013060062A JP5803962B2 JP 5803962 B2 JP5803962 B2 JP 5803962B2 JP 2013060062 A JP2013060062 A JP 2013060062A JP 2013060062 A JP2013060062 A JP 2013060062A JP 5803962 B2 JP5803962 B2 JP 5803962B2
Authority
JP
Japan
Prior art keywords
sensor
analysis
series data
user
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013060062A
Other languages
English (en)
Other versions
JP2014183931A (ja
Inventor
英行 松永
英行 松永
功誠 山下
功誠 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013060062A priority Critical patent/JP5803962B2/ja
Priority to US14/149,265 priority patent/US10188324B2/en
Priority to CN201420117763.XU priority patent/CN204121706U/zh
Priority to EP14159893.8A priority patent/EP2782046B1/en
Priority to CN201410097086.4A priority patent/CN104056441B/zh
Publication of JP2014183931A publication Critical patent/JP2014183931A/ja
Application granted granted Critical
Publication of JP5803962B2 publication Critical patent/JP5803962B2/ja
Priority to US16/209,995 priority patent/US10791968B2/en
Priority to US17/010,848 priority patent/US11322044B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012Comparing movements or motion sequences with a registered reference
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0037Tracking a path or terminating locations on a target surface or at impact on the ground
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0037Tracking a path or terminating locations on a target surface or at impact on the ground
    • A63B2024/0043Systems for locating the point of impact on a specific surface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0056Tracking a path or terminating locations for statistical or strategic analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647Visualisation of executed movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065Visualisation of specific exercise parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Recording Measured Values (AREA)

Description

本開示は、情報処理装置、センサ装置、情報処理システムおよび記録媒体に関する。
これまでに、センシングや解析を利用してユーザのスポーツの上達を支援する技術が多く開発されてきている。こうした技術では、ユーザ自身または他のユーザのプレーを統計的に分析することが一つの手法として用いられる。プレーの統計的な分析においては、例えば球技の場合、プレーにおけるモーションパターンの判定が有用でありうる。モーションパターンは、スポーツのプレーにおいて見られる特徴的なモーションをパターン化したものである。例えばテニスの場合であれば、サーブ、スマッシュ、フォアハンドストローク、バックハンドストローク、・・・といったようなプレーについて、モーションパターンが設定されうる。プレーにおいて出現したモーションパターンを判定することによって、例えばユーザがどのようなプレーをしたかを定量的に表現することが容易になる。
このようなスポーツにおけるモーションパターンの判定は、これまでは例えばコーチやスコアラー、マネージャといった、ユーザのプレーの支援者の手によって実施されてきた。支援者は、ユーザのプレーを目視で確認し、特徴的なモーションが現れた場合にはそれを記録する。こうした人力によるモーションの分析には多くの労力がかかり、またスポーツをプレーするユーザが単独で実施することは困難である。
そこで、ユーザやユーザが使用する用具に加速度センサやジャイロセンサなどを搭載したセンサ装置を装着し、センサの出力データを解析することによってモーションを自動的に分析する技術が提案されている。例えば、特許文献1〜3には、モーションセンサの出力データに基づいてスイングの特徴情報を抽出する技術などが記載されている。
特開2012−157644号公報 特開2012−130415号公報 特開2012−120579号公報
例えば上記の特許文献1に記載の技術では、スイングの特徴情報を抽出するのに先立って、モーションセンサの出力データに現れるスイングの区切りのタイミングを探索する処理が実行される。しかしながら、この場合、モーションセンサの出力データの中から特徴的なモーションに対応する区間を探索する処理が繰り返されることになるため、処理負荷が高い。また、区間の設定が安定しないため、モーションパターンの判定の精度も高くない。特許文献2,3も、この点に関する改善策を提示してはいない。
そこで、本開示では、センサ装置の物理的挙動を検出するセンサの検出値を解析してユーザのモーションパターンを判定するにあたり、解析が実施される区間を適切に設定することによって判定の精度を向上させることを可能にする、新規かつ改良された情報処理装置、センサ装置、情報処理システムおよび記録媒体を提案する。
本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データと、上記第1のセンサよりも高い分解能で上記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データとを取得するセンサデータ取得部と、上記第1の時系列データに基づいて、上記第2の時系列データにおいて上記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する区間設定部とを備える情報処理装置が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置であって、上記センサ装置に伝達された衝撃を検出する第1のセンサと、上記第1のセンサよりも高い分解能で上記センサ装置の物理的挙動を検出する第2のセンサと、上記第1のセンサの検出値を含む第1の時系列データ、および上記第2のセンサの検出値を含む第2の時系列データに基づいて、上記ユーザのモーションパターンを判定するための解析に供される解析対象データを出力するセンサデータ前処理部とを備えるセンサ装置が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置と、上記センサ装置から送信された解析対象データを解析することによって上記ユーザのモーションパターンを判定する解析装置とを含み、上記センサ装置は、上記センサ装置に伝達された衝撃を検出する第1のセンサと、上記第1のセンサよりも高い分解能で上記センサ装置の物理的挙動を検出する第2のセンサと、上記第1のセンサの検出値を含む第1の時系列データ、および上記第2のセンサの検出値を含む第2の時系列データに基づいて上記解析対象データを生成するセンサデータ前処理部と、上記解析対象データを上記解析装置に送信する通信部とを有し、上記解析装置は、上記解析対象データを受信する通信部と、上記解析対象データに基づいて上記ユーザのモーションパターンを判定する解析部とを有し、上記センサ装置または上記解析装置のいずれかが、上記解析対象データに含まれる上記第1の時系列データに基づいて、上記第2の時系列データにおける解析対象区間を設定する区間設定部を有し、上記解析部は、上記解析対象区間における上記第2の時系列データに基づいて上記ユーザのモーションパターンを判定する情報処理システムが提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データと、上記第1のセンサよりも高い分解能で上記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データとを取得する機能と、上記第1の時系列データに基づいて、上記第2の時系列データにおいて上記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する機能とをコンピュータに実現させるためのプログラムが記録された記録媒体が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に含まれるコンピュータに、上記センサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データ、および上記第1のセンサよりも高い分解能で上記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データに基づいて、上記ユーザのモーションパターンを判定するための解析に供される解析対象データを出力する機能を実現させるためのプログラムが記録された記録媒体が提供される。
モーションパターンの判定の対象になる特徴的なモーションの多くは、ユーザまたはユーザが使用するスポーツ用具に発生する衝撃を伴う。センサ装置に伝達されたこのような衝撃の検出結果に基づいて解析が実施される区間を設定することで、特徴的なモーションが発生した区間を適切に抽出して解析を実施することができ、モーションパターンの判定の精度が向上しうる。
以上説明したように本開示によれば、センサ装置の物理的挙動を検出するセンサの検出値を解析してユーザのモーションパターンを判定するにあたり、解析が実施される区間を適切に設定することによって判定の精度を向上させることができる。
本開示の一実施形態に係る情報処理システムの概要を示す図である。 本開示の一実施形態におけるモーションパターン判定処理の概要について説明するための図である。 本開示の一実施形態に係る情報処理システムの概略的な機能構成を示すブロック図である。 本開示の一実施形態におけるショックセンサおよびモーションセンサについて説明するための図である。 本開示の一実施形態における処理の例を示すフローチャートである。 図5の例に対する参考例を示すフローチャートである。 図5の例におけるモーション区間の設定について説明するための図である。 図6の例におけるモーション区間の設定について説明するための図である。 本開示の一実施形態におけるセンサデータの具体的な例を示すグラフである。 本開示の一実施形態におけるセンサデータの具体的な例を示すグラフである。 本開示の一実施形態における第1の画面例を示す図である。 本開示の一実施形態におけるモーションパターン表示の他の例を示す図である。 本開示の一実施形態においてインパクト位置表示がモーションパターンに応じて変化する例を示す図である。 本開示の一実施形態においてインパクト位置表示を表裏反転させた場合の表示例を示す図である。 本開示の一実施形態におけるインパクト位置分布表示の例を示す図である。 本開示の一実施形態における第2の画面例を示す図である。 本開示の一実施形態における第3の画面例を示す図である。 本開示の一実施形態における第4の画面例を示す図である。 本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。 本開示の実施形態に係る解析装置のハードウェア構成の例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.機能構成
3.処理フロー
4.具体例
5.出力される情報の例
6.ハードウェア構成
7.補足
(1.概要)
まず、図1および図2を参照して、本開示の一実施形態の概要について説明する。概要の説明は、本実施形態に係る情報処理システムの概要の説明と、情報処理システムで実行されるモーション識別処理の概要の説明とを含む。
(情報処理システムの概要)
図1は、本開示の一実施形態に係る情報処理システムの概要を示す図である。図1を参照すると、情報処理システム10は、センサ装置100と、解析装置200とを含む。
センサ装置100は、スポーツをプレーするユーザに直接的または間接的に装着される。センサ装置100がユーザに直接的に装着される場合、例えば、図示しているようにセンサ装置100を腕輪状の形状にするなどして、ユーザの体に直接装着してもよい。また、センサ装置100がユーザに間接的に装着される場合、ユーザが把持または装着しているスポーツ用具(例えばテニスの場合、ラケット、ウェア、シューズ、リストバンドなど)にセンサ装置100を巻きつけたり、縫い付けたり、貼り付けたり、また予め用具に内蔵したりしてもよい。
ここで、センサ装置100は、センサ装置100自身の物理的挙動(位置、速度、加速度など)を示すセンサ情報を取得する。このセンサ情報には、ユーザや用具の物理的挙動が反映されうる。本実施形態において、センサ装置100は、こうしたセンサ情報を取得するために、少なくとも2つのセンサを有する。第1のセンサは、センサ装置100がユーザまたは用具から伝達された衝撃を検出する。第1のセンサは、例えばショックセンサとして用いられる1軸の加速度センサを含みうる。一方、第2のセンサは、センサ装置100の挙動を第1のセンサよりも高い分解能で検出する。第2のセンサは、例えばモーションセンサとして用いられる3軸の加速度センサや、ジャイロセンサ、地磁気センサなどを含みうる。センサ装置100は、第1および第2のセンサ以外にも、例えば加速度、角速度、振動、温度、時刻、または位置(例えば緯度経度によって表される地表上の位置、またはコートなどに対する相対的な位置)などを検出する1または複数のセンサを有してもよい。センサ装置100は、これらのセンサから得られる時系列データを解析装置200に送信する。
解析装置200は、センサ装置100から送信された時系列データを解析することによって、少なくともユーザのモーションパターンを判定する。解析装置200は、ネットワーク上のサーバとして図示されているが、例えばCPU(Central Processing Unit)などのプロセッサを用いた演算によってデータを解析する機能を有する情報処理装置であればどのようなものであってもよい。他の例において、解析装置200は、例えばスマートフォン、タブレット端末、または各種のPC(Personal Computer)のような端末装置でありうる。解析装置200が端末装置として実現される場合、解析装置200は、判定されたユーザのモーションパターンを示す情報を出力してもよい。あるいは、解析装置200がサーバとして実現される場合、解析装置200は、判定されたユーザのモーションパターンを示す情報を、例えばユーザが自宅で使用する端末装置などのクライアント300に送信してもよい。さらに、解析装置200は、モーションパターンの判定結果に基づいて、例えばユーザがどのモーションを何回実行したかといったような統計情報を出力してもよいし、それぞれのモーションにおけるユーザの傾向(例えば球技の場合、用具にボールが当たる位置や、ボールに与えられたパワーまたは回転など)を示す情報を出力してもよい。
なお、図示された例のように解析装置200がサーバとして実現される場合、サーバの機能は単一のサーバ装置によって実現されてもよく、ネットワークを介して接続された複数のサーバ装置に分散して実現されてもよい。また、解析装置200の機能は、ネットワークを介して接続されたサーバと端末装置とに分散して実現されてもよい。
(モーションパターン判定処理の概要)
図2は、本開示の一実施形態におけるモーションパターン判定処理の概要について説明するための図である。図2に示されるように、モーションパターン判定処理では、センサ装置100が有する2つのセンサから出力される時系列データ1001,1003が入力として用いられる。
図示された例において、時系列データ1001は、第1の加速度センサ(1軸)から出力されるデータを含む。第1の加速度センサは、いわゆるショックセンサであり、ダイナミックレンジが広く、衝撃によって発生する比較的高い周波数の加速度を検出可能である一方で、加速度の分解能はあまり高くない。一方、時系列データ1003は、第2の加速度センサ(3軸)から出力されるデータを含む。第2の加速度センサは、いわゆるモーションセンサであり、重力のような定常成分を含む比較的低い周波数の加速度を検出可能であり、加速度の分解能が高い一方で、ダイナミックレンジは比較的狭い(衝撃によって発生する加速度は検出可能範囲を超える可能性がある)。
モーションパターンの判定のための識別演算には、基本的に、分解能が高い時系列データ1003が用いられる。それに加えて、本実施形態では、前処理として時系列データ1001を用いたモーション区間設定処理(インパクト検出処理)が実行される。この処理では、時系列データ1001に基づいて、時系列データ1003における解析対象区間が設定される。つまり、この前処理によって、時系列データ1003における識別演算の対象が、時系列データ1001に基づいて設定された解析対象区間に限られる。
多くのスポーツにおいて、モーションパターン判定の対象になるような特徴的なモーションは、例えば用具またはユーザの体でボールを打つことであったり、ユーザが地面を蹴ったり、他のユーザにぶつかったりすることでありうる。こうしたモーションはユーザまたは用具に加えられる衝撃とそれによって生じる振動を伴うため、ショックセンサの時系列データ1001において振動が検出された点の前後をモーションに対応する区間(モーション区間)として特定することが可能である。
モーション区間設定処理の後、設定された解析対象区間において、時系列データ1003の特徴が抽出される。ここでは、例えば時系列データ1003について信号処理を実行することによって、信号波形の周波数特性や、平均、分散、最小値および最大値といったような時間波形の統計的な特徴が抽出される。例として図10にフォアハンドストロークとサーブ時のセンサ出力波形を示す。両者を比較すると、特にω−X,ω−Zなどの時間波形の振幅に異なる特徴が現れている。なお、特徴の抽出に先立って、信号波形の欠落部分を補間されてもよい。また、抽出された特徴には、正規化などの統計的な処理が施されてもよい。
続いて、抽出された特徴に対して識別演算が実行される。識別演算は、予め用意された識別辞書(スポーツモデル)を参照して、抽出された特徴に対応するモーションパターンを特定することで、モーションを識別するための演算である。識別辞書は、例えばスポーツの種目ごとに生成され、ユーザ設定によって種目が切り替えられてもよい。識別演算には、例えばニューラルネットワークやSVM(Support Vector Machine)、k近傍識別器、ベイズ分類など、機械学習によってデータから識別パラメータを構成する非ルールベースの手法が用いられうる。
なお、時系列データ1003と同様に、時系列データ1001についても特徴が抽出され、その特徴が識別演算に利用されてもよい。つまり、ショックセンサの時系列データ1001は、モーション区間の設定に利用されるだけではなく、モーションセンサの時系列データ1003とともに識別演算に利用されてもよい。
識別演算の結果、モーションパターンの判定に成功した場合には、モーションパターン情報2001が出力される。モーションパターン情報2001は、例えば図示されているようにモーションパターン(図示された例ではテニスのショットタイプ=フォアハンドストロークとして示されている)をユーザに通知する情報でありえ、上述のように統計情報やユーザの傾向を示す情報などをさらに含みうる。
モーションパターンの定義の一例を以下の表1に示す。このように、モーションパターンはスポーツの種目ごとに定義されてもよく、また種類ごとに定義されてもよい。上記の識別辞書は、こうした種目や種類ごとに生成され、ユーザ設定によって種目や種類が切り替えられてもよい。なお、ここで示されたモーションパターンは一例であり、他にもさまざまなスポーツで、さまざまな種類のモーションパターンが定義されうる。
Figure 0005803962
(2.機能構成)
次に、図3および図4を参照して、本開示の一実施形態に係る情報処理システムに含まれる装置の機能構成について説明する。
図3は、本開示の一実施形態に係る情報処理システムの概略的な機能構成を示すブロック図である。以下、図3を参照して、それぞれの装置の機能構成について説明する。なお、これらの機能を実現するためのハードウェア構成については後述する。
(センサ装置)
センサ装置100は、センサ101と、前処理部107と、通信部109とを含む。
センサ101は、ショックセンサ103とモーションセンサ105とを含む。ショックセンサ103は、センサ装置100がユーザまたは用具から伝達された衝撃を検出する第1のセンサであり、本実施形態では1軸の加速度センサを含みうる。モーションセンサ105は、センサ装置100の挙動を第1のセンサよりも高い分解能で検出する第2のセンサであり、本実施形態では3軸の加速度センサ、ジャイロセンサ、または地磁気センサなどを含みうる。センサ101は、ショックセンサ103およびモーションセンサ105に加えて、例えば温度センサ、時計、またはGPS(Global Positioning System)受信機などの他のセンサを含んでもよい。
ここで、図4を参照して、センサ101に含まれるショックセンサ103とモーションセンサ105との相違についてさらに説明する。図4は、本開示の一実施形態におけるショックセンサおよびモーションセンサについて説明するための図である。なお、以下の説明では、ショックセンサ103とモーションセンサ105とがいずれも加速度センサである場合について説明するが、それ以外の種類のセンサの場合も同様でありうる。
図4を参照すると、ショックセンサ103は、加速度の値について、モーションセンサ105よりも大きなダイナミックレンジを有する。例えば、ショックセンサ103は、ユーザまたは用具に加えられた衝撃によって瞬間的に発生する大きな加速度を検出することができる。その一方で、ショックセンサ103の加速度分解能はモーションセンサ105よりも低い。また、ショックセンサ103は低い周波数の加速度変化を検出しない。例えば、ユーザがセンサ装置100の装着された体の部分や用具をスイングしたことによって生じる加速度変化は、周波数が低いためにショックセンサ103によっては検出されない。また、地球の重力による加速度も、振動しない定常成分であるためにショックセンサ103には検出されない。逆に、周波数が高い加速度変化については、ショックセンサ103はモーションセンサ105よりも高い周波数まで検出可能であり、例えばユーザや用具の固有振動数の周波数成分を検出することも可能でありうる。
他方、モーションセンサ105は、加速度の値について、ショックセンサ103に比べるとダイナミックレンジが小さい。従って、例えばユーザまたは用具に加えられた衝撃によって瞬間的に発生する大きな加速度は、モーションセンサ105の検出可能範囲を超える可能性がある。また、モーションセンサ105は、加速度変化の周波数についても、ショックセンサ103よりも低い周波数までしか検出しない。その一方で、モーションセンサ105の加速度分解能はショックセンサ103よりも高く、モーションパターン判定に十分な精度で加速度データを出力することができる。また、モーションセンサ105は、ショックセンサ103が検出しない低い周波数の加速度変化を検出することができる。例えば、モーションセンサ105は、ユーザがセンサ装置100の装着された体の部分や用具をスイングしたことによって生じる加速度変化を検出可能である。また、モーションセンサ105は、地球の重力による加速度をも検出することができる。従って、例えば3軸の加速度センサをモーションセンサ105として用いることによって、重力の方向を基準にして発生した加速度の向きを特定することができる。
ショックセンサ103とモーションセンサ105とは、例えば同様の原理で動作する加速度センサの感度や軸の数を変更することによって実現することができる。これらのセンサは、例えばピエゾ抵抗型または静電容量型などの加速度センサを用いて実現されうる。ショックセンサ103として用いられる加速度センサの感度は、モーションセンサ105として用いられる加速度センサの感度よりも低く設定されうる。もちろん、ショックセンサ103とモーションセンサ105とを異なる原理で動作する加速度センサによって実現してもよい。また、上述のように、モーションセンサ105は、ジャイロセンサまたは地磁気センサなどをさらに含みうる。
再び図3を参照して、前処理部107は、センサ101によって検出されたデータの前処理を実行する。前処理は、例えば、検出されたデータの増幅や、閾値以下のデータのフィルタリングなどを含みうる。このような処理を経て、前処理部107は、ショックセンサ103の検出値を含む第1の時系列データと、モーションセンサ105の検出値を含む第2の時系列データとに基づいて、解析装置200に送信するための解析対象データを生成する。
本実施形態では、センサ装置100の前処理部107、または解析装置200の前処理部203のいずれかが、区間設定部として機能する。区間設定部は、ショックセンサ103の検出値を含む第1の時系列データに基づいて、モーションセンサ105の検出値を含む第2の時系列データにおける解析対象区間を設定する。この処理は、上述したモーション区間設定の処理にあたる(解析対象区間がモーション区間にあたる)。
ここで、前処理部107が区間設定部として機能する場合、前処理部107は、設定された解析対象区間での第2の時系列データだけを、解析対象データとして通信部109に提供してもよい。通信部109による送信の対象が解析対象区間のデータに限定されれば、通信量の削減によって電力消費の削減効果が期待できる。あるいは、前処理部107は、検出された解析対象区間を時系列データのタイムスタンプなどで示す別途のデータを生成し、これを第2の時系列データとともに解析対象データとして通信部109に提供してもよい。
一方、前処理部107ではなく解析装置200の前処理部203が区間設定部として機能する場合、前処理部107は、上記のような前処理を経た第1の時系列データと第2の時系列データとを、例えばタイムスタンプなどを用いて互いに関連付けたものを、解析対象データとして通信部109に提供する。
通信部109は、前処理部107から提供された解析対象データを解析装置200に送信する。解析対象データの送信には、例えば無線通信が用いられてもよい。通信方式は特に限定されないが、例えば解析装置200がネットワーク上のサーバである場合には、インターネットなどが用いられうる。また、解析装置200がセンサ装置100の近くにある場合には、例えばBluetooth(登録商標)や無線LAN(Local Area Network)などが用いられてもよい。なお、解析対象データは必ずしもリアルタイムで解析装置200に送信されなくてもよいため、例えばプレー終了後に有線通信によって解析装置200に送信されてもよい。
(解析装置)
解析装置200は、通信部201と、前処理部203と、解析部205とを含む。解析装置200は、さらに、記憶部209と、出力部211とを含んでもよい。なお、これらの機能を実現するためのハードウェア構成については後述する。
通信部201は、センサ装置100から送信された解析対象データを受信する。センサ装置100について説明したように、解析対象データの送信には、例えばインターネットなどのネットワーク通信、もしくはBluetooth(登録商標)や無線LANなどの無線通信、または有線通信が用いられうる。通信部201は、受信したセンサ情報を前処理部203に提供する。後述するように前処理部203が設けられない場合には、センサ情報は直接的に解析部205に提供されてもよい。
前処理部203は、通信部201が受信したデータの前処理を実行する。前処理部203は、例えば上述した区間設定部として機能しうる。前処理部203が区間設定部として機能する場合、前処理部203は、通信部201が受信した第1の時系列データ(センサ装置100においてショックセンサ103から得られたデータ)に基づいて、同じく通信部201が受信した第2の時系列データ(センサ装置100においてモーションセンサ105から得られたデータ)における解析対象区間(モーション区間)を設定する。前処理部203は、設定された解析対象区間での第2の時系列データだけを解析部205に提供してもよい。あるいは、前処理部203は、設定された解析対象区間を時系列データのタイムスタンプなどで示す別途のデータを生成し、これを第2の時系列データとともに解析部205に提供してもよい。
なお、センサ装置100の前処理部107が区間設定部として機能する場合、解析装置200での前処理は必要なくなり、前処理部203が設けられない場合もありうる。あるいは、前処理部203は、区間設定部として機能するのに加えて、センサ装置100の前処理部107に代わってデータの増幅や閾値以下のデータのフィルタリングなどの処理を実行してもよい。
解析部205は、区間設定部(前処理部107または前処理部203)によって設定された解析対象区間における第2の時系列データ(センサ装置100においてモーションセンサ105から得られたデータ)に基づいて解析を実行し、ユーザのモーションパターンを判定するモーションパターン判定部207を含む。モーションパターン判定部207は、第2の時系列データに加えて、第1の時系列データ(センサ装置100においてショックセンサ103から得られたデータ)をモーションパターンの判定に利用してもよい。なお、解析部205は、モーション判定部207の他にも、センサ装置100から提供されたデータに基づいてユーザのプレーを解析する機能を含んでもよい。また、解析部205は、解析結果を、記憶部209に格納してもよい。
出力部211は、必要に応じて設けられる。図1に示した例では、解析装置200がサーバとして実現されるため、ユーザのモーションパターンを示す情報を含む解析部205の解析結果は、例えば通信部201から端末装置に送信され、端末装置において出力される。一方、解析装置200の少なくとも一部の機能が例えばスマートフォン、タブレット端末、または各種のPCのような端末装置によって実現されるような場合には、解析装置200には解析結果を出力するための出力部211が設けられ、解析結果が画像や音声として出力されうる。解析結果が画像として表示される場合、画像にはユーザのモーションパターンを示す画像またはテキストが含まれてもよい。なお、出力部211から出力される情報の例については後述する。
(3.処理フロー)
次に、図5〜図8を参照して、本開示の一実施形態における処理の例について、参考例と比較しながら説明する。
図5は、本開示の一実施形態における処理の例を示すフローチャートである。図5を参照すると、解析装置200の前処理部203(または、センサ装置100の前処理部107。以下では、代表として前処理部203のみ記載する場合があるが、前処理部107と読み替えることも可能である)は、第1の時系列データからショックセンサ103の検出値を取得する(ステップS101)。
次に、前処理部203は、ステップS101で取得された検出値が所定の閾値を超えるか否かを判定する(ステップS103)。ここで検出値が閾値を超えていた場合(YES)、前処理部203はこの時点をインパクト点であると推定し(ステップS105)、以下のモーション識別の処理に移行する。一方、ステップS103において検出値が閾値を超えていなかった場合(NO)、前処理部203はそれ以上のモーション識別の処理を実行することなく、次のタイムウインドウでショックセンサ103の検出値を取得する(ステップS101)。
ステップS105でインパクト点が推定された場合、前処理部203は、インパクト点を中心にしてモーション区間を設定する。モーション区間のインパクト点前後の長さは、例えば、識別されうる各モーションパターンのうち、最も長いものを基準にして設定されうる。例えば、テニスの例で、インパクト点からみて最も早くから特徴的なモーションが現れるモーションパターンがバックハンドボレーであれば、バックハンドボレーの特徴的なモーションの始点(例えばインパクト点の0.5秒前、など)を始点としてモーション区間が設定される。同様に、インパクト点から見てもっと遅くまで特徴的なモーションが続くモーションパターンがフォアハンドスライスであれば、フォアハンドスライスの特徴的なモーションの終点(例えばインパクト点の1秒後、など)を終点としてモーション区間が設定される。つまり、モーション区間の長さは、各モーションパターンの特徴的なモーションが含まれるように設定される。
次に、解析部205が、設定されたモーション区間から特徴量を抽出する(ステップS109)。なお、ステップS101〜ステップS107の処理がセンサ装置100の前処理部107で実行される場合、ステップS107とステップS109との間で、少なくともモーション区間のデータがセンサ装置100から解析装置200に送信される。ステップS109において抽出される特徴は、上述のように、信号波形の周波数特性や、平均、分散、最小値および最大値といったような時間波形の統計的な特徴でありうる。例として図10にフォアハンドストロークとサーブ時のセンサ出力波形を示す。両者を比較すると、特にω−X,ω−Zなどの時間波形の振幅に異なる特徴が現れている。また、特徴の抽出に先立って、信号波形の欠落部分が補間されてもよい。また、抽出された特徴に、正規化などの統計的な処理が施されてもよい。
次に、解析部205は、ステップS109で抽出された特徴量をもとに、識別演算を実行する(ステップS111)。識別演算は、上述のように、予め用意された識別辞書を参照して、例えばニューラルネットワークやSVM、k近傍識別器、ベイズ分類など、機械学習によってデータから識別パラメータを構成する非ルールベースの手法を用いて実行されうる。その後、解析部205は、識別演算の結果を出力する(ステップS113)。識別演算の結果は、記憶部209に格納されうる。その後、解析結果は、通信部を介してユーザが使用する端末装置に送信されてもよく、解析装置200自身の出力部211から出力されてもよい。
なお、本実施形態の変形例において、上記のステップS103およびステップS105のインパクト点の推定は、別のステップによって代替されてもよい。例えば、ショックセンサの検出値の時系列データをフーリエ変換し、センサ装置100が装着されたユーザまたは用具の固有振動数を含む周波数特性が検出された場合に、その区間にインパクト点が存在すると推定し、この区間を中心にしてモーション区間を設定してもよい。
(参考例)
図6は、図5の例に対する参考例を示すフローチャートである。図6に示された例では、ショックセンサ103の検出値が処理に用いられず(センサ装置100はショックセンサ103を有さない)、前処理部203(または前処理部107)におけるモーション区間の設定が実行されない。
図示された例では、解析部が、モーションセンサの検出値を取得する(ステップS201)。なお、この参考例では、モーションセンサの検出値が唯一の時系列データとして提供されている。次に、解析部は、モーション区間を設定する(ステップS203)。ここで、図5の例とは異なり、ショックセンサの検出値が提供されていないため、解析部は、手がかりなしでモーション区間を設定する。例えば、解析部は、モーションセンサから得られる時系列データの始点から順にモーション区間を設定する。モーション区間の長さについては、例えば図5の例と同様に設定されうる。
次に、図5の例と同様に、解析部はモーション区間から特徴量を抽出し(ステップS109)、さらに識別演算を実行する(ステップS111)。ところが、ステップS203でのモーション区間が手がかりなしで設定されているため、ステップS111の識別演算によってモーションパターンが識別されない場合がある。むしろ、モーション区間が実際の特徴的なモーションに対応しておらず、識別演算ではモーションパターンが識別不能である場合の方が多い。
そこで、解析部は、識別演算においてモーションが識別されたか否かを判定する(ステップS205)。モーションが識別された場合(YES)、解析部は図5の例と同様に識別演算の結果を出力する(ステップS113)。一方、ステップS205においてモーションが識別されなかった場合(NO)、解析部はモーション区間を再設定する(ステップS207)。モーション区間は、例えば、ステップS203(または前回のステップS207)で設定された区間を、所定の時間だけオフセットさせることによって再設定される。再設定されたモーション区間について、再びステップS109およびステップS111の解析処理が実行される。
図7および図8は、上記の図5および図6の例におけるモーション区間の設定について説明するための図である。以下、これらの図を参照して、参考例に対する本実施形態の処理の利点について説明する。
図7に示されるように、本実施形態では、モーションセンサの時系列データ1003におけるモーション区間1005が、ショックセンサの時系列データ1001に基づいて設定される。従って、例えば用具またはユーザの体でボールを打ったり、ユーザが地面を蹴ったり他のユーザにぶつかったりといった特徴的なモーションが発生した可能性が高い区間を最初からモーション区間1005に設定することができる。
その一方で、図8に示される参考例では、モーションセンサの時系列データ1003においてモーション区間1005を設定するための手がかりがないため、例えば図6にステップS203として示したようにいわば当て推量で設定されたモーション区間を、ステップS207として示したように再設定することを繰り返して適切なモーション区間に行き当たる。図8に示された例では、モーション区間1005a,1005b,1005cが順次設定されている。いずれかのモーション区間において特徴量が「モーションらしい」特徴を示し、モーションが識別された場合に、そのモーション区間が適切なモーション区間であったことが事後的に判明する。
上記の図7および図8のいずれの例でも、モーションパターンの判定自体は可能でありうる。しかしながら、図8に示した参考例では、統計的に考えると、1つのモーション区間を適切に設定するために、当て推量で設定されたモーション区間での識別演算を何度も繰り返す必要がある。従って、モーションパターンを判定するための計算コストが高くなってしまう。また、計算コストを抑制するためにモーション区間を更新する際のオフセット幅(図8の例に示す区間1005a→区間1005bおよび区間1005b→区間1005cのオフセット幅)を大きくすると、例えば設定されたモーション区間が適切なモーション区間を時間的に通り過ぎてしまう可能性があり、結果としてモーションパターン判定の精度が低下してしまう。
一方、図7に示した本実施形態の例では、最初から適切なモーション区間を設定することが可能であるために、モーションパターン判定の精度を低下させることなく、計算コストを抑制することができる。ただし、本実施形態の例では、図7に示したようにショックセンサの時系列データ1003に基づいてモーション区間が設定されるため、ショックセンサに検出される衝撃を伴わないモーション、例えば空スイングには適用することが困難である。このようなモーションを識別する必要がある場合には、図8に示した参考例のような処理が用いられうる。
なお、上述のように、モーションセンサは加速度の値についてのダイナミックレンジが比較的小さいため、ユーザまたは用具に衝撃が加えられた場合は、発生する加速度がダイナミックレンジを超え、正確に検出されないことが多い。それゆえ、同じセンサをショックセンサおよびモーションセンサの両方として用いることは難しい。従って、本実施形態では、別途のセンサであるショックセンサを用いて衝撃を検出し、検出された衝撃をモーション区間の設定に利用している。スポーツの性質上、またはセンサの性能上、衝撃によって発生する加速度がモーションセンサのダイナミックレンジ内であるような場合には、同じセンサをショックセンサおよびモーションセンサの両方として用いてもよい。
(4.具体例)
次に、図9および図10を参照して、本開示の一実施形態におけるセンサデータの具体的な例について説明する。
図9は、本開示の一実施形態におけるセンサデータの具体的な例を示すグラフである。図9では、ショックセンサの加速度データ(SHOCK)、モーションセンサである3軸加速度センサの加速度データ(a−X,a−Y,a−Z)、および同じくモーションセンサである3軸ジャイロセンサの角速度データ(ω−X,ω−Y,ω−Z)が、それぞれ時系列で示されている。
上述のように、本実施形態では、ショックセンサの時系列データに基づいてモーションセンサの時系列データにモーション区間1005が設定される。この例において、ショックセンサはユーザまたは用具に加えられた衝撃によって発生する周波数の高い加速度を検出する一方で、それ以外の低い周波数や定常成分の加速度を検出しない。従って、例えば、ショックセンサの時系列データに何らかの変化が見られた際には、そこが衝撃の発生時点、すなわちインパクト点であるとみなすことが可能である。図示された例では、ショックセンサの時系列データに変化が見られた点の前後が自動的にモーション区間1005に設定されている。
一方、モーション区間1005以外の区間においても、モーションセンサの加速度データや角速度データには変動が見られる。例えば、図示された区間1007a,1007b,1007cは、モーション区間ではないものの、加速度または角速度にモーション区間と同程度の振幅の変化が現れている。例えば上記の図6および図8に示したような、ショックセンサのデータを用いない参考例のモーションパターン判定処理では、これらの区間が特徴的なモーションが発生したか否かが疑わしい区間となりうる。つまり、実際に特徴的なモーションが発生したのはモーション区間1005であるにも関わらず、区間1007でもモーションが発生したと誤認識される可能性がある。本実施形態の処理では、特徴的なモーションが衝撃を伴うという条件のもとで、こうした疑わしい区間を識別演算の対象から除外することができ、計算コストを抑制するとともにモーションパターン判定の精度を向上させることができる。
図10も、本開示の一実施形態におけるセンサデータの具体的な例を示すグラフである。図10では、図9と同様に、ショックセンサの加速度データ(SHOCK)、モーションセンサである3軸加速度センサの加速度データ(a−X,a−Y,a−Z)、および同じくモーションセンサである3軸ジャイロセンサの角速度データ(ω−X,ω−Y,ω−Z)が、それぞれ時系列で示されている。
図10では、モーションパターンに対応するセンサデータの例として(A)テニスのフォアハンドストロークの場合、および(B)テニスのサーブの場合が示されている。いずれの例でも、モーションセンサの時系列データに特徴的な波形が現れているが、ショックセンサの時系列データに基づいて設定されたモーション区間1005がこの特徴的な波形をカバーしている。この例からも、本実施形態におけるショックセンサのデータに基づくモーション区間の設定が、モーションパターン判定の精度向上と計算コストの抑制に有効であることがわかる。
(5.出力される情報の例)
次に、図11〜図18を参照して、本開示の一実施形態において出力される情報の例について説明する。本実施形態において出力される情報は、例えば解析装置200の解析部205の解析結果であるモーションパターンを示す情報を含みうるが、その他にもさまざまな情報が付加されうる。こうした付加的な情報は、例えば公知の技術を適宜利用することによって生成可能であるため、以下の説明では出力される情報について説明することとし、その生成方法についての詳細な説明は省略する。
なお、以下の説明では、主にディスプレイに表示される画面について説明するが、本開示の実施形態において出力される情報は画面に表示される画像やテキストには限られない。例えば、情報はスピーカから音声として出力されてもよく、ランプなどによって画像以外の視覚的な情報として出力されてもよく、あるいはバイブレーションによって出力されてもよい。上述のように、情報は、例えば解析装置200が端末装置である場合には解析装置200自身の出力部から出力されてもよいし、解析装置200がネットワーク上のサーバである場合にはネットワークでサーバに接続されたクライアントの端末装置の出力部から出力されてもよい。
図11は、本開示の一実施形態における第1の画面例を示す図である。図11を参照すると、画面2100は、モーションパターン表示2101と、波形表示2103と、インパクト位置表示2105と、ショットバリュー表示2107とを含む。
モーションパターン表示2101は、解析装置200において判定されたモーションパターン(この画面ではショットタイプと表現されている)を表示する。図示された例では、判定されたモーションパターンが「フォアハンドストローク」であることが表示されている。モーションパターン表示2101は、例えばそのモーションを表すアイコン2102aとテキスト2102bとを含んでもよい。
図12は、モーションパターン表示2101の他の例を示す。図12には、「スマッシュ」のモーションパターン表示2101aと、「バックハンドストローク」のモーションパターン表示2101bと、「フォアハンドストローク」のモーションパターン表示2101cが示されている。もちろん、モーションパターン表示2101はこれらの例には限られない。例えば上記の表1に例示されるように、種目「テニス」の中でも他に数多くのモーションパターンが定義され、さらには他の種目「野球」「サッカー」などについても同様にモーションパターンが定義されうる。モーションパターン表示2101は、このようにして定義されたモーションパターンのそれぞれについて設定されうる。
再び図11を参照して、波形表示2103は、例えばセンサ装置100のセンサ101で検出された時系列データの波形を表示する。波形表示2103は、例えば視覚的なエフェクトの1つとして表示されてもよい。図示された例では、波形表示2103としてショックセンサによる時系列データの波形が表示されているが、同様にしてモーションセンサによる時系列データの波形が表示されてもよく、またこれらが両方とも表示されてもよい。
インパクト位置表示2105は、モーションパターン判定とは別途の処理によって特定された、ラケット上でボールが当たった位置(インパクト位置)を表示している。図示された例のように、モーションパターンがボールを打つ動作(ショット)である場合、インパクト位置表示2105が表示されることによって、ユーザはインパクト位置を知り、例えばそれが意図通りであったか否か、模範的な位置から外れているか否かといった情報を得ることができる。
図13は、インパクト位置表示2105がモーションパターンに応じて変化する例を示す。図13には、モーションパターンが「スマッシュ」の場合のインパクト位置表示2105aと、モーションパターンが「バックハンドストローク」の場合のインパクト位置表示2105bと、モーションパターンが「フォアハンドストローク」の場合のインパクト位置表示2105cとが示されている。この例のように、インパクト位置表示2105に表示されるラケットの向き(面方向の回転角度)は、モーションパターンに応じて異なってもよい。それぞれのモーションパターンの場合の実際のラケットの向きに近い向きでインパクト位置表示2105のラケットを表示させることによって、ユーザはボールのインパクト位置をより直感的に把握することができる。また、スライダー2106を操作することによって、ユーザがラケットの向きを自由に変更することが可能であってもよい。
図14は、インパクト位置表示2105に含まれる「Turn Over」とラベルされたチェックボックスをチェックした場合の表示例を示す。この場合、インパクト位置表示2105では、ラケットの裏表が反転して表示される。図示された例では、モーションパターンが「スマッシュ」の場合のインパクト位置表示2105dと、モーションパターンが「バックハンドストローク」の場合のインパクト位置表示2105eと、モーションパターンが「フォアハンドストローク」の場合のインパクト位置表示2105fとが示されている。いずれの表示でも、図13の示されたそれぞれのインパクト位置表示2105と比較して、ラケットがシャフトを軸にして180°回転することによって裏表が逆になっている。
再び図11を参照して、ショットバリュー表示2107は、モーションパターン判定とは別途の処理によって特定された、モーションパターン(ここではショット)に関する様々な指標値を表示している。図示された例では、スウィートスポット命中率、ショットパワー、スピンタイプ、およびスイングスピードが表示されているが、他の指標値が表示されてもよい。
図15は、他の表示例として、インパクト位置分布表示2111の例を示す図である。インパクト位置分布表示2111は、ショットのモーションパターン(上記の例ではスマッシュ、バックハンドストローク、フォアハンドストローク、など)とともに特定されたインパクト位置の統計的な分布を示している。集計の対象は、ショットタイプ選択2112で変更可能でありうる。例えば、インパクト位置分布表示2111aでは、ショットタイプ選択2112において「すべて」が選択されており、すべてのショットタイプについて集計されたインパクト位置の分布が表示されている。なお、インパクト位置の分布は、例えば図示されているように頻度ごとの色分けによって表示されてもよい。
一方、インパクト位置分布表示2111bでは、ショットタイプ選択2112において「フォアハンドストローク」が選択されており、ショットタイプ(モーションパターンとして判定されうる)が「フォアハンドストローク」である場合について集計されたインパクト位置の分布が表示されている。また、インパクト位置分布表示2111cでは、ショットタイプ選択2112において「バックハンドストローク」が選択されており、ショットタイプが「バックハンドストローク」である場合について集計されたインパクト位置の分布が表示されている。このような表示によって、ユーザは、ショットタイプごとのインパクト位置の分布を直感的に認識することができ、例えばインパクト位置が意図した位置や模範的な位置からずれる傾向が示される場合には、インパクト位置の修正を意識しながらプレーする、といったようなことができる。
図16は、本開示の一実施形態における第2の画面例を示す図である。図16を参照すると、画面2200は、ショットタイプ割合表示2201を含む。本実施形態では、モーションパターン判定によってショットタイプ(スイングの種類)が判定できるため、単純なインパクトカウンタ(ショットまたはスイングの回数をカウントする)だけではなく、ショットまたはスイングの内訳をショットタイプ割合表示2201によって表示することができる。スライダー2203を操作することで、ショットタイプ割合表示2201の対象期間を日、週、月、年、過去すべてなどの中から選択可能であってもよい。
図17は、本開示の一実施形態における第3の画面例を示す図である。図17を参照すると、画面2300は、スコアチャート表示2301を含む。本実施形態ではモーションパターン判定によってショットタイプ(スイングの種類)を判定可能であり、また、図11の例などに示したようにショットごとにインパクト位置などの情報を取得することも可能でありうるため、ショットタイプごとにスコアを算出してスコアチャート表示2301として表示させることが可能である。上記の図16の例と同様に、スライダー2303を操作することで、スコアチャート表示2301の対象期間を日、週、月、年、過去すべてなどの中から選択可能であってもよい。
また、図示された例では、スコア種類選択2305も表示されている。スコア種類選択2305は、スウィートスポット、スイングスピード、混合の3つのスコア種類の中からスコアチャート表示2301として表示されるスコア種類を選択するための表示である。なお、スウィートスポットスコアは、各ショットにおいて、インパクト位置がいわゆるスウィートスポットにどの程度近かったかを示すスコアである。スコアが高いほど、ユーザはショット時により正確にスウィートスポットにボールを当てられていることになる。
図18は、本開示の一実施形態における第4の画面例を示す図である。図18を参照すると、画面2400は、スイングスピードグラフ表示2401を含む。本実施形態ではモーションパターン判定によってショットタイプ(スイングの種類)を判定可能であり、また、図11の例などに示したようにショットごとにスイングスピードの情報を取得することも可能でありうるため、ショットタイプごとにスイングスピードを集計して平均値や最大値とともにグラフとして表示させることが可能である。上記の図16および図17の例と同様に、スライダー2403を操作することで、スイングスピードグラフ表示2401の対象期間を日、週、月、年、過去すべてなどの中から選択可能であってもよい。
(6.ハードウェア構成)
次に、図19および図20を参照して、本開示の実施形態に係るセンサ装置および解析装置を実現するためのハードウェア構成の例について説明する。
(センサ装置)
図19は、本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。センサ装置800は、例えば上記の一実施形態に係るセンサ装置100を実現しうる。
センサ装置800は、CPU(Central Processing Unit)801と、ROM(Read Only Memory)802と、RAM(Random Access Memory)803と、センサ804と、ユーザインターフェース805と、外部記憶装置806と、通信装置807と、出力装置808とを含みうる。これらの要素は、例えばバス809によって相互に接続される。
CPU801、ROM802、およびRAM803は、例えば外部記憶装置806に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、CPU801、ROM802、およびRAM803によって、例えば、センサ装置800全体の制御や、上記の例でいう前処理部107の機能が実現されうる。
センサ804は、上記の実施形態の機能構成ではセンサ101に対応する。なお、センサ804は、例えば加速度センサ、角速度センサ、振動センサ、温度センサ、またはGPS受信機などを含みうる。
ユーザインターフェース805は、センサ装置800へのユーザの操作を受け付ける、例えばボタンやタッチパネルなどの入力装置でありうる。ユーザの操作は、例えば、センサ装置からのセンサ情報の送信の開始や終了を指示するものでありうる。
外部記憶装置806は、センサ装置800に関する各種の情報を記憶する。外部記憶装置806には、例えば、CPU801、ROM802、およびRAM803にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、またセンサ804によって取得されたデータが一時的にキャッシュされてもよい。センサ装置800がユーザ自身やスポーツ用具に装着されることを考慮すると、外部記憶装置806としては、例えば半導体メモリなどの衝撃に強いものを使用することが望ましい。
通信装置807は、上記の実施形態の機能構成では通信部109に対応する。通信装置807は、有線または無線の各種通信方式によって後述する解析装置900と通信する。また、通信装置807は、機器間通信によって直接的に解析装置900と通信してもよいし、インターネットなどのネットワークを介して解析装置900と通信してもよい。
出力装置808は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置808は、例えば、LCD(Liquid Crystal Display)などの表示装置、またはスピーカやヘッドホンなどの音声出力装置などでありうる。上記の実施形態では示されていないが、例えば他の実施形態において解析装置からセンサ装置に向けてモーションパターンなどの解析結果を示す情報がフィードバックされるような場合には、出力装置808から情報が出力されうる。なお、センサ装置800は、LEDランプなどの点灯部や、ユーザ自身や用具に振動を与えるバイブレータなどを出力部としてさらに有してもよい。
(解析装置)
図20は、本開示の実施形態に係る解析装置のハードウェア構成の例を示す図である。解析装置900は、例えば上記の一実施形態に係る解析装置200を実現しうる。
解析装置900は、CPU901と、ROM902と、RAM903と、ユーザインターフェース905と、外部記憶装置906と、通信装置907と、出力装置908とを含みうる。これらの要素は、例えばバス909によって相互に接続される。
CPU901、ROM902、およびRAM903は、例えば外部記憶装置906に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、CPU901、ROM902、およびRAM903によって、例えば、解析装置900全体の制御や、上記の例でいう前処理部203および解析部205の機能などが実現されうる。
ユーザインターフェース905は、解析装置900へのユーザの操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。
外部記憶装置906は、解析装置900に関する各種の情報を記憶する。外部記憶装置906には、例えば、CPU901、ROM902、およびRAM903にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、また通信装置907が受信したセンサ情報が一時的にキャッシュされてもよい。また、外部記憶装置906は上記の例でいう記憶部209として機能し、センサ情報やモーションパターン判定結果などのログを蓄積してもよい。
出力装置908は、情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置908は、例えば、LCDなどの表示装置、またはスピーカやヘッドホンなどの音声出力装置などでありうる。解析装置900がユーザによって使用される端末装置である場合、出力装置908は、解析装置900の処理により得られた結果を、テキストまたは画像として表示装置に表示させたり、音声としてスピーカなどから出力したりする。
(7.補足)
上記の実施形態では、センサ装置および解析装置(いずれも情報処理装置でありうる)を含む情報処理システムについて説明したが、本開示の実施形態は、例えば、解析装置の機能の少なくとも一部を実現するネットワーク上のサーバ(複数の装置の機能の集合として実現されるものを含む)、コンピュータにこれらの装置の機能を実現させるためのプログラム、およびかかるプログラムが記録された一時的でない有形の記録媒体などをも含む。
また、上記の実施形態では、センサ装置が単一である例について説明したが、本開示の他の実施形態において、センサ装置は複数であってもよい。例えばテニスの場合であれば、ユーザが把持しているラケットにセンサ装置を装着するとともに、ユーザが履いているシューズにも別のセンサ装置を装着し、これらのセンサ装置によって提供されたデータを組み合わせて解析することによって、ダッシュ、ジャンプ、前進しながらスイング、後退しながらスイングなど、より高度なモーションパターンの判定が可能になりうる。なお、この場合においても、各センサ装置から提供されるモーションセンサの時系列データにおけるモーション区間を特定するために、各センサ装置のショックセンサの時系列データが利用されうる。各センサ装置のモーションセンサの時系列データが同期されていれば、いずれかの装置のショックセンサの時系列データを利用して、すべてのセンサ装置のモーションセンサの時系列データにおけるモーション区間を特定してもよい。あるいは、各センサ装置がショックセンサを有する場合には、ショックセンサの時系列データを利用して、各センサ装置のモーションセンサの時系列データが同期されてもよい。
また、上記の実施形態では、単一のユーザのモーションパターンが判定される例について説明したが、本開示の他の実施形態において、モーションパターンを判定する対象になるユーザは複数であってもよい。例えば、解析装置は、複数のユーザのセンサ装置からそれぞれセンサ情報を受信して、それぞれのユーザについてモーションパターンの判定を実施してもよい。また、複数のユーザについてそれぞれ別の解析装置において判定されたモーションパターンを含む情報がネットワークを介して共有され、例えば上記の画面の例に示したような情報について各ユーザを比較するような情報が提供されてもよい。
また、上記の実施形態では、センサ装置と解析装置とが別体である例について説明したが、本開示の他の実施形態において、センサ装置と解析装置とが一体であってもよい。この場合、センサ装置は、センサからの時系列データを取得するとともに、時系列データにおいてモーション区間を設定し、モーション区間の解析によってモーションパターンを判定し、判定結果を自ら出力するか、ネットワーク上のサーバまたは端末装置に送信しうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データと、前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データとを取得するセンサデータ取得部と、
前記第1の時系列データに基づいて、前記第2の時系列データにおいて前記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する区間設定部と
を備える情報処理装置。
(2)前記区間設定部は、前記第1のセンサの検出値が所定の閾値を超えた点を基準にして前記解析対象区間を設定する、前記(1)に記載の情報処理装置。
(3)前記区間設定部は、前記第1のセンサの検出値の周波数成分が前記センサ装置の被装着物の固有振動数を含む区間を基準にして前記解析対象区間を設定する、前記(1)または(2)に記載の情報処理装置。
(4)前記解析対象区間における前記第2の時系列データに基づいて前記ユーザのモーションパターンを判定する解析部をさらに備える、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)前記ユーザのモーションパターンを示す情報を出力する出力部をさらに備える、前記(4)に記載の情報処理装置。
(6)前記出力部は、前記ユーザのモーションパターンを示す画像またはテキストを表示する、前記(5)に記載の情報処理装置。
(7)前記解析部は、さらに前記第1の時系列データに基づいて前記ユーザのモーションパターンを判定する、前記(4)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記第2のセンサは、加速度センサ、ジャイロセンサ、または地磁気センサを含む、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記第1のセンサは1軸加速度センサを含み、前記第2のセンサは3軸加速度センサを含む、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置であって、
前記センサ装置に伝達された衝撃を検出する第1のセンサと、
前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサと、
前記第1のセンサの検出値を含む第1の時系列データ、および前記第2のセンサの検出値を含む第2の時系列データに基づいて、前記ユーザのモーションパターンを判定するための解析に供される解析対象データを出力するセンサデータ前処理部と
を備えるセンサ装置。
(11)前記センサデータ前処理部は、前記第1の時系列データに基づいて、前記第2の時系列データにおいて前記解析が実施される解析対象区間を設定し、前記解析対象区間における前記第2の時系列データを前記解析対象データとして出力する、前記(10)に記載のセンサ装置。
(12)前記解析対象データを解析装置に送信する通信部をさらに備える、前記(10)または(11)に記載のセンサ装置。
(13)スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置と、前記センサ装置から送信された解析対象データを解析することによって前記ユーザのモーションパターンを判定する解析装置とを含み、
前記センサ装置は、
前記センサ装置に伝達された衝撃を検出する第1のセンサと、
前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサと、
前記第1のセンサの検出値を含む第1の時系列データ、および前記第2のセンサの検出値を含む第2の時系列データに基づいて前記解析対象データを生成するセンサデータ前処理部と、
前記解析対象データを前記解析装置に送信する通信部と
を有し、
前記解析装置は、
前記解析対象データを受信する通信部と、
前記解析対象データに基づいて前記ユーザのモーションパターンを判定する解析部と
を有し、
前記センサ装置または前記解析装置のいずれかが、前記解析対象データに含まれる前記第1の時系列データに基づいて、前記第2の時系列データにおける解析対象区間を設定する区間設定部を有し、
前記解析部は、前記解析対象区間における前記第2の時系列データに基づいて前記ユーザのモーションパターンを判定する情報処理システム。
(14)スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データと、前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データとを取得する機能と、
前記第1の時系列データに基づいて、前記第2の時系列データにおいて前記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する機能と
をコンピュータに実現させるためのプログラムが記録された記録媒体。
(15)スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に含まれるコンピュータに、
前記センサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データ、および前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データに基づいて、前記ユーザのモーションパターンを判定するための解析に供される解析対象データを出力する機能を実現させるためのプログラムが記録された記録媒体。
10 情報処理システム
100 センサ装置
101 センサ
103 ショックセンサ
105 モーションセンサ
107 前処理部
109 通信部
200 解析装置
201 通信部
203 前処理部
205 解析部
207 モーションパターン判定部
209 記憶部
211 出力部

Claims (14)

  1. スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データと、前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサの検出値を含む第2の時系列データとを取得するセンサデータ取得部と、
    前記第1の時系列データに基づいて、前記第2の時系列データにおいて前記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する区間設定部と
    を備え
    前記第1のセンサ及び前記第2のセンサは互いに同一の物理量を検出し、
    前記区間設定部は、前記第1のセンサの検出値の周波数成分が前記センサ装置の被装着物の固有振動数を含む区間を基準にして前記解析対象区間を設定する、
    情報処理装置。
  2. 前記区間設定部は、前記第1のセンサの検出値が所定の閾値を超えた点を基準にして前記解析対象区間を設定する、請求項1に記載の情報処理装置。
  3. 前記解析対象区間における前記第2の時系列データに基づいて前記ユーザのモーションパターンを判定する解析部をさらに備える、請求項1に記載の情報処理装置。
  4. 前記ユーザのモーションパターンを示す情報を出力する出力部をさらに備える、請求項に記載の情報処理装置。
  5. 前記出力部は、前記ユーザのモーションパターンを示す画像またはテキストを表示する、請求項に記載の情報処理装置。
  6. 前記解析部は、さらに前記第1の時系列データに基づいて前記ユーザのモーションパターンを判定する、請求項に記載の情報処理装置。
  7. 前記第2のセンサは、加速度センサ、ジャイロセンサ、または地磁気センサを含む、請求項1に記載の情報処理装置。
  8. 前記第1のセンサは1軸加速度センサを含み、前記第2のセンサは3軸加速度センサを含む、請求項1に記載の情報処理装置。
  9. スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置であって、
    前記センサ装置に伝達された衝撃を検出する第1のセンサと、
    前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサと、
    前記第1のセンサの検出値を含む第1の時系列データ、および前記第2のセンサの検出値を含む第2の時系列データに基づいて、前記ユーザのモーションパターンを判定するための解析に供される解析対象データを出力するセンサデータ前処理部と
    を備え
    前記第1のセンサ及び前記第2のセンサは互いに同一の物理量を検出し、
    前記センサデータ前処理部は、前記第1のセンサの検出値の周波数成分が前記センサ装置の被装着物の固有振動数を含む区間を基準にして、前記第2の時系列データにおいて前記解析が実施される解析対象区間を設定する、
    センサ装置。
  10. 前記センサデータ前処理部は、前記解析対象区間における前記第2の時系列データを前記解析対象データとして出力する、請求項に記載のセンサ装置。
  11. 前記解析対象データを解析装置に送信する通信部をさらに備える、請求項に記載のセンサ装置。
  12. スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置と、前記センサ装置から送信された解析対象データを解析することによって前記ユーザのモーションパターンを判定する解析装置とを含み、
    前記センサ装置は、
    前記センサ装置に伝達された衝撃を検出する第1のセンサと、
    前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出する第2のセンサと、
    前記第1のセンサの検出値を含む第1の時系列データ、および前記第2のセンサの検出値を含む第2の時系列データに基づいて前記解析対象データを生成するセンサデータ前処理部と、
    前記解析対象データを前記解析装置に送信する通信部と
    を有し、
    前記解析装置は、
    前記解析対象データを受信する通信部と、
    前記解析対象データに基づいて前記ユーザのモーションパターンを判定する解析部と
    を有し、
    前記センサ装置または前記解析装置のいずれかが、前記解析対象データに含まれる前記第1の時系列データに基づいて、前記第2の時系列データにおける解析対象区間を設定する区間設定部を有し、
    前記解析部は、前記解析対象区間における前記第2の時系列データに基づいて前記ユーザのモーションパターンを判定し、
    前記第1のセンサ及び前記第2のセンサは互いに同一の物理量を検出し、
    前記区間設定部は、前記第1のセンサの検出値の周波数成分が前記センサ装置の被装着物の固有振動数を含む区間を基準にして前記解析対象区間を設定する、
    情報処理システム。
  13. スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データと、前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出し、前記第1のセンサにより検出される物理量と同一の物理量を検出する第2のセンサの検出値を含む第2の時系列データとを取得する機能と、
    前記第1のセンサの検出値の周波数成分が前記センサ装置の被装着物の固有振動数を含む区間を基準にして、前記第2の時系列データにおいて前記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する機能と
    をコンピュータに実現させるためのプログラムが記録された記録媒体。
  14. スポーツをプレーするユーザに直接的または間接的に装着されるセンサ装置に含まれるコンピュータに、
    前記センサ装置に伝達された衝撃を検出する第1のセンサの検出値を含む第1の時系列データ、および前記第1のセンサよりも高い分解能で前記センサ装置の物理的挙動を検出し、前記第1のセンサにより検出される物理量と同一の物理量を検出する第2のセンサの検出値を含む第2の時系列データに基づいて、前記ユーザのモーションパターンを判定するための解析に供される解析対象データを出力し、前記第1のセンサの検出値の周波数成分が前記センサ装置の被装着物の固有振動数を含む区間を基準にして前記第2の時系列データにおいて前記ユーザのモーションパターンを判定するための解析が実施される解析対象区間を設定する機能を実現させるためのプログラムが記録された記録媒体。
JP2013060062A 2013-03-22 2013-03-22 情報処理装置、センサ装置、情報処理システムおよび記録媒体 Expired - Fee Related JP5803962B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013060062A JP5803962B2 (ja) 2013-03-22 2013-03-22 情報処理装置、センサ装置、情報処理システムおよび記録媒体
US14/149,265 US10188324B2 (en) 2013-03-22 2014-01-07 Information processing device, sensor device, information processing system, and storage medium
EP14159893.8A EP2782046B1 (en) 2013-03-22 2014-03-14 Information processing device, sensor device, information processing system, and storage medium
CN201410097086.4A CN104056441B (zh) 2013-03-22 2014-03-14 信息处理系统、信息处理方法及存储装置
CN201420117763.XU CN204121706U (zh) 2013-03-22 2014-03-14 信息处理系统
US16/209,995 US10791968B2 (en) 2013-03-22 2018-12-05 Information processing device, sensor device, information processing system, and storage medium
US17/010,848 US11322044B2 (en) 2013-03-22 2020-09-03 Information processing device, sensor device, information processing system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013060062A JP5803962B2 (ja) 2013-03-22 2013-03-22 情報処理装置、センサ装置、情報処理システムおよび記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015173874A Division JP6187558B2 (ja) 2015-09-03 2015-09-03 情報処理装置、情報処理システムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2014183931A JP2014183931A (ja) 2014-10-02
JP5803962B2 true JP5803962B2 (ja) 2015-11-04

Family

ID=50478166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013060062A Expired - Fee Related JP5803962B2 (ja) 2013-03-22 2013-03-22 情報処理装置、センサ装置、情報処理システムおよび記録媒体

Country Status (4)

Country Link
US (3) US10188324B2 (ja)
EP (1) EP2782046B1 (ja)
JP (1) JP5803962B2 (ja)
CN (2) CN104056441B (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10442065B2 (en) * 2011-05-23 2019-10-15 Illinois Tool Works Inc. Stud miss indicator for fastener driving tool
US9381635B2 (en) 2012-06-05 2016-07-05 Illinois Tool Works Inc. Fastener-driving tool including a fastening result detector
WO2014073454A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US20150202510A1 (en) * 2013-12-24 2015-07-23 Snypr, Inc. System for training sport mechanics
US10706740B2 (en) * 2014-12-24 2020-07-07 Sony Corporation System and method for processing sensor data
KR102252168B1 (ko) * 2015-01-06 2021-05-14 삼성전자 주식회사 센서 정보 처리 방법 및 장치
WO2016136073A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 センサ装置、センシング方法及び情報処理装置
WO2016143404A1 (ja) 2015-03-12 2016-09-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9984154B2 (en) * 2015-05-01 2018-05-29 Morpho Detection, Llc Systems and methods for analyzing time series data based on event transitions
CN105288957B (zh) * 2015-11-27 2017-11-14 河南科技学院 一种体能综合训练器械及其测评系统
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
GB2545668B (en) 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
US11587484B2 (en) 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
JP6881319B2 (ja) 2016-01-13 2021-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法および記憶媒体
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN105749510A (zh) * 2016-03-02 2016-07-13 北京联联看科技有限公司 球杆、击球位置和击球力量的判断方法、击球信息检测系统
CN105797319B (zh) * 2016-03-07 2018-09-21 上海小莫网络科技有限公司 一种羽毛球运动数据处理方法及装置
CN105597296B (zh) * 2016-03-07 2018-09-14 上海小莫网络科技有限公司 一种运动检测设备及运动检测方法
JP2017205213A (ja) * 2016-05-17 2017-11-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3460646A4 (en) * 2016-05-19 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING SYSTEM
EP3252736A1 (en) * 2016-06-03 2017-12-06 West & Bergh IT Consulting AB Motion training aid
CN107592483B (zh) * 2016-07-06 2020-04-17 高福立 一种智能辅助学习系统及方法
DE102017009171A1 (de) 2016-10-17 2018-04-19 Amer Sports Digital Services Oy Eingebettete rechenvorrichtung
JP6710644B2 (ja) * 2017-01-05 2020-06-17 株式会社東芝 動作解析装置、動作解析方法およびプログラム
US10497278B2 (en) * 2017-02-21 2019-12-03 Robosport Technologies, Llc Device for detecting and assessing vibrations caused by sporting equipment
US10071281B1 (en) 2017-02-21 2018-09-11 Robosport Technologies, Llc Systems, devices, and methods for virtual and augmented reality sports training
US10071284B1 (en) * 2017-02-21 2018-09-11 Robosport Technoliges, LLC Detecting and assessing vibrations caused by sporting equipment
WO2018156542A1 (en) * 2017-02-21 2018-08-30 Robosport Technologies, Llc Systems, devices, and methods for virtual and augmented reality sports training
US10695611B2 (en) * 2017-08-14 2020-06-30 AssessLink LLC Physical education kinematic motor skills testing system
AU2018274834A1 (en) * 2018-01-10 2019-07-25 Dominic Michael A Velocity and Collision Detection System
CN109011505A (zh) * 2018-06-22 2018-12-18 华南理工大学 一种低功耗高精度乒乓球运动的识别方法及装置
CN109107117A (zh) * 2018-09-04 2019-01-01 深圳市定尔志电子有限公司 一种智能网球及其控制方法
JP7278299B2 (ja) * 2018-09-28 2023-05-19 三菱電機株式会社 データ管理サーバ、データ利用サーバ、データ流通システム、データ管理方法及びプログラム
TWI729596B (zh) * 2018-12-21 2021-06-01 芬蘭商亞瑪芬體育數字服務公司 感測器資料管理
US11483370B2 (en) 2019-03-14 2022-10-25 Hewlett-Packard Development Company, L.P. Preprocessing sensor data for machine learning
US11983909B2 (en) 2019-03-14 2024-05-14 Hewlett-Packard Development Company, L.P. Responding to machine learning requests from multiple clients
CN114259720B (zh) * 2020-09-15 2022-10-18 荣耀终端有限公司 动作识别方法及装置、终端设备、运动监测系统
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4257594A (en) * 1975-12-05 1981-03-24 Richard N. Conrey Electronic athletic equipment
US4991850A (en) * 1988-02-01 1991-02-12 Helm Instrument Co., Inc. Golf swing evaluation system
JPH03134032A (ja) 1989-10-19 1991-06-07 Showa Denko Kk 積層板の製造方法
US5031909A (en) * 1990-05-07 1991-07-16 Pecker Edwin A Electronic athletic equipment
JP3134032B2 (ja) 1993-12-10 2001-02-13 大阪金具株式会社 二輪車用施錠装置の破壊防止機構
US5757266A (en) * 1996-06-07 1998-05-26 Rider; Alan J. Electronic apparatus for providing player performance feedback
US6196932B1 (en) * 1996-09-09 2001-03-06 Donald James Marsh Instrumented sports apparatus and feedback method
US6648769B2 (en) * 1999-05-12 2003-11-18 Callaway Golf Company Instrumented golf club system & method of use
US20030207718A1 (en) * 2000-10-20 2003-11-06 Perlmutter Michael S. Methods and systems for analyzing the motion of sporting equipment
US6923729B2 (en) * 2001-08-10 2005-08-02 Mcginty Joseph R. Golf club with impact display
US7736242B2 (en) * 2004-03-23 2010-06-15 Nike, Inc. System for determining performance characteristics of a golf swing
US8622845B2 (en) * 2004-06-07 2014-01-07 Acushnet Company Launch monitor
US20060084516A1 (en) * 2004-07-28 2006-04-20 Smartswing, Inc. Method and system for defining and using a reference swing for a sports training system
US7771263B2 (en) * 2004-09-09 2010-08-10 Telford Golf Enterprises, LLC Portable swing speed analyzer
JP2006129980A (ja) * 2004-11-04 2006-05-25 Yokohama Rubber Co Ltd:The ゴルフクラブ
US7219033B2 (en) 2005-02-15 2007-05-15 Magneto Inertial Sensing Technology, Inc. Single/multiple axes six degrees of freedom (6 DOF) inertial motion capture system with initial orientation determination capability
US20070105664A1 (en) * 2005-11-07 2007-05-10 Fun Racquets, Inc. Racquet with Entertainment and Performance Feedback
US9586104B2 (en) * 2006-07-21 2017-03-07 Cobra Golf Incorporated Multi-material golf club head
JP3134032U (ja) * 2007-05-18 2007-08-02 株式会社Skジャパン ゴルフのスイングセンサ
JP2009125499A (ja) 2007-11-27 2009-06-11 Panasonic Electric Works Co Ltd テニススイング改善支援システム
US8398502B2 (en) * 2007-11-27 2013-03-19 Mugen Inc. Hitting position detecting device, hitting position detecting method, and method of manufacturing hitting position detecting device
US8668595B2 (en) * 2011-04-28 2014-03-11 Nike, Inc. Golf clubs and golf club heads
US20110021280A1 (en) * 2009-07-27 2011-01-27 Vladimir Boroda Hitting technique by identifying ball impact points
US8257191B2 (en) * 2009-08-27 2012-09-04 Nike, Inc. Golf clubs and golf club heads having digital lie and/or other angle measuring equipment
DE202010018142U1 (de) * 2009-09-25 2014-05-13 Head Technology Gmbh Vorrichtung zur Leistungssteigerung bei Schlägersportarten
JP2011098190A (ja) * 2009-10-06 2011-05-19 Seiko Epson Corp 速度検出器、及びこれを備えた素振り用具
JP5728830B2 (ja) 2010-05-20 2015-06-03 セイコーエプソン株式会社 運動解析装置、運動解析方法
JP2011251041A (ja) 2010-06-03 2011-12-15 Seiko Epson Corp 運動器具の慣性量測定装置
US8941723B2 (en) * 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
JP5641222B2 (ja) 2010-12-06 2014-12-17 セイコーエプソン株式会社 演算処理装置、運動解析装置、表示方法及びプログラム
JP5773122B2 (ja) * 2010-12-20 2015-09-02 セイコーエプソン株式会社 スイング分析装置及びスイング分析プログラム
JP5773121B2 (ja) 2010-12-20 2015-09-02 セイコーエプソン株式会社 スイング分析装置及びスイング分析プログラム
JP5704317B2 (ja) 2011-02-02 2015-04-22 セイコーエプソン株式会社 スイング解析装置、スイング解析システム、プログラム及びスイング解析方法
US9375624B2 (en) * 2011-04-28 2016-06-28 Nike, Inc. Golf clubs and golf club heads
JP5761505B2 (ja) 2011-06-09 2015-08-12 セイコーエプソン株式会社 スイング分析装置、スイング分析システム、スイング分析方法、スイング分析プログラム、および記録媒体
JP5773144B2 (ja) 2011-06-30 2015-09-02 セイコーエプソン株式会社 運動解析装置、運動解析システム、運動解析プログラム、および、記録媒体
US8944940B2 (en) * 2011-08-29 2015-02-03 Icuemotion, Llc Racket sport inertial sensor motion tracking analysis
CN102368297A (zh) * 2011-09-14 2012-03-07 北京英福生科技有限公司 一种用于识别被检测对象动作的设备、系统及方法
EP2602779A3 (en) * 2011-10-14 2015-11-25 Dunlop Sports Co., Ltd. Device, method and computer-program for fitting tennis racket
JP5994306B2 (ja) 2012-03-15 2016-09-21 ソニー株式会社 情報処理装置、情報処理システムおよびプログラム
FR2991080B1 (fr) * 2012-05-23 2016-01-22 Babolat Vs Methode de calcul d'un indice de repetabilite lors de l'utilisation d'une raquette de tennis
JP6168276B2 (ja) 2012-12-18 2017-07-26 セイコーエプソン株式会社 解析制御装置、運動解析システム、プログラム、記録媒体および運動解析方法
US9612253B2 (en) * 2013-03-15 2017-04-04 Nike, Inc. Impact and sound analysis for golf equipment
US9245457B2 (en) * 2013-03-15 2016-01-26 Nike, Inc. Impact and sound analysis for golf equipment

Also Published As

Publication number Publication date
EP2782046A2 (en) 2014-09-24
EP2782046A3 (en) 2015-03-25
CN204121706U (zh) 2015-01-28
US10188324B2 (en) 2019-01-29
CN104056441B (zh) 2017-01-11
US20190150797A1 (en) 2019-05-23
JP2014183931A (ja) 2014-10-02
US20140288874A1 (en) 2014-09-25
US20210000389A1 (en) 2021-01-07
US11322044B2 (en) 2022-05-03
EP2782046B1 (en) 2019-09-18
CN104056441A (zh) 2014-09-24
US10791968B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
JP5803962B2 (ja) 情報処理装置、センサ装置、情報処理システムおよび記録媒体
US20220347523A1 (en) Validating user identity using athletic activity
EP3058442B1 (en) Calculating pace and energy expenditure from athletic movement attributes
JP6187558B2 (ja) 情報処理装置、情報処理システムおよび記録媒体
WO2015027132A1 (en) Energy expenditure device
WO2015021280A1 (en) Activity recognition with activity reminders
WO2015027133A1 (en) Energy expenditure device
US20150057944A1 (en) Sessions and groups
US10751601B2 (en) Automatic rally detection and scoring
JP2017063949A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R151 Written notification of patent or utility model registration

Ref document number: 5803962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees