JP6136926B2 - 情報処理装置、記憶媒体および情報処理方法 - Google Patents

情報処理装置、記憶媒体および情報処理方法 Download PDF

Info

Publication number
JP6136926B2
JP6136926B2 JP2013273488A JP2013273488A JP6136926B2 JP 6136926 B2 JP6136926 B2 JP 6136926B2 JP 2013273488 A JP2013273488 A JP 2013273488A JP 2013273488 A JP2013273488 A JP 2013273488A JP 6136926 B2 JP6136926 B2 JP 6136926B2
Authority
JP
Japan
Prior art keywords
shot
session
data
analysis
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013273488A
Other languages
English (en)
Other versions
JP2015016289A (ja
Inventor
敦央 渡邉
敦央 渡邉
吉洋 中西
吉洋 中西
木村 隆臣
隆臣 木村
フォレスト マシュー
フォレスト マシュー
功誠 山下
功誠 山下
宗周 前川
宗周 前川
渡辺 智也
智也 渡辺
修啓 城ヶ野
修啓 城ヶ野
克次 宮澤
克次 宮澤
辰也 大崎
辰也 大崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013273488A priority Critical patent/JP6136926B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2014/002269 priority patent/WO2014199552A1/en
Priority to US14/895,047 priority patent/US10065100B2/en
Priority to BR112015030492A priority patent/BR112015030492A2/pt
Priority to EP14725778.6A priority patent/EP3008676A1/en
Priority to RU2015152146A priority patent/RU2015152146A/ru
Priority to CN201410250324.0A priority patent/CN104239674B/zh
Publication of JP2015016289A publication Critical patent/JP2015016289A/ja
Application granted granted Critical
Publication of JP6136926B2 publication Critical patent/JP6136926B2/ja
Priority to US16/059,862 priority patent/US11247114B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Description

本開示は、情報処理装置、記憶媒体および情報処理方法に関する。
ユーザによるスポーツのプレーをさまざまな形で記録することは、既に広く行われている。プレーの様子を画像として記録することもその1つである。また、例えば、特許文献1には、プレーヤや用具に装着されたセンサによって検出された情報に基づいて、プレーの状態を示すさまざまな情報を生成する技術が記載されている。
特開2009−297057号公報
近年、情報端末の小型化および高性能化によって、上記のようなスポーツのプレーの記録も、より手軽に、より広範に行われるようになってきている。例えば、それぞれのユーザは情報処理機能を有するスマートフォンなどの端末装置を所持しており、このような端末装置には加速度センサなどの各種センサやカメラなどが搭載されているため、これらを用いてプレーに関するデータを収集することが可能である。また、別途用意したセンサ装置で検出された情報を端末装置に転送することによって、ユーザの手元でプレーに関する情報の解析を実施することも可能である。
その一方で、記録されたプレーを参照するための技術は、まだ十分に開発されているとはいいがたい。スポーツのプレーは、例えばスイングやラリー、セット、試合などのように、何らかのまとまりとしてユーザに認識されるが、センサデータや画像として記録されたプレーをこのようなまとまりに対応した単位で表現する技術は未だ提案されていない。
そこで、本開示では、記録されたスポーツのプレーを適切なまとまりとして参照することを可能にする、新規かつ改良された情報処理装置、記憶媒体および情報処理方法を提案する。
本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、上記プレー中のユーザの動きを示す動きデータを受信する受信機能と、上記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、上記開始時刻と上記終了時刻との間の上記動きデータを解析して上記ユーザの動きに関する解析情報を取得する解析機能と、上記解析情報を上記セッションに関連付けて記録する記録制御機能とを含む情報処理装置が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から受信された上記プレー中のユーザの動きを示す動きデータを、該動きデータの特徴に基づいて決定されたセッションの開始時刻と終了時刻との間で解析して得られた解析情報を取得する解析情報取得機能と、上記解析情報を出力する出力制御機能とを含む情報処理装置が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、上記プレー中のユーザの動きを示す動きデータを受信する機能と、上記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、上記開始時刻と上記終了時刻との間の上記動きデータを解析して上記ユーザの動きに関する解析情報を取得する機能と、上記解析情報を上記セッションに関連付けて記録する機能とをコンピュータに実現させるためのプログラムが記録された記録媒体が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から受信された上記プレー中のユーザの動きを示す動きデータを、該動きデータの特徴に基づいて決定されたセッションの開始時刻と終了時刻との間で解析して得られた解析情報を取得する機能と、上記解析情報を上記セッションに関連付けて出力する機能とをコンピュータに実現されるためのプログラムが記録された記録媒体が提供される。
また、本開示によれば、スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、上記プレー中のユーザの動きを示す動きデータを受信することと、上記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、上記開始時刻と上記終了時刻との間の上記動きデータを解析して上記ユーザの動きに関する解析情報を取得することと、上記解析情報を上記セッションに関連付けて出力することとを含む情報処理方法が提供される。
以上説明したように本開示によれば、記録されたスポーツのプレーを適切なまとまりとして参照することができる。
本開示の一実施形態に係るセンサ装置のハードウェア構成を示すブロック図である。 本開示の一実施形態に係るセンサ装置の機能構成を示すブロック図である。 本開示の一実施形態に係る解析端末およびサーバの機能構成を示すブロック図である。 本開示の一実施形態に係る解析端末およびサーバの機能構成の変形例を示すブロック図である。 本開示の一実施形態におけるタイムライン画面の例を示す図である。 図5に示されたタイムライン画面をスクロールさせた場合の表示について説明するための図である。 本開示の一実施形態における関連情報設定画面の例を示す図である。 本開示の一実施形態におけるカレンダー画面の例を示す図である。 図8に示されたカレンダー画面をスクロールさせた場合の表示について説明するための図である。 本開示の一実施形態におけるランキング画面の例を示す図である。 図10に示されたランキング画面をスクロールさせた場合の表示について説明するための図である。 本開示の一実施形態において定義されるセッションについて説明するための図である。 本開示の一実施形態におけるセッションの作成処理の例を示すフローチャートである。 本開示の一実施形態に係るショットモニタ画面のショット直後の状態の例を示す図である。 本開示の一実施形態に係るショットモニタ画面の解析終了後の状態を示す図である。 本開示の一実施形態に係るショットモニタ画面の変形例を示す図である。 本開示の一実施形態において解析結果をリアルタイムで表示するための機能構成について説明するための図である。 本開示の一実施形態に係るショットカム画面の初期画面の例を示す図である。 本開示の一実施形態に係るショットカム画面の撮像画面の例を示す図である。 本開示の一実施形態に係るショットログ画面の初期画面の例を示す図である。 本開示の一実施形態に係るショットログ画面の表示が進行中の例を示す図である。 本開示の一実施形態に係るショットログ画面の進行中にスウィング種類を選択した場合に表示される画面の例を示す図である。 本開示の一実施形態に係るショットログ画面から遷移可能な関連情報設定画面の例を示す図である。 本開示の一実施形態に係るショットログ画面から遷移可能なラケット情報画面の例を示す図である。 本開示の一実施形態に係るビデオログ画面の初期画面の例を示す図である。 本開示の一実施形態に係るビデオログ画面の表示が進行中の例を示す図である。 本開示の一実施形態におけるビデオログ画面の拡大表示の例を示す図である。 本開示の一実施形態に係るアプリケーション一覧画面の例を示す図である。 本開示の一実施形態に係るその他設定画面とプロフィール画面との例を示す図である。 本開示の一実施形態におけるその他の画面の第2の例における画面遷移について説明するための図である。 図30に示した第3の画面についてさらに説明するための図である。 図31に示したプレーヤアイコンおよびショット位置表示のアニメーションの例について説明するための図である。 図31に示したプレーヤアイコンおよびショット位置表示のアニメーションの例について説明するための図である。 図31に示したプレーヤアイコンおよびショット位置表示のアニメーションの例について説明するための図である。 図30に示した第5の画面についてさらに説明するための図である。 本開示の一実施形態におけるその他の画面の第3の例について説明するための図である。 本開示の一実施形態におけるその他の画面の第3の例について説明するための図である。 本開示の一実施形態におけるその他の画面の第3の例について説明するための図である。 情報処理装置のハードウェア構成を説明するためのブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システム構成
1−1.センサ装置の構成
1−2.解析端末の構成
2.プレイログ画面
2−1.タイムライン画面
2−2.セッションについて
3.ショットモニタ画面
4.ショットカム画面
5.ショットログ画面
6.ビデオログ画面
7.その他の画面例1
8.その他の画面例2
9.その他の画面例3
10.ハードウェア構成
11.補足
(1.システム構成)
以下で説明する本開示の一実施形態は、テニスをプレーするユーザが把持しているラケットに取り付けられたセンサ装置100と、センサ装置100からセンサデータを受信してこれを解析し、ユーザのプレーの状態を示す解析情報を生成する解析端末200と、解析端末200にサービスを提供するサーバ300とに関する。解析端末200は、例えばスマートフォンやタブレットのような各種の端末装置、またはPC(Personal Computer)などでありうる。サーバ300は、ネットワーク上の1または複数の情報処理装置によって実現される機能の集合体である。なお、他の実施形態では、センサ装置100から、解析端末200を介することなく直接サーバ300にセンサデータが送信され、サーバ300上で解析が実行されてもよい。
なお、ユーザがプレーするスポーツは、例えばテニスでありうるが、他のどのようなものであってもよい。例えば、スポーツは、テニスと同様に打具を用いてボールを打つ卓球や野球、ゴルフなどであってもよいし、打具を用いてボール以外の物を打つバドミントンなどであってもよいし、ユーザの身体で直接ボールなどを打つサッカーやバレーボールなどであってもよい。あるいは、スポーツは、ボールを打たないものや、ボールを使わないものであってもよい。
センサ装置100は、例えばラケットのようにユーザが把持するラケットなどの用具に取り付けられることによってユーザに間接的に装着されるものでありうるが、他にもさまざまな形態でユーザに直接的または間接的に装着されうる。例えば、センサ装置は、ユーザの身体に巻きつけられるなどして直接的に装着されてもよい。また、センサ装置は、ユーザが把持する用具には限らず、ウェアやシューズなどのように着用する用具に取り付けられることによって、ユーザに間接的に装着されてもよい。また、後述するように解析端末200がウェアラブルであるような場合には、センサ装置100と解析端末200が一体化していてもよい。
解析端末200は、本実施形態で示されるように例えばスマートフォンやタブレット端末などの携帯型情報端末でありうるが、解析機能を有するものであればどのようなものであってもよい。例えば、解析端末200は、スポーツをプレーするユーザが装着可能なウェアラブル端末であってもよい。解析端末200がウェアラブル端末である場合には、スポーツのプレー中に、プレーしているユーザ本人に対して解析情報を提供することが容易になる。また、この場合、例えばセンサ装置100がラケットに取り付けられ、解析端末200がユーザの頭部に装着される、といったようにセンサ装置100と解析端末200とが別体であってもよいし、ラケットに取り付けられた装置にセンサ装置100の機能と解析端末200の機能が一体的に集約されてもよい。
ここで、解析端末200によって生成された解析情報は、さまざまな形でユーザなどに向けて出力される。例えば、解析情報は、ユーザがスポーツをプレーしているときにリアルタイムで生成されてもよい。この場合、例えば解析端末200自体が有するディスプレイなどを用いて、プレーを観戦しているコーチ役の他のユーザなどに向けて解析情報を出力してもよい。また、解析端末200のスピーカを用いて、または解析端末200からセンサ装置100にデータを送信してセンサ装置100のスピーカやランプなどを用いて、プレーしているユーザ本人に向けて解析情報を出力してもよい。上記の通り、解析端末200がウェアラブル端末である場合には、音声出力や、透過型のディスプレイを用いた画像出力などによって、プレーしているユーザ本人に対する解析情報を提供することが容易になる。
(1−1.センサ装置の構成)
図1は、本開示の一実施形態に係るセンサ装置のハードウェア構成を示すブロック図である。図1を参照すると、センサ装置100は、振動センサ101と、チャージアンプ103と、9軸センサ105と、CPU107と、通信モジュール109と、アンテナ111と、リムーバブルメモリ113と、LED115と、ボタン117と、水晶振動子119と、USBポート121と、2次電池モジュール123とを有する。
振動センサ101は、例えば圧電素子や静電容量を利用したセンサなどであり、センサ装置100が装着されているラケットの振動を検出する。ラケットの振動は、例えばショット(ボールのインパクト)時に発生する。振動センサ101によって検出された振動波形は、チャージアンプ103で電圧信号に変換されたうえでCPU107に入力される。
9軸センサ105は、3軸の加速度センサ、3軸のジャイロセンサ、および3軸の地磁気センサが組み合わされたセンサであり、センサ装置100が装着されているラケットの動き(例えば加速度、傾き、方位など)を検出する。9軸センサ105によって検出されたデータも、CPU107に入力される。
CPU107(Central Processing Unit)は、センサ装置100全体の動作を制御する。例えば、CPU107は、振動センサ101からチャージアンプ103を経て入力された振動波形や、9軸センサ105から入力されたデータを水晶振動子119によって規定されるRTC(Real Time Clock)の時刻に関連付けて、リムーバブルメモリ113に少なくとも一時的に蓄積する。データは、例えばショットごとに記録されうる。処理モードがオンラインモード(リアルタイムモード)である場合、CPU107は、データを通信モジュール109およびアンテナ111を介して解析端末200にリアルタイムで送信する。また、処理モードがオフラインモードである場合、CPU107は、リムーバブルメモリ113に蓄積されたデータを読み出してUSBポート121を介した有線通信によって解析端末200に送信する。リムーバブルメモリ113は、例えばSDカードなどでありうる。
さらに、CPU107は、LED115(Light Emitting Diode)を発光させることによってセンサ装置100の状態を示す情報、例えば処理モードや通信状態、電池の状態などを示す情報を表示してもよい。アンテナ111および通信モジュール109を介して解析端末200から解析情報が受信された場合、CPU107は、LED115を発光させることによって解析情報を表示してもよい。また、CPU107は、ボタン117によって取得されるユーザの操作入力に応じてセンサ装置100の処理モードなどを切り替えてもよい。CPU107は、内蔵するメモリに書き込まれたファームウェアに従って動作するが、USBポート121からの入力によってファームウェアを書き換えることも可能である。
通信モジュール109は、センサ装置100で取得されたデータを、アンテナ111を介した無線通信によって解析端末200に送信する。通信モジュール109は、例えばBluetooth(登録商標)などの通信規格に準拠した無線通信によってデータを解析端末200に送信する。上述のように、通信モジュール109およびアンテナ111が解析端末200から解析情報を受信し、受信された解析情報がLED115やスピーカ(図示せず)を用いてセンサ装置100からスポーツをプレーしているユーザに向けて出力されてもよい。
USBポート121は、USB(Universal Serial Bus)を介した解析端末200などとの通信に用いられる。センサ装置100はラケットに装着されるため小型であることが望ましく、従ってUSBポート121はMicroUSBポートであってもよい。USBポート121を介した有線通信によって、リムーバブルメモリ113に蓄積されたデータが解析端末200に送信されうる。また、USBポート121は、CPU107のファームウェアを書き換えるときの通信にも用いられうる。さらに、USBポート121はデータの通信に加えて2次電池モジュール123の充電にも用いられうる。
図2は、本開示の一実施形態に係るセンサ装置の機能構成を示すブロック図である。図2では、図1を参照して説明したセンサ装置100のCPU107などによって実現される機能が、機能ブロックによって示されている。以下、図中に(1)〜(7)として示すデータの流れに沿って、これらの機能構成について説明する。
(1)CPU107は、振動センサ制御151を実行する。この制御に従って、振動センサ101からチャージアンプ103を介してCPU107に振動波形が入力される。CPU107は、振動波形に基づくインパクト検出153およびデータ圧縮155を実行する。(2)一方、CPU107は、9軸センサ制御157を実行し、この制御に従って、9軸センサ105でラケットの動きを示すデータが検出される。(3)さらに、CPU107は、水晶振動子119を使用したRTC制御159を実行して正確な時刻情報を取得する。センサパケット生成161では、例えば、インパクト検出153によってボールのインパクトが検出された場合に、その前後で振動センサ101および9軸センサ105によって取得されたデータを含むショットデータと、RTC制御159によって取得された時刻情報とを関連付けたものが、データパケットとして生成される。従って、ショットデータは、例えばインパクトが発生した時点に対応する時刻情報(タイムスタンプ)を有する。
(4)システム制御163は、メモリR/W165(Reader/Writer)を介して、リムーバブルメモリ113のファイルシステム167にデータを記録する。(5)また、システム制御163は、メモリR/W165を介して、ファイルシステム167に蓄積されたデータを読み出す。(6)システム制御163は、センサパケット生成161によって生成されたデータパケットを、センサ通信プロトコル169、通信プロトコルスタック171を介して解析端末200に無線送信する。無線通信は、通信ハードウェア制御173によって通信モジュール109およびアンテナ111を制御することによって実行される。あるいは、USB制御175の機能によって、ファイルシステム167に蓄積されたデータがUSBポート121を介して解析端末200に有線で送信されてもよい。
この他に、CPU107は、例えば電源制御、充電制御、スリープ制御、ボタン/LED制御などの各種機能177、ブートストラップローダ179、およびモード切替181などの機能をさらに実現しうる。なお、モード切替181によって切り替えられる処理モードには、例えば、オンライン(リアルタイム)、オフライン、データシンク、スリープ、Bluetoothペアリング、ファームウェア書き換えなどがありうる。
(1−2.解析端末の構成)
図3は、本開示の一実施形態に係る解析端末およびサーバの機能構成を示すブロック図である。解析端末200およびサーバ300は、例えば後述する情報処理装置のハードウェア構成を用いて実現されうる。図3では、情報処理装置が有するCPUなどのプロセッサによって実現される解析端末200およびサーバ300のそれぞれの機能が、機能ブロックによって示されている。以下、図中に(1)〜(6)として示すデータの流れに沿って、こうした機能構成について説明する。
なお、図示された例において、サーバ300は、サーバ300a〜300cの3つによって実装されているが、このような実装は一例にすぎない。以下で説明するサーバ300の機能は、単一のサーバに集約して実現されてもよいし、あるいはさらに多くのサーバに分散して実現されてもよい。
(1)センサ装置100からBluetooth(登録商標)などの無線通信またはUSB接続などを用いて送信されたデータ(センサデータ)は、解析端末200のアプリケーション205によって実現される、USB制御211または無線通信制御213の機能によって受信される。センサデータは、スポーツをプレー中のユーザの動きを示す動きデータ、例えばセンサ装置100において振動センサ101や9軸センサ105によって検出されるデータを含みうる。なお、これらの機能に加えて、アプリケーション205は、サーバ通信209、メタデータDB215、カメラ制御217、解析/統計219などの機能を実現しうる。なお、アプリケーション205のモジュールは、代表的なものが図示されているにすぎず、他にもさまざまなモジュールがアプリケーション205に含まれうる。
ここで、解析端末200のOS201(Operating System)上では、アプリケーション205に加えて、UI203(User Interface)およびソフトウェアインターフェース207が実装される。UI203は、解析端末200が有するディスプレイに画像を表示してユーザに向けて情報を出力するとともに、ディスプレイに設けられたタッチパネルなどのポインティングデバイスを介してユーザの操作入力を取得するための機能である。ソフトウェアインターフェース207は、例えば後述するセンサ解析ライブラリ221や動画解析ライブラリ233などと連動するための手順を含むインターフェースである。
(2)アプリケーション205によって受信されたセンサデータは、ソフトウェアインターフェース207を介して解析ライブラリ221に入力される。解析ライブラリ221ではセンサ通信プロトコル231を介してセンサデータが受信され、受信されたセンサデータはインパクト判定223、スピン判定/姿勢検出225、スウィング判定227などの各解析機能によって解析され、解析の結果として解析情報が生成される。つまり、解析ライブラリ221では、センサデータ(一次データ)が解析情報(二次データ)に変換される。上記の解析機能は、ラケットDB229など、解析ライブラリ221に用意されたデータベースを適宜参照する。
上述のように、センサ装置100からは、振動センサ101の検出結果に基づいてボールのインパクトが検出された場合に、その前後で振動センサ101および9軸センサ105によって検出されたデータを含むショットデータがセンサデータとして送信される。インパクト判定223では、例えば振動センサ101によって検出されたデータをさらに解析して、インパクトが発生したラケット上の位置(インパクト位置)を判定する。判定されたインパクト位置の情報は、それ自体が解析情報として出力されてもよいし、スウィング判定227に提供されてさらなる解析に利用されてもよい。
一方、スピン判定/姿勢検出225では、センサデータに基づいてラケットの姿勢を検出するとともに、ラケットに対するボールの角度やインパクト時のラケットの移動方向などから打球のスピンの向きを判定する。スウィング判定227では、センサデータに含まれる、例えば9軸センサ105から提供されたデータに基づいて、インパクト時のユーザのスウィングの種類(フォアハンド、バックハンド、サーブ、など)や良否(インパクト位置がスウィートスポットに含まれているか、など)を判定する。なお、他の実施形態では、スウィング判定227とともに、またはこれに代えて、他の何らかの種類の動きが判定されてもよい。
ラケットDB229には、ユーザによって使用されるさまざまなラケットの形状や材質、振動伝達特性などの情報が記録されている。例えば、インパクト判定223やスウィング判定227などでは、ラケットDB229を参照して、ユーザが把持しているラケットに関するデータを取得した上で判定の処理が実行されうる。
(3)解析ライブラリ221によって生成された解析情報は、ソフトウェアインターフェース207を経由してアプリケーション205に提供される。このとき、解析情報とともにセンサデータが提供されてもよい。
アプリケーション205では、解析/統計219の機能によってさらなる解析処理が実行されうる。ここでの解析処理は、例えば、センサデータに含まれるデータ(センサ装置100において振動センサ101や9軸センサ105によって検出された、ユーザの動きを示すデータ)の特徴に基づいて決定された開始時刻および終了時刻の間の区間を単位として実行されうる。後述するように、本明細書ではこの区間をセッションという。アプリケーション205は、解析/統計219の機能によって取得された解析情報を、セッションに関連付けてメモリまたはストレージに少なくとも一時的に記録する機能をさらに有しうる。
なお、解析/統計219の機能では、例えば解析ライブラリ221によって生成された解析情報をさらに統計的に処理することによって新たな解析情報が取得されてもよいし(この場合も、解析/統計219の機能がセンサデータを間接的に解析して解析情報を取得しているといえる)、センサデータを新たに解析することによって解析情報が取得されてもよい。
また、アプリケーション205では、カメラ制御217の機能によって、解析ライブラリ221または解析/統計219の機能によって取得された解析情報に基づくカメラ制御が実行されうる。例えば、カメラ制御217の機能は、インパクトやスウィングの前後の区間に限定して撮像画像を記録してもよい。また、カメラ制御217の機能は、セッションの区間に関連付けて撮像画像を記録してもよい。
さらに、解析ライブラリ221または解析/統計219の機能によって取得された解析情報は、メタデータDB215に記録され、撮像画像などに関連付けられたメタデータとして利用されうる。また、解析ライブラリ221または解析/統計219の機能によって取得された解析情報は、UI203を介して、例えば画像または音声としてユーザに向けて出力されうる。このとき、解析情報は、UI203によってセッション単位でユーザに向けて出力されてもよい。より具体的には、解析情報を表示する画像が解析端末200のディスプレイに表示されたり、解析情報に対応する音声が解析端末200のスピーカから出力されたりしうる。なお、解析端末200の表示部で表示されうる画面のより具体的な例については後述する。
さらに、解析端末200では、上記の解析ライブラリ221とともに動画解析ライブラリ233が設けられ、動画解析エンジン235によってスポーツをプレーするユーザの画像を解析してもよい。画像の解析結果は、例えば解析ライブラリ221におけるセンサデータの解析結果と照合または複合させて利用されてもよいし、単独でUI203を介してユーザに提示されてもよい。
(4)さらに、解析ライブラリ221または解析/統計219の機能によって取得された解析情報は、サーバ通信209の機能によって、ネットワークを介してサーバ300aにアップロードされうる。サーバ300aは、例えば本実施形態に係るサービスを提供するためのサーバであり、Web API(Application Program Interface)301を介して解析端末200から解析情報を受信する。受信された解析情報は、サーバ300aのDB313に記録されうる。(5)DB313に記録された解析結果は、必要に応じて、サーバアプリケーション303の中で提供される解析/統計305などの機能によってさらに処理されてもよい。解析/統計305の機能では、例えば、それぞれのユーザの解析情報(二次データ)をさらに統計処理することによって、新たな統計データ(三次データ)が生成されうる。(6)各ユーザの解析情報は、ユーザ管理307の機能によって管理され、必要に応じてWebサーバ300bに提供される。さらに、サーバアプリケーション303は、解析端末200にあるラケットDB229のデータを更新するラケットDB更新309の機能を有してもよい。また、サーバアプリケーション303は、解析端末200を介して、または直接センサ装置100と通信してセンサ装置100のファームウェアを更新するファームウェア更新311の機能を有してもよい。
Webサーバ300bは、UI317を有し、例えばWebを介して、複数のユーザが互いに解析情報を共有することを可能にする。UI317によって、例えば、図示された解析端末200を所持しているユーザ自身の解析情報だけではなく、他のユーザの解析情報をも参照することができうる。このとき参照可能な解析情報は、例えば各ユーザの解析端末200の解析ライブラリ221または解析/統計219の機能によって取得された情報であってもよく、サーバ300aのサーバアプリケーション303によって提供される解析/統計305の機能によって取得された情報であってもよい。さらに、システムには、課金319、ユーザ認証321、およびアプリケーション更新323などの機能を実現する外部サーバ300cが含まれてもよい。
図4は、本開示の一実施形態に係る解析端末およびサーバの機能構成の変形例を示すブロック図である。本変形例では、解析端末250(例えばスマートフォンやタブレットのような各種の端末装置、またはPCなどでありうる)のOS251上で実装されるUI253およびアプリケーション255の構成が、上記の図3の例とは異なっている。なお、アプリケーション255のモジュールは、代表的なものが図示されているにすぎず、他にもさまざまなモジュールがアプリケーション255に含まれうる。本変形例によって示されるように、本開示の実施形態では、ここで説明されているような機能が、任意のプログラム言語を用い、任意のOSに対応するアプリケーションとして実現されうる。
本変形例では、センサ装置100からBluetooth(登録商標)などの無線通信を用いて送信されたデータ(センサデータ)が、アプリケーション255の無線通信制御263の機能によって受信され、解析ライブラリ221に入力される。アプリケーション255では、解析ライブラリ221によって取得された解析情報、またはセンサデータに基づいて、解析/統計269によるさらなる解析が実行されうる。解析ライブラリ221または解析/統計269の機能によって取得された解析情報は、例えばカメラ制御267やメタデータDB265の機能によって利用されるほか、UI253を介してユーザに向けて出力されうる。また、アプリケーション255では、動画保存261の機能によって、カメラによって取得された撮像画像の記録が制御されうる。
なお、上記の解析/統計269は、図3の例における解析/統計219と同様の機能を実現しうる。つまり、解析/統計269での解析処理は、例えば、センサデータに含まれるデータ(センサ装置100において振動センサ101や9軸センサ105によって検出された、ユーザの動きを示すデータ)の特徴に基づいて決定された開始時刻および終了時刻の間の区間を単位として実行されうる。アプリケーション255は、解析/統計269の機能によって取得された解析情報を、セッションに関連付けてメモリまたはストレージに少なくとも一時的に記録する機能をさらに有しうる。
(2.プレイログ画面)
本実施形態では、例えば解析端末200のディスプレイや、解析端末200からサーバ300にアップロードされた情報を参照する他の端末装置のディスプレイにおいて、ユーザの解析情報がさまざまな形で表示されうる。以下では、そのような解析情報を表示する画面について、いくつかの具体的な例を示して説明する。以下で例示される画像は、例えば、解析端末200のUI203によってディスプレイに表示されうる。
まず、プレイログ画面のいくつかの例について説明する。プレイログ画面によって、ユーザのさまざまな解析情報を、ログとして振り返ることができる。ユーザは、主としてプレー後、またはプレーの合間にプレイログ画面で解析情報を参照することによって自らのプレーを振り返り、スポーツの上達のために役立てることができる。
(2−1.タイムライン画面)
図5は、本開示の一実施形態におけるタイムライン画面の例を示す図である。図6は、図5に示されたタイムライン画面をスクロールさせた場合の表示について説明するための図である。図5を参照すると、タイムライン画面2001は、解析端末200のディスプレイに表示される。
(日単位表示)
タイムライン画面2001は、日単位表示2003を含む。図6には、12月31日の日単位表示2003aと、12月30日の日単位表示2003bとが示されている。ユーザは、例えばタイムライン画面2001をスクロールさせることによって、これらの日単位表示2003を順次ディスプレイに表示させることができる。図示された例における月表示2003cや年表示2003dは、例えば過去の日単位表示2003を折りたたんだ表示である。これらの表示に示されている展開ボタン2004c,2004dによって、例えば年から月、月から日へといったように、日単位表示2003を展開して表示させることができる。
図示された例において、日単位表示2003は、日付表示2005と、サムネイル画像2007と、ショット数表示2009と、ヒット率表示2011とを含む。
サムネイル画像2007は、その日(図5の例であれば12月31日)に撮像されたプレー中の撮像画像(以下、プレー画像ともいう)の中から自動的に抽出された、またはユーザによって選択された画像である。サムネイル画像2007は、例えば画像解析の結果によって、プレーしているユーザなどを基準にして自動的にトリミングされていてもよい。サムネイル画像2007としては、図5に示した例のように複数の画像が選択されて割り付けられてもよいし、単一の画像が選択されてもよい。また、サムネイル画像2007は、動画像へのリンクになっていてもよい。
ショット数表示2009は、ラケットに装着されたセンサ装置100からのセンサデータに基づいてその日に検出されたショット(ボールのインパクト)の数の表示である。
ヒット率表示2011は、その日に検出されたショットのうち、所定の条件を満たしたショットの割合、例えばボールがスウィートスポット(例えばボールを打ったときのラケットの振動が最小になる位置などとして定義される)に当たったショットの割合を表示する。図6で日単位表示2003aおよび日単位表示2003bのそれぞれに表示されたヒット率表示2011のように、ヒット率の大小(図示された例では80%は大きく、30%は小さいと判定されている)に応じて、ヒット率表示2011の色や大きさを変えて表示し、ユーザにヒット率の高低を直感的に伝えてもよい。
(セッション単位表示)
日単位表示2003の中には、セッション単位表示2013が含まれうる。図6では、日単位表示2003aに含まれる2つのセッション単位表示2013a,2013bが示されている。セッション単位表示2013は、日単位表示2003をさらに細かく区分し、セッションごとに情報を提示するための表示である。上述したように、本明細書において、セッションは、ユーザの動きを示すセンサデータに含まれるデータの特徴に基づいて決定された開始時刻および終了時刻の間の区間を意味する。セッションは、例えばスイングやラリー、セット、試合などのように、何らかの意味をもったプレーのまとまりに対応しうる。
なお、図6の例では日単位表示2003aに2つのセッション単位表示2013a,2013bだけが含まれているが、1日に対して設定されるセッションの数は1つでもよく、また3つ以上であってもよい。1日に対して多数のセッションが設定されている場合、ユーザは、例えばタイムライン画面2001をスクロールさせることによって、各セッション単位表示2013を順次ディスプレイに表示させることができる。
また、日単位表示2003bに含まれる展開ボタン2014は、セッション単位表示2013が折りたたまれていることを意味する。展開ボタン2014を選択することによって、日単位表示2003bの日(つまり12月30日)について設定されたセッションのセッション単位表示2013を展開して表示させることができる。
図示された例において、セッション単位表示2013は、区間表示2015と、サムネイル画像2017と、ショット数表示2019と、ヒット率表示2021と、コメント2023とを含む。
区間表示2015は、セッションの開始時刻および終了時刻を示す。表示形式は図示されたような24時間制には限られず、12時間制であってもよい。また、時刻の表示単位は、例えば秒、分、時間など、例えばセッションの性質(どのような意味をもったプレーをまとめるか)によって適宜設定されうる。
サムネイル画像2017は、サムネイル画像2007と同様に、セッション中に撮像されたプレー画像の中から自動的に抽出された、またはユーザによって選択された画像である。サムネイル画像2017は、図示された例のように単一の画像で、かつ動画像へのリンクになっていてもよい。あるいは、サムネイル画像2017は、複数の画像、またはリンクになっていない画像などであってもよい。
ここで、例えば、セッション単位のサムネイル画像2017として表示される画像の中から、日単位のサムネイル画像2007が選択されるように設定されていてもよいし、セッション単位のサムネイル画像2017として表示された画像は日単位のサムネイル画像2007には含まれないように設定されていてもよいし、そういった設定をすることなく、セッション単位のサムネイル画像2017および日単位のサムネイル画像2007が互いに独立して抽出または選択されてもよい。
ショット数表示2019は、ショット数表示2009と同様に、ラケットに装着されたセンサ装置100からのセンサデータに基づいてセッション中に検出されたショット(ボールのインパクト)の数の表示である。それぞれの日のすべてのプレーが1または複数のセッションに分類される場合、同じ日のセッション単位表示2013のそれぞれに含まれるショット数表示2019をすべて足し合わせると、日単位のショット数表示2009によって表示される数と一致する。
ヒット率表示2021は、ヒット率表示2011と同様に、セッションの間に検出されたショットのうち、所定の条件を満たしたショットの割合、例えばボールがスウィートスポットに当たったショットの割合を表示する。それぞれの日のすべてのプレーが1または複数のセッションに分類される場合、同じ日のセッション単位表示2013のそれぞれに含まれるヒット率表示2021の、各セッションにおけるショット数での加重平均を算出すると、日単位のヒット率表示2011によって表示される率とほぼ一致する。
コメント2023は、セッションについて設定されたコメントである。コメント2023は、例えば図示された例(セッション中のショット数が過去最高であったことを示す)のように、解析端末200またはサーバ300において算出された統計データに基づいて自動的に設定されてもよいし、ユーザによって入力されてもよい。また、図示していないが、日単位表示2003でも同様のコメントが表示されてもよい。
(関連情報設定画面)
図7は、本開示の一実施形態における関連情報設定画面の例を示す図である。図7を参照すると、関連情報設定画面2050も、解析端末200のディスプレイに表示される。なお、図示された例はセッション単位の関連情報設定画面であるが、日単位の関連情報設定画面が同様にして表示されてもよい。
関連情報設定画面2050は、コメント入力欄2051と、画像選択ボタン2053と、コート名入力欄2055と、プレー種類入力欄2057と、プレー相手名入力欄2059とを含む。
コメント入力欄2051では、セッションにおけるプレーの内容や、プレーの感想などのコメントを入力することができる。入力されたコメントは、例えばタイムライン画面2001においてコメント2023として表示されうる。
画像選択ボタン2053を押下することによって、解析端末200などに保存されたプレー中の画像の中から、例えばタイムライン画面2001においてサムネイル画像2017として表示させる画像を選択することが可能である。図示されている関連情報設定画面2050はセッション単位の関連情報設定画面であるため、画像選択ボタン2053が押下された場合には、例えば撮像画像のタイムスタンプに基づいて、当該セッション中に撮像された画像が抽出されて候補として表示されてもよい。
コート名入力欄2055では、プレーが行われたコートの名前を入力することができる。プレー種類入力欄2057では、例えば「試合」または「練習」などのプレーの機会の種類や、プレーが試合である場合には「シングルス」「ダブルス」のような種目などを設定することができる。また、プレー相手名入力欄2059では、プレーが試合である場合にプレーの相手の名前を入力することができる。ユーザがこのような情報を補足的に入力することによって、例えば、解析情報を、どこのコートでのプレーか、試合か練習か、誰との試合か、といった条件で分類して参照することができる。
なお、プレーのペアの名前や対戦相手の名前は、直接文字入力されてもよいし、サービスに登録された情報を検索することによって選択入力されてもよい。また、コートの名前も、直接文字入力されてもよいし、GPSなどのセンサ情報に基づいて自動的に取得された名前が候補として表示され、そこから選択入力されてもよい。
(カレンダー画面)
図8は、本開示の一実施形態におけるカレンダー画面の例を示す図である。図9は、図8に示されたカレンダー画面をスクロールさせた場合の表示について説明するための図である。図8を参照すると、カレンダー画面2101は、上記のタイムライン画面2001と同様に、解析端末200のディスプレイに表示される。図示された例のように、画面上方に表示されるタブによって、タイムライン画面2001、カレンダー画面2101、および後述するランキング画面の切り替えが可能であってもよい。
カレンダー画面2101は、月単位表示2103を含む。図9には、12月の月単位表示2103aと、11月の月単位表示2103bと、10月の月単位表示2103cとが示されている。ユーザは、例えばカレンダー画面2101をスクロールさせることによって、これらの月単位表示2103を順次ディスプレイに表示させることができる。
図示された例において、月単位表示2103は、プレー日表示2105と、特別プレー日表示2107と、コメント2109とを含む。
プレー日表示2105は、例えばセンサ装置100からのセンサデータに基づいて検出された、ユーザがテニスをプレーした日に表示される。従って、上述したタイムライン表示2001では、プレー日表示2105(および次に説明する特別プレー日表示2107)がある日について、日単位表示2003が表示されうる。
特別プレー日表示2107は、例えばセンサ装置100からのセンサデータに基づいて検出されたプレー日のうち、所定の条件を満たした日に表示される。所定の条件は、例えばユーザが個人的に設定した目標を達成することや、後述するランキングにおいて上位にランクされたことなどでありうる。
コメント2109は、各プレー日について設定されたコメントである。コメント2109は、例えばカレンダー画面2101におけるコメント2023のように、解析端末200またはサーバ300において算出された統計結果のデータに基づいて自動的に設定されてもよいし、ユーザによって入力されてもよい。図示された例では、プレー時間が過去最長であったことを示すコメント2109aと、ショット数が過去最高であったことを示すコメント2109bとが示されている。なお、カレンダー画面2101の場合、すべてのプレー日についてコメントが表示されると画面が見難くなるため、所定の基準、例えばコメントの長さや内容などに応じて表示するコメント2109をフィルタリングしてもよい。
(ランキング画面)
図10は、本開示の一実施形態におけるランキング画面の例を示す図である。図11は、図10に示されたランキング画面をスクロールさせた場合の表示について説明するための図である。図10を参照すると、ランキング画面2201は、上記のタイムライン画面2001およびカレンダー画面2101と同様に、解析端末200のディスプレイに表示される。図示された例のように、画面上方に表示されるタブによって、タイムライン画面2001、カレンダー画面2101、およびランキング画面2201の切り替えが可能であってもよい。
図示された例では、ランキング画面2201に、週間ランキング2203が表示されている。例えば週間ランキング2203のタイトル欄を選択することによって、この例の他にも、デイリーランキング、月間ランキング、年間ランキングなど、さまざまな期間を対象としたランキングが表示可能でありうる。また、図示された例ではショット数のランキングが表示されているが、例えばヒット率やプレー時間など、他の項目のランキングをランキング画面2201に表示することももちろん可能である。
週間ランキング2203は、グラフ2205と、自己データ2207と、参考データ2209とを含む。グラフ2205は、サービスを利用している全ユーザのデータの分布を示す。グラフ2205には、図示されているように「Top」(最高データ)、「Ave」(平均データ)、「You」(ユーザのデータ)のような特徴的なデータが表示されていてもよい。
自己データ2207は、ランキングが表示されている項目におけるユーザ自身のデータの表示である。図示された例において自己データ2207として表示されるユーザのショット数は、グラフ2205中で「You」として表示された部分に一致する。一方、参考データ2209は、ランキングが表示されている項目における特徴的なデータの表示である。図示された例において参考データ2209として表示されるショット数の最高データは、グラフ2205中で「Top」として表示された部分に一致する。
また、図示された例では、ランキング画面2201において、週間ランキング2203とともに、ユーザのトータルデータ表示2211が表示されている。トータルデータ表示2211には、例えば、ショット数表示2213と、ヒット率表示2215と、スウィング種類選択表示2217とが含まれる。このようなトータルデータ表示2211によって、ユーザは、ランキング2203によって全体の中での位置を把握するとともに、自らのプレー履歴をもあわせて振り返ることができる。なお、スウィング種類選択表示2217によって選択されるスウィングの種類については後述する。
(2−2.セッションについて)
図12は、本開示の一実施形態において定義されるセッションについて説明するための図である。図12に示されるように、解析情報の全データ(Root)は、まず年単位で分類される。例えばN年分の解析情報が蓄積されている場合、すべての解析情報はNの年うちのいずれかに分類される。同様にして、年単位の解析情報は12の月のうちのいずれかに分類され、月単位の解析情報は月内の週のうちのいずれかに分類され、週単位の解析情報は週の中の日のどれかに分類され、日単位の解析情報は1または複数のセッションに分類される。なお、このような分類は一例であって、他の分類も可能である、例えば、月単位の解析情報が、週単位に分類される代わりに日単位で分類されてもよい。また、週単位の解析情報が、日単位に分類される代わりに1または複数のセッションに分類されてもよい。
本実施形態において、セッションは、解析情報を分類する最小の単位として設定される。図12では、解析情報の例としてショットデータ、メタデータおよびタグデータが示されているが、これらの解析情報は、いずれもセッションに関連付けられる。セッションは、ユーザの動きを示すセンサデータに含まれるデータの特徴に基づいて決定された開始時刻および終了時刻の間の区間を意味する。また、セッションは、例えばスイングやラリー、セット、試合などのように、何らかの意味をもったプレーのまとまりに対応しうる。
なお、ショットデータは、検出されたショットについて設定されるデータであり、例えば、ラケット上のインパクト位置、インパクトがラケットの表裏どちらであったかの判定、インパクトのエネルギー、打球速度、スピン量、スウィング種類、スウィング速度、スウィング軌跡などを含みうる。ショットデータは、例えばインパクトが発生した時刻があるセッションの区間に含まれる場合に、そのセッションに関連付けられる。
メタデータは、セッションについて補足的に設定されるデータであり、例えば、試合/練習の区分、シングルス/ダブルスの区分、プレー相手名、スコア、プレーした場所(位置、地域またはコート名)、一緒にプレーした他のユーザ、コメントなどを含みうる。メタデータは、例えば上述した関連情報設定画面2050などを用いて、セッションに関連付けられる
タグデータは、例えばプレー中のユーザの操作入力によって任意の時刻に設定され、ユーザによって指定された何らかのポイントを示す。タグ情報は、例えばタグが設定された時刻があるセッションの区間に含まれる場合に、そのセッションに関連付けられる。あるいは、後述するように、タグデータはセッションを定義するために用いられてもよい。
この他に、解析情報として、例えば後述する解析情報を利用したアプリケーションの情報や、セッション中に撮像された動画像へのリンク情報、セッション中のカウントアップデータ(ショット数やインテンシティ、ヒット率など)が、セッションに関連付けられうる。
解析情報をセッションに関連付けることによって、例えば、上記のタイムライン画面2001のように解析情報を可視化した場合に、ユーザが解析情報を参照しやすくなる。より具体的には、セッションごとに算出された統計情報を参照することができたり、セッション同士の解析情報を比較することができたり、セッションごとにコメントや画像などのメタデータを付与することができたり、プレーがセッションごとに分類されていることによってプレーを振り返るときに思い出しやすくなったりする。
図13は、本開示の一実施形態におけるセッションの作成処理の例を示すフローチャートである。図13に示された例では、センサ装置100がオフラインモードで動作し、リムーバブルメモリ113に蓄積されたショットデータが一括して解析端末200に送信される。
図示された例では、まず、ショットデータの同期が開始される(S101)。すべてのショットデータを同期させるための繰り返し処理の中で(S103)、1ショット分のデータを同期すると(S105)、それが同期されるショットデータのうちの最初のショットデータであるか否かが判定される(S107)。ここで、対象のデータが最初のショットデータである場合(YES)、新たなセッションが作成される(S111)。
一方、対象のデータが最初のショットデータではない場合(NO)、さらに、前回(時系列的に1つ前の)ショットデータから所定の時間が経過しているか否かが判定される(S109)。ここで、前回のショットデータから所定の時間が経過していた場合も(YES)、新たなセッションが作成される(S111)。一方、前回のショットデータから所定の時間が経過していない場合(NO)、新たなセッションは作成されず、既に作成されているセッションにショットデータが追加登録される。
新たなセッションが作成された場合(S111)、および既に作成されているセッションに追加することが判定された場合(S109のNO)、セッションにショットデータが登録される(S113)。以上の処理をすべてのショットデータについて繰り返すことによって、すべてのショットデータがセッションに登録される。
上記の例では、ショットデータ同士の時間間隔が閾値を超える場合に、その前後のショットデータが互いに異なるセッションに含まれるようにセッションが作成される、つまりセッションの開始時刻および終了時刻が決定される。従って、閾値以下の間隔で連続する複数のショットデータは、共通するセッションに分類される。なお、上記の例はセンサ装置100がオフラインモードで動作する場合であるが、センサ装置100がオンラインモードで動作し、ショットデータがリアルタイムで解析端末200に送信される場合にも同様の処理が可能である。この場合、例えば、解析端末200において、1つのショットデータが受信される度に上記のS107〜S113と同様の処理が実行される。
なお、セッションの生成基準は上記の例には限られず、例えば、ユーザによってプレーを記録するための動作が実行された場合に、その動作の前後のショットデータが互いに異なるセッションに含まれるようにセッションが作成されてもよい。より具体的には、例えば、ショットデータの間隔で動画の撮像が開始された場合、撮像開始後のショットデータは、撮像開始前のショットデータとは異なる新たなセッションに登録されてもよい。この場合、例えば上記のS109に代えて、前回のショットデータと今回のショットデータとの間で動画の撮影が開始または終了されたか否かが判定されうる。プレーを記録するための動作の別の例としては、後述するミニゲームやドリルなどの開始や、タグの入力などもありうる。
本実施形態では、例えば上記のような処理によって自動的に生成されたセッションに対して、解析端末200のアプリケーション205やサーバ300のサーバアプリケーション303を介してユーザが事後的に編集を加えることが可能である。例えば、ユーザは、セッションを結合させたり、分割したりすることができる。セッションを結合させる場合、対象になる複数のセッションに分類されていたショットデータが、結合後のセッションに統合される。一方、セッションを分割する場合、対象になるセッションに分類されていたショットデータは、それぞれのショットデータのタイムスタンプと、セッションの分割時刻とを比較することによって、分割後の複数のセッションに割り振られる。
なお、例えば、センサ装置100を他のユーザに貸したような場合には、本来のユーザ以外のデータがセッションに登録される可能性がある。このような場合には、事後的にセッションを編集するときに、本来のユーザ(例えば「ゲスト」と呼ばれてもよい)のデータであることが登録可能であってもよい。この場合、セッションに関連付けられた解析結果を表示するときに、ゲストの解析結果が視覚的に区別できるように表示されたり、ショット数などのデータからゲストのデータが除かれたりしてもよい。
(3.ショットモニタ画面)
本開示の実施形態では、さらに、ショットモニタ画面によって、ユーザのプレーに対する解析結果をリアルタイムで表示することができる。ショットモニタ画面では、例えば、ユーザによるショットが検出された後に、打球がラケットのどこに当たったか、スウィングの種類が何であったか、などといった解析情報が表示される。これによって、ユーザは、自己のプレーの状態をリアルタイムで把握し、プレーの改善などに役立てることができる。
図14は、本開示の一実施形態に係るショットモニタ画面のショット直後の状態の例を示す図である。図14を参照すると、このとき、ショットモニタ画面2301aには、振動波形2303が表示される。この振動波形2303は、センサ装置100の振動センサによって実際に検出された振動の波形でありうる。なお、振動波形2303以外の情報は、まだ解析中であるため表示されない。逆に言えば、ショットモニタ画面2301aでは、解析結果の情報が表示される前に、まず振動波形2303が表示される。
図15は、本開示の一実施形態に係るショットモニタ画面の解析終了後の状態を示す図である。図15を参照すると、このとき、ショットモニタ画面2301bには、振動波形2303に加えて、ラケット表示2305、スウィング種類表示2307、ユーザアイコン2309、およびメッセージ2311が表示される。
ラケット表示2305は、ラケットに当たったボールを表しており、ショットにおいて打球がラケット上のどこに当たったかを示す。ユーザアイコン2309は、ショットのときのユーザの姿勢を示す。この姿勢は、例えばスウィングの種類ごとに予め設定されてもよいし、ユーザに装着された他のセンサによって検出されてもよい。なお、スウィングの種類は、例えば9軸センサによって提供された動きデータに基づいて判定され、別途スウィング種類表示2307としても表示されうる。ラケット表示2305の回転角度は、ユーザアイコン2309がラケットを持っている向きに整合する。
ここで、ユーザが実際にラケットを持っている向きは、スウィングの種類、例えばフォアハンド、バックハンド、ボレーなどに応じて変化する。従って、ラケットのどこにボールが当たったかを表現するラケット表示が、常に同じラケットの角度で(例えばグリップを下にして)表示されると、ボールが当たった位置を直感的に把握しにくく、リアルタイムの情報提示としては十分でない。そこで、本実施形態では、ユーザの姿勢に近い姿勢をするユーザアイコン2309を表示し、ユーザアイコン2309が持っているような向きにラケット表示2305を回転させて表示する。これによって、ユーザは、ボールが当たった位置を直感的に把握することができる。
また、ボールが当たった位置を表現する場合、ラケットが表側から見られているか裏側から見られているかも重要な情報である。そこで、本実施形態では、ユーザアイコン2309とあわせてラケット表示2305を表示するのに加えて、ラケット表示2305でボールがラケットの表側にあたっているか裏側にあたっているかを表現する。より具体的には、本実施形態では、ボールがラケットの表側に当たっている場合には、図示された例のようにラケット表示2305においてボールをラケットのガットの手前に表示する。一方、ボールがラケットの裏側に当たっている場合には、ラケット表示2305においてボールをラケットのガットの向こう側に表示する。
メッセージ2311は、ユーザのショットの状態、例えばボールがスウィートスポットに当たったか否かに応じて表示される。図示された例では、ボールがスウィートスポットの近傍に当たったため、「Nice Shot!」と表示されている。メッセージ2311はこの他にも多様に表示されてよい。例えば、ボールがスウィートスポットの真ん中に当たったときには「Perfect!」と表示されてもよいし、ボールが標記の例の場合よりも少しスウィートスポットから外れた位置に当たった場合には「Good Shot!」、スウィートスポットから全く外れた位置に当たった場合には「Try Again!」などのメッセージ2311が表示されてもよい。
このように、ラケット表示2305のような表示によって単純にボールが当たった位置を表現するだけではなく、その位置がどのような位置であったかに応じてメッセージ2311のような表示を変化させることによって、ユーザにボールが当たった位置のもつ意味合いをわかりやすく伝えることができる。
なお、ボールがスウィートスポットに当たったか否かを判定する処理には多様な例がありうる。例えば、ラケットに発生した振動を解析することによって、ボールがラケットのどの領域に当たったかを判定することができる。スウィートスポットの位置はラケットの種類やスウィングの種類、スウィングの速度による遠心力の大きさによって変化するため、これらの情報に基づいてスウィートスポットの領域の定義を変更してもよい。
以上で説明した本開示の一実施形態に係るショットモニタ画面2301では、プレー中のユーザにリアルタイムで適切な情報をわかりやすく提示することができるとともに、ユーザにリアルタイム感を感じさせることもできる。
例えば、上記の例においてショットモニタ画面2301bに表示された情報の多くは、スウィングの種類に基づいて生成されるため、スウィングの種類が特定されるまでは表示されない。しかし、多くの場合、スウィングの種類の判定にはフォロースルーのときのセンサデータが必要であるため、フォロースルーが終わってから解析が開始される。また、センサ装置100で取得されたセンサデータを解析端末200に送信して解析を実行するのにも、例えば1秒程度の時間がかかる。従って、表示する情報がすべて揃うのを待っていたのでは、ユーザが十分にリアルタイム感を感じることは難しい。
そこで、本実施形態では、ショットモニタ画面2301aにおいて振動波形2303を先行して表示させることによってユーザのリアルタイム感を損なわないようにしつつ、並行して、さらなる情報を表示するための解析処理を進めている。付加的に、振動波形2303の表示とともに打球音などの音声でのフィードバックを出力すれば、ユーザにさらなるリアルタイム感を感じさせることができる。
(変形例)
図16は、本開示の一実施形態に係るショットモニタ画面の変形例を示す図である。図16を参照すると、本変形例において、ショットモニタ画面2901はアニメーションとして表示される。本変形例では、ショットが検出されるとまず、Aのショットモニタ画面2901aに示すように、振動波形2903と背景2905とが表示される。「Ready」と表示された背景2905は、例えばショットが検出される前から表示されていてもよい。この時点では、また解析処理は終了していない。
次に、解析処理が終了すると、B〜Dのショットモニタ画面2901b〜2901dに示すように、解析結果表示2907が左から右へとワイプインおよびワイプアウトして表示される。解析結果表示には、図示されているように、スウィングの種類や、ラケットにボールが当たった位置、および「NICE SHOT!!」などのメッセージが含まれる。解析結果表示2907がワイプアウトした後、Eに示すようにショットモニタ画面2901eには振動波形2903と背景2905とが残るが、背景2905の文字が「Forehand」となっているように、引き続き解析結果の一部が参照可能であってもよい。
図17は、本開示の一実施形態において解析結果をリアルタイムで表示するための機能構成について説明するための図である。図17に示された機能構成は、例えば、解析端末200において解析ライブラリ221として提供されうる。
まず、センサデータ受信部271が、センサ装置100から提供されたセンサデータを受信する。次に、センサデータ解析部273が、センサデータを解析する。センサデータ解析部273は、センサデータをインパクト検出部275に提供する。インパクト検出部275は、提供されたセンサデータに含まれる振動データにおいて、ショットによるインパクトが発生したか否かを判定する。
インパクトが発生した場合、波形生成部289は、インパクトの前後の振動波形を画像として生成し、画像表示部283に提供する。これによって、例えば上記で説明した振動波形2303が表示される。また、インパクト音声選択部291は、インパクトが発生した場合、インパクトを示す音声を音声再生部287に提供する。これによって、振動波形2303の表示とともに音声によるフィードバックも与えられうる。
さらに、インパクトが発生した場合、インパクト位置解析部277が、ラケット上のインパクト位置を特定する。インパクト位置の情報は、解析結果表示生成部281および解析結果音声選択部285に提供されてそれ自体が出力情報になるとともに、ショットタイプ解析部279にも提供される。ショットタイプ解析部279は、インパクト位置の情報に加えて、さらにセンサデータ解析し、ショットタイプを判定する。判定されたショットタイプの情報は、解析結果表示生成部281および解析結果音声選択部285に提供され、画像または音声として出力される。
この結果、解析結果表示生成部281から画像表示部283に提供された情報に基づいて、上記で説明したラケット表示2305、スウィング種類表示2307、ユーザアイコン2309、およびメッセージ2311のような情報がディスプレイに表示されうる。また、解析結果音声選択部285から音声再生部287に提供された情報に基づいて、上記のような情報に対応する音声がスピーカから出力されうる。
(4.ショットカム画面)
本開示の実施形態では、さらに、ショットカム画面によって、ユーザのプレーを画像として撮像することができる。ショットカム画面は、例えば、解析端末200が撮像機能を有し、プレー中のユーザを撮像可能である場合に、解析端末200に表示されうる。あるいは、ショットカム画面は、解析端末200が外部機器の撮像機能をリモート操作する場合に解析端末200に表示されてもよい。
図18は、本開示の一実施形態に係るショットカム画面の初期画面の例を示す図である。図18を参照すると、初期画面2401には、過去画像サムネイル2403と、撮像開始ボタン2405とが表示される。過去画像サムネイル2403は、撮像機能によって過去に撮像されたプレー画像のサムネイルである。過去画像サムネイル2403が選択された場合、それらの画像の再生が開始されうる。撮像開始ボタン2405は、新たにプレー画像の撮像を開始するためのボタンであり、押下時には次に説明する撮像画面に遷移する。
図19は、本開示の一実施形態に係るショットカム画面の撮像画面の例を示す図である。図19を参照すると、撮像画面2407には、スルー画像2409が表示される。Aに示す場合、撮像画面2407aには、さらに、記録開始ボタン2411と、タイムカウンタ2413と、解析情報2415とが表示されうる。ユーザは、例えばスルー画像2409が表示された部分をタップ(解析端末200のディスプレイがタッチパネルの場合)することによって、これらの情報表示を非表示にして、Bに示すように専らスルー画像2409を表示する撮像画面2407bとの間で表示を切り替えることもできる。
ユーザが記録開始ボタン2411を押下すると、スルー画像2409として表示されている画像の記録が開始される。タイムカウンタ2413は、画像の記録が実行されている場合に進行する。解析情報2415は、例えば上述したショットモニタ画面で表示されたような、スウィングの種類や、ラケットにボールが当たった位置などの情報を表示する。本実施形態では、センサ装置100で取得されたセンサデータに基づいて解析端末200で解析情報が生成されているため、プレー画像を撮像するときにもこうした解析情報を参照することができる。また、これらの解析情報は、プレー画像とともにセッションに関連付けられるため、後述するようにプレー画像を再生するときにも解析情報を容易に参照することができる。
(5.ショットログ画面)
本開示の実施形態では、さらに、ショットログ画面によって、ユーザのプレーをデータによって振り返ることができる。
図20は、本開示の一実施形態に係るショットログ画面の初期画面の例を示す図である。図20を参照すると、ショットログ画面2501は、解析端末200のディスプレイに表示される。初期のショットログ画面2501aには、時系列グラフ2503と、スウィング種類選択表示2505と、ショット数表示2507と、ヒット率表示2509と、プレー時間表示2511と、再生コントロール2513とが表示される。
ショットログ画面2501は、例えば上述したセッションを単位として表示されうる。図示された例では、15:20〜15:40のセッションについてショットログが表示されている。ショットログ画面2501は、セッションの間の各ショットについての解析情報を時系列で順次表示し、例えば動画のように進行/停止しながら時系列で解析情報を参照することができる。
時系列グラフ2503は、当該セッション中における解析情報の推移を時系列で表現したグラフである。ショットログ画面2501aでは、棒グラフによって単位時間(図示された例では約2分ごと)ごとのショット数が、折れ線グラフによってそれぞれの時間におけるヒット率(ボールがスウィートスポットに当たった割合)が、それぞれ示されている。スウィング種類選択表示2505によって、時系列グラフ2503などで表示されるスウィングの種類を選択することが可能である。図示された例では、「All Type」が選択され、全種類のスウィングの合計のデータが表示されている。
ショット数表示2507およびヒット率表示2509は、上述したプレイログ画面におけるセッション単位のショット数表示2019およびヒット率表示2021と同様の表示であり、当該セッションにおけるショット数と、ボールがスウィートスポットに当たった割合とを表示している。プレー時間表示2511は、セッションの開始から終了までの時間を表示する。ただし、以下で説明するショットログの表示は、動画の表示とは異なり、ショットごとのデータを非連続的に表示するものであるため、セッション全体のショットログの表示にプレー時間表示2511と同じ時間がかかるわけではない。もちろん、各ショットのデータを表示するタイミングを実際のショットの発生時刻に合わせて設定し、プレー時間表示2511とほぼ同じ時間をかけてショットログを表示させることも可能である。
再生コントロール2513は、ショットログ画面の進行、停止、早送り、および巻き戻しを制御するためのコントロール表示である。再生コントロール2513として表示されている再生ボタンを押下することによって、各ショットのショットログの表示を開始させることができる。
図21は、本開示の一実施形態に係るショットログ画面の表示が進行中の例を示す図である。図21を参照すると、ショットログ画面2501bでは、時系列グラフ2503において、表示されているショットの時系列位置を示す表示位置バー2515が表示される。表示位置バー2515は、ショットログの進行に伴って移動する。図示された例の場合であれば、表示位置バー2515は、ショットログ画面の進行に伴って左から右へと移動する。また、ショットログ画面2501bでは、ショットカウンタ2516も表示される。ショットカウンタ2516は、セッション中の全ショット(256ショット)のうち、表示中のショットが何ショット目か(図示された例では123ショット目)を表示する。
さらに、ショットログ画面2501bでは、ラケット表示2517と、ユーザアイコン2519と、スウィング種類表示2521とが表示される。これらの表示は、上述したショットモニタ画面におけるラケット表示2305、ユーザアイコン2309、およびスウィング種類表示2307と同様の表示であり、対象になるショットでラケットにボールが当たった位置と、スウィングの時のユーザの姿勢と、センサデータに基づいて特定されたスウィングの種類とを表示する。このように、ショットログの表示が進行すると、セッション中の各ショットについて、例えばショットモニタ画面で表示されたのと同様の情報が表示されうる。
なお、他の実施形態では、ショットログ画面またはショットモニタ画面のいずれかだけが実装されてもよい。つまり、プレー中にショットモニタ画面が表示されない場合でもショットログ画面の表示が可能である場合がありえ、プレー中にはショットモニタ画面が表示されるがショットログ画面は表示可能ではない場合もありうる。
図22は、本開示の一実施形態に係るショットログ画面の進行中にスウィング種類を選択した場合に表示される画面の例を示す図である。図22を参照すると、ショットログ画面2501cでは、スウィング種類選択表示2505によって「Backhand」が選択されている。この場合、時系列グラフ2503として表示されるショットが、スウィング種類が「Backhand」であるものに絞り込まれる。従って、図示されているように、ショットログ画面2501a,2501bで全種類のスウィングが表示されていた場合に比べて、時系列グラフ2503に表示されるショット数を示す棒グラフの高さが低くなっている。
図23は、本開示の一実施形態に係るショットログ画面から遷移可能な関連情報設定画面の例を示す図である。図23を参照すると、関連情報設定画面2530は、コメント入力欄2531と、画像選択ボタン2533と、コート名入力欄2535と、プレー種類入力欄2537と、プレー相手名入力欄2539とを含む。これらの表示要素は、上述の関連情報設定画面2050において表示されたものと同様であり、ショットログが表示されているセッションに関する情報を入力することができる。
図24は、本開示の一実施形態に係るショットログ画面から遷移可能なラケット情報画面の例を示す図である。図24を参照すると、ラケット情報画面2550は、ラケット画像2551と、ラケット名称2553と、累積ショット数2555とを含む。ラケット画像2551は、例えばネットワーク上のカタログデータのダウンロードや、ユーザが実際に所持しているラケットの画像の登録などによって取得された画像である。ラケット名称2553は、例えばラケットの商品名および/または型番を含みうる。ユーザが任意に付与した愛称が登録されてもよい。累積ショット数2555は、表示されているラケットを使用してユーザがこれまでに実行したショット数の合計である。
本実施形態では、例えば上記のラケット情報画面2550のようにして、ユーザが使用しているラケットの情報が表示されうる。これとは別に、例えば解析端末200またはサーバ300は、センサデータの解析、例えば振動特性の利用やスウィートスポットの特定などのために、ラケットの形状や材質などに関する詳細なデータを保持していてもよい。こうしたデータは、例えば型番やIDなど、各ラケットを一意に識別する情報に関連付けて保持されうる。
(6.ビデオログ画面)
本実施形態では、ショットログ画面に加えて、またはこれに代えて、ビデオログ画面によって、ユーザのプレーを動画とともに振り返ることもできる。
図25は、本開示の一実施形態に係るビデオログ画面の初期画面の例を示す図である。図25を参照すると、ビデオログ画面2601は、解析端末200のディスプレイに表示される。ビデオログ画面2601aには、再生画像2603と、ショット数表示2605と、シークバー2607と、スウィング種類選択表示2609と、ショット数表示2507と、ヒット率表示2613と、再生コントロール2611とが表示される。
ビデオログ画面2601も、例えば上述したセッションを単位として表示されうる。図示された例では、16:50〜17:20のセッションについてビデオログが表示されている。ビデオログ画面2601は、セッションに対応する時間の動画を解析情報とともに表示する。
再生画像2603は、初期画面のビデオログ画面2601aではまだスタートされておらず、最初のフレーム、または代表画像が表示されている。ショット数表示2605は、再生画像に対応するセッションにおけるショット数であり、再生画像2603がスタートされる前は、総ショット数が表示されている。シークバー2607は、再生画像2603の再生位置を表示する。ビデオログ画面2601aでは再生画像2603の再生がスタートしていないため、シークバー2607もまだ進行していない。
スウィング種類選択表示2609と、ショット数表示2507と、ヒット率表示2613とは、それぞれ、上述したショットログ画面2501aのスウィング種類選択表示2505、ショット数表示2507、およびヒット率表示2509と同様の表示要素である。再生コントロール2615は、再生画像2603の再生、停止、早送り、および巻き戻しを制御するためのコントロール表示である。再生コントロール2615として表示されている再生ボタンを押下することによって、再生画像2603の再生を開始させることが可能である。
図26は、本開示の一実施形態に係るビデオログ画面の表示が進行中の例を示す図である。図26を参照すると、ビデオログ画面2601bでは、再生画像2603の再生が開始されている。これによって、ショット数表示2605がショットカウンタ2617に変化し、セッション中の全ショット(534ショット)のうち、再生画像2603で再生中のショットが何ショット目か(図示された例では123ショット目)を表示する。また、シークバー2607も、再生画像2603の再生位置に対応する位置まで進行する。
さらに、ショットログ画面2501bでは、ラケット表示2619と、ユーザアイコン2621と、スウィング種類表示2623とが表示される。これらの表示は、上述したショットモニタ画面におけるラケット表示2305、ユーザアイコン2309、およびスウィング種類表示2307と同様の表示であり、対象になるショットでボールが当たったラケット上の位置と、スウィングの時のユーザの姿勢と、センサデータに基づいて特定されたスウィングの種類とを表示する。このように、ビデオログ画面が開始されると、再生画像2603として再生中のショットについて、例えばショットモニタ画面で表示されたのと同様の情報が表示されうる。
図27は、本開示の一実施形態におけるビデオログ画面の拡大表示の例を示す図である。図27を参照すると、拡大表示画面2631には、再生画像2633が表示される。Aに示す場合、拡大表示画面2631aには、さらに、ショットカウンタ2635と、プログレスバー2637と、再生コントロール2639と、解析情報2641とが表示されうる。ユーザは、例えば再生画像2633が表示された部分をタップ(解析端末200のディスプレイがタッチパネルの場合。以下同様)することによって、これらの情報表示を非表示にして、Bに示すように専ら再生画像2633を表示する拡大表示画面2631bとの間で表示を切り替えることもできる。
また、ビデオログ画面2601から拡大表示画面2631への遷移は、例えばビデオログ画面2601で再生画像2603が表示された部分をタップすることによって実行されうる。また、拡大表示画面2631からビデオログ画面2601への遷移は、拡大表示画面2631が表示されているときに、戻るボタン2643を押下することによって実行されうる。
このようなビデオログ画面が表示されることによって、ユーザは、プレー時の画像をただ見るだけではなく、センサデータに基づく様々な解析情報とともに参照することができる。また、ビデオログ画面がセッションを単位として表示されることによって、動画の再生が適切な区間に分けて実行され、ユーザが動画を参照しやすくなる。
(7.その他の画面例1)
図28は、本開示の一実施形態に係るアプリケーション一覧画面の例を示す図である。本実施形態では、センサデータの解析によって生成される解析情報に関連するアプリケーションが提供されうる。アプリケーションは、例えば、解析情報を用いたミニゲームやドリルなどである。このようなアプリケーションの内容も、セッションを単位として設定されうる。例えば、「セッション中に5種類のスウィングを決められた順序でする」といったようなミニゲームがあってもよいし、「セッションごとのスウィートスポットのヒット率が70%を下回らないようにする」というドリルがあってもよい。
アプリケーション一覧画面2701は、解析端末200のディスプレイに表示され、アプリケーションボタン2703を含む。アプリケーションボタン2703は、例えば複数が配列されていて、ユーザは興味のあるアプリケーション(図ではProgramとして表記されている)のアプリケーションボタン2703を押下して、アプリケーションを取得する。その後、例えば、ユーザのプレーを記録したセンサデータに基づいてセッションが生成されたときに、各セッションについて、ミニゲームやドリルがクリアされているか否かが判定されうる。
図29は、本開示の一実施形態に係るその他設定画面とプロフィール画面との例を示す図である。図29を参照すると、その他設定画面2801は、解析端末200のディスプレイに表示され、設定項目ボタン2803を含む。プロフィール画面2831は、その他設定画面2801の設定項目ボタン2803のうちの1つを押下することによって解析端末200のディスプレイに表示される。
プロフィール画面2831は、ユーザ情報表示2833、メインラケット表示2835、サブラケット表示2837、およびキャリア表示2839などを含みうる。ユーザ情報表示2833は、この解析端末200を使用しているユーザの情報である。解析端末200がセンサ装置100から取得したセンサデータに基づく解析結果は、このユーザの解析情報として蓄積され、あるいはサーバ300において共有される。メインラケット表示2835は、ユーザがメインで使用するラケットとして登録されたラケットの情報を表示する。メインラケット表示2835によって表示される情報は、例えば上記のラケット情報画面2550に表示される情報と同様でありえ、累積ショット数などを含みうる。サブラケット表示2837は、メインラケット以外でユーザが使用するラケットとして登録されたラケットの情報を表示する。キャリア表示2839は、対象となるスポーツ(本実施形態の場合はテニス)に関するユーザのキャリアを表示する。これらのプロフィール画面2831に表示される情報は、例えばサーバ300を介して、解析情報とともに他のユーザとの間で共有されてもよい。
(8.その他の画面例2)
図30は、本開示の一実施形態におけるその他の画面の第2の例における画面遷移について説明するための図である。図30を参照すると、この例で説明する画面は、タブレット端末200tのディスプレイに表示される。他の例では、同様の画面が、スマートフォンやパーソナルコンピュータ、ゲーム機などの他の端末装置のディスプレイに表示されてもよい。
本例に係るアプリケーションを起動させると表示される第1の画面3100には、利き手選択ボタン3101L,3101Rが表示される。本例では、モーションデータや振動データの解析によるスイング(ショット)の種類などの特定に、ユーザの利き手の情報が利用される。ボタン3101を用いてユーザが利き手を選択すると、第2の画面3200が表示される。第2の画面3200は、演出のために表示される。第2の画面3200では、例えばテニスラケットなどのアニメーション3200が表示され、アプリケーションが起動後の待機状態であることを表示する。
その後、例えばユーザのショットが検出されたときに自動的に、ディスプレイには第3の画面3300が表示される。第3の画面3300は、ユーザの直近のショットに関する情報を表示する。なお、この第3の画面3300については後により詳しく説明する。第3の画面3300において、解析ボタン3301が押下されると、解析処理が開始されるとともに、第4の画面3400が表示される。第4の画面3400は、カウントダウンタイマー3401を含む。図示された例ではカウントダウンタイマーによって5秒間がカウントされるが、解析処理は5秒を経過する前に終了していてもよい。つまり、第4の画面3400もまた、演出のために表示されてもよい。
上記の第4の画面3400に続いて、第5の画面3500が表示される。第5の画面3500は、ユーザのショットなどを含むプレーの履歴の解析結果に基づく情報を表示する。なお、この第5の画面3500についても後により詳しく説明する。第5の画面3500において戻るボタン3501が押下されると、解析結果の表示が終了し、ディスプレイには例えば第2の画面3201が表示される。
図31は、図30に示した第3の画面についてさらに説明するための図である。図31を参照すると、画面3300には、解析ボタン3301と、タイムライン3302と、ショット履歴表示3303と、ショット生成エフェクト3304と、タグ追加ボタン3305と、タグアイコン3307と、ショットカウント3309と、ショット種類表示3311と、プレーヤアイコン3313と、最新ショット位置表示3315と、ショット位置履歴表示3317と、ボールスピード表示3319と、スイングスピード表示3321と、ボールスピン表示3323とが含まれる。
解析ボタン3301は、上述した通り、ここまでのユーザのプレー履歴の解析を開始するためのボタンである。タイムライン3302は、これまでのユーザのプレー履歴に対応する。タイムライン3302上には、ショット履歴表示3303や、タグアイコン3307が表示される。ショット履歴表示3303は、タイムライン3302上でユーザのショットが検出された位置に自動的に表示される。ショット履歴表示3303は、検出されたショットの種類ごとに異なる色や形状で表示されてもよい。図示された例では、色の異なる2種類のショット履歴表示3303a,3303bが示されているが、ショット履歴表示3303はさらに多くの種類の色および/または形状が異なるアイコンを含んでもよい。新たにショットが検出された場合、ショット生成エフェクト3304(図示された例では波紋のようなエフェクト)を伴って、新たなショット履歴表示3303のアイコンがタイムライン3302上に追加される。また、ショットの検出時に限らずいつでも、ユーザがタグ追加ボタン3305を押下すると、タイムライン3302上に新たなタグアイコン3307が追加される。ユーザは、タグアイコン3307を用いて、任意に入力したタイミングにおけるプレーを容易に振り返ることができる。
ショットカウント3309は、例えば、画面3300が表示されてからのショットのカウントである。上述のように、本例では、一度解析ボタン3301が押下されて解析処理が開始され、解析結果の画面3350が表示されてから、再び画面3200などを介して画面3300が表示されてもよい。このような場合、ショットカウント3309は継続されてもよいし、リセットされてもよい。
ショット種類表示3311は、検出された最新のショットの種類を表示する。プレーヤアイコン3313は、検出された最新のショットの種類に対応したプレーヤの姿を表示するアイコンである。つまり、ショット種類表示3311およびプレーヤアイコン3313は、いずれも、検出された最新のショットの種類を表示する。さらに、プレーヤアイコン3313は、最新ショット位置表示3315と同期したアニメーションとして表示されてもよい。最新ショット位置表示3315は、ラケットの絵を含み、ラケット上にはインパクト位置3315bが表示される。インパクト位置3315bは、例えばラケットに装着したセンサ装置によって提供される振動などのデータに基づいて推定されたラケット上でのボールのインパクト位置を表示する。
ここで、上記のように、最新ショット位置表示3315と、プレーヤアイコン3313とは、同期したアニメーションとして表示されうる。このアニメーションの例について、以下で図32A〜32Cを参照してさらに説明する。
図32A〜図32Cは、図31に示したプレーヤアイコンおよびショット位置表示のアニメーションの例について説明するための図である。図32Aは、ショット(スイング)種類がフォアハンドストロークまたはフォアハンドボレーである場合のアニメーションの例を示す。図32Bは、ショット(スイング)種類がバックハンドストロークまたはバックハンドボレーである場合のアニメーションの例を示す。図32Cは、ショット(スイング)種類がスマッシュまたはサーブである場合のアニメーションの例を示す。なお、図示された例において、プレーヤ(ユーザ)は右利きであることが、例えば画面3100に表示される利き手選択ボタン3101によって特定されているものとする。例えば、プレーヤ(ユーザ)が左利きであることが特定されている場合には、図示された例が左右反転したアニメーションが表示されてもよい。
上記の図32A〜図32Cのそれぞれの例において、プレーヤアイコン3313が特定された種類のスイングを実行するのに合わせて、ショット位置表示3315に含まれるラケットの位置や角度が変化する。このような表示によって、ユーザは、ショット(スイング)の種類を直観的に把握することができるのに加えて、ショット位置表示3315に含まれるラケットが、裏から見たものか表から見たものかを容易に識別することができる。
また、上記のようなアニメーションの結果、ショット位置表示3315に含まれるラケットの角度は、スイングが完了してインパクト位置3315bが表示された状態で、ショット(スイング)の種類に応じて異なりうる。例えば、図32Aに示したフォアハンドストローク/ボレーの場合のショット位置表示3315のラケットは、図32Cに示したスマッシュ/サーブの場合のラケットに比べて、反時計回りに45度ほど回転している。一方、図32Bに示したバックハンドストローク/ボレーの場合のショット位置表示3315のラケットは、図32Cに示したスマッシュ/サーブの場合のラケットに比べて、時計回りに45度ほど回転している。このようなショット位置表示3315の変化によっても、ユーザは、ショット(スイング)の種類を直観的に把握することができる。
再び図31を参照して、ショット位置履歴表示3317は、過去のショット(スイング)における上記のショット位置表示3315が、履歴として表示されたものである。例えば、図示された例における最新ショット位置表示3315が10回目のショットに対応する場合、3つのショット位置履歴表示3317は、それぞれ7回目、8回目、および9回目のショットに対応する。ショット位置履歴表示3317は、例えば最新ショット位置表示3315と同様の表示であってもよい。つまり、ショット位置履歴表示3317も、ラケットの絵と、ボールのインパクト位置を示すインパクト位置3317bとを含みうる。また、ショット位置履歴表示3317に表示されるラケットの角度も、ショット(スイング)の種類に応じて異なっていてもよい。
ボールスピード表示3319、スイングスピード表示3321、およびボールスピン表示3323は、例えば、ラケットに装着したセンサ装置によって提供される振動やモーションなどのデータに基づいて推定されたボールやラケットの速度、およびボールの回転などに基づいて表示される情報である。これらの情報は、例えば最新のショット(スイング)について表示されうる。また、例えば、タイムライン3302上のショット履歴表示3303や、ショット位置履歴表示3317がユーザ操作によって選択された場合、選択された履歴に対応するショット(スイング)について、ボールスピード表示3319やスイングスピード表示3321、ボールスピン表示3323などが表示されてもよい。
図33は、図30に示した第5の画面についてさらに説明するための図である。図33を参照すると、画面3500には、戻るボタン(終了ボタン)3501と、ヒートマップ3503と、ヒット率3505と、ランキング3507と、ショットグラフ3509と、最大ボールスピード表示3511と、最大スイングスピード表示3513と、最大ボールスピン表示3515とが含まれる。
戻るボタン(終了ボタン)3501は、上述した通り、解析結果の表示を終了し、ショットの待ち受け状態(例えば第2の画面3200)に戻るためのボタンである。あるいは、戻るボタン(終了ボタン)3501は、解析結果の表示を終了し、またアプリケーション自体も終了するためのボタンであってもよい。
ヒートマップ3503は、例えば、ラケットに装着されたセンサ装置から提供される振動やモーションのデータに基づいてボールのインパクト位置を推定した結果に基づいて表示される。例えば、ヒートマップ3503は、ボールのインパクト位置の統計を色で表現したものでありうる。この場合、ヒートマップ3503では、ラケット上でボールが当たった回数が多い領域が濃い色(または赤など)で、少ない領域が薄い色(または青や緑など)で表示されうる。また、ヒット率3505も、同様にボールのインパクト位置を推定した結果に基づいて表示される。ヒット率3505は、ボールがラケット上の所定の領域にヒットした割合を示す。図示された例では、ラケットの中央部分でのヒット率が表示されている。このような表示によって、ユーザは、一連のプレーにおいてラケットのどのあたりにボールがヒットしていたかを直観的に把握することができる。ランキング3507は、ヒット率3505のユーザ全体の中でのランキングである。ヒット率3505がいくつかの異なる種類(ラケットの中央、スウィートスポット、など)で表示可能な場合、ランキング3507の表示内容はヒット率3505の表示対象に応じて変更されうる。
ショットグラフ3509は、解析対象の区間におけるショット(スイング)を種類ごとに表示する。図示された例において、ショットグラフ3509は、ショット種類別カウント3509aと、円グラフ3509bとを含む。ショット種類別カウント3509aは、各種類のショットが検出された回数を表示する。図示された例では、8種類(スマッシュ、サーブ、バックハンドボレー、フォアハンドトップスピン、フォアハンドボレー、フォアハンドスライス、バックハンドスライス、およびバックハンドトップスピン)のショット種類が識別され、それぞれの種類についてショット種類別カウント3509aが表示されている。
最大ボールスピード表示3511、最大スイングスピード表示3513、および最大ボールスピン表示3515では、上記で図31を参照して説明した各ショット(スイング)のボールスピード、スイングスピード、およびボールスピンについて、解析対象の区間における最大値が表示されている。これらの表示では、例えば各項目の最大値が記録されたときのショット(スイング)の種類や、各項目のユーザ全体での最大値などが付加的に表示されてもよい。
(9.その他の画面例3)
次に、図34〜図36を参照して、本開示の一実施形態におけるその他の画面の第3の例について説明する。図34〜図36は、本例における第1〜第3の画面の例を示す図である。なお、本例は、上記の第2の例と同様の表示を、タブレット端末200tでなくスマートフォンで実行するものでありうる。従って、以下では、第2の例と異なる構成について主に説明する。なお、本例のみで説明された構成であっても、同様に上記の第2の例において採用することが可能である。
図34には、第1の画面4100が示されている。図34を参照すると、画面4100には、タイムライン4102と、ショット履歴表示4103と、ショット生成エフェクト4104と、タグ追加ボタン4105と、タグアイコン4107と、ショットカウント4109と、ショット種類表示4111と、プレーヤアイコン4113と、ショット位置表示4115と、ボールスピード表示4119と、スイングスピード表示4121と、ボールスピン表示4123と、カメラモードボタン4125と、サーブスピードボタン4127とが含まれる。
上記の構成要素は、例えば、図31を参照して説明した画面3300におけるタイムライン3302、ショット履歴表示3303、ショット生成エフェクト3304、タグ追加ボタン3305、タグアイコン3307、ショットカウント3309、ショット種類表示3311、プレーヤアイコン3313、ショット位置表示3315、ボールスピード表示3319、スイングスピード表示3321、およびボールスピン表示3323のうちの対応するものと同様の表示でありうる。なお、画面3300では表示されていたショット位置履歴表示3317は、ディスプレイのサイズが小さいために画面4100では省略されてもよい。
カメラモードボタン4125は、スマートフォンに備えられたカメラを用いてユーザのプレーを撮像しながら、画像(スルー画像でありうる)とともにセンサデータおよび/または撮像画像に基づく解析結果を表示する画面に遷移するためのボタンである。サーブスピードボタン4127は、センサデータおよび/または撮像画像に基づくサーブ時のボールまたはラケットの速度の推定や、推定結果に基づくサーブの診断などの情報を表示する画面に遷移するためのボタンである。なお、このような画面は、上記の第2の例においてタブレット200tで表示可能であってもよい。
図35には、第2の画面4200が示されている。図35を参照すると、画面4200には、ショットグラフ4209と、コメント4217と、ビデオボタン4219とが含まれる。
ショットグラフ4209は、例えば、図33を参照して説明した画面3500におけるショットグラフ3509と同様の表示でありうる。ショットグラフ3509について説明されていない構成として、ショットグラフ4209では、ショット種類別カウント4209aや、円グラフ4209bの中に表示されるトータルカウント4209cがタッチパネルなどを介して選択可能であり(円グラフ4209b自体も選択可能であってもよい)、これらを選択することによって、次に説明する画面4300に遷移することが可能である。なお、このような構成は、上記の画面3500でも同様に採用されうる。
コメント4217には、例えばショットグラフ4209に示されるようなユーザのプレーの統計値に基づいて生成されたテキストが表示される。ビデオボタン4219は、例えば、センサデータの取得と並行して撮像されたプレーの画像の再生画面に遷移するためのボタンである。また、図示されていないが、画面4200でも、画面4100の同様のボタン、例えば、サーブスピードボタン(サーブ診断画面に遷移)などが表示されてもよい。
図36には、第3の画面4300が示されている。図36を参照すると、画面4300には、ショット種類表示4301と、ショットカウント4303と、ヒートマップ4305と、ボールスピードグラフ4307と、スイングスピードグラフ4309と、タイムライン4311とが含まれる。
ショット種類表示4301は、画面4300で表示対象になっているショットの種類を表示する。図示された例では、フォアハンドボレーが表示対象になっているが、他のショット種類、例えばフォアハンドストロークやバックハンドボレーなども表示対象になりうる。また、種類を限定しない全ショットが表示対象であってもよい。ショット種類表示4301は、例えばドロップダウンリストになっており、このリストを用いて表示対象を変更することが可能であってもよい。
ショットカウント4303は、解析対象の区間における、表示対象になっているショットの回数を表示する。同様に、ヒートマップ4305は、表示対象のショットについて、ボールが当たったラケットの領域をマップ表示する。ボールスピードグラフ4307とスイングスピードグラフ4309は、表示対象になっているショットについてのボールスピードやスイングスピードの解析結果を、最高点と最低点とが表示された時系列のグラフや、平均値などによって表示している。なお、図示されていないが、画面4300をスクロールさせることによって、スイングスピードグラフ4309の下にボールスピングラフを表示させることが可能であってもよい。
タイムライン4311には、ショット履歴表示4311aと、タグアイコン4311bと、開始時刻4311sと、終了時刻4311eとが含まれうる。ショット履歴表示4311aは、上記で図31を参照して説明した画面3300のショット履歴表示3303と同様の表示でありうる。
ここで、画面4300では、タイムライン4311の表示範囲を自由に設定することが可能である。例えば、初期表示の状態において、タイムライン4311は、ユーザのプレー時間、つまり解析対象になっている時間の全体が表示可能であるような長さに設定されるが、その後ユーザの操作によって長さが変更されうる。例えば、ユーザがタッチパネルなどを介してタイムライン4311をタップすることによって、タイムライン4311の全長によって表示される時間が、30分、10分、5分、1分といったように段階的に変化しうる。表示される時間は、1分の次には30分に戻ってもよい。
また、画面4300では、タイムライン4311の開始時刻4311sと終了時刻4311eとを変更することも可能である。例えば、図示された例では3:12から3:34までのタイムライン4311が表示されているが、例えば開始時刻4311sをタッチパネルなどを介してスライドさせることによって、開始時刻4311sをより遅い時間、例えば3:20などに変更することが可能である。終了時刻4311eについても、同様の操作によって変更が可能である。
以上のような操作、つまりタイムライン4311自体の長さの変更と、開始時刻4311sおよび終了時刻4311eの変更との結果は、他の表示要素に反映されうる。例えば、ショットカウント4303やヒートマップ4305は、操作によって変更されたタイムライン4311の範囲でのショットの回数やボールが当たったラケットの領域を表示させてもよい。また、例えば、ボールスピードグラフ4307およびスイングスピードグラフ4309も、タイムライン4311の範囲内で表示されてもよい。これによって、ユーザは、プレーした中の所望の区間について、プレーの解析結果を表示させることができる。
(10.ハードウェア構成)
次に、図37を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図37は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における解析端末やサーバを実現しうる。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
上記で説明したような本開示の実施形態において、センサ装置100がユーザに直接的に装着される場合、センサ935に、例えばユーザの脈拍や体温などの生体データを取得するためのセンサが含まれてもよい。この場合、例えば脈拍が落ち着いたところで新たなセッションを生成したり、セッションごとのユーザの緊張の度合いを脈拍や体温などに基づいて表示するなどして、これらのセンサから提供されたセンサデータを利用することができる。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(11.補足)
本開示の実施形態は、例えば、上記で説明したような情報処理装置(解析端末またはサーバなど)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、前記プレー中のユーザの動きを示す動きデータを受信する受信機能と、
前記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、前記開始時刻と前記終了時刻との間の前記動きデータを解析して前記ユーザの動きに関する解析情報を取得する解析機能と、
前記解析情報を前記セッションに関連付けて記録する記録制御機能と
を実現する処理部を備える情報処理装置。
(2)前記処理部は、前記解析情報を前記セッション単位で出力する出力制御機能をさらに実現する、前記(1)に記載の情報処理装置。
(3)前記解析情報は、前記セッションにおける所定の動作の回数を含む、前記(1)または(2)に記載の情報処理装置。
(4)前記プレーは、打具を用いてボールを打つショット動作を含み、
前記解析情報は、前記セッションにおけるショット動作の回数を含む、前記(3)に記載の情報処理装置。
(5)前記解析情報は、前記セッションにおける所定の動作のうち条件を満たした動作の割合を含む、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記プレーは、打具を用いてボールを打つショット動作を含み、
前記解析情報は、前記セッションにおけるショット動作のうちボールが打具上の所定の領域に当たったショット動作の割合を含む、前記(5)に記載の情報処理装置。
(7)前記受信機能は、時間的に離散している前記動きデータを受信し、
前記解析機能は、前記動きデータ同士の時間間隔に基づいて前記開始時刻および前記終了時刻を決定する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記解析機能は、前記時間間隔が閾値を超える場合に当該時間間隔の前後の動きデータが互いに異なるセッションに含まれるように前記開始時刻および前記終了時刻を決定する、前記(7)に記載の情報処理装置。
(9)前記受信機能は、前記プレー中に前記ユーザによって実行された前記プレーを記録するための動作に関する情報を受信し、
前記解析機能は、前記プレーを記録するための動作に基づいて前記開始時刻および前記終了時刻を決定する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)前記解析機能は、前記プレーを記録するための動作が実行された場合に当該動作の前後の動きデータが互いに異なるセッションに含まれるように前記開始時刻および前記終了時刻を決定する、前記(9)に記載の情報処理装置。
(11)前記処理部は、前記プレーの撮像画像を取得する画像取得機能をさらに実現し、
前記記録制御機能は、前記撮像画像を前記セッションに関連付けて記録する、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)前記受信機能は、前記動きデータをリアルタイムで受信し、
前記処理部は、前記解析情報の取得中に前記動きデータに基づいて生成された波形を出力する出力制御機能をさらに実現する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)前記プレーは、打具を用いてボールを打つショット動作を含み、
前記解析情報は、前記ショット動作においてボールが当たった打具上の位置を含み、
前記出力制御機能は、前記ショット動作の種類に応じて向きが異なる打具の画像を用いて前記ボールが当たった打具上の位置を出力する、前記(12)に記載の情報処理装置。
(14)スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から受信された前記プレー中のユーザの動きを示す動きデータを、該動きデータの特徴に基づいて決定されたセッションの開始時刻と終了時刻との間で解析して得られた解析情報を取得する解析情報取得機能と、
前記解析情報を出力する出力制御機能と
を実現する処理部を備える情報処理装置。
(15)前記出力制御機能は、前記解析情報を前記セッション単位で出力する、前記(14)に記載の情報処理装置。
(16)前記解析情報は、前記セッションにおける所定の動作の回数を含む、前記(14)または(15)に記載の情報処理装置。
(17)前記解析情報は、前記セッションにおける所定の動作のうち条件を満たした動作の割合を含む、前記(14)〜(16)のいずれか1項に記載の情報処理装置。
(18)スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、前記プレー中のユーザの動きを示す動きデータを受信する受信機能と、
前記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、前記開始時刻と前記終了時刻との間の前記動きデータを解析して前記ユーザの動きに関する解析情報を取得する解析機能と、
前記解析情報を前記セッションに関連付けて記録する記録制御機能と
をコンピュータに実現させるためのプログラムが記録された記録媒体。
(19)スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から受信された前記プレー中のユーザの動きを示す動きデータを、該動きデータの特徴に基づいて決定されたセッションの開始時刻と終了時刻との間で解析して得られた解析情報を取得する解析情報取得機能と、
前記解析情報を前記セッションに関連付けて出力する出力制御機能と
をコンピュータに実現されるためのプログラムが記録された記録媒体。
(20)スポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、前記プレー中のユーザの動きを示す動きデータを受信することと、
前記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、前記開始時刻と前記終了時刻との間の前記動きデータを解析して前記ユーザの動きに関する解析情報を取得することと、
前記解析情報を前記セッションに関連付けて出力することと
を含む情報処理方法。
100 センサ装置
101 振動センサ
105 9軸センサ
200 解析端末
205 アプリケーション
221 解析ライブラリ
300 サーバ
303 サーバアプリケーション

Claims (15)

  1. 打具を用いてボールを打つショット動作を含むスポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、前記プレー中のユーザの動きを示す動きデータを受信する受信機能と、
    前記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、前記開始時刻と前記終了時刻との間の前記動きデータを解析して前記ユーザの動きに関する解析情報を取得する解析機能と、
    前記解析情報を前記セッションに関連付けて記録する記録制御機能と、
    を実現する処理部を備え、
    前記動きデータは、1回の前記ショット動作によるショットデータを時系列順に複数含み、
    前記解析機能は、
    複数の前記ショットデータを順次処理し、
    処理した前記ショットデータと当該ショットデータの時系列的に1つ前の前記ショットデータとの間の時間間隔を所定の閾値と比較し、
    前記時間間隔が前記所定の閾値を超えない場合には、前記処理したショットデータを前記時系列的に1つ前のショットデータの属する前記セッションに追加し、
    前記時間間隔が前記所定の閾値を超えた場合には、新たな前記セッションを作成することにより、
    前記セッションの前記開始時刻および前記終了時刻を決定する、
    情報処理装置。
  2. 前記処理部は、前記解析情報を前記セッション単位で出力する出力制御機能をさらに実現する、請求項1に記載の情報処理装置。
  3. 前記解析情報は、前記セッションにおける前記ショット動作の回数を含む、請求項1に記載の情報処理装置。
  4. 前記解析情報は、前記セッションにおける前記ショット動作のうち条件を満たした動作の割合を含む、請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 記解析情報は、前記セッションにおける前記ショット動作のうち前記ボールが前記打具上の所定の領域に当たった前記ショット動作の割合を含む、請求項に記載の情報処理装置。
  6. 前記処理部は、前記プレーの撮像画像を取得する画像取得機能をさらに実現し、
    前記記録制御機能は、前記撮像画像を前記セッションに関連付けて記録する、請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記受信機能は、前記動きデータをリアルタイムで受信し、
    前記処理部は、前記解析情報の取得中に前記動きデータに基づいて生成された波形を出力する出力制御機能をさらに実現する、請求項1〜4のいずれか1項に記載の情報処理装置。
  8. 前記解析情報は、前記ショット動作において前記ボールが当たった前記打具上の位置を含み、
    前記出力制御機能は、前記ショット動作の種類に応じて向きが異なる記打具の画像を用いて前記ボールが当たった前記打具上の位置を出力する、請求項に記載の情報処理装置。
  9. 打具を用いてボールを打つショット動作を含むスポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から受信された前記プレー中のユーザの動きを示す動きデータを、該動きデータの特徴に基づいて決定されたセッションの開始時刻と終了時刻との間で解析して得られた解析情報を取得する解析情報取得機能と、
    前記解析情報を出力する出力制御機能と
    を実現する処理部を備え、
    前記動きデータは、1回の前記ショット動作によるショットデータを時系列順に複数含み、
    前記解析情報取得機能は、
    複数の前記ショットデータを解析し、
    解析した前記ショットデータと当該ショットデータの時系列的に1つ前の前記ショットデータとの間の時間間隔を所定の閾値と比較し、
    前記時間間隔が前記所定の閾値を超えない場合には、前記解析したショットデータを前記時系列的に1つ前のショットデータの属する前記セッションに追加し、
    前記時間間隔が前記所定の閾値を超えた場合には、新たな前記セッションを作成することにより、
    前記セッションの前記開始時刻および前記終了時刻を決定する、
    情報処理装置。
  10. 前記出力制御機能は、前記解析情報を前記セッション単位で出力する、請求項に記載の情報処理装置。
  11. 前記解析情報は、前記セッションにおける前記ショット動作の回数を含む、請求項9又は10に記載の情報処理装置。
  12. 前記解析情報は、前記セッションにおける前記ショット動作のうち条件を満たした動作の割合を含む、請求項9〜11のいずれか1項に記載の情報処理装置。
  13. 打具を用いてボールを打つショット動作を含むスポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、前記プレー中のユーザの動きを示す動きデータを受信する受信機能と、
    前記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、前記開始時刻と前記終了時刻との間の前記動きデータを解析して前記ユーザの動きに関する解析情報を取得する解析機能と、
    前記解析情報を前記セッションに関連付けて記録する記録制御機能と、
    をコンピュータに実現させるためのプログラムであって、
    前記動きデータは、1回の前記ショット動作によるショットデータを時系列順に複数含み、
    前記解析機能は、
    複数の前記ショットデータを順次処理し、
    処理した前記ショットデータと当該ショットデータの時系列的に1つ前の前記ショットデータとの間の時間間隔を所定の閾値と比較し、
    前記時間間隔が前記所定の閾値を超えない場合には、前記処理したショットデータを前記時系列的に1つ前のショットデータの属する前記セッションに追加し、
    前記時間間隔が前記所定の閾値を超えた場合には、新たな前記セッションを作成することにより、
    前記セッションの前記開始時刻および前記終了時刻を決定する、
    前記プログラムが記録された記録媒体。
  14. 打具を用いてボールを打つショット動作を含むスポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から受信された前記プレー中のユーザの動きを示す動きデータを、該動きデータの特徴に基づいて決定されたセッションの開始時刻と終了時刻との間で解析して得られた解析情報を取得する解析情報取得機能と、
    前記解析情報を前記セッションに関連付けて出力する出力制御機能と、
    をコンピュータに実現されるためのプログラムであって、
    前記動きデータは、1回の前記ショット動作によるショットデータを時系列順に複数含み、
    前記解析情報取得機能は、
    複数の前記ショットデータを解析し、
    解析した前記ショットデータと当該ショットデータの時系列的に1つ前の前記ショットデータとの間の時間間隔を所定の閾値と比較し、
    前記時間間隔が前記所定の閾値を超えない場合には、前記解析したショットデータを前記時系列的に1つ前のショットデータの属する前記セッションに追加し、
    前記時間間隔が前記所定の閾値を超えた場合には、新たな前記セッションを作成することにより、
    前記セッションの前記開始時刻および前記終了時刻を決定する、
    前記プログラムが記録された記録媒体。
  15. 打具を用いてボールを打つショット動作を含むスポーツをプレーするユーザに直接的または間接的に装着されたセンサ装置から、前記プレー中のユーザの動きを示す動きデータを受信することと、
    前記動きデータの特徴に基づいてセッションの開始時刻および終了時刻を決定するとともに、前記開始時刻と前記終了時刻との間の前記動きデータを解析して前記ユーザの動きに関する解析情報を取得することと、
    前記解析情報を出力することと
    を含み、
    前記動きデータは、1回の前記ショット動作によるショットデータを時系列順に複数含み、
    前記セッションの前記開始時刻および前記終了時刻の決定は、
    複数の前記ショットデータを順次処理し、
    処理した前記ショットデータと当該ショットデータの時系列的に1つ前の前記ショットデータとの間の時間間隔を所定の閾値と比較し、
    前記時間間隔が前記所定の閾値を超えない場合には、前記処理したショットデータを前記時系列的に1つ前のショットデータの属する前記セッションに追加し、
    前記時間間隔が前記所定の閾値を超えた場合には、新たな前記セッションを作成することにより、
    前記セッションの前記開始時刻および前記終了時刻を決定する、
    ことを含む、
    情報処理方法。
JP2013273488A 2013-06-13 2013-12-27 情報処理装置、記憶媒体および情報処理方法 Expired - Fee Related JP6136926B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2013273488A JP6136926B2 (ja) 2013-06-13 2013-12-27 情報処理装置、記憶媒体および情報処理方法
US14/895,047 US10065100B2 (en) 2013-06-13 2014-04-22 Information processing device, storage medium, and information processing method
BR112015030492A BR112015030492A2 (pt) 2013-06-13 2014-04-22 aparelho e método de processamento de informação, e, dispositivo de armazenamento legível por computador não temporário
EP14725778.6A EP3008676A1 (en) 2013-06-13 2014-04-22 Information processing device, storage medium, and information processing method
PCT/JP2014/002269 WO2014199552A1 (en) 2013-06-13 2014-04-22 Information processing device, storage medium, and information processing method
RU2015152146A RU2015152146A (ru) 2013-06-13 2014-04-22 Устройство обработки информации, носитель информации и способ обработки информации
CN201410250324.0A CN104239674B (zh) 2013-06-13 2014-06-06 信息处理装置、存储介质以及信息处理方法
US16/059,862 US11247114B2 (en) 2013-06-13 2018-08-09 Information processing device, storage medium, and information processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013124299 2013-06-13
JP2013124299 2013-06-13
JP2013273488A JP6136926B2 (ja) 2013-06-13 2013-12-27 情報処理装置、記憶媒体および情報処理方法

Publications (2)

Publication Number Publication Date
JP2015016289A JP2015016289A (ja) 2015-01-29
JP6136926B2 true JP6136926B2 (ja) 2017-05-31

Family

ID=50771537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013273488A Expired - Fee Related JP6136926B2 (ja) 2013-06-13 2013-12-27 情報処理装置、記憶媒体および情報処理方法

Country Status (7)

Country Link
US (2) US10065100B2 (ja)
EP (1) EP3008676A1 (ja)
JP (1) JP6136926B2 (ja)
CN (1) CN104239674B (ja)
BR (1) BR112015030492A2 (ja)
RU (1) RU2015152146A (ja)
WO (1) WO2014199552A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420377B2 (ja) 2020-01-31 2024-01-23 真一 原 テニス技術上達支援データベースの作成方法、および、テニス技術上達支援システム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD741875S1 (en) 2013-06-10 2015-10-27 Apple Inc. Display screen or portion thereof with graphical user interface
US9457228B2 (en) * 2013-07-09 2016-10-04 Aditi Sinha Sport training equipment
USD750658S1 (en) 2013-09-10 2016-03-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD763299S1 (en) 2013-11-26 2016-08-09 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10220289B2 (en) * 2014-07-07 2019-03-05 Leila Benedicte Habiche Device for practicing sport activities
US9724561B2 (en) * 2014-07-09 2017-08-08 Aditi Sinha Sport training equipment
US20160089567A1 (en) * 2014-09-26 2016-03-31 Seiko Epson Corporation Form analyzing device, form analyzing system, form analyzing method, and form analyzing program
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
US10173100B2 (en) * 2016-09-17 2019-01-08 Navyaa Sinha Sport training equipment
US11432470B2 (en) 2017-12-01 2022-09-06 Sony Group Corporation Information processing apparatus, information processing method, and vegetation management system
KR102091827B1 (ko) * 2018-12-19 2020-03-20 주식회사 고고탁 탁구 라켓의 스윙 정확도 및 교체 판별 장치
CN111460871B (zh) 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
US11797553B2 (en) 2019-06-10 2023-10-24 Nippon Telegraph And Telephone Corporation Timeline display device, timeline display method and timeline display program
IT201900009390A1 (it) * 2019-06-18 2020-12-18 Erre Quadro Srl Sistema automatico per la misura di tempi e metodi su linee di lavoro ed assemblaggio
WO2021079967A1 (ja) * 2019-10-25 2021-04-29 京セラ株式会社 ラケット用解析システム、ラケット用解析装置、ラケット用解析プログラム及びラケット用解析方法
KR102369494B1 (ko) * 2020-06-12 2022-03-04 (주)포트러시 골프 플레이 트레이싱 방법, 디바이스 및 서버
SE2150461A1 (sv) * 2021-04-14 2022-10-15 Playreplay Ab Anordning, förfarande och datorprogram för spårning och åskådliggörande av sportrelaterade händelser
JP6978025B1 (ja) * 2021-06-30 2021-12-08 丸井 智敬 打撃者の打撃支援システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757266A (en) * 1996-06-07 1998-05-26 Rider; Alan J. Electronic apparatus for providing player performance feedback
US20030207718A1 (en) * 2000-10-20 2003-11-06 Perlmutter Michael S. Methods and systems for analyzing the motion of sporting equipment
US6821211B2 (en) * 2001-09-14 2004-11-23 Golftech Sport swing analysis system
JP3908930B2 (ja) * 2001-10-05 2007-04-25 浜松ホトニクス株式会社 消費エネルギー算出装置
US20030216228A1 (en) * 2002-05-18 2003-11-20 Rast Rodger H. Systems and methods of sports training using specific biofeedback
WO2005007252A1 (ja) * 2003-12-22 2005-01-27 Toru Yamada パッティングストローク解析装置および同用パター
US7413517B2 (en) * 2005-01-25 2008-08-19 Butler Jr Joseph H Reconfigurable golf club and method
DE102005046085B4 (de) * 2005-09-26 2007-08-16 Hgm Gmbh - Haag Golf Messtechnik Verfahren zur Messung von Treffmomentfaktoren eines Golfschlägers
US7806777B2 (en) * 2006-04-18 2010-10-05 World Golf Tour, Inc. Automatically adapting virtual equipment model
US20080021651A1 (en) * 2006-07-18 2008-01-24 John Richard Seeley Performance Assessment and Information System Based on Sports Ball Motion
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
EP1950729B1 (en) * 2007-01-29 2012-12-26 Seiko Epson Corporation Drive method for display device, drive device, display device, and electronic device
US8702430B2 (en) * 2007-08-17 2014-04-22 Adidas International Marketing B.V. Sports electronic training system, and applications thereof
JP2009297057A (ja) 2008-06-10 2009-12-24 Seiko Epson Corp 情報表示システムおよび情報表示方法
WO2010111705A2 (en) * 2009-03-27 2010-09-30 Infomotion Sports Technologies, Inc. Monitoring of physical training events
US8447070B1 (en) * 2010-04-19 2013-05-21 Amazon Technologies, Inc. Approaches for device location and communication
US8702516B2 (en) * 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
US9504414B2 (en) * 2012-04-13 2016-11-29 Adidas Ag Wearable athletic activity monitoring methods and systems
FR2990356A1 (fr) * 2012-05-10 2013-11-15 Movea Procede d'analyse du jeu d'un utilisateur d'une raquette
JP2014064125A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 画像生成装置、画像生成方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420377B2 (ja) 2020-01-31 2024-01-23 真一 原 テニス技術上達支援データベースの作成方法、および、テニス技術上達支援システム

Also Published As

Publication number Publication date
RU2015152146A (ru) 2017-06-08
US20180345116A1 (en) 2018-12-06
JP2015016289A (ja) 2015-01-29
BR112015030492A2 (pt) 2017-07-25
WO2014199552A1 (en) 2014-12-18
US20160107063A1 (en) 2016-04-21
CN104239674B (zh) 2018-12-04
EP3008676A1 (en) 2016-04-20
US11247114B2 (en) 2022-02-15
US10065100B2 (en) 2018-09-04
CN104239674A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
JP6136926B2 (ja) 情報処理装置、記憶媒体および情報処理方法
US20200202734A1 (en) Skateboard System
US10109061B2 (en) Multi-sensor even analysis and tagging system
AU2015223099B2 (en) Sporting device and wearable computer interaction
US9553873B2 (en) Conducting sessions with captured image data of physical activity and uploading using token-verifiable proxy uploader
US9235765B2 (en) Video and motion event integration system
JP6610689B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP6213146B2 (ja) 情報処理装置、記録媒体、および情報処理方法
US10873777B2 (en) Information processing device and information processing method to calculate score for evaluation of action
US20130245966A1 (en) User experience
US20130002533A1 (en) User experience
US20230186780A1 (en) Skateboard System
WO2014194266A1 (en) Skateboard system
US20210110849A1 (en) Information processor, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170417

R151 Written notification of patent or utility model registration

Ref document number: 6136926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees