JP7074059B2 - 情報処理装置及び情報処理システム - Google Patents

Description

本開示は、情報処理装置及び情報処理システムに関する。

従来、例えば下記の特許文献１には、ユーザによるスポーツのプレーの状態に対応するシーンをより高い精度で抽出することを想定した技術が記載されている。

特開２０１４－１８７４８１号公報

例えば野球、テニス、ゴルフなど、一連の動作によりスイングが行われるスポーツでは、模範となるスイングの動画と、撮影したユーザ自身のスイングの動画を並べて再生表示することで、ユーザ自身のスイングの改善点を把握したいといった要請がある。

しかしながら、スイングの速度はユーザによって大きく相違し、スイングの開始、終了のタイミングもユーザによって大きく相違する。このため、単にスイングの動画を並べて再生しても、両者を具体的に比較することは難しく、比較により上述したような改善点を見出すことは実質的に困難である。

そこで、複数の一連の画像を並べて表示した場合に、両画像を比較し易くすることが望まれていた。

本開示によれば、ユーザが装着してスポーツをプレーするスポーツ用具を用いた同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、複数の前記画像情報を表示するための処理を行う表示処理部と、を備え、前記表示処理部は、前記画像情報に基づいて、複数の連続する静止画を表示するための処理を行い、前記基準タイミングによって定まる時間的な領域毎に前記静止画に含まれる前記スポーツ用具の表示色を異ならせると共に、前記時間的な領域それぞれの前記静止画を１枚の画像に重畳させて表示させる、情報処理装置が提供される。

また、本開示によれば、ユーザが装着してスポーツをプレーするスポーツ用具を用いた同種の一連の動作を示す複数の動作情報を検出するセンサ装置と、前記センサ装置から前記動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、複数の前記画像情報を表示するための処理であって前記画像情報に基づいて複数の連続する静止画を表示するための処理を行う表示処理部と、を有し、前記表示処理部は、前記基準タイミングによって定まる時間的な領域毎に前記静止画に含まれる前記スポーツ用具の表示色を異ならせると共に、前記時間的な領域それぞれの前記静止画を１枚の画像に重畳させて表示させる、情報処理装置と、を備える、情報処理システムが提供される。

以上説明したように本開示によれば、複数の一連の画像を並べて表示した場合に、両画像を比較し易くすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの概要を示す図である。 本開示の一実施形態に係るセンサ装置および情報処理装置の概略的な機能構成を示すブロック図である。 本センサ装置が、ゴルフクラブのグリップの直下においてシャフトに装着された状態を示す模式図である。 解析部が行う処理を示すフローチャートである。 加速度センサの測定結果の一例を示すグラフである。 センサ装置をクラブヘッドのグリップの近傍に装着した場合に、加速度から解析した求めたセンサ部の軌跡Ａ１とヘッド部の軌跡Ａ２を示す特性図である。 角加速度から求めたセンサ装置の角度を示す特性図である。 図４のステップＳ１２の結果に基づいて、アドレスからフィニッシュまでの区間を２人のプレーヤＰ１，Ｐ２のスイングのプレー画像から抽出した例を示している。 図８に対し、インパクトの時刻ｔ１を基準に両プレー画像を同期させた状態を示す模式図である。 プレーヤＰ１のプレー画像を基準にして、プレーヤＰ２のプレー画像の再生時間を長くし、両プレー画像の再生時間を一致させた状態を示す模式図である。 ゴルフスイングを複数の角度に分割した状態を示す模式図である。 情報処理装置で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。 情報処理装置で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。 情報処理装置で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．装置構成
３．情報処理装置が行う処理
４．動認識と画像処理を組み合わせた例

［１．システムの構成例］
まず、図１を参照して、本開示の第１の実施形態に係る情報処理システムの構成について説明する。図１は、本開示の一実施形態に係る情報処理システムの概要を示す図である。図１を参照すると、情報処理システム１０は、センサ装置１００と、情報処理装置２００とを含む。

センサ装置１００は、スポーツをプレーしているユーザ、またはユーザが使用するスポーツ用具に装着される。図１に示す例では、ユーザがテニスコートでテニスをしている様子を示している。センサ装置１００をユーザに装着する場合、例えば、図示しているようにセンサ装置１００を腕輪状の形状にして、ユーザの体に直接装着してもよい。また、センサ装置１００をスポーツ用具（例えばテニスの場合、ラケット、ウェア、シューズ、リストバンドなど、ゴルフの場合、ゴルフクラブ）に装着する場合、センサ装置１００をシャフト部分などに巻きつけたり、布地に縫い付けたり、貼り付けたり、また予め用具に内蔵したりしてもよい。

ここで、センサ装置１００は、スポーツをプレーするユーザの挙動を示すセンサ情報を取得する。センサ情報によって示されるユーザの挙動は、例えば、ユーザや用具の物理的な運動（位置、速度、加速度など）でありうる。かかるセンサ情報を取得するために、例えば、センサ装置１００は、少なくとも１つのセンサを有する。センサは、例えば加速度、角速度、振動、温度、時刻、または位置（例えば緯度経度によって表される地表上の位置、またはコートなどに対する相対的な位置）などを検出する。センサ装置１００は、例えばこのようにして取得されたセンサ情報を蓄積する。蓄積されたセンサ情報は、例えばプレー終了後にユーザがセンサ装置１００と情報処理装置２００とを接続したときに、情報処理装置２００に送信されうる。

情報処理装置２００は、カメラを備え、スポーツのプレー画像を撮像する。情報処理装置１００は、例えばスマートフォン、タブレット端末等のモバイル機器である。プレー画像は、少なくともその一部にスポーツをプレーしているユーザが写っている動画像でありうる。情報処理装置２００は、例えばユーザがスポーツをプレーしているコートなどの周りに設置されて、プレー画像を撮像する。撮像されたプレー画像のデータは、情報処理装置２００に少なくとも一時的に蓄積される。情報処理装置２００は、プレー画像の撮影中にセンサ装置１００が取得したセンサ情報を受信しうる。

ここで受信されたセンサ情報に基づいて、情報処理装置２００は、ユーザがプレーしているスポーツにおけるプレー画像を所定時間だけ抽出する処理を行う。情報処理装置２００によるプレー画像の抽出については、後で詳細に説明する。

なお、情報処理装置２００は、例えばダイジェスト画像や付加情報が設定されたプレー画像を、図示しないサーバにアップロードしてもよい。あるいは、情報処理装置２００が撮像したプレー画像をサーバにアップロードし、センサ装置１００もセンサ情報をサーバにアップロードし、サーバにおいて以下で説明する各種処理を行っても良い。

［２．装置構成］
次に、図２を参照して、本開示の一実施形態に係る情報処理システムに含まれる装置の機能構成について説明する。図２は、本開示の一実施形態に係るセンサ装置および情報処理装置の概略的な機能構成を示すブロック図である。以下、図２を参照して、それぞれの装置の機能構成について説明する。なお、これらの機能を実現するためのハードウェア構成については後述する。

(センサ装置)
センサ装置１００は、センサ１０１と、前処理部１０３と、記憶部１０５と、時計１０７と、ドライバ１０９と、通信部１１０、とを含む。センサ装置１００は、解析部１１１をさらに含んでもよい。センサ装置１００が解析部１１１を含む場合、解析部１１１は、情報処理装置２００の解析部２０４と同様の処理を行い、解析結果を通信部１１０を介して情報処理装置２００へ送る。また、センサ装置１００が解析部１１１を含む場合、センサ装置１００側で画像情報をも取得し、センサ装置１００側で情報処理装置２００と同じ処理を行っても良い。

センサ１０１は、例えば加速度、角速度、振動、温度、時刻、または位置などを検出する。より具体的には、センサ１０１は、例えば加速度センサ、角速度センサ（ジャイロセンサ）、振動センサ、温度センサ、圧力センサ（押下スイッチを含む）、またはＧＰＳ（Global Positioning System）受信機などを含みうる。なお、センサ装置２００は、情報処理装置２００と一体に設けられていても良い。また、センサ装置２００は、モーションキャプチャー等によりユーザの動作情報を取得しても良い。

前処理部１０３は、センサ１０１によって検出されたデータの前処理を実行する。前処理は、例えば、検出されたデータの増幅や、閾値以下のデータのフィルタリングなどでありうる。なお、センサ１０１の種類によっては、データが必ずしも前処理部１０３を経由せずに記憶部１０５に供給される場合もある。

記憶部１０５は、センサ１０１によって検出され、必要に応じて前処理部１０３で処理されたデータを、センサ情報として一時的に格納する。このとき、センサ情報は、時計１０７によって与えられるタイムスタンプとともに格納される。

ここで、記憶部１０５に格納されたセンサ情報は、通信部１１０を介して情報処理装置２００に送信される。センサ情報は、生成されたときにリアルタイムでセンサ装置１００から情報処理装置２００に送信されても良いし、事後的に送信されても良い。

時計１０７は、センサ装置１００において使用される時刻を規定する。時計１０７は、例えば、初期設定された時刻と、水晶振動子の振動数とに基づいて時刻を規定する。

ドライバ１０９は、光または音などによってセンサ装置１００の時刻を表現する出力装置、例えばＬＥＤ（Light Emitted Diode）などのランプ、ＬＣＤ（Liquid Crystal Display）などのディスプレイ、またはスピーカなどを駆動する。ドライバ１０９は、例えば時計１０７が所定の時刻に到達した場合に、その時刻を示すパターンで出力装置を駆動する。ドライバ１０９は、例えば、ランプを所定の色または所定のパターンで点灯させたり、ディスプレイに時刻を示す文字またはコードを表示させたり、スピーカを所定の発振周波数または所定の発振パターンで鳴動させる。

（情報処理装置）
情報処理装置２００は、撮像部２０１と、記憶部２０３と、時計２０５と、解析部２０７と、通信部２１１と、画像情報取得部２１２と、区間抽出部２１３と、同期処理部２１４と、時間適合部２１６と、表示処理部２１８と、表示部２２０と、を有して構成されている。解析部２０７は、動作情報取得部２０８と、基準タイミング抽出部２０９と、軌跡解析部２１０を含む。なお、これらの構成要素は、ハードウェア（回路）、またはＣＰＵなどの中央演算処理装置と、これを機能させるためのプログラムから構成されることができる。

撮像部２０１は、画像を撮像するための撮像素子やレンズ、およびそれらの駆動回路などを含む。撮像素子は、ＣＭＯＳセンサ、ＣＣＤセンサ等から構成される。撮像部２０１は、センサ装置１００またはセンサ装置１００が装着された用具を装着してスポーツをプレーしているユーザの画像を撮像する。この画像が、上述したプレー画像である。従って、プレー画像には、被写体であるユーザとともに、ユーザが直接的または間接的に装着しているセンサ装置１００が映っていても良い。

記憶部２０３は、撮像部２０１が撮像したプレー画像のデータを一時的または持続的に格納する。このとき、プレー画像のデータは、時計２０５によって与えられるタイムスタンプとともに格納される。プレー画像のデータは、通信部２１１を介してセンサ装置１００からセンサ情報が受信されたときに、解析部２０７に提供されうる。また、解析部２０７における解析の結果を反映したプレー画像や、チャプタ画像などの付加情報が設定されたプレー画像が、再び記憶部２０３に格納されてもよい。

時計２０５は、情報処理装置２００において使用される時刻を規定する。時計２０５は、例えば、初期設定された時刻と、水晶振動子の振動数とに基づいて時刻を規定する。

解析部２０７は、通信部２１１を介してセンサ装置１００から受信されたセンサ情報を解析する。動作情報取得部２０８は、センサ装置１００から、複数のユーザが行う同種の一連の動作を示す複数の動作情報として、加速度、角加速度などの情報を取得する。基準タイミング抽出部２０９は、加速度、角加速度などの動作情報に基づいて、基準タイミングを抽出する。軌跡解析部２１０は、加速度、角加速度などの動作情報に基づいて、センサ装置２００の軌跡、ヘッド部の軌跡等を解析する。

画像情報取得部２１２は、撮像部２０１から、動作情報に対応する複数の一連の画像情報を取得する。一例として、この画像情報は動画情報であっても良いし、複数の静止画からなる一連の画像情報であっても良い。区間抽出部２１３は、基準タイミングをプレー画像に対応させることで、プレー画像から所定の時間的領域を抜き出す処理を行う。同期処理部２１４は、基準タイミングに基づいて、複数のユーザが行う同種の一連の動作に対応する画像情報を同期させる処理を行う。時間適合部２１６は、複数のユーザが行う同種の一連の動作に対応する画像情報において、基準タイミング間の時間を適合させる処理を行う。表示処理部２１８は、複数の画像情報を表示するための処理を行う。

表示部２２０は、液晶表示ディスプレイ（ＬＣＤ）等から構成され、表示処理部２１８の処理に従い、複数の画像情報を表示させる。

情報処理装置２００は、複数のセンサ装置１００からプレー画像に対応する動作情報を取得する。以下では、情報処理装置２００が２つのセンサ装置１００からプレー画像のデータを取得する場合を例に挙げて説明する。

以下では、ユーザがゴルフのスイングを行う場合を例に挙げて説明する。図３に示すように、一例として、センサ装置１００はゴルフクラブ３００のグリップ３１０の直下において、シャフト３２０に装着される。この場合、ヘッド部（クラブヘッド）の軌跡は、センサ装置１００の軌跡に基づいて、センサ装置１００の位置とヘッド部の位置の幾何学的関係により求めることができる。

本実施形態では、２人のユーザのスイングを比較するため、２つのセンサ装置１００が２人のユーザにそれぞれ装着される。情報処理装置２００は、プレー画像のデータから、必要な部分だけ抽出する処理を行う。例えば、ゴルフの場合を例に挙げると、プレー画像のデータとして有用なものは、（１）アドレスからトップへのバックスイング、（２）トップからインパクトまでのダウンスイング、（３）インパクトからフィニッシュまでのフォロースイングの３つの時間的領域となる。情報処理装置２００の解析部２０７は、センサ１０１の検出値に基づいて、この３つの時間的領域を抜き出す処理を行う。

このため、解析部２０７は、センサ装置１００のセンサ１０１の検出値に基づいて、アドレスの時刻、インパクトの時刻、トップの時刻、フィニッシュの時刻を解析する。具体的に、基準タイミング抽出部２０９が、これらの時刻を基準タイミングとして抽出する。そして、区間抽出部２１３は、これらの時刻をプレー画像に対応させることで、上記の３つの時間的領域（区間）を抜き出す処理を行う。複数のセンサ装置１００からプレー画像のデータを取得し、同様の処理を行うことで、複数のプレイヤーについて、各時間的領域を適合させた状態でスイングを表示することが可能となる。

なお、上記の３つの時間的領域を抽出する処理を行う前に、センサ装置１００または情報処理装置２００において、インパクトの時刻を基準として前後の所定時間のプレー画像を予め切り出しておくことができる。これにより、センサ装置１００、情報処理装置２００の処理負荷を低減するとともに、メモリの使用量を削減することができる。

［３．情報処理装置が行う処理］
図４は、情報処理装置２００が行う処理を示すフローチャートである。先ず、ステップＳ１０では、動作情報取得部２０８が、センサ装置１００のセンサ１０１が検出したデータを取得する。次のステップＳ１２では、ステップＳ１０で取得した検出値に基づいて、ゴルフクラブの動きを解析する。

図５は、加速度センサの測定結果の一例を示すグラフである。ユーザのプレー中の動きには衝撃が伴う場合がある。センサ装置１００がゴルフクラブ３００のシャフト３２０に取付けられ、ゴルフクラブ３００でボールを打つ動作が行われる場合、ボールがゴルフクラブ３００に当たった際に衝撃が発生する。当該衝撃は、スイング途中と比べて急峻な加速度の変化として現れる。図５を参照して説明すると、図５の時間ｔ１付近では、加速度センサ２００の測定値が短時間で急峻に変化しているため、当該時間ｔ１付近で衝撃が発生したと考えられる。従って、解析部２０７は、加速度を解析した結果に基づいて、時刻ｔ１をインパクトのタイミングとして判定することができる。

また、ヘッド部の動きは、加速度、角加速度を解析することによって解析でき、軌跡解析部２１０によって解析される。図６は、角加速度から求めたセンサ装置２００の角度（回転位置）を示す特性図である。具体的には、加速度を積分して速度を算出し、更に速度を積分することで、ヘッド部の変位が求まる。同様に、角加速度を積分していくことで、ヘッド部の角度が求まる。図７は、センサ装置１００をクラブヘッドのグリップの近傍に装着した場合に、加速度、角加速度に基づいて解析したセンサ装置１００の軌跡Ａ１とヘッド部の軌跡Ａ２を示す特性図である。なお、ヘッド部の軌跡Ａ２は、センサ装置１００の軌跡Ａ１に基づいて、センサ装置１００の位置とヘッド部の位置の幾何学的関係により求めることができる。

センサ１０１の検出値は時刻データを含むため、解析部２０７は、軌跡Ａ１，Ａ２上の任意の点に対応する時刻情報を得ることができる。解析部２０７の基準タイミング抽出部２０９は、上述したインパクトの時刻ｔ１を基準タイミングとして抽出する。従って、上述したインパクトの時刻ｔ１に対応するインパクトの位置Ｂ１，Ｂ２を求めることができる。ここで、位置Ｂ１はインパクト時のセンサ１０１の位置であり、位置Ｂ２はインパクト時のヘッド部の位置である。

また、解析部２０７は、加速度、角加速度の検出値に基づいて、軌跡Ａ１，Ａ２における変曲点Ｃ１，Ｃ２を取得することができる。ここで、変曲点Ｃ１はゴルフスイングのトップの位置におけるセンサ１０１の位置に対応する。また、変曲点Ｃ２は、トップの位置におけるヘッド部の位置に対応する。図７において、時刻ｔ２、時刻ｔ３では角度の変化量が０となっており、センサ装置２００の回転が一時的に停止していることが分かる。スイングを時系列的に見ると、最初に、アドレス位置でクラブの動きが停止し、その後トップの位置でクラブの動きが停止する。従って、時刻ｔ２、時刻ｔ３は、それぞれアドレス、トップの各位置に対応する。解析部２０７の基準タイミング抽出部２０９は、アドレス、トップの各位置に対応する時刻を基準タイミングとして抽出する。このように、アドレス、トップの各位置に対応する時刻が分かれば、軌跡Ａ１，Ａ２において、アドレスの位置Ｄ１，Ｄ２、トップの位置Ｃ１，Ｃ２を判別できる。ここで、位置Ｄ１はアドレスの位置におけるセンサ１０１の位置に対応し、位置Ｄ２はアドレスの位置におけるヘッド部の位置に対応する。

従って、区間抽出部２１３は、軌跡Ａ１上の任意の点に対応する時刻情報と、アドレスの位置Ｄ１、トップの位置Ｃ１、インパクトの位置Ｂ１に基づいて、センサ１０１の軌跡Ａ１から、アドレスからトップまでのバックスイングの区間（破線）と、トップからインパクトまでのダウンスイングの区間（実線）を抽出することができる。同様に、軌跡Ａ２上の任意の点に対応する時刻情報と、アドレスの位置Ｄ２、トップの位置Ｃ２、インパクトの位置Ｂ２に基づいて、ヘッド部の軌跡Ａ２から、アドレスからトップまでのバックスイングの区間（破線）と、トップからインパクトまでのダウンスイングの区間（実線）を抽出することができる。

また、解析部２０７は、加速度、角加速度の検出値に基づいて、軌跡Ａ１，Ａ２におけるフィニッシュの位置Ｅ１，Ｅ２を取得することができる。図７において、時刻ｔ４では角度の変化量が０となっており、センサ装置２００の回転が一時的に停止している。フィニッシュの位置Ｅ１，Ｅ２は、インパクトの位置Ｂ１，Ｂ２よりも後の時刻であって、一定時間センサ１０１及びヘッド部が静止している位置とすることができる。解析部２０７の基準タイミング抽出部２０９は、フィニッシュの位置に対応する時刻を基準タイミングとして抽出する。位置Ｅ１はフィニッシュの位置におけるセンサ１０１の位置に対応し、位置Ｅ２はフィニッシュの位置におけるヘッド部の位置に対応する。従って、区間抽出部２１３は、軌跡Ａ１，Ａ２上の任意の点に対応する時刻情報と、インパクトの位置Ｂ１，Ｂ２、フィニッシュの位置Ｅ１，Ｅ２に基づいて、軌跡Ａ１，Ａ２のそれぞれから、インパクトからフィニッシュまでのフォロースイングの区間（一点鎖線）を抽出することができる。

以上のようにして、図４のステップＳ１２では、センサ１０１の検出値に基づいて、ゴルフクラブの動きの解析が行われる。

次のステップＳ１４では、ステップＳ１２で解析したゴルフクラブの動きとプレー画像とを対応付けて表示するための処理を行う。図８は、ステップＳ１２の結果に基づいて、アドレスからフィニッシュまでの時間的領域を２人のプレーヤＰ１，Ｐ２のスイングのプレー画像から抽出した例を示している。図８では、プレーヤＰ１，Ｐ２の動きを同じ時間軸で示している。図８においても、バックスイングの区間を破線で示し、ダウンスイングの区間を実線で示し、フォロースイングの区間を一点鎖線で示している。また、トップの位置を‘Ｃ’、アドレスの位置を‘Ｄ’、インパクトの位置を‘Ｂ’、フィニッシュの位置を‘Ｅ’で示している。

図８に示すように、バックスイング、ダウンスイング及びフォロースイングの所要時間は、プレーヤ毎に異なる。図８に示す例では、プレーヤＰ１はアドレスからフィニッシュまでに要する時間がプレーヤＰ２よりも長い。このため、アドレスからフィニッシュまでの両者のスイングを並べて動画再生すると、プレーヤＰ２の動画が先に終了してしまい、その後、プレーヤＰ１の動画が終了するため、動画を再生しながら両者のスイングを比較することが困難になる。

このため、同期処理部２１４は、プレーヤＰ１、プレーヤＰ２のスイング中の基準点で両者のスイングを同期させる処理を行う。基準点として、プレーヤＰ１のインパクトの時刻ｔ１を用いる。図９は、図８に対し、プレーヤＰ１のインパクトの時刻ｔ１を基準に両プレー画像を同期させた状態を示している。図９に示す状態では、プレーヤＰ１とプレーヤＰ２の動画を再生すると、プレーヤＰ１の動画再生が先に開始し、追ってプレーヤＰ２の動画が再生されるが、双方の動画のインパクトの時刻が一致するため、同時再生をした際の見易さが図８に比べて格段に向上する。これにより、ユーザは、プレーヤＰ１とプレーヤＰ２のスイングを、インパクトの瞬間を基準に比較することが可能となる。

更に、本実施形態では、図９のようにインパクトの位置で両プレーヤのプレー画像を同期させた後、動画再生開始（アドレス位置）から終了（フィニッシュ位置）までの時間を適合させる処理を行う。具体的には、時間適合部２１６が、アドレスからトップまでの区間、トップからインパクトまでの時間、インパクトからフィニッシュまでの両プレーヤのプレー画像の再生時間を適合させる。

図１０は、プレーヤＰ１のプレー画像を基準にして、プレーヤＰ２のプレー画像の再生時間を長くし、両プレー画像の再生時間を一致させた状態を示している。この際、センサ１０１による解析結果に基づいて、複数の同期ポイントを設定し、再生速度を動的に変更することで同期を実現する。

図１１は、ゴルフスイングを複数の角度に分割した状態を示している。図１０に示す同期処理の際には、一例として、分割した角度毎に再生速度を動的に変更する。図１１に示すように、アドレスの位置が‘６’の位置であり、トップの位置が‘１１’の位置である場合、アドレスからトップまでの角度を５等分し、分割した角度毎に同期を行う。上述したように、ステップＳ１２の処理により軌跡Ａ１，Ａ２上の任意の位置と時刻との相関がとれているため、例えばプレーヤＰ１のプレー画像において、アドレスからトップに向かうバックスイングの際に、アドレスの‘６’位置から１分割の角度分だけ進んだ‘７’の位置に到達する時間がＴであったとすると、プレーヤＰ２のプレー画像においても、アドレスの‘６’位置から ‘７’の位置に到達する時間がＴとなるように、再生速度を変更する。同様に、‘７’の位置から‘８’の位置に到達する時間についても、プレーヤＰ１のプレー画像の再生時間と一致するようにプレーヤＰ２のプレー画像の再生時間を適合させる。このような処理をアドレス～トップ～インパクト～フィニッシュに至る領域で行うことで、プレーヤ１とプレーヤ２のプレー画像の再生時間を違和感なく一致させることができる。なお、分割の角度をより細かくすることで、再生時間を合わせた場合に動画をより滑らかに表示することが可能である。また、角度の切り換わりで再生時間を変更する場合に、切り換わりのタイミングを含む所定時間内で再生時間を滑らかに変化させることで、動画をより滑らかに表示することが可能である。

これにより、プレーヤ１とプレーヤ２のプレー画像の再生時間が一致するため、情報処理装置２００側で両プレーヤのプレー画像を並べて再生することで、スイングの違いを確実に認識することが可能となる。従って、例えばプレーヤ１のプレー画像としてプロゴルファーの映像を再生し、ユーザ自身の録画映像をプレーヤ２のプレー画像として再生することで、プロゴルファーのスイングに対してユーザ自身のスイングの改善点等を映像から判断することも可能となる。また、例えばユーザの以前のスイングと現在のスイングを同時再生することで、上達度合いを確認することも可能となる。なお、上述した例では、プレーヤ１の再生時間を基準としてプレーヤ２の再生時間を適合させたが、プレーヤ２の再生時間を基準としてプレーヤ１の再生時間を適合させても良い。また、上述した例では、２人のプレーヤの動画を同期させて再生時間を適合させたが、３人以上の動画を同期させて再生時間を適合させても良い。

［４．動認識と画像処理を組み合わせた例］
次に、センサ装置１００による動きの認識と画像処理を組み合わせた例について説明する。図１２～図１４は、情報処理装置２００で撮影したゴルフスイングを、所定時間毎の静止画像を重畳して示した例を示す模式図である。ここで、図１２はバックスイングを、図１３はダウンスイングを、図１４はフォロースイングを示している。本実施形態では、上述したように、アドレスの位置、トップの位置、インパクトの位置、フィニッシュの位置のそれぞれの時刻情報を得ることができる。このため、プレー画像を表示する際に、バックスイング、ダウンスイング、フォロースイングを区別できるように、各スイングを異なる色で表示することができる。一例として、図１２に示すバックスイングは赤色、図１３に示すダウンスイングは緑色、図１４に示すフォロースイングは青色で表示される。図１２～図１４の各スイングを１枚の画像として重畳表示することもできる。この際、表示処理部２１８は、複数の連続する静止画を表示するための処理を行い、アドレスの位置、トップの位置、インパクトの位置、フィニッシュの位置のそれぞれの時刻情報（基準タイミング）によって定まる時間的な領域毎に静止画の表示状態が異なるように静止画を表示させる。

これにより、図１２～図１４を視認したユーザは、画面を見るだけでバックスイング、ダウンスイング、フォロースイングがどのようなスイングになっているかを判別することができる。特に、バックスイング、ダウンスイング、フォロースイングを重畳して表示することにより、例えばバックスイングとダウンスイングの軌跡の違いを視覚的に認識することも可能となる。また、スイングの動画を再生した場合、短時間で再生が完了するため、眼で認識できない部分が存在する可能性もある。図１２～図１４に示したように、所定時間毎の静止画像を重畳して示すことで、細かい動きを確実に認識することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、
複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、
複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、
前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、
を備える、情報処理装置。
（２） 前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、前記（１）に記載の情報処理装置。
（３） 前記動作情報は、前記動作に関する加速度又は角加速度である、前記（１）又は（２）に記載の情報処理装置。
（４） 前記動作情報を検出するセンサを備える、前記（１）～（３）のいずれかに記載の情報処理装置。
（５） 前記基準タイミングは、前記一連の動作に変化が加わるタイミングである、前記（１）～（４）のいずれかに記載の情報処理装置。
（６） 前記基準タイミングは、前記一連の動作において打撃による衝撃が発生するタイミングである、前記（５）に記載の情報処理装置。
（７） 前記基準タイミングは、前記一連の動作において動作が停止するタイミングである、前記（５）に記載の情報処理装置。
（８） 前記基準タイミングは、前記一連の動作の開始又は終了タイミングである、前記（５）に記載の情報処理装置。
（９） 複数の前記画像情報を表示するための処理を行う表示処理部を備える、前記（１）～（８）のいずれかに記載の情報処理装置。
（１０） 前記表示処理部は、前記画像情報に基づいて、複数の連続する静止画を表示するための処理を行う、前記（９）に記載の情報処理装置。
（１１） 前記表示処理部は、前記基準タイミングによって定まる時間的な領域毎に前記静止画の表示状態が異なるように前記静止画を表示させる、前記（１０）に記載の情報処理装置。
（１２） 複数の前記動作情報は複数のユーザが行う同種の一連の前記動作に対応する、前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３） 複数の前記動作情報は単一のユーザが行う同種の一連の前記動作に対応する、前記（１）～（１１）のいずれかに記載の情報処理装置。
（１４） 同種の一連の動作を示す複数の動作情報を検出するセンサと、
複数の前記動作情報に基づいて、基準タイミングを抽出する処理、複数の前記動作情報に対応する複数の一連の画像情報を取得する処理、及び、前記基準タイミングに基づいて、複数の前記画像情報を同期させる処理、を情報処理装置に行わせるために、前記動作情報を前記情報処理装置へ送信する送信部と、
を備える、センサ装置。
（１５） 同種の一連の動作を示す複数の動作情報を検出するセンサ装置と、
前記センサ装置から前記動作情報を取得する動作情報取得部と、複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、を有する、情報処理装置と、
を備える、情報処理システム。
（１６） 前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
前記情報処理装置は、複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、前記（１５）に記載の情報処理システム。

２０８ 動作情報取得部
２０９ 基準タイミング抽出部
２１２ 画像情報取得部
２１４ 同期処理部
２１６ 時間適合部
２１８ 表示処理部

Claims (12)

1. ユーザが装着してスポーツをプレーするスポーツ用具を用いた同種の一連の動作を示す複数の動作情報を取得する動作情報取得部と、
   複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、
   複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、
   前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、
   複数の前記画像情報を表示するための処理を行う表示処理部と、
   を備え、
   前記表示処理部は、
   前記画像情報に基づいて、複数の連続する静止画を表示するための処理を行い、前記基準タイミングによって定まる時間的な領域毎に前記静止画に含まれる前記スポーツ用具の表示色を異ならせると共に、前記時間的な領域それぞれの前記静止画を１枚の画像に重畳させて表示させる、
   情報処理装置。
2. 前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
   複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、請求項１に記載の情報処理装置。
3. 前記動作情報は、前記動作に関する加速度又は角加速度である、請求項１又は２に記載の情報処理装置。
4. 前記動作情報を検出するセンサを備える、請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記基準タイミングは、前記一連の動作に変化が加わるタイミングである、請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記基準タイミングは、前記一連の動作において打撃による衝撃が発生するタイミングである、請求項５に記載の情報処理装置。
7. 前記基準タイミングは、前記一連の動作において動作が停止するタイミングである、請求項５に記載の情報処理装置。
8. 前記基準タイミングは、前記一連の動作の開始又は終了タイミングである、請求項５に記載の情報処理装置。
9. 複数の前記動作情報は複数のユーザが行う同種の一連の前記動作に対応する、請求項１～８のいずれか１項に記載の情報処理装置。
10. 複数の前記動作情報は単一のユーザが行う同種の一連の前記動作に対応する、請求項１～８のいずれか１項に記載の情報処理装置。
11. ユーザが装着してスポーツをプレーするスポーツ用具を用いた同種の一連の動作を示す複数の動作情報を検出するセンサ装置と、
    前記センサ装置から前記動作情報を取得する動作情報取得部と、
    複数の前記動作情報に基づいて、基準タイミングを抽出する基準タイミング抽出部と、
    複数の前記動作情報に対応する複数の一連の画像情報を取得する画像情報取得部と、
    前記基準タイミングに基づいて、複数の前記画像情報を同期させる同期処理部と、
    複数の前記画像情報を表示するための処理であって前記画像情報に基づいて複数の連続する静止画を表示するための処理を行う表示処理部と、
    を有し、
    前記表示処理部は、
    前記基準タイミングによって定まる時間的な領域毎に前記静止画に含まれる前記スポーツ用具の表示色を異ならせると共に、前記時間的な領域それぞれの前記静止画を１枚の画像に重畳させて表示させる、
    情報処理装置と、
    を備える、情報処理システム。
12. 前記基準タイミング抽出部は、複数の前記動作情報のそれぞれから動作の特徴が対応する複数の前記基準タイミングを抽出し、
    前記情報処理装置は、複数の前記画像情報において、前記基準タイミング間の時間を適合させる時間適合部を備える、請求項１１に記載の情報処理システム。

Images