JP7069953B2 - 電子機器、動作データの部分特定方法、及び、プログラム - Google Patents

Description

本発明は、電子機器、動作データの部分特定方法、及び、プログラムに関する。

ゴルフ等のスポーツにおけるスイング動作を解析する際、スイング動作の開始前にユーザに静止状態を形成してもらい、解析装置がスイング動作の開始点を特定できるようにする技術がある。また、特許文献１には、上記のような静止状態の形成を必要とせずにスイング動作の解析を行える解析装置の構成が記載されている。特許文献１の構成によると、検出されたインパクトのタイミングから遡り、アドレス区間（アドレス動作の区間）を特定している。

特開２０１７－１２５８６号公報

しかしながら、上記のような従来技術では、アドレス区間を、インパクトのような特定のタイミングから遡ることなく特定することができない。このため、上記のような従来技術では、アドレス区間を、を比較的早い段階で特定することが難しい。例えば、特許文献１では、早くてもインパクトのタイミングまでのデータが必要であり、インパクト前にアドレス区間を特定することが難しい。かかる問題点は、ゴルフのスイング動作に限られず、他のスポーツなどの動作についても同様に生じる。

そこで、１つの側面では、本発明は、アドレス区間のような一連の動作の特定区間（第１区間）を、インパクトのような特定のタイミングから遡ることなく特定することを目的とする。

上記目的を達成するために、本発明の１つの側面は、所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定する第１処理手段と、
前記第１処理手段による処理後、前記ユーザの動作を示す第２のデータが取得され始めると、取得される前記第２のデータと前記第１のデータにおける前記第１処理手段により特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定する第２処理手段と、
前記第２処理手段により前記第２データ部分が特定されると、前記第２のデータと時間的に同期する所定データを外部装置に取得させるよう制御する外部装置制御手段と、
を有することを特徴とする電子機器が提供される。

１つの側面では、本発明によれば、アドレス区間のような一連の動作の特定区間（第１区間）を、インパクトのような特定のタイミングから遡ることなく特定することが可能となる。

本発明の一実施例に係る解析システムの構成を示すシステム構成図である。 解析システムの使用形態例を示す模式図である。 センサユニットのハードウェアの構成を示すブロック図である。 処理装置のハードウェア構成を示すブロック図である。 センサユニットの機能ブロック図である。 センサユニットの装着状態を示す模式図である。 センサユニットによって検出される情報の例を示す模式図である。 学習部により実行されるマスタデータの生成処理の一例を示す概略フローチャートである。 マスタデータの一例を示す図である。 検出処理部及びセンサ情報送信制御部により実行される検出処理の一例を示す概略フローチャートである。 処理装置の機能ブロック図である。 処理装置により実行される処理の一例を示す概略フローチャートである。 センサ情報及び画像データの出力態様の一例の概略的な説明図である。 本実施例の効果の説明図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、本発明の一実施例に係る解析システムＳの構成を示すシステム構成図である。また、図２は、解析システムＳの使用形態例を示す模式図である。

図１及び図２に示すように、解析システムＳは、センサユニット１と、処理装置２と、を含んで構成される。また、センサユニット１と処理装置２とは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標） ｌｏｗ ｅｎｅｒｇｙ／Ｂｌｕｅｔｏｏｔｈ ＬＥ（以下、「ＢＬＥ」と称する）によって通信可能に構成される。なお、変形例では、処理装置２は、サーバの形態であり、処理装置２は、センサユニット１とは、ネットワークを介して通信可能に構成されてもよい。この場合、ネットワークは、インターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線通信網、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。

センサユニット１は、計測対象に装着され、計測対象の動きをセンシングしてセンサ情報を処理装置２に送信する。本実施例においては、ゴルフのスイング動作を行う者（以下、「計測対象者Ｐ」と称する）の腰等にセンサユニット１を装着し、当該動作をセンシングする。

処理装置２は、計測対象に装着したセンサユニット１から取得したセンサ情報に基づいて、各種処理を行う。例えば、処理装置２は、計測対象が行ったゴルフのスイング動作ごとに、計測対象の腰の回転速度、腰の角度、腰の移動量、スイングリズム、総合的な評価を表す評価結果の表示画面を表示する。

図３は、センサユニット１のハードウェアの構成を示すブロック図である。センサユニット１は、計測対象の動きを検出する各種センサを備えた装置として構成される。

図３に示すように、センサユニット１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、バス１１４と、入出力インターフェース１１５と、センサ部１１６と、入力部１１７と、出力部１１８と、記憶部１１９と、通信部１２０と、を備えている。なお、センサユニット１は、半導体メモリ等よりなるリムーバブルメディアを装着可能な構成としてもよい。

ＣＰＵ１１１は、ＲＯＭ１１２に記録されているプログラム、又は、記憶部１１９からＲＡＭ１１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１１３には、ＣＰＵ１１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１１、ＲＯＭ１１２及びＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インターフェース１１５も接続されている。入出力インターフェース１１５には、センサ部１１６、入力部１１７、出力部１１８、記憶部１１９及び通信部１２０が接続されている。

センサ部１１６は、３軸方向の加速度を測定する３軸加速度センサと、３軸方向の角速度を測定する３軸角速度センサと、３軸方向の地磁気を測定する３軸地磁気センサとを備えている。センサ部１１６は、予め設定されたサンプリング周期（例えば、０．００１秒）ごとに、３軸加速度センサ、３軸角速度センサ及び３軸地磁気センサによって３軸方向の加速度、角速度及び地磁気を測定する。センサ部１１６によって測定された加速度及び角速度のデータは、測定時刻のデータと対応付けて、記憶部１１９に記憶あるいは処理装置２に送信される。

入力部１１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１１８は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する。

記憶部１１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

通信部１２０は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施例において、通信部１２０は、ＢＬＥ（登録商標）によって処理装置２と通信する。

図４は、処理装置２のハードウェア構成を示すブロック図である。処理装置２は、情報表示機能を備えた情報処理装置であり、例えば、スマートフォンとして構成される。

図４に示すように、処理装置２は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、バス２１４と、入出力インターフェース２１５と、撮像部２１６と、センサ部２１７と、入力部２１８と、出力部２１９と、記憶部２２０と、通信部２２１と、ドライブ２２２と、を備えている。なお、ドライブ２２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２３１が適宜装着される。

撮像部２１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。なお、変形例では、撮像部２１６は省略されてもよい。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。

フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

撮像部２１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。

光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。

ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２１６の出力信号として出力される。このような撮像部２１６の出力信号を、以下、適宜「画像データ」と称する。

入力部２１８は、各種ボタンやタッチパネル等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部２１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。通信部２２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。また、通信部２２１は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。本実施例において、通信部２２１は、ＢＬＥ（登録商標）によってセンサユニット１と通信する。

図５は、センサユニット１の機能的構成のうち、スイング動作特定処理を実行するための機能的構成を示す機能ブロック図である。スイング動作特定処理とは、計測対象に装着されたセンサユニット１が計測対象の動きをセンシングし、ゴルフのスイング動作に係るデータを特定する処理である。

スイング動作特定処理を実現するための構成として、図５に示すように、ＣＰＵ１１１において、通信制御部１５１と、学習部１５２（第１処理手段の一例）と、検出処理部１５３（第２処理手段の一例）と、センサ情報送信制御部１５４（外部装置制御手段の一例）とが機能する。

また、記憶部１１９の一領域には、センサ情報記憶部１７１、及び、マスタデータ記憶部１７２（記憶部の一例）が設定される。センサ情報記憶部１７１には、センサユニット１において取得されたセンサ情報が、取得された時刻と対応付けて記憶される。マスタデータ記憶部１７２には、計測対象者Ｐのスイング動作に関するマスタデータ（第１のデータの一例）が記憶される。マスタデータは、例えばセンサ情報に基づいて生成される。例えば、マスタデータは、複数回のスイング動作に関するセンサ情報の平均値（各波形の平均値）に基づいて生成されてもよいし、計測対象者Ｐ等により指定されたセンサ情報に基づいて生成されてもよい。

通信制御部１５１は、センサユニット１のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。

図６Ａは、センサユニット１の装着状態を示す模式図、図６Ｂは、センサユニット１によって検出される情報の例を示す模式図である。なお、以下の説明において、センサユニット１に設定される各軸は、前後方向の回転については計測対象者Ｐの前傾方向をプラス、鉛直軸まわりの回転については計測対象者Ｐのフォロー方向をプラス、左右方向の回転については計測対象者Ｐのフォロー側の腰が高くなる方向をプラスとする。また、前後方向の平行移動については計測対象者Ｐの前方をプラス、上下方向の平行移動については計測対象者Ｐの上方をプラス、左右方向の平行移動については計測対象者Ｐのフォロー方向をプラスとする。

また、センサユニット１は、３軸加速度センサを備えているため、センサユニット１の移動（平行移動等）についても検出可能であり、３軸地磁気センサを備えているため、センサユニット１が向いている方位についても検出可能である。

学習部１５２は、マスタデータ記憶部１７２内のマスタデータに基づいて、ゴルフのスイング動作におけるアドレス区間を検出するとともに、トップや、ダウンスイング、インパクト、フォローの各ポイントのタイミングを検出する。すなわち、学習部１５２は、マスタデータにおけるスイング動作の各ポイント（アドレス区間の開始時点を含む）を検出する。マスタデータにおけるスイング動作の各ポイントが検出されると、各ポイントは、マスタデータに関連付けてマスタデータ記憶部１７２に保存される。

例えば、学習部１５２は、マスタデータに基づいて、まず、インパクトのタイミングを検出する。次いで、検出処理部１５３は、インパクトのタイミングから逆算してトップ及びアドレス区間の時間を算出する。あるいは、学習部１５２は、アドレス区間のタイミングが推定できる場合は、インパクトのタイミングとアドレスのタイミングから、他のポイントのタイミングを算出してもよい。学習部１５２によるマスタデータの生成方法の他の例は、図７を参照して後述する。

なお、マスタデータにおけるスイング動作の各ポイントは、計測対象者Ｐのようなユーザにより修正されてもよいし、指定されてもよい。

検出処理部１５３は、各種センサ情報を逐次取得し、取得したセンサ情報を、取得された時刻と対応付けてセンサ情報記憶部１７１に記憶する。センサ情報は、センサユニット１の各センサが出力する加速度や角速度等であってもよいが、加速度等に基づいて生成された各種パラメータであってもよい。本実施例では、一例として、各種パラメータは、３軸加速度センサの検出値を積分して得られる移動量（距離）、３軸角速度センサの検出値を微分して得られる回転角加速度、及び、３軸角速度センサの検出値を積分して得られる回転角度である。

また、検出処理部１５３は、取得したセンサ情報（第２データの一例）と、マスタデータとに基づいて、ゴルフのスイング動作における所定の特徴的なポイントのタイミングを検出する。例えば、検出処理部１５３は、取得したセンサ情報の波形を解析し、ゴルフのスイング動作におけるアドレス区間を検出するとともに、トップや、ダウンスイング、インパクト、フォローの各ポイントのタイミングを検出する。アドレス区間等の検出方法は、後述する。

センサ情報送信制御部１５４は、検出処理部１５３によって取得されたセンサ情報を処理装置２に送信する制御を行う。本実施例において、検出処理部１５３では、例えば、１０００サンプル／秒程度でセンサ情報を取得することができる。そして、センサ情報送信制御部１５４は、検出処理部１５３によって取得されたセンサ情報を予め設定されたサンプリングレート（例えば、２４０サンプル／秒程度）に変換して処理装置２に送信する。なお、本実施例においては、計測対象者Ｐのゴルフのスイング動作におけるアドレスからフォローまでの範囲のセンサ情報が処理装置２に送信される。

また、センサ情報送信制御部１５４は、検出処理部１５３による検出結果に基づいて、処理装置２に制御指令を送信する。制御指令は、撮像部２１６を制御するための指令（後述の撮像開始指令等）であり、制御指令の送信処理については、後述する。

次に、図７を参照して、学習部１５２によるマスタデータの生成方法について説明する。

図７は、学習部１５２により実行されるマスタデータの生成処理の一例を示す概略フローチャートである。

センサユニット１の電源がオンの状態（ステップＳ７０）で、センサユニット１が計測を開始すると（ステップＳ７１）、学習部１５２は、センサユニット１からセンサ情報に基づいて、腰の反転動作があったか否かを判定する（ステップＳ７２）。腰の反転動作は、例えば左右方向の傾斜角度（図６Ｂ参照）の反転に基づいて検出されてもよい。腰の反転動作が検出されると、学習部１５２は、トップ（所定ポイントの一例）であるかを判定し（ステップＳ７３）、トップであれば、その時点ｔ１を記録する（ステップＳ７４）。トップは、例えば腰の反転後の前後方向の移動量の時系列波形の変曲点に基づいて検出されてよい。時点ｔ１は、例えばアドレス区間の開始時点を基準とした時点であってよい。このようにして、トップの時点ｔ１から所定時間Ｔ１経過するまで（ステップＳ７６の“ＹＥＳ”）、センサ情報が記憶される（ステップＳ７５）。所定時間Ｔ１は、トップからフォローまでの時間に対応し、一般的な平均値が採用されてもよいし、計測対象者Ｐに応じて適合されてよい。トップの時点ｔ１から所定時間Ｔ１経過すると、その時点ｔ２が記憶され（ステップＳ７７）、センサ情報の記録が終了する（ステップＳ７８）。その後、学習部１５２は、記録されたセンサ情報と、アドレス区間を示す情報と、トップの時点を示す情報とを、マスタデータとして記憶する（ステップＳ７９）。この際、アドレス区間は、トップなどの特定のポイントのタイミングから遡って特定することができる。なお、ステップＳ７６では、所定時間Ｔ１経過するか否かが判定されるが、これに代えて、フォローが検出されるか否かが判定されてもよい。

図７に示す例では、計測対象者Ｐが通常のゴルフのスイング動作を行うのに伴って、リアルタイムにマスタデータが生成される。ただし、計測対象者Ｐが所定のトリガ動作を行うことでアドレス区間の開始時点を教示する態様でスイング動作を行うこととしてもよい。この場合、アドレス区間が精度良く特定されたマスタデータを生成できる。

図８は、マスタデータの一例を示す図であり、（Ａ）は、腰の前後方向の移動量に関するデータであり、（Ｂ）は、腰の左右方向の傾斜角度に関するデータである。図８では、横軸に時間を取り、前後方向の移動量の変化態様と、左右方向の傾斜角度の変化態様とがそれぞれ示されている。

図８には、アドレス区間を示す情報（以下、「アドレス区間情報」と称する）と、トップの時点を示す情報（以下、「トップ時点情報」と称する）とが示される。アドレス区間情報は、マスタデータの開始時点を０としたときの、アドレス区間の終了時点ｔ１０を表してよい。また、トップ時点情報は、マスタデータの開始時点を０としたときの、トップの時点ｔ１１を表してよい。

なお、マスタデータは、腰の前後方向の移動量、及び、左右方向の傾斜角度の２つのパラメータについてだけ生成されてもよいし、いずれか一方について生成されてもよいし、他のパラメータについても生成されてもよい。

次に、図９を参照して、検出処理部１５３及びセンサ情報送信制御部１５４により実行される検出処理について説明する。

図９は、検出処理部１５３及びセンサ情報送信制御部１５４により実行される検出処理の一例を示す概略フローチャートである。

センサユニット１の電源がオンの状態（ステップＳ９０）で、処理装置２との無線通信が確立し（ステップＳ９２）、かつ、センサユニット１が計測を開始すると（ステップＳ９４）、検出処理部１５３は、センサユニット１から現時点まで得られるセンサ情報（一連の動作を示す可能性がある第２のデータの一例）と、マスタデータとの類似度に基づいて、センサ情報とマスタデータとが略一致するか否かを判定する（ステップＳ９６）。すなわち、センサユニット１が計測を開始した時点をｔ２０とし、現時点をｔ２１とすると、検出処理部１５３は、ｔ２０からｔ２１までのセンサ情報（第２データ部分の一例）と、マスタデータのうちのアドレス区間のデータ全体（第１データ部分の一例）又は一部（第１データ部分の一例）とを比較し、類似度が所定閾値Ｔｈ１以上であるか否かを判定する。類似度が所定閾値Ｔｈ１以上であると、センサ情報におけるｔ２０からｔ２１までのセンサ情報が、アドレス区間に係るデータであると判定される。このようにして、センサ情報におけるアドレス区間（第１区間の一例）に係るデータ部分が検出処理部１５３により特定される。所定閾値Ｔｈ１は、アドレス区間を早めに検出できるように比較的穏やかな値が設定されてもよい。類似度は、例えば周期、振幅、周波数成分等に基づいて判定されてもよい。例えば、類似度は、相関係数として算出されてもよい。この場合、相関係数を求めるためのウインドウのサイズは、アドレス区間の長さよりも有意に短くてもよい。この場合、アドレス区間の終了時点までに、アドレス区間を検出できる。

センサ情報とマスタデータとが略一致すると（ステップＳ９６の“一致”）、すなわちセンサ情報におけるアドレス区間に係るデータ部分が特定されると、センサ情報送信制御部１５４は、処理装置２に撮像開始指令を送信する（ステップＳ９８）。これにより、処理装置２の撮像部２１６による計測対象者Ｐの撮像を速やかに（アドレス区間の終了時点までには）開始できる。

その後、検出処理部１５３は、センサユニット１から得られるセンサ情報と、マスタデータとの類似度に基づいて、センサ情報とマスタデータとが略一致するか否かを継続的に判定する（ステップＳ１００）。具体的には、アドレス区間の終了時点をｔ２２とし、現時点をｔ２３とすると、検出処理部１５３は、ｔ２２からｔ２３までのセンサ情報（第４データ部分の一例）と、マスタデータのアドレス区間の後のデータ（第３データ部分の一例）とを比較し、類似度が所定閾値Ｔｈ２以上であるか否かを判定する。所定閾値Ｔｈ２は、所定閾値Ｔｈ１よりも厳しい値に設定されてよい。これは、今回得られているセンサ情報が、ゴルフのスイング動作に係るセンサ情報であるか否かを事後的に精度良く判定するためである。センサ情報とマスタデータとが一致しなければ（ステップＳ１００の“不一致”）、センサ情報送信制御部１５４は、今回のセンサ情報がスイング動作に係るデータでないと判断し、処理装置２に撮像中止指令を送信する（ステップＳ１０２）。これにより、処理装置２の撮像部２１６による計測対象者Ｐの撮像を速やかに中止できる。この場合、検出処理部１５３は、センサ情報記憶部１７１に記憶されたセンサ情報（ｔ２０からｔ２３までのセンサ情報）を削除する（ステップＳ１０４）。

他方、検出処理部１５３は、センサ情報とマスタデータとが略一致していると（ステップＳ１００の“一致”）、腰の反転動作があったか否かを判定する（ステップＳ１０６）。腰の反転動作が検出されると、検出処理部１５３は、トップであるかを判定し（ステップＳ１０８）、トップであれば、その時点ｔ１’を記録し（ステップＳ１０９）、所定時間Ｔ１後に撮像を停止させるための撮像終了指令を、処理装置２に送信する（ステップＳ１１０）。このようにして、トップが検出されると、処理装置２の撮像部２１６による計測対象者Ｐの撮像が所定時間Ｔ１経過後に終了するように、撮像終了指令が送信される（ステップＳ１１０）。そして、トップの時点ｔ１’から所定時間Ｔ１経過するまで（ステップＳ１１２の“ＹＥＳ”）、類似度が所定閾値Ｔｈ２以上である場合、センサ情報送信制御部１５４は、今回のセンサ情報がスイング動作に係るデータであると判断し、センサ情報を記憶する（ステップＳ１１１）。

トップの時点ｔ１’から所定時間Ｔ１経過すると、その時点ｔ２’が記憶され（ステップＳ１１４）、センサ情報の記録が終了する（ステップＳ１１６）。その後、検出処理部１５３は、記録されたセンサ情報と、アドレス区間を示す情報と、トップの時点ｔ１’を示す情報とを、マスタデータとして記憶（更新）する（ステップＳ１１８）。

図９に示す例によれば、計測対象者Ｐがゴルフのスイング動作を開始すると、アドレス区間が検出されることで、撮像開始指令が生成される。これにより、処理装置２の撮像部２１６による計測対象者Ｐの撮像が開始される。従って、計測対象者Ｐは、いちいち撮像指示を手動等で入力しなくても、自身のゴルフのスイング動作を撮像部２１６に撮像させることができる。

なお、図９に示す例では、計測対象者Ｐがゴルフのスイング動作を行うごとに、マスタデータが更新されるが、マスタデータは、更新されずに維持されてもよい。

次に、処理装置２の機能的構成について説明する。図１０は、処理装置２の機能的構成のうち、結果表示処理と、撮像制御処理とを実行するための機能的構成を示す機能ブロック図である。

結果表示処理とは、スイング動作ごとに、センサユニット１によって検出されたセンサ情報と同期して、撮像した画像データを出力する処理である。

撮像制御処理は、センサユニット１からの撮像開始指令等に応じて撮像部２１６を制御する処理である。

結果表示処理及び撮像制御処理を実現するために、図１０に示すように、ＣＰＵ２１１において、通信制御部２５１と、センサ情報取得部２５２と、撮像制御部２５４と、表示制御部２５５と、記録制御部２５６とが機能する。

また、記憶部２２０の一領域には、センサ情報記憶部２７１、及び、画像データ記憶部２７３が設定される。センサ情報記憶部２７１には、センサユニット１から送信されたスイング動作ごとのセンサ情報が、センサ情報が取得された時刻と対応付けて記憶される。例えば、センサ情報は、個々のスイング動作を示す識別番号ごとに記憶される。画像データ記憶部２７３は、撮像部２１６により撮像されたスイング動作ごとの画像データが記憶される。例えば、画像データは、個々のスイング動作を示す識別番号ごとに記憶される。同じ識別番号に係る画像データとセンサ情報とは、互いに時間的に同期できる態様で記憶される。

通信制御部２５１は、処理装置２のＢＬＥによる通信を制御し、他の装置とのペアリング処理やデータの送受信処理を実行する。本実施例において、ＢＬＥによる通信が行われる場合、処理装置２がマスタとなり、他の装置がスレーブとなる。

センサ情報取得部２５２は、予め設定されたサンプリングレートのセンサ情報を、ＢＬＥによってセンサユニット１から取得する。本実施例において、センサ情報取得部２５２は、計測対象者Ｐのゴルフのスイング動作におけるアドレスからフォローまでの範囲のセンサ情報をセンサユニット１から取得する。

撮像制御部２５４は、上述の撮像制御処理を行う。撮像制御処理の例は後述する。

表示制御部２５５は、出力部２１９に、センサ情報に基づいて各パラメータの時系列波形を出力するとともに、画像データを出力する。

図１１は、処理装置２により実行される処理の一例を示す概略フローチャートである。図１１に示す処理は、センサユニット１の電源がオンの間、所定周期ごとに繰り返し実行されてよい。

ステップＳ１１００では、処理装置２は、撮像部２１６による撮像中であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１１０１に進み、それ以外の場合は、ステップＳ１１０８に進む。

ステップＳ１１０１では、処理装置２は、撮像終了指令を受信したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１１０５に進み、それ以外の場合は、ステップＳ１１０２に進む。

ステップＳ１１０２では、処理装置２は、撮像中止指令を受信したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１１０４に進み、それ以外の場合は、ステップＳ１１０３に進む。

ステップＳ１１０３では、処理装置２は、撮像部２１６による撮像を継続する。この際に、画像データ記憶部２７３には画像データが記憶されていく。

ステップＳ１１０４では、処理装置２は、撮像部２１６による撮像を中止する。この場合、画像データ記憶部２７３に記憶されていた画像データ（今回の撮像開始指令を受けて記憶されていた画像データ）が削除される。

ステップＳ１１０５では、処理装置２は、撮像終了指令を受信してから所定時間Ｔ１が経過したか否かを判定する。所定時間Ｔ１は、上述のとおりであり、トップからフォローまでの時間に対応する。撮像終了指令を受信してから所定時間Ｔ１が経過した場合は、ステップＳ１１０６に進み、それ以外は、撮像終了指令を受信してから所定時間Ｔ１が経過するイベントを待機する状態となる。

ステップＳ１１０６では、処理装置２は、撮像部２１６による撮像を終了（正常終了）する。これに伴い、画像データ記憶部２７３への画像データの記憶処理も終了する。

ステップＳ１１０８では、処理装置２は、撮像開始指令を受信したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１１１０に進み、それ以外の場合は、今回周期の処理を終了する。

ステップＳ１１１０では、処理装置２は、撮像部２１６による撮像を開始する。これに伴い、処理装置２は、新たな識別番号（スイング動作に係る識別番号）を付与して画像データの記憶を開始する。

図１１に示す処理によれば、センサユニット１から得られる各種指令に応じて撮像部２１６を制御できる。これにより、スイング動作ごとに、センサ情報と画像データとを同期可能な態様で表示できる。

図１２は、センサ情報及び画像データの出力態様の一例の概略的な説明図である。なお、センサ情報及び画像データは、例えば出力部２１９に、表示制御部２５５により出力される。

図１２では、画面１２００上に、画像データの表示領域１２０１と、センサ情報の表示領域１２０２が示される。表示領域１２０１には、画像データ（一のスイング動作に係る画像データ）が動画の形態で出力される。また、表示領域１２０２には、センサ情報は、一のスイング動作に係る時系列波形の形態で出力される。なお、表示領域１２０２には、複数のパラメータのそれぞれに係る時系列波形が重畳して表示されてもよいし、複数のパラメータのうちの、計測対象者Ｐのようなユーザにより選択されたパラメータに係る時系列波形が選択的に表示されてもよい。表示領域１２０２には、再生時点（出力されている画像のフレーム）を表す時間指定線１２０３が表示されている。計測対象者Ｐのようなユーザは、時間指定線１２０３を左右に動かすことで、その時点に対応したフレームの画像を見ることができる。

次に、図１３を参照して、本実施例の効果について説明する。

図１３は、マスタデータに係る時系列波形１３００と、あるスイング動作に係るセンサ情報の時系列波形１３０１とを示す図である。

図１３から分かるように、マスタデータに係る時系列波形１３００と、あるスイング動作に係るセンサ情報の時系列波形１３０１とは、類似している。すなわち、両波形は、特徴が一致している。これは、時系列波形１３０１と時系列波形１３００とが同一のユーザに係るセンサ情報に基づくものである場合に特に顕著となる。

本実施例によれば、かかる波形の相関性を利用することで、アドレス区間を検出することを可能としている。

なお、例えば、クラブヘッドを左右に軽く動かすワッグルという動作等が行われた場合に、アドレス区間を特定することが難しい場合がある。

この点、本実施例によれば、ワッグルのような動作が行われた場合でも、アドレス区間を精度良く特定することができる。特にマスタデータが同一のユーザに係るセンサ情報に基づいて生成されている場合は、個々のユーザに固有の動作（ワッグルのような動作）が両波形の相関性を更に高めることになるので、より高い精度でアドレス区間を検出できるようになる。

ここで、センサユニット１側で事後的にしかアドレス区間を特定できない比較例の場合、画像データを記憶するための必要なメモリ容量（画像データ記憶部２７３の記憶容量）の低減を図ることが難しい。例えば、比較例では、ある一のスイング動作に関して、アドレス区間からフォローまでの期間の画像データを記憶したい場合、当該一のスイング動作のアドレス区間がいつ開始されるか不明であるので、常時、画像データを取得かつ記憶しておく必要がある。常時、画像データを取得かつ記憶する構成では、限られたメモリ容量を圧迫するおそれがある。

この点、本実施例によれば、上述のように、センサユニット１側でアドレス区間が比較的早い段階で検出されるので、その段階から撮像部２１６による撮像を開始できる。これにより、上記の比較例に比べて画像データ記憶部２７３の記憶容量を効率的に利用できる。

また、本実施例によれば、上述のように、センサユニット１側でアドレス区間が開始された後であっても、その後の類似度が低い場合、すなわちアドレス区間の誤検出の可能性が検出された場合、撮像中止指令が生成される。これにより、比較的早い段階で撮像部２１６による撮像を開始しつつ、スイング動作に係る画像データでないと事後的に判明した画像データについては画像データ記憶部２７３から削除できる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、上述した実施例では、センサユニット１が図５に示す機能的構成を有しているが、これに限られない。例えば、センサユニット１における検出処理部１５３の機能は、処理装置２により実現されてもよい。この場合、センサユニット１は、センサ情報を処理装置２に送信する。この場合、処理装置２は、取得したセンサ情報の波形を解析し、ゴルフのスイング動作におけるアドレス、トップ、ダウンスイング、インパクト、フォローの各ポイントのタイミングを検出してよい。あるいは、逆に、図１０に示した処理装置２の機能の一部又は全部は、センサユニット１により実現されてもよい。

また、上述した実施例は、ゴルフのスイング動作に関するものであるが、ゴルフのスイング動作に限られず、他のスポーツなどの動作にも適用できる。例えば、ゴルフのスイング動作のアドレス区間に代替え可能な他の区間（第１区間の他の例）として、ダンスにおける特定の区間や、バスケットボールのシュート動作の区間、バレーボールのスパイク動作の区間、スケートのジャンプの区間、体操の特定の技の区間等がありうる。

また、上述した実施例では、マスタデータは、トップ時点情報を含むが、トップ時点情報を含まなくてもよい。

また、上述した実施例では、撮像部２１６による撮像は、トップから所定時間Ｔ１経過後に終了されるが、これに限られない。例えば、撮像部２１６による撮像は、インパクトから所定時間Ｔ２（＜所定時間Ｔ１）経過後に終了されてもよい。所定時間Ｔ２は、同様に計測対象者Ｐに応じて適合されてもよい。
また、上述した実施例では、撮像部２１６による撮像と同期させてリアルタイムにセンサ情報を解析してアドレス区間を特定しているが、オフラインで得たセンサ情報に基づいて、事後的にアドレス区間を特定してもよい。この場合も、マスタデータとの類似度を判定することで、トップから遡ることなくアドレス区間を特定できる。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定する第１処理手段と、
前記第１のデータとは異なる第２のデータと、前記第１のデータにおける前記第１処理手段により特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定する第２処理手段と、
を有することを特徴とする電子機器。
＜請求項２＞
前記第２処理手段は、前記第２のデータが取得され始めると、前記第２のデータにおける取得されたデータ部分と、前記第１のデータにおける特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第２データ部分を特定することを特徴とする請求項１に記載の電子機器。
＜請求項３＞
前記第２処理手段により前記第２のデータにおける前記第２データ部分が特定された場合、前記第２のデータと時間的に同期する所定データを、外部装置に取得させ始める外部装置制御手段を有することを特徴とする請求項２に記載の電子機器。
＜請求項４＞
前記第２処理手段は、更に、前記第２のデータにおける前記第２データ部分を特定した場合、前記第１のデータにおける前記第１データ部分の後の第３データ部分と、前記第２のデータにおける前記第２データ部分の後の第４データ部分との類似度に基づいて、前記第２のデータが前記一連の動作を示すデータであるか否かを判定することを特徴とする請求項３に記載の電子機器。
＜請求項５＞
前記外部装置制御手段は、前記第２処理手段により前記第２のデータが前記一連の動作を示すデータであると判定された場合、所定時間の経過後に前記外部装置の作動を停止させることを特徴とする請求項４に記載の電子機器。
＜請求項６＞
前記外部装置制御手段は、前記第２処理手段により前記第２のデータが前記一連の動作を示すデータでないと判定された場合、前記第２のデータが前記一連の動作を示すデータでないと判定された時点で、前記外部装置の作動を停止させることを特徴とする請求項４に記載の電子機器。
＜請求項７＞
前記外部装置は、前記ユーザを撮像するカメラであり、前記所定データは、前記カメラの画像データであることを特徴とする請求項３から６のいずれか一項に記載の電子機器。
＜請求項８＞
前記第１のデータ及び前記第２のデータは、前記ユーザの腰の移動量、回転角度、又は、角速度に関することを特徴とする請求項１から７のいずれか一項に記載の電子機器。
＜請求項９＞
前記第１のデータ及び前記第２のデータは、センサにより測定されるセンサ情報に基づいて生成されることを特徴とする請求項１から８のいずれか一項に記載の電子機器。
＜請求項１０＞
前記センサは、前記ユーザの腰に装着されることを特徴とする請求項９に記載の電子機器。
＜請求項１１＞
前記一連の動作は、ゴルフのスイング動作であることを特徴とする請求項１から１０のいずれか一項に記載の電子機器。
＜請求項１２＞
前記所定ポイントは、ゴルフのスイング動作におけるトップであり、前記第１区間は、ゴルフのスイング動作におけるアドレス動作の区間であることを特徴とする請求項１から１１のいずれか一項に記載の電子機器。
＜請求項１３＞
所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定し、
前記第１のデータとは異なる第２のデータと、前記第１のデータにおける特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定することを含む、コンピュータにより実行される動作検出方法。
＜請求項１４＞
所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定し、
前記第１のデータとは異なる第２のデータと、前記第１のデータにおける特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定する、
処理をコンピュータに実行させる動作検出プログラム。

１ センサユニット
２ 処理装置
１１４ バス
１１５ 入出力インターフェース
１１６ センサ部
１１７ 入力部
１１８ 出力部
１１９ 記憶部
１２０ 通信部
１５１ 通信制御部
１５２ 学習部
１５３ 検出処理部
１５４ センサ情報送信制御部
１７１ センサ情報記憶部
１７２ マスタデータ記憶部
２１４ バス
２１５ 入出力インターフェース
２１６ 撮像部
２１７ センサ部
２１８ 入力部
２１９ 出力部
２２０ 記憶部
２２１ 通信部
２２２ ドライブ
２３１ リムーバブルメディア
２５１ 通信制御部
２５２ センサ情報取得部
２５４ 撮像制御部
２５５ 表示制御部
２５６ 記録制御部
２７１ センサ情報記憶部
２７３ 画像データ記憶部

Claims (12)

1. 所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定する第１処理手段と、
   前記第１処理手段による処理後、前記ユーザの動作を示す第２のデータが取得され始めると、取得される前記第２のデータと前記第１のデータにおける前記第１処理手段により特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定する第２処理手段と、
   前記第２処理手段により前記第２データ部分が特定されると、前記第２のデータと時間的に同期する所定データを外部装置に取得させるよう制御する外部装置制御手段と、
   を有することを特徴とする電子機器。
2. 前記第２処理手段は、前記第２データ部分を特定すると更に、前記第１データ部分の後に続く第３データ部分と、前記第２データ部分の後に続く第４データ部分との類似度に基づいて、前記第２のデータが前記一連の動作を示すデータであるか否かを判定することを特徴とする請求項１に記載の電子機器。
3. 前記外部装置制御手段は、前記第２処理手段により前記第２のデータが前記一連の動作を示すデータであると判定された場合、所定時間の経過後に前記外部装置の作動を停止させることを特徴とする請求項１又は２に記載の電子機器。
4. 前記外部装置制御手段は、前記第２処理手段により前記第２のデータが前記一連の動作を示すデータでないと判定された場合、前記第２のデータが前記一連の動作を示すデータでないと判定された時点で、前記外部装置の作動を停止させることを特徴とする請求項１又は２に記載の電子機器。
5. 前記外部装置は、前記ユーザを撮像するカメラであり、前記所定データは、前記カメラが撮像することにより取得される画像データであることを特徴とする請求項１から４のいずれか一項に記載の電子機器。
6. 前記第１のデータ及び前記第２のデータは、前記ユーザの腰の移動量、回転角度、又は、角速度に関することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
7. 前記第１のデータ及び前記第２のデータは、センサにより測定されるセンサ情報に基づいて生成されることを特徴とする請求項１から６のいずれか一項に記載の電子機器。
8. 前記センサは、前記ユーザの腰に装着されることを特徴とする請求項７に記載の電子機器。
9. 前記一連の動作は、ゴルフのスイング動作であることを特徴とする請求項１から８のいずれか一項に記載の電子機器。
10. 前記所定ポイントは、ゴルフのスイング動作におけるトップであり、前記第１区間は、ゴルフのスイング動作におけるアドレス動作の区間であることを特徴とする請求項１から９のいずれか一項に記載の電子機器。
11. 所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定する第１処理ステップと、
    前記第１処理ステップによる処理後、前記ユーザの動作を示す第２のデータが取得され始めると、取得される前記第２のデータと前記第１のデータにおける前記第１処理ステップにて特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定する第２処理ステップと、
    前記第２処理ステップにて前記第２データ部分が特定されると、前記第２のデータと時間的に同期する所定データを外部装置に取得させるよう制御する制御ステップと、
    を含むことを特徴とする動作データの部分特定方法。
12. コンピュータを、
    所定ポイントより前に第１区間を有するユーザの一連の動作を示す第１のデータにおける前記所定ポイントに対応する時点を特定し、特定した前記時点に基づいて、前記第１のデータにおける前記第１区間に係る第１データ部分を特定する第１処理手段、
    前記第１処理手段による処理後、前記ユーザの動作を示す第２のデータが取得され始めると、取得される前記第２のデータと前記第１のデータにおける前記第１処理手段により特定された前記第１データ部分との類似度に基づいて、前記第２のデータにおける前記第１区間に係る第２データ部分を特定する第２処理手段、
    前記第２処理手段により前記第２データ部分が特定されると、前記第２のデータと時間的に同期する所定データを外部装置に取得させるよう制御する外部装置制御手段、
    として機能させることを特徴とするプログラム。

Images