JP5725296B2 - 運動情報生成装置、運動情報生成プログラム及び記録媒体 - Google Patents

Description

本発明は、運動指導用情報生成装置、運動指導用情報生成プログラム、及び、運動指導用情報生成プログラムを記録した記録媒体に関する。

スポーツが上達するには、よいコーチやトレーナーによる指導が早道と言われる。例えば、ゴルフではレッスンプロと呼ばれる指導者に直接レッスンを受けるサービスや自分のプレイの映像を送ってアドバイスしてもらうというサービスもある。しかし、一般のスポーツ愛好家は、コーチのために費用や時間を費やすことが難しいので、自分自身で練習して上達するために市販の練習装置を使うことが多い。これらの練習装置の多くは、単に練習者やボールなどの動きを捉えて表示するものであるが、運動解析だけでは運動の向上には不十分である。そこで、解析の結果、改善すべき点を教えてくれる運動練習機が考案されている。例えば、特許文献１では、ゴルフのスイングの腕と頭の動きから、改善すべきポイント（頭がふらつく、球筋をみる視線の移動がスムースではないなど）を画像と音声で知らせるゴルフ改善支援装置が提案されている。さらに、プロのプレイヤーやインストラクターが教える理想的なフォームや動きとの違いを表示する装置も考案されている（例えば、特許文献２〜５参照）。

このような従来の運動練習機を用いれば、理想の動きと自分の動きを比較して視覚的に確認することができるので、運動の軌跡などを見せるシステムに比べて、どうすればよいかわかりやすいという利点がある。しかしながら、これらの運動練習機は、プロのプレイヤーやインストラクターなどに実際に動いてもらって理想の動き（軌跡）を記録し、更に練習者の動きと比較するために適したデータにあらかじめ変換する等の準備の必要がある。例えば、プロのプレイヤーやインストラクターに基本的な動きをしてもらって、その様子をカメラで捉えたり、あるいは、モーションセンサーなどで動きを捉え、さらにプロのプレイヤーやインストラクターにコメントしてもらい、その音声と運動軌跡をデータ化することで、理想の動きのデータを作成することができる。

特開２００９−１２５５０７号公報 特開２００２−２４８１８７号公報 特開２００６−１８１０１４号公報 特開平１０−１１１９４０号公報 特開平８−２２４３３０号公報 特許第３８６５６４４号公報

しかしながら、実際には、プロのプレイヤーやインストラクターが理想通りにうまく動けなかったり、うまく動けてもコメントを言い損ねたりする場合もあり、手作業で不適当な部分をカットするなどの編集作業が必要である。特許文献６には、プロのプレイヤーやインストラクターによるコメントの音声データをテキスト化してキーワードを抽出し、運動指導データの収集を効率化する方法が提案されているが、この方法では、理想通りにうまく動けなかった場合や、動きとコメントの対応が取れていない場合には対応できないという問題がある。

このように、プロのプレイヤーやインストラクターから動きとコメントのデータを収集し、指導用のデータに編集するのは困難であり、編集作業に相当の手間を要する。

本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様によれば、ユーザーから取得した運動指導用の動きと音声の情報から指導用の情報を効率的に生成することが可能な運動指導用情報生成装置、運動指導用情報生成プログラム、及び、運動指導用情報生成プログラムを記録した記録媒体を提供することができる。

（１）本発明は、ユーザー又は運動器具に装着されるセンサーと、前記センサーから前記ユーザー又は前記運動器具の動き情報を取得する動き情報取得部と、音情報を取得する音情報取得部と、取得した前記動き情報と前記音情報とから運動指導に適切な情報を選択し、選択した情報を用いて運動の指導用情報を生成する指導用情報生成部と、を含む、運動指導用情報生成装置である。

本発明によれば、ユーザーや運動器具の動き情報とユーザーの音声を含む音情報から運動指導に適切な情報を選択する（逆に言えば、不適切な情報を選択しない）ことで、明らかに運動指導に不適切な情報を排除し、有用な指導用情報を効率的に生成することができる。

（２）この運動指導用情報生成装置において、前記指導用情報生成部は、取得した前記動き情報と前記音情報とをそれぞれ複数区間に分割し、各区間の動き情報と音情報とを前記指導用情報に使用できるか否かを判定する判定部と、前記判定部の判定結果に応じて前記指導用情報を編集する編集部と、を含むようにしてもよい。

このようにすれば、運動指導に適切な動き情報と音情報を細かい単位で選択することができる。

（３）この運動指導用情報生成装置において、前記判定部は、前記各区間の動き情報が運動指導に不適切な動き情報か否かを判定する動き情報判定部と、前記各区間の音情報が運動指導に不適切な音情報か否かを判定する音情報判定部と、前記動き情報判定部の判定結果と前記音情報判定部の判定結果から、各区間の動き情報と音情報とを前記指導用情報に使用できるか否かを判定する総合判定部と、を含むようにしてもよい。

このように、各区間の動き情報の判定処理と各区間の音情報の判定処理を分けて、両者の判定結果から各区間の動き情報と音情報を指導用情報に使用できるか否かを総合的に判定することで、より柔軟な判定を行うことができる。

（４）この運動指導用情報生成装置において、前記センサーは、加速度センサーと角速度センサーとを含み、前記動き情報判定部は、前記加速度センサーから取得した加速度の大きさと前記角速度センサーから取得した角速度の変化量に基づいて、前記各区間の動き情報が運動指導に不適切な動き情報か否かを判定するようにしてもよい。

ユーザーや運動器具の加速度に比較的大きな変化があった上で、角速度が急激に変化する場合、動きが失敗していることが多い。そこで、加速度の大きさと角速度の変化量（傾き）の組み合わせから、各区間の動き情報が運動指導に不適切な動き情報か否かを判定することができ、この判定結果を総合的な判定処理の指標とすることができる。

（５）この運動指導用情報生成装置において、前記音情報判定部は、取得した音情報の音圧レベルを分析し、前記各区間の音情報が運動指導に不適切な音圧レベルの音情報であるか否かを判定する音情報分析部を含むようにしてもよい。

ユーザーのコメントの声が大きすぎたり、逆に小さすぎたり、指導用のコメントに関係ない大きな音が入ると、ユーザーのコメントが聞きづらいことが多い。そこで、各区間の音情報が運動指導に不適切な音圧レベルの音情報であるか否かを判定することで、この判定結果を総合的な判定処理の指標とすることができる。

（６）この運動指導用情報生成装置において、前記音情報判定部は、取得した音情報に含まれる音声情報をテキスト情報に変換し、当該テキスト情報に基づいて、前記各区間の音情報が運動指導に不適切な用語を含む音情報であるか否かを判定する音声テキスト化部を含むようにしてもよい。

ユーザーが指導用の動きを失敗した場合、無意識に、運動指導に不適切な言葉を発する場合がある。そこで、各区間の音情報が運動指導に不適切な用語を含む音情報であるか否かを判定することで、この判定結果を総合的な判定処理の指標とすることができる。

（７）この運動指導用情報生成装置において、前記総合判定部は、前記動き情報判定部により前記各区間の動き情報が運動指導に不適切な動き情報と判定された場合、当該区間の動き情報と音情報を前記指導用情報に使用できないと判定するようにしてもよい。

このようにすれば、ユーザーや運動器具の動きが不適切か否かを最も重要な指標として、この指標を優先させて総合的な判定処理を行うことができる。

（８）この運動指導用情報生成装置において、前記総合判定部は、前記動き情報判定部により前記各区間の動き情報が運動指導に適切な動き情報であると判定された場合、前記音情報判定部の判定結果に応じて、当該区間の動き情報と音情報を前記指導用情報に使用できるか否かを判定するようにしてもよい。

ユーザーや運動器具の動きが不適切でなければ、音情報が不適切であっても指導用情報に使用する余地がある場合もある。そこで、ユーザーや運動器具の動きが不適切でない場合は、音情報判定部の判定結果に応じて総合的な判定処理を行うことで、柔軟な判定を行うことができる。

（９）本発明は、ユーザー又は運動器具に装着されるセンサーから動き情報を取得する動き情報取得部と、音情報を取得する音情報取得部と、取得した前記動き情報と前記音情報とから運動指導に適切な情報を選択し、選択した情報を用いて運動の指導用情報を生成する指導用情報生成部としてコンピューターを機能させる、運動指導用情報生成プログラムである。

（１０）本発明は、上記の運動指導用情報生成プログラムを記録した、コンピューター読み取り可能な記録媒体である。

本実施形態の運動指導用情報生成装置の構成例を示す図。 運動指導用情報生成装置の構成要素の配置例を示す図。 センサーモジュールの装着例について説明するための図。 指導用データ生成の全体処理のフローチャートの一例を示す図。 動きデータの時間的変化の様子のイメージを示す図。 動きデータの時間的変化の様子のイメージを示す図。 動きデータの時間的変化の様子のイメージを示す図。 不適切な動きデータの判定処理のフローチャートの一例を示す図。 図９（Ａ）は３軸加速度の時間的変化の一例を示す図であり、図９（Ｂ）は３軸角速度の時間的変化の一例を示す図。 図９（Ｂ）のＴ_２区間を拡大して表示した図。 不適切な音データの判定処理のフローチャートの一例を示す図。 音データの音圧レベルの時間的変化の一例を示す図。 総合判定テーブルの一例を示す図。 総合判定処理のフローチャートの一例を示す図。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１．運動指導用情報生成装置の構成
図１は、本実施形態の運動指導用情報生成装置の構成例を示す図である。また、図２は、運動指導用情報生成装置の構成要素の配置例を示す図である。なお、本実施形態では、ゴルフの指導用情報を生成する運動指導用情報生成装置を例に挙げて説明するが、本発明は、テニスや野球等の種々のスポーツの指導用情報を生成する運動指導用情報生成装置や、リハビリ運動などスポーツ以外の運動の指導用情報を生成する運動指導用情報生成装置にも適用することができる。

本実施形態の運動指導用情報生成装置１は、複数のセンサーモジュール１０、マイクロホン１２、コントローラー２０、ヘッドマウントディスプレイ（ＨＭＤ）３０、スピーカー４０、記録媒体５０を含んで構成されている。ただし、本実施形態の運動指導用情報生成装置１は、これらの一部の構成（要素）を省略したり、新たな構成（要素）を追加した構成としてもよい。

センサーモジュール１０は、加速度センサー（３軸）やジャイロセンサー（３軸）など、ユーザー（プロのプレイヤーやインストラクターなど）の動きや運動器具の動きの情報を取得するためのセンサーを少なくとも１つ備えている。例えば、加速度センサーやジャイロセンサーから速度、位置、衝撃度などの情報を得ることができる。

図２に示すように、各々のセンサーモジュール１０は、運動器具又はユーザーの体に装着される。例えば、センサーモジュール１０は、運動器具のグリップ、動きの支点や力点となる場所、あるいは、ユーザーの関節部分を中心に、例えば、頭、肩、腰、肘、手首、膝、足首、踝などに装着される。例えば、運動器具がゴルフクラブであれば、図２に示すように、センサーモジュール１０をゴルフクラブのシャフトなどに装着してもよいし、ゴルフクラブにセンサーモジュール１０を内蔵してもよい。また、例えば、図２に示すように、センサーモジュール１０をユーザーの衣服の上に貼り付けてもよいし、図３に示すように、センサーモジュール１０をバンド１４に取り付けてバンド１４をユーザーの各部位に装着するようにしてもよい。

センサーモジュール１０は、装着場所に応じて、取得すべき情報が必ずしも同じではないので、それぞれ、取得すべき情報を取得可能な必要最低限のセンサーのみを含むようにしてもよい。

コントローラー２０は、センサーモジュール１０に、起動又は停止させるための制御データを無線送信し、起動した各センサーモジュール１０からのデータは、コントローラー２０に無線送信される。コントローラー２０は、例えば、図２に示すように、プレイヤーの腰などに装着してもよいし、プレイヤーから離れた位置にあってもよい。

本実施形態のコントローラー２０は、処理部（ＣＰＵ）２２、出力部２４、記憶部２６を含み、センサーモジュール１０からのデータを取得し、取得したデータを用いて運動指導用の情報の生成及び表示を行う。

特に、本実施形態では、処理部（ＣＰＵ）２２は、以下に説明する動き情報取得部２００、音情報取得部２１０、指導用情報生成部２２０を含み、ユーザーの指導用の動きや音声に基づいて指導用データ（指導用情報）を生成する。ただし、本実施形態の処理部（ＣＰＵ）２２は、これらの一部の構成（要素）を省略したり、新たな構成（要素）を追加した構成としてもよい。

記録媒体５０は、コンピューター読み取り可能な記録媒体であり、コンピューターを上記の各部として機能させるための運動指導用情報生成プログラムが記憶されている。本実施形態の処理部２０は、記録媒体５０に記憶されている運動指導用情報生成プログラムを実行することで、動き情報取得部２００、音情報取得部２１０、指導用情報生成部２２０として機能する。あるいは、コントローラー２０に通信部を追加し、通信部を介して有線又は無線の通信ネットワークを介してサーバーから運動指導用情報生成プログラムを受信し、受信した運動指導用情報生成プログラムを記憶部２６や記録媒体５０に記憶して当該運動指導用情報生成プログラムを実行するようにしてもよい。ただし、動き情報取得部２００、音情報取得部２１０、指導用情報生成部２２０の少なくとも一部をハードウェア（専用回路）で実現してもよい。

なお、記録媒体５０は、例えば、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、メモリー（ＲＯＭ、フラッシュメモリーなど）により実現することができる。

動き情報取得部２００は、各センサーモジュール１０からユーザーの各部や運動器具の動きに関するデータ（以下、「動きデータ」という）を所定の時間間隔で継続して取得する処理を行う。具体的には、動き情報取得部２００は、動きデータ（動き情報）として、例えば、加速度センサーが出力するデータ（加速度データ）やジャイロセンサーが出力するデータ（角速度データ）を取得する。動き情報取得部２００が取得した動きデータは、順次、指導用情報生成部２２０に転送されるとともに、動きデータ２８１として記憶部２６に記憶されていく。

音情報取得部２１０は、マイクロホン１２からユーザーの音声やその他の音に関するデータ（以下、「音データ」という）を所定の時間間隔で継続して取得する処理を行う。具体的には、音情報取得部２１０は、マイクロホン１２が出力するアナログ電圧信号を所定の時間間隔でサンプリングしてデジタルの音データ（音情報）に変換する。音情報取得部２１０が取得した音データは、順次、指導用情報生成部２２０に転送されるとともに、音データ２８２として記憶部２６に記憶されていく。

指導用情報生成部２２０は、判定部２３０及び編集部２４０を含んで構成され、動き情報取得部２００が取得した動きデータと音情報取得部２１０が取得した音データから運動指導に適切な情報を選択し、選択した情報を用いて指導用データ２８６を生成する処理を行う。ただし、本実施形態の指導用情報生成部２２０は、これらの一部の構成（要素）を省略したり、新たな構成（要素）を追加した構成としてもよい。

判定部２３０は、動き情報取得部２００が取得した動きデータと音情報取得部２１０が取得した音データを、それぞれ所定時間Δｔ（例えば、数秒から１分程度）毎に複数区間の動きデータと音データに分割し、各Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用できるか否かを判定する処理を行う。特に、本実施形態の判定部２３０は、動き情報判定部２５０、音情報判定部２６０、総合判定部２７０を含んで構成されている。ただし、本実施形態の判定部２３０は、これらの一部の構成（要素）を省略したり、新たな構成（要素）を追加した構成としてもよい。

動き情報判定部２５０は、各Δｔ区間の動きデータが運動指導に不適切な動きデータか否かを判定する処理を行う。具体的には、動き情報判定部２５０は、所定時間Δｔが経過する毎に当該Δｔの区間に各センサーモジュール１０から取得された動きデータに運動指導に不適切な動きデータが含まれるか否かを判定し、不適切な動きデータを含むΔｔの区間を特定する。例えば、動き情報判定部２５０は、ある時刻ｔ〜ｔ＋Δｔの区間において、膝や足首に装着したセンサーモジュール１０からの動きデータは適切なデータであるが、肩、肘、手首、道具などに装着した他のセンサーモジュール１０からの動きデータの少なくとも１つが不適切なデータであれば、当該ｔ〜ｔ＋Δｔの区間を不適切な動きデータを含むΔｔ区間として特定する。

動き情報判定部２５０は、例えば、加速度センサーから取得した動きデータから得られる加速度の大きさと角速度センサーから取得した動きデータから得られる角速度の変化量（傾き）に基づいて、各Δｔ区間の動きデータが運動指導に不適切な動きデータか否かを判定するようにしてもよい。

音情報判定部２６０は、音情報分析部２６２及び音声テキスト化部２６４を含んで構成され、各Δｔ区間の音データが運動指導に不適切な音データか否かを判定する処理を行う。ただし、本実施形態の音情報判定部２６０は、これらの一部の構成（要素）を省略したり、新たな構成（要素）を追加した構成としてもよい。

音情報分析部２６２は、音情報取得部２１０が取得した音データ（ユーザーの音声やその他の音）の音圧レベルを分析し、各Δｔ区間の音データが運動指導に不適切な音圧レベルの音データであるか否かを判定する処理を行う。具体的には、音情報分析部２６２は、所定時間Δｔが経過する毎に当該Δｔの区間に取得された音データに運動指導に不適切な音圧レベルの音データが含まれるか否かを判定し、不適切な音圧レベルの音データを含むΔｔの区間を特定する。例えば、音情報分析部２６２は、ある時刻ｔ〜ｔ＋Δｔの区間において、音圧レベルが大き過ぎるか、あるいは音圧レベルが小さ過ぎて音がノイズに埋もれているなどの不適切な音圧レベルの音データがあれば、当該ｔ〜ｔ＋Δｔの区間を不適切な音圧レベルの音データを含むΔｔ区間として特定する。

音声テキスト化部２６４は、音情報取得部２１０が取得した音データに含まれる音声情報を音声テキスト（テキスト情報）に変換し、当該音声テキストに基づいて、各Δｔ区間の音データが運動指導に不適切な用語を含む音データであるか否かを判定する処理を行う。具体的には、音情報分析部２６２は、所定時間Δｔが経過する毎に、記憶部２６に記憶された音声認識用辞書２８３を用いて音声認識を行って音声をテキスト化し、記憶部２６に記憶されている不適切用語リスト２８４を参照して各Δｔの区間の音声テキストに不適切な用語の一部又は全部が含まれるか否かを判定し、不適切な用語を含むΔｔの区間を特定する。なお、１つの用語が複数のΔｔ区間にまたがる場合もあるため、音声テキスト化部２６４は、複数のΔｔ区間をまとめて音声認識の処理を行うようにしてもよい。そして、例えば、音情報分析部２６２は、ある時刻ｔ〜ｔ＋Δｔの区間において、不適切用語リスト２８４に登録されている、「しまった」、「失敗した」などの運動指導に不適切な用語の一部又は全部が存在すれば、当該ｔ〜ｔ＋Δｔの区間を不適切な用語を含むΔｔ区間として特定する。

総合判定部２７０は、動き情報判定部２５０の判定結果と音情報判定部２６０の判定結果から、各Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用できるか否かを総合的に判定する処理（以下、「総合判定処理」という）を行う。

例えば、総合判定部２７０は、動き情報判定部２５０により各Δｔ区間の動きデータが運動指導に不適切な動きデータと判定された場合、音情報判定部２６０の判定結果にかかわらず、当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用できないと判定するようにしてもよい。さらに、総合判定部２７０は、動き情報判定部２５０により各Δｔ区間の動きデータが運動指導に不適切な動きデータでないと判定された場合、音情報判定部２６０の判定結果に応じて、当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用できるか否かを判定するようにしてもよい。すなわち、総合判定部２７０は、動き情報判定部２５０の判定結果を優先させて総合判定処理を行ってもよい。

具体的には、総合判定部２７０は、各Δｔ区間について、動きデータが運動指導に不適切であるか、音データの音圧レベルが不適切であるか、音データが不適切な用語を含む場合、当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用不可と判定する（使用基準を厳しくする）ようにしてもよいし、各Δｔ区間について、動きデータが運動指導に不適切であり、かつ、音データの音圧レベルが不適切であり、かつ、音データが不適切な用語を含む場合のみ、当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用不可と判定する（使用基準を緩くする）ようにしてもよい。また、例えば、総合判定部２７０は、各Δｔ区間について、動きデータが運動指導に不適切であれば当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用不可と判定し、動きデータが運動指導に不適切でなければ、音情報分析部２６２の判定結果と音声テキスト化部２６４の判定結果の組み合わせに応じて当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用できるか否かを判定するようにしてもよい。

また、総合判定部２７０は、総合判定処理の結果に応じた指示情報をリアルタイムに生成する処理を行うようにしてもよい。この指示情報は、出力部２４を介して、ＨＭＤ３０やスピーカー４０に出力され、画像や音声に変換される。この指示情報は、ＨＭＤ３０やスピーカー４０以外にも、腕時計式の機器や携帯電話のディスプレイやスピーカーに出力するようにしてもよいし、パソコン等のモニターやスピーカーなど体に装着した装置以外に出力するようにしてもよい。例えば、総合判定部２７０は、Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用不可と判定した場合、指示情報として「もう一度やり直してください。」などの文字データや音声データを生成してＨＭＤ３０やスピーカー４０に出力するようにしてもよい。これにより、動きや音声が不適切な場合に、ユーザーが指示に従ってその場で同じ動きやコメントを再度行えば、指導用データに必要な情報を確実に取得することができる。従って、必要な情報が足りないために、後日、あらためてユーザーに指導用の動きやコメントをしてもらう手間を省くことができる。

編集部２４０は、記憶部２６に記憶された動きデータ２８１と音データ２８２を元データとして、総合判定部２７０の判定結果に応じて、指導用データ２８６を生成する処理を行う。例えば、編集部２４０は、総合判定部２７０により、動きデータ２８１と音データ２８２から、指導用データ２８６の生成に使用不可と判定されたΔｔ区間の動きデータと音データをカットし、動きデータを用いて運動計算を行って人体モデルのスケルトン又はこれに肉付けした人体のアニメーション画像（ＣＧ画像）を生成し、音データと合成して指導用データ２８６を生成するようにしてもよい。また、例えば、動きデータ２８１や音データ２８２と同期してユーザーをカメラ（不図示）で撮影したフレーム画像データ（元画像データ）を取得して記憶部２６に保存し、編集部２４０が、記憶部２６に保存された元画像データから、指導用データ２８６の生成に使用不可と判定されたΔｔ区間の動きデータに対応付けられる画像データ（当該Δｔ区間の画像データ）をカットすることにより、指導用データ２８６を作成するようにしてもよい。

編集部２４０が生成した指導用データ２８６は記憶部２６に記憶される。

２．運動指導用情報生成装置の処理
［指導用データ生成の全体処理］
図４は、処理部（ＣＰＵ）２２の指導用データ生成の全体処理のフローチャートの一例を示す図である。

まず、処理部（ＣＰＵ）２２は、時刻ｔを０にセットし（Ｓ１０）、各センサーモジュール１０やマイクロホン１２から動きデータと音データの取得を開始する（Ｓ１２）。例えば、ユーザーが、コントローラー２０等に設けられたスタートスイッチ（不図示）を押すと処理部（ＣＰＵ）２２がデータの取得を開始するようにしてもよいし、処理部（ＣＰＵ）２２が「運動を始めて下さい」等のメッセージを表示又は音声出力するとともにデータの取得を開始するようにしてもよい。

そして、ユーザーは、ある程度決められたシナリオに従って指導のための動きを開始し、Δｔだけ時間が経過すると（Ｓ１４のＹ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔに取得した動きデータが、運動指導に不適切な動きデータか否かを判定する（Ｓ１６）とともに、時刻ｔ〜ｔ＋Δｔに取得した音データが、運動指導に不適切な音データか否かを判定する（Ｓ１８）。

次に、処理部（ＣＰＵ）２２は、ステップＳ１６とＳ１８の判定結果に基づいて、時刻ｔ〜ｔ＋Δｔの動きデータと音データを指導用データ２８６の生成に使用できるか否かを総合的に判定する（Ｓ２０）。

時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを指導用データ２８６の生成に使用できない場合（Ｓ２２のＹ）、処理部（ＣＰＵ）２２は、指導用の動きをもう一度やり直すことを指示する指示情報をＨＭＤ３０やスピーカー４０に出力し（Ｓ２４）、時刻ｔ〜ｔ＋Δｔ区間の動きデータと音データをカットして指導用データ２８６を編集する（Ｓ２６）。

一方、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを指導用データ２８６に使用できる場合（Ｓ２２のＮ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔ区間の動きデータと音データをカットしないで指導用データ２８６を編集する（Ｓ２８）。

そして、処理部（ＣＰＵ）２２は、動きデータと音データの取得が終了するまで（Ｓ３０のＮ）、時刻ｔをｔ＋Δｔにセットして（Ｓ３２）Ｓ１４〜Ｓ２８の処理を繰り返し、動きデータと音データの取得が終了すれば（Ｓ３０のＹ）、指導用データ２８６の生成処理を終了する。例えば、ユーザーが、コントローラー２０等に設けられた終了スイッチ（不図示）を押すと処理部（ＣＰＵ）２２が動きデータと音データの取得を終了するようにしてもよいし、処理部（ＣＰＵ）２２が、取得した動きデータや音データの変化からユーザーの動きが終了したか否かを判定し、動きデータと音データの取得を終了するようにしてもよい。

［運動指導に不適切な動きデータの判定処理］
図５、図６及び図７は、それぞれ、ユーザーが軽く素振りをした場合、ユーザーがスイングをしてうまくボールを飛ばせた場合、ユーザーがスイングをしてうまくボールを飛ばせなかった場合に、運動器具やユーザーの体の各部に装着したセンサーモジュール１０から取得される互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）の動きデータ（例えば、加速度データや角速度データ）の時間的変化の様子のイメージを示す図である。図５、図６及び図７において、横軸は時間であり、縦軸は動きの大きさであり、例えば、実線はＸ軸の動きデータ、一点鎖線はＹ軸の動きデータ、破線はＺ軸の動きデータである。図５（Ａ）、図６（Ａ）及び図７（Ａ）は、例えば、運動器具に装着したセンサーモジュール１０の動きデータの時間的変化の様子のイメージを示し、図５（Ｂ）、図６（Ｂ）及び図７（Ｂ）は、例えば、ユーザーの腰に装着したセンサーモジュール１０からの動きデータの時間的変化の様子のイメージを示し、図５（Ｃ）、図６（Ｃ）及び図７（Ｃ）は、例えば、ユーザーの手首に装着したセンサーモジュール１０からの動きデータの時間的変化の様子のイメージを示している。

ユーザーが軽く素振りをする場合、ユーザーの動きは滑らかなので、図５（Ａ）、図５（Ｂ）及び図５（Ｃ）に示すように、運動器具、ユーザーの腰、手首のいずれについても、加速度や角速度のピークが低く、時間的変化も緩やかである。

また、ユーザーがスイングをしてうまくボールを飛ばせた場合、動きが大きいので大きな加速度や角速度は生じるが、不要で不自然な動きはない。そのため、図６（Ａ）、図６（Ｂ）及び図６（Ｃ）に示すように、運動器具、ユーザーの腰、手首のいずれについても、ボールを打った瞬間に加速度や角速度が大きくなるが、時間的変化は比較的緩やかである。

一方、ユーザーがスイングをしてうまくボールを飛ばせなかった場合、例えば、腰と手首は比較的安定していたがボールを打つ位置が良くなかったことが原因であれば、図７（Ｂ）及び図７（Ｃ）に示すように、ユーザーの腰と手首の加速度や角速度は、ボールを上手く飛ばせた場合と同様であるが、図７（Ａ）に示すように、運動器具については、ボールを打った瞬間に加速度や角速度が大きくなるだけでなく、特に角速度（図７（Ａ）では、Ｚ軸方向の角速度）に鋭いピークが生ずる。

このように、ユーザーの体の各部や運動器具の少なくとも１つについて、いずれかの軸方向の加速度に比較的大きな変化があった上で、いずれかの軸方向に鋭いピークの角速度の変化が見られる場合、動きが失敗していることが多い。すなわち、加速度の大きさと角速度の変化量（傾き）の組み合わせから、各Δｔ区間の動きデータが運動指導に不適切な動きデータか否かを判定することができ、この判定結果を総合判定処理の指標とすることができる。

そこで、本実施形態では、各センサーモジュール１０から取得した動きデータから加速度と角速度を算出し、少なくとも１つの場所でのいずれかの軸方向の加速度が所定の閾値を超えるとともに、少なくとも１つの場所でのいずれかの軸方向の角速度の傾きが所定の閾値を超えるΔｔ区間の動きデータ（すべてのセンサーモジュール１０から取得したすべての動きデータ）を運動指導に不適切な動きデータと判定する。

図８は、時刻ｔ〜ｔ＋Δｔの区間の動きデータが運動指導に不適切な動きデータか否かを判定する処理（図４のＳ１６の処理）のフローチャートの一例を示す図である。また、図９（Ａ）及び図９（Ｂ）は、それぞれ、１つのセンサーモジュール１０から取得した動きデータを用いて算出した３軸加速度と３軸角速度の時間的変化の一例を示す図である。図９（Ａ）及び図９（Ｂ）において、横軸は時間であり、縦軸は加速度又は角速度の大きさであり、実線、一点鎖線、破線は、それぞれ、例えば、Ｘ軸、Ｙ軸、Ｚ軸の加速度又は角速度である。また、図１０は、図９（Ｂ）におけるＸ軸の角速度のＴ_２区間を拡大して表示した図である。

図８に示すように、処理部（ＣＰＵ）２２は、まず、１つのセンサーモジュール１０を選択し、時刻ｔ〜ｔ＋Δｔにおいて当該センサーモジュール１０から取得した動きデータを用いて算出した加速度が、閾値Ａを超えるか否か判定する（Ｓ１１０）。図９（Ａ）では、Ｔ_１区間の加速度は３軸ともに閾値Ａを超えていないが、Ｔ_２区間ではＹ軸の加速度が閾値Ａを超えている。

時刻ｔ〜ｔ＋Δｔの区間において加速度がＡを超える場合（Ｓ１１２のＹ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔにおいて当該センサーモジュール１０から取得した動きデータを用いて算出した角速度の傾きが、閾値αよりも大きいか否かを判定する（Ｓ１１４）。図９（Ａ）では、Ｔ_２区間においてＹ軸の加速度が閾値Ａを超えているので、処理部（ＣＰＵ）２２は、Ｔ_２区間の角速度の傾きが閾値αよりも大きいか否かを判定する。図９（Ｂ）では、Ｔ_２区間においてＸ軸の角速度に鋭いピークが発生しており、このＸ軸の角速度の傾きが閾値αよりも大きいか否かが判定される。Ｔ_２区間におけるＸ軸の角速度の傾きは、例えば、図１０に示すように、Ｔ_２区間の開始時刻（Δｔ区間の開始時刻）の角速度をａ_１、Ｔ_２区間における角速度のピークをａ_２、Ｔ_２区間の開始時刻から角速度のピークの時刻までの時間をΔｔ’とすると、｜ａ_２−ａ_１｜／Δｔ’で計算される。

時刻ｔ〜ｔ＋Δｔの区間において角速度の傾きがαよりも大きい場合（Ｓ１１６のＹ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータを不適切な動きデータと判定し（Ｓ１２０）、処理を終了する。

一方、時刻ｔ〜ｔ＋Δｔの区間において加速度がＡ以下の場合（Ｓ１１２のＮ）又は時刻ｔ〜ｔ＋Δｔの区間における角速度の傾きがα以下の場合（Ｓ１１６のＮ）、処理部（ＣＰＵ）２２は、全てのセンサーモジュール１０についての判定処理が終了していなければ（Ｓ１１８のＮ）、次のセンサーモジュール１０を選択し、Ｓ１１０〜Ｓ１２０の処理を行う。

全てのセンサーモジュール１０についての判定処理が終了（Ｓ１１８のＹ）するまで、不適切な動きデータと判定（Ｓ１２０）されなければ、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータを不適切な動きデータではないと判定し（Ｓ１２２）、処理を終了する。

このような処理により、図９（Ａ）及び図９（Ｂ）の例では、Ｔ_１区間の動きデータは不適切な動きデータではないと判定される。また、Ｔ_２区間の動きデータは、図９（Ｂ）のＴ_２区間におけるＸ軸の角速度の傾きが閾値α以下であれば不適切な動きデータではないと判定され、閾値αよりも大きければ不適切な動きデータであると判定される。

なお、閾値Ａやαは、例えば、あらかじめ実験等を行って決定し、記憶部２６などに記憶しておけばよい。

［運動指導に不適切な音データの判定処理］
ユーザーが指導用の正しい動きをした場合でも、指導用のコメントの声が大きすぎたり、逆に小さすぎたり、指導用のコメントに関係ない大きな音が入ると、指導用のコメントが聞きづらいことが多い。このような区間の動きデータと音データは、指導用データ２８６の生成に使用すべきでない場合もある。すなわち、各Δｔ区間の音データが運動指導に不適切な音圧レベルの音データであるか否かを判定することで、この判定結果を総合判定処理の指標とすることができる。

そこで、本実施形態では、音情報取得部２１０が取得した音データのうち、音圧レベルが所定の範囲に収まらないΔｔ区間の音データを運動指導に不適切な音圧レベルの音データと判定する。

また、ユーザーが指導用の動きを失敗した場合、無意識に「あー」や「失敗した」などの言葉を発する場合もあり、このような区間の動きデータと音データも、指導用のデータの生成に使用すべきでない場合もある。すなわち、各Δｔ区間の音データが運動指導に不適切な用語を含む音データであるか否かを判定することで、この判定結果を総合判定処理の指標とすることができる。

そこで、本実施形態では、音情報取得部２１０が取得した音データに対して音声認識処理を行って得られる音声テキストが、不適切用語リスト２８４に含まれる用語を含むΔｔ区間の音データを運動指導に不適切な用語を含む音データと判定する。

図１１は、時刻ｔ〜ｔ＋Δｔの区間の音データが運動指導に不適切な音データか否かを判定する処理（図４のＳ１８の処理）のフローチャートの一例を示す図である。また、図１２（Ａ）は、マイクロホン１２から取得した音データの音圧レベルの時間的変化の一例を示す図である。また、図１２（Ｂ）において、マイクロホン１２から取得した音データに含まれる不適切な用語を白抜きの楕円で示している。図１２（Ａ）及び図１２（Ｂ）において、横軸は時間である。また、図１２（Ａ）において、縦軸は音圧レベルである。

図１１に示すように、処理部（ＣＰＵ）２２は、まず、時刻ｔ〜ｔ＋Δｔにおいて取得した音データの音圧レベルが、閾値Ｓ_１とＳ_２の間にあるか否か判定する（Ｓ２１０）。

時刻ｔ〜ｔ＋Δｔの区間の音圧レベルがＳ_１とＳ_２の間にある場合（Ｓ２１２のＹ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の音データを不適切な音圧レベルの音データではないと判定する（Ｓ２１４）。

一方、時刻ｔ〜ｔ＋Δｔの区間の音圧レベルがＳ_１よりも大きいかＳ_２よりも小さい場合（Ｓ２１２のＮ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の音データを不適切な音圧レベルの音データと判定する（Ｓ２１６）。

次に、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の音データを音声認識して音声テキストに変換し、不適切用語リスト２８４と照合する（Ｓ２１８）。

時刻ｔ〜ｔ＋Δｔの区間の音声テキストが不適切用語リスト２８４に登録されている用語を含まない場合（Ｓ２２０のＮ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の音データを不適切な用語を含む音データではないと判定し（Ｓ２２２）、処理を終了する。

一方、時刻ｔ〜ｔ＋Δｔの区間の音声テキストが不適切用語リスト２８４に登録されている用語を含む場合（Ｓ２２０のＹ）、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の音データを不適切な用語を含む音データと判定し（Ｓ２２４）、処理を終了する。

このような処理により、図１２（Ａ）及び図１２（Ｂ）の例では、Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_５の区間の音データは、不適切な音圧レベルの音データではないと判定され、Ｔ_４，Ｔ_６，Ｔ_７の区間の音データは、不適切な音圧レベルの音データと判定される。また、Ｔ_１，Ｔ_２，Ｔ_６，Ｔ_７の区間の音データは、不適切な用語を含む音データではないと判定され、Ｔ_３，Ｔ_４，Ｔ_５の区間の音データは、不適切な用語を含む音データと判定される。

なお、閾値Ｓ_１やＳ_２は、あらかじめ実験等を行って決定し、記憶部２６などに記憶しておいてもよい。あるいは、ユーザーが指導用の運動を開始する前にユーザーに発声してもらい、処理部（ＣＰＵ）２０が、ユーザーの声の音量に応じて閾値Ｓ_１やＳ_２を可変に設定するようにしてもよい。さらに、処理部（ＣＰＵ）２０は、このユーザーの発声による音声データを解析して音声認識用辞書２８３を書き換え、当該ユーザーを特定話者とする音声認識を行うようにしてもよい。

［運動指導に不適切な区間の総合判定処理］
あるΔｔ区間の動きデータが指導に不適切であれば、当該Δｔ区間の音データの判定結果によらず、当該Δｔ区間の動きデータと音データは、指導用データ２８６の生成に使用すべきではない場合が多い。一方、あるΔｔ区間の動きデータが指導に不適切でなければ、当該Δｔ区間の音データの判定結果に応じて、当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用すべきか否かを決定すればよい。

そこで、本実施形態では、Δｔ区間の動きデータの判定結果と音データの判定結果に応じて、当該Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用すべきか否かを総合判定テーブル２８５に従って総合的に判定する。

図１３は、総合判定テーブル２８５の一例を示す図である。図１３の例は、動きデータの判定結果を音データの判定結果よりも優先させて総合判定する総合判定テーブル２８５の例を示している。すなわち、Δｔ区間の動きデータが不適切な動きデータであれば（「×」で表記）、当該Δｔ区間の動きデータと音データは、指導用データ２８６の生成に使用不可（「×」で表記）と総合判定する。一方、Δｔ区間の動きデータが不適切な動きデータでなければ（「○」で表記）、当該Δｔ区間の音データが不適切な音圧レベルであり（「×」で表記）、かつ不適切な用語を含む（「×」で表記）場合は、当該Δｔ区間の動きデータと音データは、指導用データ２８６の生成に使用不可（「×」で表記）と総合判定（「不可」判定）する。また、当該Δｔ区間の音データが不適切な音圧レベルであり（「×」で表記）、かつ不適切な用語を含まない（「○」で表記）場合及び当該Δｔ区間の音データが不適切な音圧レベルではなく（「○」で表記）、かつ不適切な用語を含む（「×」で表記）場合は、当該Δｔ区間の動きデータと音データは、指導用データの生成に使用可（「△」で表記）と総合判定（「可」判定）する。また、当該Δｔ区間の音データが不適切な音圧レベルでなく（「○」で表記）、かつ不適切な用語を含まない（「○」で表記）場合は、当該Δｔ区間の動きデータと音データは、指導用データ２８６の生成に使用すべき（「○」で表記）と総合判定（「良」判定）する。

図１４は、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを指導用データ２８６の生成に使用すべきか否かを総合判定する処理（図４のＳ２０の処理）のフローチャートの一例を示す図である。図１４は、図１３の総合判定テーブル２８５に従って総合判定する処理のフローチャートを示している。

処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータの判定結果と音データの判定結果を参照し（Ｓ３１０）、図１３の総合判定テーブル２８５に従い、動きが不適切であれば（Ｓ３１２のＹ）、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを「不可」と総合判定する（Ｓ３２０）。

同様に、動きは不適切でないが（Ｓ３１２のＮ）、音圧レベルが不適切であり（Ｓ３１４のＹ）、かつ、不適切な用語が含まれる（Ｓ３１６のＹ）場合も、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを「不可」と総合判定する（Ｓ３２０）。

また、動きが不適切でなく（Ｓ３１２のＮ）、音圧レベルが不適切であるが（Ｓ３１４のＹ）、不適切な用語が含まれない（Ｓ３１６のＮ）場合は、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを「可」と総合判定する（Ｓ３２２）。

同様に、動きが不適切でなく（Ｓ３１２のＮ）、音圧レベルが不適切でないが（Ｓ３１４のＮ）、不適切な用語が含まれる（Ｓ３１８のＹ）場合も、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを「可」と総合判定する（Ｓ３２２）。

また、動きが不適切でなく（Ｓ３１２のＮ）、かつ、音圧レベルが不適切でなく（Ｓ３１４のＮ）、かつ、不適切な用語が含まれない（Ｓ３１８のＮ）場合は、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データを「良」と総合判定する（Ｓ３２４）。

そして、処理部（ＣＰＵ）２２は、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データが「不可」と総合判定された場合、時刻ｔ〜ｔ＋Δｔ区間の動きデータと音データをカットして指導用データ２８６を編集し（図４のＳ２６）、時刻ｔ〜ｔ＋Δｔの区間の動きデータと音データが「可」又は「良」と総合判定された場合、時刻ｔ〜ｔ＋Δｔ区間の動きデータと音データをカットしないで指導用データ２８６を編集する（図４のＳ２８）。

以上に説明したように、本実施形態の運動指導用情報生成装置によれば、ユーザーの各部の動きデータや運動器具の動きデータ、ユーザーの音声を含む音データから、運動指導に適切なデータを選択する（逆に言えば、不適切なデータを選択しない）ことで、明らかに運動指導に不適切なデータを排除し、有用な指導用データ２８６を効率的に生成することができる。

また、本実施形態の運動指導用情報生成装置によれば、動きデータや音データをΔｔの時間毎に分割し、各Δｔ区間の動きデータと音データが指導用データ２８６の生成に使用できるか否かを判定し、判定結果に応じて指導用データ２８６を編集するので、細かい編集処理が可能である。

また、本実施形態の運動指導用情報生成装置によれば、各Δｔ区間の動きデータの判定処理と各Δｔ区間の音データの判定処理を分けて、両者の判定結果から各Δｔ区間の動きデータと音データを指導用データ２８６の生成に使用できるか否かを総合的に判定するので、より柔軟な判定を行うことができる。

また、本実施形態の運動指導用情報生成装置によれば、ユーザーや運動器具の動きが不適切か否かを最も重要な指標として、この指標を優先させて総合判定処理を行うことで明らかに不適切なデータをカットできる。また、ユーザーや運動器具の動きが不適切でない場合は、音データの判定結果に応じて総合判定処理を行うことで、柔軟な判定を行うことができる。

現実的には、指導用データ２８６を元に、編集者が手作業で編集作業を行って最終的な指導用の画像データや音声データを作成することになる場合が多いが、指導用データ２８６は指導に明らかに不適切な情報が省かれているので、編集者による編集作業の負担を大幅に削減することができる。

本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。

例えば、本実施形態では、ユーザーの指導用の動きと同期してリアルタイムに総合判定処理を行って指導用データ２８６を生成しているが、例えば、ユーザーが動作を開始してから終了するまでの間、動き情報取得部２００が取得した動きデータと音情報取得部２１０が取得した音データを記憶部に記憶し、記憶した動きデータ２８１と音データ２８２を読み出して総合判定処理を行い、指導用データ２８６を生成するようにしてもよい。

また、本実施形態では、動きデータと音データを一定時間Δｔの区間で分割しているので、音声テキストに含まれる１つの用語が複数のΔｔ区間にまたがる可能性がある。そこで、まず音声認識により得られる音声テキストを意味のある区切り（例えば、語句や文の区切りなど）で分割し、分割された各区間の時間Δｔ_１、Δｔ_２、・・・に合わせて音データをΔｔ_１、Δｔ_２、・・・の区間に分割し、各区間の音データに対して、音圧レベルが不適切か否かと不適切な用語を含むか否かを判定するようにしてもよい。ただし、この場合、動きデータの区間と音データの区間が一致しないので、総合判定処理が複雑になる可能性がある。そこで、音データの各区間に合わせて、動きデータもΔｔ_１、Δｔ_２、・・・の区間に分割し、各区間に対して総合判定の処理を行うようにしてもよい。

なお、本実施形態の運動指導用情報生成装置は、ゴルフ等のスポーツ以外の運動の指導用情報の生成にも適用することができる。例えば、歩行訓練や手足の上げ下げなどのリハビリ運動の指導用情報の生成にも適用することができる。なお、センサーモジュール１０は、腰、肩、肘などリハビリ時の動きの要点に装着すればよい。

本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

１ 運動指導用情報生成装置、１０ センサーモジュール、１２ マイクロホン、１４ バンド、２０ コントローラー、２２ 処理部（ＣＰＵ）、２４ 出力部、２６ 記憶部、３０ ヘッドマウントディスプレイ（ＨＭＤ）、４０ スピーカー、５０ 記録媒体、２００ 情報取得部、２１０ 音情報取得部、２２０ 指導用情報生成部、２３０ 判定部、２４０ 編集部、２５０ 動き情報判定部、２６０ 音情報判定部、２６２ 音情報分析部、２６４ 音声テキスト化部、２７０ 総合判定部、２８１ 動きデータ、２８２ 音データ、２８３ 音声認識用辞書、２８４ 不適切用語リスト、２８５ 総合判定テーブル、２８６ 指導用データ

Claims (11)

1. 運動時におけるユーザーおよび運動器具の少なくとも一方の動き情報を取得する動き情報取得部と、
   前記運動時または前記運動の前後に発せられる音情報を取得する音情報取得部と、
   前記動き情報が第１閾値を超えるか否か判定し、第１閾値を超えない場合は前記動き情報と前記音情報とを用いて運動情報を生成する運動情報生成部と、を含む、運動情報生成装置。
2. 請求項１において、
   前記運動情報生成部は、
   さらに前記音情報が所定条件を満足するか否かの判定を行い、満足する場合は前記運動情報を生成する、運動情報生成装置。
3. 請求項２において、
   前記運動情報生成部は、
   取得した前記動き情報と前記音情報とをそれぞれ複数区間に分割し、各区間の動き情報と音情報とを前記運動情報に使用できるか否かを判定する判定部と、
   前記判定部の判定結果に応じて前記運動情報を編集する編集部と、を含む、運動情報生成装置。
4. 請求項３において、
   前記判定部は、
   前記各区間の動き情報が前記第１閾値を超えるか否かを判定する動き情報判定部と、
   前記各区間の音情報が前記所定条件を満足するか否かを判定する音情報判定部と、
   前記動き情報判定部の判定結果と前記音情報判定部の判定結果とから、各区間の動き情報と音情報とを前記運動情報に使用できるか否かを判定する総合判定部と、を含む、運動情報生成装置。
5. 請求項４において、
   前記動き情報は加速度および角速度の情報を含み、
   前記動き情報判定部は、
   前記加速度の大きさと前記角速度の変化量に基づいて、前記各区間の動き情報を判定する、運動情報生成装置。
6. 請求項４又は５において、
   前記音情報判定部は、
   取得した音情報の音圧レベルを分析し、前記音圧レベルに基づき判定する、運動情報生成装置。
7. 請求項４乃至６のいずれか一項において、
   前記音情報判定部は、
   取得した音情報に含まれる音声情報をテキスト情報に変換し、前記テキスト情報と予め登録されているテキストリストとを照合し、照合結果に基づき判定する、運動情報生成装置。
8. 請求項４乃至７のいずれか一項において、
   前記総合判定部は、
   前記動き情報判定部により不適切と判定された区間の動き情報と、前記区間の音情報とを前記運動情報に使用しないと判定する、運動情報生成装置。
9. 請求項８において、
   前記総合判定部は、
   前記動き情報判定部により適切な動き情報であると判定された区間は、前記音情報判定部の判定結果に応じて、当該区間の動き情報と音情報とを前記運動情報に使用できるか否かを判定する、運動情報生成装置。
10. 取得した運動時におけるユーザーおよび運動器具の少なくとも一方の動き情報が、第１閾値を超える場合は不適切であると判定し、前記第１閾値を超えない場合は適切であると判定する手順と、
    適切であると判定した場合、取得した前記運動時または前記運動の前後に発せられる音情報と前記動き情報とを用いて運動情報を生成する手順と、をコンピューターに実行させる、運動情報生成プログラム。
11. 請求項１０に記載の運動情報生成プログラムを記録した、コンピューター読み取り可能な記録媒体。

Images