JP2024016484A - トレーニング動作カウントプログラム、トレーニング動作カウント装置、およびトレーニング動作カウントシステム - Google Patents

Abstract

【課題】トレーニング動作の撮影に関する自由度が大きく、高いユーザビリティを得る。【解決手段】本発明のトレーニング動作カウント装置１０では、記憶装置１５に、トレーニング動作の際に、同一関節を基準として互いの位置関係が変化する身体の骨格における２つの部位を記憶しておき、演算処理装置１６が、トレーニング動作を撮影した映像の身体の骨格情報から２つの部位Ｐａ，Ｐｂの位置を示す位置情報を取得し、これらの位置情報に基づいて２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出し、直線Ｌｐの長さＬを予め設定されている判定データ１５Ｃと比較し、得られた比較結果に基づいてトレーニング動作の有効性を判定する。【選択図】 図１

Description

本発明は、トレーニング動作を撮影した映像を解析して有効性のある動作の回数をカウントするトレーニング動作カウント技術に関する。

人が健康の維持や促進を目的として個人的にトレーニング動作を行う場合、そのトレーニング動作を容易かつ客観的に評価する必要がある。このようなトレーニング動作を評価するための技術として、従来、トレーニング動作を撮影した映像を解析して身体の骨格情報を抽出し、得られた骨格情報から検出した身体の姿勢変化が、所定の判定条件を充足しているか否かに基づいて、トレーニング動作の有効性を評価し、有効性が認められた動作の回数を自動的にカウントするトレーニング動作カウント技術が提案されている（例えば、特許文献１など参照）。

特開２０２０－１９５５７３号公報

前述した従来技術では、トレーニング動作の有効性を判定する判定条件として、そのトレーニング動作で繰り返される特徴的な姿勢における関節動作の角度を予め設定しておき、映像を解析して得られた骨格情報から対象となる関節の角度を取得して、判定条件と比較している。例えばスクワット動作であれば、映像から得られた膝を曲げた時の膝角度が判定角度を満たしていれば、カウント適否を判断するための重要な姿勢の１つであるしゃがんだ姿勢であると判定される。

しかしながら、対象となる関節の角度は、トレーニング動作を撮影するカメラの位置によって変化しやすい。このため、有効な姿勢か否かを正確に判定するためには、カメラと身体の向きを厳密に調整する必要があるという問題点があった。

例えば、膝角度が６０度である姿勢の場合、カメラの位置が膝の真横方向にある場合に正しく６０度と検出できる。これは、膝角度を特定する３つの部位が存在する平面を、その平面の垂直方向からカメラで撮影しているからである。しかし、カメラの位置が真横方向から前後斜め方向にずれると、６０度の膝角度は６０度より大きな角度として検出される。これは、カメラの位置ずれによって、膝角度を特定する３つの部位が存在する平面を、前後斜め方向から撮影することになるからである。

したがって、従来において、有効な姿勢か否かを正確に判定するには、トレーニング内容すなわち判定対象となる関節動作に応じて、カメラの位置や身体の向きを精度よく調整する必要がある。このため、従来技術は、トレーニング動作の撮影に関する自由度が乏しく、トレーニング動作をカウントする技術として、高いユーザビリティを得ることができない。

本発明はこのような課題を解決するためのものであり、トレーニング動作の撮影に関する自由度が大きく、高いユーザビリティを得ることができるトレーニング動作カウント技術を提供することを目的としている。

このような目的を達成するために、本発明にかかるトレーニング動作カウントプログラムは、トレーニング動作の際に、同一関節を基準として互いの位置関係が変化する身体の骨格における２つの部位を記憶する記憶装置と、前記トレーニング動作を撮影した映像の身体の骨格情報から取得した前記２つの部位の位置関係の変化に基づいて、前記トレーニング動作の回数をカウントする演算処理装置とを備えるトレーニング動作カウント装置で実行されるトレーニング動作カウントプログラムであって、前記演算処理装置に、前記骨格情報から前記２つの部位の位置を示す位置情報を取得する位置情報取得ステップと、前記位置情報に基づいて前記２つの部位を結ぶ直線の長さを検出し、前記直線の長さを予め設定されている長さ判定データと比較し、得られた比較結果に基づいて前記トレーニング動作の有効性を判定する動作判定ステップと、前記有効性が認められたトレーニング動作の回数をカウントするカウントステップとを実行させるように構成されている。

また、本発明にかかるトレーニング動作カウントプログラムの一構成例は、前記動作判定ステップは、予め設定されている基準値に対する前記直線の長さの変化率を予め設定されている変化率判定データと比較し、得られた比較結果に基づいて前記トレーニング動作の有効性を判定するステップからなるように構成されている。

また、本発明にかかるトレーニング動作カウント装置は、トレーニング動作の際に、同一関節を基準として互いの位置関係が変化する身体の骨格における２つの部位を記憶する記憶装置と、前記トレーニング動作を撮影した映像の身体の骨格情報から取得した前記２つの部位の位置関係の変化に基づいて、前記トレーニング動作の回数をカウントする演算処理装置とを備え、前記演算処理装置は、前記骨格情報から前記２つの部位の位置を示す位置情報を取得する位置情報取得部と、前記位置情報に基づいて前記２つの部位を結ぶ直線の長さを検出し、検出した直線の長さを予め設定されている長さ判定データと比較し、得られた比較結果に基づいて前記トレーニング動作の有効性を判定する動作判定部と、前記有効性が認められたトレーニング動作の回数をカウントするカウント部とを備えるように構成されている。

また、本発明にかかるトレーニング動作カウントシステムは、上記のトレーニング動作カウント装置と、前記トレーニング動作を撮影した映像を、通信回線を介して前記トレーニング動作カウント装置へ送信するカメラ端末とを備え、前記トレーニング動作カウント装置は、前記カメラ端末から受信した前記映像に基づいて前記トレーニング動作の回数をカウントするように構成されている。

本発明によれば、トレーニング動作を撮影した映像を解析して有効性のある動作の回数をカウントする場合、トレーニング動作の撮影に関する自由度が大きく、高いユーザビリティを得ることができる。

図１は、第１の実施の形態にかかるトレーニング動作カウント装置の構成を示すブロック図である。 図２は、部位データの構成例を示す説明図である。 図３は、骨格情報を示す説明図である。 図４は、第１の実施の形態にかかる判定データの構成例を示す説明図である。 図５は、スクワット動作で用いる２つの部位と直線の関係（側面）を示す説明図である。 図６は、基準姿勢からの基準値の検出を示す説明図である。 図７は、第１の実施の形態にかかるトレーニング動作カウント装置の動作を示すフローチャートである。 図８は、スクワット動作で用いる２つの部位と直線の関係（正面）を示す説明図である。 図９は、腕立て伏せ動作で用いる２つの部位と直線の関係（側面）を示す説明図である。 図１０は、腹筋動作で用いる２つの部位と直線の関係（側面）を示す説明図である。 図１１は、第２の実施の形態にかかる判定データの構成例を示す説明図である。 図１２は、第２の実施の形態にかかるトレーニング動作カウント装置の動作を示すフローチャートである。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるトレーニング動作カウント装置について説明する。図１は、第１の実施の形態にかかるトレーニング動作カウント装置の構成を示すブロック図である。

このトレーニング動作カウント装置１０は、全体としてＰＣやサーバーなどのコンピュータからなり、トレーニング動作を撮影した映像を解析して有効性のあるトレーニング動作の回数を自動的にカウントするように構成されている。

［本発明の原理］
一般に、トレーニング動作において、ある関節を動かした場合、その関節に接続されている２つの骨が関節を中心として回動するため、２つの骨のなす角度が変化する。この際、変化するのは２つの骨のなす角度だけでなく、これら２つの骨のうち関節とは反対側に位置するそれぞれの部位の位置関係も大きく変化する。ここで、これら２つの部位の位置関係の変化は、これら２つの部位を結ぶ直線の長さの変化として検出することができる。また、部位Ｐａ，Ｐｂを結ぶ直線Ｌｐは、骨格情報が得られれば特定できるため、関節動作時における直線の長さの変化度合は、カメラの位置や身体の向きが変化しても、その影響を受けにくい。

本発明は、これら２つの部位を結ぶ直線の長さが持つ特徴に着目し、トレーニング動作を撮影した映像から２つの部位の位置を検出して、これら２つの部位を結ぶ直線の長さを検出し、得られた直線の長さと予め設定されている判定データとの比較結果に基づいて、トレーニング動作の有効性を判定し、有効性が認められたトレーニング動作の回数を自動的にカウントするように構成したものである。

トレーニング動作カウント装置１０は、主な構成として、通信Ｉ／Ｆ１１、操作入力装置１２、画面表示装置１３、カメラ１４、記憶装置１５、および演算処理装置１６を備えている。

［通信Ｉ／Ｆ］
通信Ｉ／Ｆ１１は、インターネットなどの通信網ＮＷを経由した通信回線ＬＮを介してスマートホンなどのカメラ端末２０と接続し、各種データ通信を行うことにより、トレーニング動作の映像などの各種データをやり取りするように構成されている。本実施の形態では、カメラ端末２０で撮影されたトレーニング動作の映像を、通信Ｉ／Ｆ１１を介してトレーニング動作カウント装置１０が受信し、得られた映像に基づいてトレーニング動作の動作回数をカウントする場合を例として説明する。

このようなトレーニング動作カウント装置１０とカメラ端末２０とを含むシステムをトレーニング動作カウントシステムという。トレーニング動作カウントシステムでは、トレーニング動作カウント装置１０で得られた動作回数などのカウント結果をカメラ端末２０へ送信することも可能である。

［操作入力装置］
操作入力装置１２は、キーボード、マウス、タッチキーなどの操作入力装置からなり、オペレータやユーザの操作を検出して演算処理装置１６へ出力する機能を有している。

［画面表示装置］
画面表示装置１３は、ＬＣＤなどの画面表示装置からなり、演算処理装置１６から出力された、メニュー画面、設定画面、出力画面などの各種画面を画面表示するように構成されている。

［カメラ］
カメラ１４は、イメージセンサを用いた撮影装置からなり、映像を撮影して演算処理装置１６へ出力するように構成されている。カメラ１４は、ノートＰＣのようにトレーニング動作カウント装置１０に予め搭載されているカメラを用いてもよく、ウェブカメラなどの外付けカメラを、有線または無線インターフェースを介してトレーニング動作カウント装置１０に接続して用いてもよい。

なお、本実施の形態では、カメラ端末２０で撮影されたトレーニング動作の映像を、通信Ｉ／Ｆ１１を介してトレーニング動作カウント装置１０が取得する場合を例に説明する。

［記憶装置］
記憶装置１５は、ハードディスクや半導体メモリなどの記憶装置からなり、演算処理装置１６で実行する各種演算処理に用いる処理データや、トレーニング動作カウントプログラム等のプログラム１５Ｐを記憶するように構成されている。

プログラム１５Ｐは、演算処理装置１６のＣＰＵと協働することにより、トレーニング動作有効性判定処理や動作カウント処理などを実行する各種の処理部を実現する。プログラム１５Ｐは、通信回線ＬＮを介して接続された外部装置や記録媒体（ともに図示せず）から予め読み込まれて、記憶装置１５に保存される。

記憶装置１５で記憶する主な処理データとして、映像データ１５Ａ、部位データ１５Ｂ、および判定データ１５Ｃがある。
［映像データ］
映像データ１５Ａは、カメラ端末２０で撮影したトレーニング動作の映像を示す映像データである。

［部位データ］
部位データ１５Ｂは、トレーニング動作の有効性を判定するのに用いる部位を示す設定データである。図２は、部位データの構成例を示す説明図である。図２の例では、トレーニング動作ごとに、動作の基準となる関節Ｐｊと、この関節Ｐｊに骨を介して接続されて関節Ｐｊを中心として個別に回動する２つの部位Ｐａ，Ｐｂとが登録されている。

例えば、スクワット動作の場合、このスクワット動作で最も大きく動作する関節の１つである「膝」が関節Ｐｊとして設定されている。また、この「膝」と大腿骨を介して接続されている「腰」が部位Ｐａとして設定され、同じく「膝」と脛骨を介して接続されている「踵」が部位Ｐｂとして設定されている。有効性判定処理において関節Ｐｊは用いないため、部位データ１５Ｂから省いてもよい。

図３は、骨格情報を示す説明図である。ここでは、スクワット動作のしゃがんだ姿勢を示す骨格情報が示されている。骨格情報は、主となる関節の座標位置と各関節を結ぶ線分が含まれている。この骨格情報は、人物領域推定技術ＳＳＤ（Single Shot Multibox Detector）や骨格抽出技術ＣＰＮ（Cascaded Pyramid Network）、さらにはConfidence MapとPart Affinity Fields（PAFs）を組み合わせた逐次予測プロセスなど、公知の手法で映像から抽出できる。図２に登録される部位は、骨格情報に含まれる関節を用いる場合が一般的であるが、各関節を結ぶ線分（図３中の太線）の途中または延長線上に設けた点であってもよい。

［判定データ］
判定データ（長さ判定データ）１５Ｃは、部位Ｐａ，Ｐｂを結ぶ直線（補助線）Ｌｐの長さＬに基づき、トレーニング動作の有効性を判定するための設定データである。図４は、第１の実施の形態にかかる判定データの構成例を示す説明図である。

図４の例では、トレーニング動作ごとに、第１判定範囲ＳＬ１と第２判定範囲ＳＬ２とが登録されている。例えば、スクワット動作の場合、第１判定範囲ＳＬ１には「６０ｃｍ以上」という判定範囲が設定されており、第２判定範囲ＳＬ２には「４０ｃｍ以下」という判定範囲が設定されている。なお、画素から長さへの変換は公知の方法から求めればよい。

トレーニング動作は、特徴的な複数の姿勢を順に繰り返し作る動作であると捉えることができ、これら複数の姿勢が順に確認されて初めて有効なトレーニング動作と云える。

図４の例では、第１および第２の姿勢からなる２つの姿勢でトレーニング動作が構成されているものとし、第１の姿勢か否かを判定するための判定データが第１判定範囲ＳＬ１であり、第２の姿勢か否かを判定するための判定データが第２判定範囲ＳＬ２である。これら第１判定範囲ＳＬ１と第２判定範囲ＳＬ２の値については、予め複数の人から第１および第２の姿勢における直線Ｌｐの長さＬを検出し、これらを統計処理して得られた結果に基づいて、それぞれ決定すればよい。

［演算処理装置］
演算処理装置１６は、ＣＰＵとその周辺回路を有し、記憶装置１５のプログラム１５Ｐを読み出してＣＰＵと協働させることにより、トレーニング動作有効性判定処理や動作カウント処理などを実行する各種の処理部を実現する。演算処理装置１６で実現される主な処理部として、映像取得部１６Ａ、位置情報取得部１６Ｂ、動作判定部１６Ｃ、および動作カウント部１６Ｄがある。

［映像取得部］
映像取得部１６Ａは、通信Ｉ／Ｆ１１から通信網ＮＷを介してカメラ端末２０とデータ通信を行うことにより、カメラ端末２０で撮影されたトレーニング動作の映像を取得し、記憶装置１５に映像データ１５Ａとして保存するように構成されている。

［位置情報取得部］
位置情報取得部１６Ｂは、映像データ１５Ａを解析して身体の骨格情報を抽出し、得られた骨格情報から、部位データ１５Ｂのうち対象となるトレーニング動作に対応する２つの部位Ｐａ，Ｐｂの位置情報（座標情報）を取得するように構成されている。

［動作判定部］
動作判定部１６Ｃは、位置情報取得部１６Ｂで取得した位置情報に基づいて、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出するように構成されている。図５は、スクワット動作で用いる２つの部位と直線の関係（側面）を示す説明図である。スクワット動作の場合、部位Ｐａは腰に相当し、部位Ｐｂは踵に相当する。

図５（ａ）の立ち上がった第１の姿勢において、部位Ｐａ，Ｐｂの位置関係は大きく離れた状態にあり、図５（ｂ）のしゃがんだ第２の姿勢において、部位Ｐａ，Ｐｂの位置関係は第１の姿勢のときより近づいた状態にある。このため、図５（ｂ）における直線Ｌｐの長さＬ２は、図５（ａ）における直線Ｌｐの長さＬ１より短い。

また、動作判定部１６Ｃは、検出した直線Ｌｐの長さＬを、判定データ１５Ｃの第１判定範囲ＳＬ１および第２判定範囲ＳＬ２と比較し、その比較結果に基づいて、第１および第２の姿勢か否かを判定することにより、これら第１および第２の姿勢から構成されるトレーニング動作の有効性を判定するように構成されている。

判定データ１５Ｃが前述した図４のように設定されている場合、図５に示したスクワット動作については、直線Ｌｐの長さＬが６０ｃｍ以上（第１判定範囲ＳＬ１）であれば、図５（ａ）の立ち上がった第１の姿勢が検出されたと判定される。

また、直線Ｌｐの長さＬが４０ｃｍ以下（第２判定範囲ＳＬ２）であれば、図５（ｂ）のしゃがんだ第２の姿勢が検出されたと判定される。これら姿勢判定処理は、映像データ１５Ａを構成する個々のフレームについて、連続してあるいは間欠的に実行すればよい。

動作判定部１６Ｃで検出される直線Ｌｐの長さＬは、人によって多少のばらつきがあり、有効性判定の誤差の要因となりうる場合がある。このようなばらつきの影響を抑制する場合には、カウント動作開始前にユーザの身長をカメラ端末２０や操作入力装置１２から入力し、動作判定部１６Ｃが、所定の数式を用いてその身長から直線Ｌｐの長さの基準値Ｌ０を計算し、得られた基準値Ｌ０にある程度のばらつき幅を加えたものを第１判定範囲ＳＬ１および第２判定範囲ＳＬ２として判定データ１５Ｃに設定してもよい。

また、基準値Ｌ０については、予め正立姿勢などの基準姿勢を撮影して映像データ１５Ａに含めておき、その基準姿勢から基準値Ｌ０を抽出してもよい。図６は、基準姿勢からの基準値の検出を示す説明図である。

図６に示すように、位置情報取得部１６Ｂが、正立姿勢からなる基準姿勢の骨格情報から部位Ｐａ，Ｐｂの位置情報を取得して、動作判定部１６Ｃが部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬすなわち基準値Ｌ０を検出し、動作判定部１６Ｃが、得られた基準値Ｌ０にある程度のばらつき幅を加えたものを第１判定範囲ＳＬ１および第２判定範囲ＳＬ２として判定データ１５Ｃに設定してもよい。

［動作カウント部］
動作カウント部１６Ｄは、動作判定部１６Ｃで第１および第２の姿勢が交互に検出された場合、トレーニング動作を構成する一連の動作が正しく行われたと判断して、動作回数をカウントアップするように構成されている。また、動作カウント部１６Ｄは、得られたカウント結果を画面表示装置１３で画面表示するようにしてもよく、通信Ｉ／Ｆ１１から通信回線ＬＮを介してカメラ端末２０へ通知し、カメラ端末２０で画面表示するようにしてもよい。

［第１の実施の形態の動作］
次に、図７を参照して、本実施の形態にかかるトレーニング動作カウント装置１０の動作について説明する。図７は、第１の実施の形態にかかるトレーニング動作カウント装置の動作を示すフローチャートである。ここでは、カウント動作を開始する前に、映像データ１５Ａと部位データ１５Ｂが予め記憶装置１５に保存されているものとする。

なお、カウント動作を開始する前に、ユーザに合わせた判定データ１５Ｃを設定してもよい。この場合には、動作判定部１６Ｃが、カウント動作開始前にカメラ端末２０や操作入力装置１２から入力したユーザの身長を取得して、その身長に所定の係数を積算することにより、直線Ｌｐの長さの基準値Ｌ０を計算し、得られた基準値Ｌ０にある程度のばらつき幅を加えたものを第１判定範囲ＳＬ１および第２判定範囲ＳＬ２として判定データ１５Ｃに設定すればよい。この際、基準値Ｌ０については、前述したように、映像データ１５Ａに含まれる基準姿勢から基準値Ｌ０を検出してもよい。

カウント動作において、まず、位置情報取得部１６Ｂは、映像データ１５Ａの任意の１フレームを解析して身体の骨格情報を抽出し、得られた骨格情報から、部位データ１５Ｂのうち対象となるトレーニング動作に対応する２つの部位Ｐａ，Ｐｂの位置情報（座標情報）を取得する（位置情報取得ステップ）（ステップ１００）。

続いて、動作判定部１６Ｃは、位置情報取得部１６Ｂで取得した位置情報に基づいて、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出する（ステップ１０１）。

この後、動作判定部１６Ｃは、検出された直線Ｌｐの長さＬを、判定データ１５Ｃの第１判定範囲ＳＬ１と比較し、その比較結果に基づいて第１の姿勢か否かを判定する（ステップ１０２）。ここで、長さＬが第１判定範囲ＳＬ１の範囲外である場合（ステップ１０２：ＮＯ）、ステップ１００へ戻って後続するフレームに関する処理を実行する。

ステップ１０２において、長さＬが第１判定範囲ＳＬ１の範囲内である場合（ステップ１０２：ＹＥＳ）、位置情報取得部１６Ｂは、第１の姿勢が検出されたと判定し、続く第２の姿勢を検出するため、映像データ１５Ａの後続するフレームを解析して身体の骨格情報を抽出し、得られた骨格情報から、部位データ１５Ｂのうち対象となるトレーニング動作に対応する２つの部位Ｐａ，Ｐｂの位置情報（座標情報）を取得する（ステップ１０３）。

続いて、動作判定部１６Ｃは、位置情報取得部１６Ｂで取得した位置情報に基づいて、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出する（ステップ１０４）。

この後、動作判定部１６Ｃは、検出された直線Ｌｐの長さＬを、判定データ１５Ｃの第２判定範囲ＳＬ２と比較し、その比較結果に基づいて第２の姿勢か否かを判定する（動作判定ステップ）（ステップ１０５）。ここで、長さＬが第２判定範囲ＳＬ２の範囲外である場合（ステップ１０５：ＮＯ）、ステップ１０３へ戻って後続するフレームに関する処理を実行する。

ステップ１０５において、長さＬが第２判定範囲ＳＬ２の範囲内である場合（ステップ１０５：ＹＥＳ）、動作カウント部１６Ｄは、動作判定部１６Ｃで第１および第２の姿勢が交互に検出されたことから、トレーニング動作を構成する一連の動作が正しく行われたと判断して、動作回数をカウントアップする（カウントステップ）（ステップ１０６）。

この後、動作判定部１６Ｃは、カウント動作を終了するか判断する（ステップ１０７）。この際、動作回数が規定回数に到達したり、カウント動作の中止操作が行われたりした場合、終了と判断すればよい。

ステップ１０７において、カウント動作を継続する場合（ステップ１０７：ＮＯ）、ステップ１００に戻って後続するフレームに関する処理を実行する。

一方、カウント動作を終了する場合（ステップ１０７：ＹＥＳ）、動作判定部１６Ｃは、カウント結果を画面表示装置１３やカメラ端末２０へ出力し（ステップ１０８）、一連の処理を終了する。

このように、トレーニング動作の有効性は、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬと判定データ１５Ｃとの比較結果に基づいて判定される。この際、骨格情報が得られれば部位Ｐａ，Ｐｂを結ぶ直線Ｌｐが特定できるため、関節動作時における長さＬの変化度合は、カメラの位置や身体の向きが変化しても、その影響を受けにくいことがわかる。

図８は、スクワット動作で用いる２つの部位と直線の関係（正面）を示す説明図である。前述した図５では、トレーニング動作を人の側面から撮影した場合を例として説明したが、図８に示すように、人の正面から撮影した場合でも前述と同様にして、直線Ｌｐの長さＬを容易に検出できる。

また、以上では、スクワット動作を例にして説明したが、他のトレーニング動作についても同様に実施できる。図９は、腕立て伏せ動作で用いる２つの部位と直線の関係（側面）を示す説明図である。図１０は、腹筋動作で用いる２つの部位と直線の関係（側面）を示す説明図である。いずれの場合も、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを容易に検出できることがわかる。

また、これらについても、骨格情報が得られれば部位Ｐａ，Ｐｂを結ぶ直線Ｌｐが特定できるため、関節動作時における長さＬの変化度合は、カメラの位置や身体の向きが変化しても、その影響を受けにくいことがわかる。

［第１の実施の形態の効果］
このように、本実施の形態は、記憶装置１５で、身体を構成する骨格のうち、トレーニング動作の際に、同一関節を基準として個別に回動するとともに互いの位置関係が変化する、２つの部位を記憶しておき、演算処理装置１６が、トレーニング動作を撮影した映像から身体の骨格情報を抽出し、この骨格情報から２つの部位Ｐａ，Ｐｂの位置を示す位置情報を取得し、これら位置情報に基づいて２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出し、直線Ｌｐの長さＬを予め設定されている判定データ１５Ｃと比較し、得られた比較結果に基づいてトレーニング動作の有効性を判定するように構成したものである。

これにより、トレーニング動作の有効性が、２つの部位を結ぶ直線Ｌｐの長さＬに基づいて判定されるため、カメラの位置や身体の向きが変化しても、その影響を受けにくい。このため、関節の角度に基づいてトレーニング動作の有効性を判定する場合と比較して、カメラの位置や身体の向きの調整を厳密に行う必要がなくなる。したがって、トレーニング動作の撮影に関する自由度が大きく、高いユーザビリティを得ることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。第１の実施の形態では、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出し、予め設定されている判定データ（長さ判定データ）１５Ｃと比較する場合について説明した。本実施の形態では、予め設定された基準値Ｌ０に対する、検出した直線Ｌｐの長さＬの変化率Ｒを検出し、予め設定されている判定データ（変化率判定データ）１５Ｃと比較する場合について説明する。

［判定データ］
判定データ（変化率判定データ）１５Ｃは、基準値Ｌ０に対する、検出した直線Ｌｐの長さＬの変化率Ｒに基づき、トレーニング動作の有効性を判定するための設定データである。図１１は、第２の実施の形態にかかる判定データの構成例を示す説明図である。

図１１の例では、トレーニング動作ごとに、第１判定範囲ＳＲ１と第２判定範囲ＳＲ２とが登録されている。例えば、スクワット動作の場合、第１判定範囲ＳＲ１には「９０％以上」という判定範囲が設定されており、第２判定範囲ＳＲ２には「６０％以下」という判定範囲が設定されている。

［動作判定部］
動作判定部１６Ｃは、検出した直線Ｌｐの長さＬを予め設定された基準値Ｌ０で除算することにより、予め設定された基準値Ｌ０に対する、検出した直線Ｌｐの長さＬの変化率Ｒを検出し、判定データ１５Ｃの第１判定範囲ＳＲ１および第２判定範囲ＳＲ２と比較し、その比較結果に基づいて、第１および第２の姿勢か否かを判定することにより、これら第１および第２の姿勢から構成されるトレーニング動作の有効性を判定するように構成されている。

基準値Ｌ０については、予め複数の人から基準姿勢における直線Ｌｐの長さＬを検出し、これらを統計処理して得られた結果に基づいて、決定すればよい。また、第１の実施の形態と同様に、カウント動作開始前にユーザの身長をカメラ端末２０や操作入力装置１２から入力し、動作判定部１６Ｃが、その身長に所定の係数を積算することにより、直線Ｌｐの長さＬの基準値Ｌ０を計算してもよい。さらには、予め基準姿勢を撮影して映像データ１５Ａに含めておき、その基準姿勢から基準値Ｌ０を抽出してもよい。

判定データ１５Ｃが前述した図１１の例のように設定されている場合、前述した図５に示したスクワット動作については、変化率Ｒが第１判定範囲ＳＲ１の９０％以上であれば、図５（ａ）の立ち上がった第１の姿勢が検出されたと判定される。また、変化率Ｒが第２判定範囲ＳＲ２の６０％以下であれば、図５（ｂ）のしゃがんだ第２の姿勢が検出されたと判定される。

なお、本実施の形態にかかるその他の構成については、第１の実施の形態と同様であり、ここでの説明は省略する。

［第２の実施の形態の動作］
次に、図１２を参照して、本実施の形態にかかるトレーニング動作カウント装置１０の動作について説明する。図１２は、第２の実施の形態にかかるトレーニング動作カウント装置の動作を示すフローチャートである。ここでは、カウント動作を開始する前に、映像データ１５Ａと部位データ１５Ｂが予め記憶装置１５に保存されているものとする。

なお、カウント動作を開始する前に、ユーザに合わせた基準値Ｌ０を設定してもよい。この場合には、動作判定部１６Ｃが、カウント動作開始前にカメラ端末２０や操作入力装置１２から入力したユーザの身長を取得して、その身長に所定の係数を積算することにより、直線Ｌｐの長さＬの基準値Ｌ０を計算すればよい。また、基準値Ｌ０については、前述したように、映像データ１５Ａに含まれる基準姿勢から基準値Ｌ０を検出してもよい。さらに、第壱の実施の形態と同様に、得られた基準値Ｌ０に基づいて、判定データ１５Ｃを変更してもよい。

カウント動作において、まず、位置情報取得部１６Ｂは、映像データ１５Ａの任意の１フレームを解析して身体の骨格情報を抽出し、得られた骨格情報から、部位データ１５Ｂのうち対象となるトレーニング動作に対応する２つの部位Ｐａ，Ｐｂの位置情報（座標情報）を取得する（ステップ２００）。

続いて、動作判定部１６Ｃは、位置情報取得部１６Ｂで取得した位置情報に基づいて、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出し、基準値Ｌ０に対する長さＬの変化率Ｒを検出する（ステップ２０１）。

この後、動作判定部１６Ｃは、検出された変化率Ｒを、判定データ１５Ｃの第１判定範囲ＳＲ１と比較し、その比較結果に基づいて第１の姿勢か否かを判定する（ステップ２０２）。ここで、変化率Ｒが第１判定範囲ＳＲ１の範囲外である場合（ステップ２０２：ＮＯ）、ステップ２００へ戻って後続するフレームに関する処理を実行する。

ステップ２０２において、変化率Ｒが第１判定範囲ＳＲ１の範囲内である場合（ステップ２０２：ＹＥＳ）、位置情報取得部１６Ｂは、映像データ１５Ａの後続するフレームを解析して身体の骨格情報を抽出し、得られた骨格情報から、部位データ１５Ｂのうち対象となるトレーニング動作に対応する２つの部位Ｐａ，Ｐｂの位置情報（座標情報）を取得する（ステップ２０３）。

続いて、動作判定部１６Ｃは、位置情報取得部１６Ｂで取得した位置情報に基づいて、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬを検出し、基準値Ｌ０に対する長さＬの変化率Ｒを検出する（ステップ２０４）。

この後、動作判定部１６Ｃは、検出された変化率Ｒを、判定データ１５Ｃの第２判定範囲ＳＲ２と比較し、その比較結果に基づいて第２の姿勢か否かを判定する（ステップ２０５）。ここで、変化率Ｒが第２判定範囲ＳＲ２の範囲外である場合（ステップ２０５：ＮＯ）、ステップ２０３へ戻って後続するフレームに関する処理を実行する。

ステップ２０５において、変化率Ｒが第２判定範囲ＳＲ２の範囲内である場合（ステップ２０５：ＹＥＳ）、動作カウント部１６Ｄは、動作判定部１６Ｃで第１および第２の姿勢が交互に検出されたことから、トレーニング動作を構成する一連の動作が正しく行われたと判断して、動作回数をカウントアップする（ステップ２０６）。

この後、動作判定部１６Ｃは、カウント動作を終了するか判断する（ステップ２０７）。この際、動作回数が規定回数に到達したり、カウント動作の中止操作が行われたりした場合、終了と判断すればよい。

ステップ２０７において、カウント動作を継続する場合（ステップ２０７：ＮＯ）、ステップ２００に戻って後続するフレームに関する処理を実行する。

一方、カウント動作を終了する場合（ステップ２０７：ＹＥＳ）、動作判定部１６Ｃは、カウント結果を画面表示装置１３やカメラ端末２０へ出力し（ステップ２０８）、一連の処理を終了する。

このように、トレーニング動作の有効性は、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬの基準値Ｌ０に対する変化率Ｒと判定データ１５Ｃとの比較結果に基づいて判定される。この際、骨格情報が得られれば部位Ｐａ，Ｐｂを結ぶ直線Ｌｐが特定できるため、前述の図８に示したように、人の正面から撮影した場合でも前述と同様にして、直線Ｌｐの長さＬを容易に検出でき、関節動作時における変化率Ｒの変化度合は、カメラの位置や身体の向きが変化しても、その影響を受けにくいことがわかる。

また、以上の説明では、スクワット動作を例にして説明したが、他のトレーニング動作についても同様に実施できる。前述の図９や図１０に示したように、腕立て伏せ動作や腹筋動作の場合にも、２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬさらには変化率Ｒを容易に検出できる。また、これらについても、骨格情報が得られれば部位Ｐａ，Ｐｂを結ぶ直線Ｌｐが特定できるため、関節動作時における変化率Ｒの変化度合は、カメラの位置や身体の向きが変化しても、その影響を受けにくいことがわかる。

［第２の実施の形態の効果］
このように、本実施の形態は、演算処理装置１６が、トレーニング動作の有効性を判定する際、予め設定されている基準値Ｌ０に対する直線Ｌｐの長さＬの変化率Ｒを、予め設定されている判定データ１５Ｃと比較し、得られた比較結果に基づいてトレーニング動作の有効性を判定するように構成したものである。

これにより、トレーニング動作の有効性が、基準値Ｌ０に対する２つの部位Ｐａ，Ｐｂを結ぶ直線Ｌｐの長さＬの変化率Ｒに基づいて判定されるため、関節動作時における変化率Ｒの変化度合は、カメラの位置や身体の向きが変化しても、その影響を受けにくい。このため、関節の角度に基づいてトレーニング動作の有効性を判定する場合と比較して、カメラの位置や身体の向きの調整を厳密に行う必要がなくなる。

したがって、トレーニング動作の撮影に関する自由度が大きく、高いユーザビリティを得ることができる。また、直線Ｌｐの長さＬと比較して、その変化率Ｒは、人による長さＬのばらつきからの影響を受けにくい。このため、第１の実施の形態と比較して、より安定したトレーニング動作の有効性判定さらにはカウント動作を実現できる。

［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。

１０…トレーニング動作カウント装置、１１…通信Ｉ／Ｆ、１２…操作入力装置、１３…画面表示装置、１４…カメラ、１５…記憶装置、１５Ａ…映像データ、１５Ｂ…部位データ、１５Ｃ…判定データ、１６…演算処理装置、１６Ａ…映像取得部、１６Ｂ…位置情報取得部、１６Ｃ…動作判定部、１６Ｄ…動作カウント部、２０…カメラ端末、ＬＮ…通信回線、ＮＷ…通信網、Ｐａ，Ｐｂ…部位、Ｐｊ…関節、Ｌｐ…直線、Ｌ，Ｌ１，Ｌ２…長さ、Ｌ０…基準値、ＳＬ１，ＳＲ１…第１判定範囲、ＳＬ２，ＳＲ２…第２判定範囲、Ｒ…変化率。

Claims (4)

1. トレーニング動作の際に、同一関節を基準として互いの位置関係が変化する身体の骨格における２つの部位を記憶する記憶装置と、前記トレーニング動作を撮影した映像の身体の骨格情報から取得した前記２つの部位の位置関係の変化に基づいて、前記トレーニング動作の回数をカウントする演算処理装置とを備えるトレーニング動作カウント装置で実行されるトレーニング動作カウントプログラムであって、
   前記演算処理装置に、
   前記骨格情報から前記２つの部位の位置を示す位置情報を取得する位置情報取得ステップと、
   前記位置情報に基づいて前記２つの部位を結ぶ直線の長さを検出し、前記直線の長さを予め設定されている長さ判定データと比較し、得られた比較結果に基づいて前記トレーニング動作の有効性を判定する動作判定ステップと、
   前記有効性が認められたトレーニング動作の回数をカウントするカウントステップと
   を実行させることを特徴とするトレーニング動作カウントプログラム。
2. 前記動作判定ステップは、予め設定されている基準値に対する前記直線の長さの変化率を予め設定されている変化率判定データと比較し、得られた比較結果に基づいて前記トレーニング動作の有効性を判定するステップからなる
   ことを特徴とする請求項１に記載のトレーニング動作カウントプログラム。
3. トレーニング動作の際に、同一関節を基準として互いの位置関係が変化する身体の骨格における２つの部位を記憶する記憶装置と、前記トレーニング動作を撮影した映像の身体の骨格情報から取得した前記２つの部位の位置関係の変化に基づいて、前記トレーニング動作の回数をカウントする演算処理装置とを備え、
   前記演算処理装置は、
   前記骨格情報から前記２つの部位の位置を示す位置情報を取得する位置情報取得部と、
   前記位置情報に基づいて前記２つの部位を結ぶ直線の長さを検出し、検出した直線の長さを予め設定されている長さ判定データと比較し、得られた比較結果に基づいて前記トレーニング動作の有効性を判定する動作判定部と、
   前記有効性が認められたトレーニング動作の回数をカウントするカウント部と
   を備えることを特徴とするトレーニング動作カウント装置。
4. 請求項３に記載のトレーニング動作カウント装置と、
   前記トレーニング動作を撮影した映像を、通信回線を介して前記トレーニング動作カウント装置へ送信するカメラ端末と
   を備え、
   前記トレーニング動作カウント装置は、前記カメラ端末から受信した前記映像に基づいて前記トレーニング動作の回数をカウントする
   ことを特徴とするトレーニング動作カウントシステム。

Images