JP6703199B2 - 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム - Google Patents

Description

本発明は、動作フォーム分析システムに関する。特に、被検者の運動時のフォームを分析するシステムに関する。

従来、ランニングフォームを自動的に診断するシステムとして、身体に複数のマーカーを取り付けたランナーの動画像からマーカーの位置を認識することで、ランニングフォームを分析する技術が知られている（例えば、特許文献１，２参照）。

再表２０１３−１２９６０６号公報 特開２０１７−７７４０３号公報

従来の動作フォーム分析技術においては、高価な特殊カメラや専用のセンサを用いなければ正確な分析ができず、個人が手軽に分析できるものではなかった。

本発明は、こうした状況に鑑みてなされたものであり、その目的は、ユーザによる簡易な操作で動作フォームを画像解析できるシステムを提供することにある。

上記課題を解決するために、本発明のある態様の動作状態評価システムは、被検者の動画像を取得する画像取得部と、動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、推定された複数の身体特徴点から定まる基準部位に相当する画像上の距離と基準長さとの比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、動作状態を示す値を出力する出力部と、を備える。

ここで「動作状態評価システム」は、「被検者の動画像」を取得する情報端末と「動作状態を示す値」を求めるサーバとの組合せで構成されるシステムであってもよいし、「動作状態を示す値」を求める処理を情報端末とサーバとで分担して実行するシステムであってもよい。あるいは、「被検者の動画像」の取得と「動作状態を示す値」を求める処理との双方を実行可能な情報端末だけで構成されるシステムであってもよい。「システム」を１つまたは複数の任意のハードウェアで構成してよい。「所定の体勢認識方法」は、画像から人物を抽出してその人物の体勢を認識する任意のアルゴリズムであってよい。「複数の身体特徴点」は、画像から抽出した人物の身体を構成する要素同士の連結部分や各要素の端部ないし境界点であってよい。「所定の体勢認識方法」は、画像内に写る人物の外観的状態から、人間が本来的に持つ骨格などの身体的構造の性質に基づいて、あるいは、外観的状態との位置関係の統計に基づいて、「複数の身体特徴点」の位置を推定する方法であってもよい。「所定の体勢認識方法」は、動画像に含まれる複数のフレームのそれぞれから人物の体勢を認識する方法であってもよいし、各フレーム間における外観の変化に基づいて「複数の身体特徴点」の位置的変化を推定する方法であってもよい。「所定の体勢認識方法」は、上記の各種処理を、被検者が写る動画像を多数読み込ませた深層学習等の機械学習を用いて実行する方法であってもよい。「所定の基準部位」は、動画像に写る人物またはその身体的構成要素の実世界における長さを推定する処理において基準にすべきとしてあらかじめ定められた部位であってよく、その「基準部位」の実世界における長さが「基準長さ」としてあらかじめ記憶されてよい。「長さ」は、空間における２点間の距離ないし寸法であってよい。「動作状態を示す値」は、身体特徴点の位置や身体特徴点間を結ぶ線の距離やその線同士がなす角度から求めることが可能な被検者の動作状態の値や、その動作状態の値や時間値から求めることが可能な他の動作状態の値であってよい。「動作状態」は、被検者の動きにおける体勢、例えば走行フォーム、歩行フォーム、任意のスポーツにおける運動フォームなどであってよい。「動作状態を示す値」は、運動フォームの状態を表す各種パラメータの値であってよく、例えば走っている被検者の走行速度、ストライドの幅、上下動の幅、上下動の周期から求められるピッチ、体幹の前傾角度、肩関節の可動域角度、股関節の可動域角度等であってもよい。

この態様によると、ユーザによる簡易な操作だけで、被検者の動作状態を動画像から正確に画像解析して有用な評価を提供することができる。

特徴推定部は、複数の身体特徴点として、被検者の複数の関節位置を推定し、動作解析部は、画像上で推定された所定の関節間の距離と基準長さとの比に基づいて、被検者の動作状態を示す値を求めてもよい。「関節位置」は、画像から抽出した人物の身体を構成する要素同士の連結部分であってもよく、人間が本来的に持つ骨格などの身体的構造の性質に基づいて、あるいは、外観的状態との位置関係の統計に基づいて、推定する位置であってもよい。この態様によると、被検者の関節位置から「所定の基準部位」を推定し、その「基準部位」の画像上の距離と「基準長さ」の関係から、実世界における被検者の様々な速度や長さ、角度、時間値を求め、動作状態を示す各種パラメータの値を画像解析だけでより正確に推定することができる。

基準記憶部は、基準長さとして被検者の身長を記憶し、動作解析部は、複数の身体特徴点から定まる被検者の身長分に相当する画像上の距離と身長との比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の画像上の特徴点距離から被検者の動作状態を示す値を求めてもよい。多くのユーザは自身の正確な身長を把握しているため、身体全体を「基準部位」とし、その長さである「身長」を「基準長さ」として設定することで、容易に正確な基準長さを用いることができる。これにより、動作状態を示す値として、より正確な値を容易に求めることができる。

動作状態を示す値に基づいて被検者の動作を評価する評価処理部をさらに備えてもよい。動作状態を示す値は、被検者の運動時の所定動作の幅に基づく値を含んでもよい。基準記憶部は、複数の他の被検者の動画像を用いてあらかじめ解析して求めた運動時の所定動作の幅に基づく値と被検者の身体的状態に基づく値との間の回帰分析結果として、身体的状態に基づく値を説明変数とし所定動作の幅を目的変数とする回帰方程式および標準偏差をさらに記憶し、評価処理部は、被検者の身体的状態に基づく値を回帰方程式に代入して所定動作の幅に基づく値の仮定値を算出し、被検者の動画像から解析した所定動作の幅に基づく値と仮定値の差が標準偏差内であるか否かにしたがって被検者の動作を評価し、出力部は、評価の結果を出力してもよい。「所定動作の幅に基づく値」は、所定の運動において身体部位が移動する長さ、角度、時間間隔、およびこれらの値から求まる別の値であってよい。「被検者の身体的状態に基づく値」は、被検時において被検者が置かれた身体的な状態や被検者が持つ身体的な運動水準、運動特性、運動属性等を示す値のうち、特に回帰方程式において目的変数とする値との間で相関のある値であってよい。「身体的状態に基づく値」は、被検者の動画像から解析して得られる値であってもよく、「所定動作の幅に基づく値」に含まれるいずれかの値であってもよい。「回帰方程式」は、一つの値を説明変数とする単回帰式であってもよいし、複数の値を説明変数とする重回帰式であってもよい。例えば、ストライド幅やピッチを評価するために、複数の被検者について「被検者の身体的状態に基づく値」として身長、体重、年齢、性別、運動速度、マラソンタイムのレベル等の値を説明変数とし、その速度におけるストライド幅やピッチを目的変数とする回帰方程式および標準偏差をあらかじめ算出して回帰分析結果として記憶してもよい。ここでいう「仮定値」は、統計上の標準値、中央値、平均値、理想値であってもよい。その回帰分析結果に基づいて、あらたな被検者の身体的状態に基づく値を回帰方程式に代入して得られる仮のストライド幅やピッチを算出し、その値と動画像から推定されるストライド幅やピッチとの差が標準偏差の範囲内かどうかを求める。このように、被検者の動作状態や身体的状態に関する所定のパラメータと他のパラメータの関係から、その被検者のランニングフォーム等の動作を定量的かつ客観的に評価することができる。

動作の評価結果との対応で運動における動作に関連するアドバイス情報を記憶する情報記憶部をさらに備えてもよい。評価処理部は、被検者の動作を評価した結果に対応するアドバイス情報を情報記憶部から抽出し、出力部は、抽出されたアドバイス情報を出力してもよい。「アドバイス情報」は、被検者の動作における示唆や評価の解説、改善提案、故障リスク、参考情報を示すテキストや画像、音声であってよく、改善提案としては推奨するトレーニング内容や運動器具、運動用シューズの提案であってもよい。

本発明の別の態様は、動作状態評価装置である。この装置は、被検者の動画像を取得する画像取得部と、動画像をネットワーク経由で所定のサーバへ送信する送信部と、サーバにおいて動画像から被検者の体勢を画像認識する所定の体勢認識方法により推定された被検者の複数の身体特徴点から定まる所定の基準部位に相当する画像上の距離と、あらかじめ記憶された基準部位の実世界における長さである基準長さとの比に基づいて複数の身体特徴点の間の画像上の距離から求まる被検者の動作状態を示す値を受信する受信部と、動作状態を示す値を画面に表示する出力部と、を備える。

この態様においても、ユーザによる簡易な操作だけで、被検者の動作状態を動画像から正確に画像解析して有用な評価を提供することができる。

本発明のさらに別の態様もまた、動作状態評価装置である。この装置は、被検者の動画像を取得する画像取得部と、動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、推定された複数の身体特徴点から定まる基準部位に相当する画像上の距離と基準長さとの比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、動作状態を示す値を画面に表示する出力部と、を備える。

この態様においても、ユーザによる簡易な操作だけで、被検者の動作状態を動画像から正確に画像解析して有用な評価を提供することができる。

本発明のさらに別の態様は、動作状態評価サーバである。この動作状態評価サーバは、被検者の動画像をネットワーク経由で所定の情報端末から受信する受信部と、動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、推定された複数の身体特徴点から定まる基準部位に相当する画像上の距離と基準長さとの比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、動作状態を示す値を出力する出力部と、を備える。

この態様においても、ユーザによる簡易な操作だけで、被検者の動作状態を動画像から正確に画像解析して有用な評価を提供することができる。

本発明のさらに別の態様は、動作状態評価方法である。この方法は、被検者の動画像を取得する過程と、動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する過程と、推定された複数の身体特徴点から定まる所定の基準部位に相当する画像上の距離と、あらかじめ記憶された基準部位の実世界における長さである基準長さとの比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める過程と、動作状態を示す値を出力する過程と、を備える。

この態様においても、ユーザによる簡易な操作だけで、被検者の動作状態を動画像から正確に画像解析して有用な評価を提供することができる。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記憶した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザによる簡易な操作だけで、被検者の動作状態を動画像から正確に画像解析して有用な評価を提供することができる。

動作状態評価システムの構成を模式的に示す図である。 情報端末および評価サーバの基本構成を示す機能ブロック図である。 走行する被検者の動画像から複数の身体特徴点を推定した状態を模式的に示す図である。 身体的状態に基づく値に対する各種ランニングフォームパラメータの分布から求めた回帰直線および標準偏差の例を示す図である。 動作状態評価プログラムのメニュー画面例を模式的に示す図である。 動画像の解析および評価を開始する画面例を模式的に示す図である。 動画像および評価結果を表示する画面例を示す図である。 アドバイス情報を表示する画面例の図である。 図８の推奨運動情報欄に表示する推奨トレーニング内容の選択基準として定められたトレーニング選択テーブルを模式的に示す図である。 図８の推奨用具情報欄に表示する推奨シューズの選択基準として定められたシューズ選択テーブルを模式的に示す図である。 情報端末と評価サーバの間のデータフローと、動画像の解析および評価の処理過程を示すフローチャートである。 第２実施形態における情報端末および解析サーバの基本構成を示す機能ブロック図である。 情報端末と解析サーバの間のデータフローと、動画像の解析および評価の処理過程を示すフローチャートである。 第３実施形態における情報端末および解析サーバの基本構成を示す機能ブロック図である。 情報端末と解析サーバの間のデータフローと、動画像の解析および評価の処理過程を示すフローチャートである。 第４実施形態における情報端末および管理サーバの基本構成を示す機能ブロック図である。 動画像の解析および評価の処理過程を示すフローチャートである。

（第１実施形態）
図１は、動作状態評価システム１０の構成を模式的に示す。動作状態評価システム１０は、情報端末１２と評価サーバ１４を備え、動作状態評価システム１０が実現する各種機能を情報端末１２と評価サーバ１４とが協働して実現する。本実施形態においては、被検者の動画像を取得する処理と、動作の評価結果等の画面表示処理を情報端末１２が担い、動画像の解析や評価の処理を評価サーバ１４が担う。情報端末１２により取得された被検者の動画像は無線通信等の通信手段を介して評価サーバ１４へ転送され、評価サーバ１４により動画像が解析され、評価される。評価結果は情報端末１２へ転送され、情報端末１２の画面に表示される。情報端末１２は、カメラ機能付きスマートフォンなどの携帯電話端末やカメラ機能付きタブレット端末である。変形例においては、情報端末１２としてカメラ機能付きコンピュータやカメラ機器を接続したコンピュータが用いられてもよい。情報端末１２および評価サーバ１４において被検者の動画像を解析して評価するためのプログラム（動作状態評価プログラム）が動作することで、情報端末１２は動作状態評価装置として機能し、評価サーバ１４は動作状態評価サーバとして機能する。第２実施形態以降にて後述する他の形態においては、動画像の解析や評価の処理の一部を情報端末１２が担うことで情報端末１２と評価サーバ１４に分担させる仕様としてもよいし、動画像の解析や評価の処理のすべてを情報端末１２が担う仕様としてもよい。以下、本実施形態においては動画像の解析や評価の処理のすべてを評価サーバ１４が担う態様を説明する。

図２は、情報端末１２および評価サーバ１４の基本構成を示す機能ブロック図である。情報端末１２は、画像取得部２０、撮像部２２、データ記憶部３０、データ処理部４０、入力部５０、出力部５２、タッチパネル６０、通信部６２を備える。データ記憶部３０は、画像記憶部２４、基準記憶部３２、情報記憶部３４、結果記憶部３６を有する。データ処理部４０は、機能制御部４７および画面生成部４８を有する。評価サーバ１４は、データ記憶部１３０、データ処理部１４０、入力部１５０、出力部１５２、通信部１６２を備える。データ記憶部１３０は、画像記憶部１２４、基準記憶部１３２、情報記憶部１３４、結果記憶部１３６を有する。データ処理部１４０は、特徴推定部１４２、動作解析部１４４、評価処理部１４６を有する。

本図は、動作状態評価システム１０を実現するための機能構成を示しており、その他の構成は省略している。本図において、さまざまな処理をする機能ブロックとして記載される各要素は、ハードウェアであるカメラ、ＣＰＵ、ＧＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integrated circuit）で構成することができる。また、ソフトウェア的にはＲＡＭにロードされたプログラム等をＣＰＵが実行することによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像取得部２０は、被検者の動画像を取得する。画像取得部２０は、撮像部２２により撮影された動画像を撮像部２２から取得するか、撮影済みの動画像を画像記憶部２４から取得する。撮像部２２は、例えば情報端末１２に内蔵されたカメラまたは外部接続されたカメラである。画像記憶部２４は、例えば情報端末１２に内蔵された不揮発メモリまたは情報端末１２に装填ないし接続された記録媒体である。画像記憶部２４には、撮像部２２等により撮影された静止画像および動画像が記憶される。

基準記憶部３２は、動作状態評価プログラムにおいて解析の基準とする、所定の基準部位の実世界における長さである基準長さをあらかじめ記憶する。本実施形態においては、基準長さとして被検者の身長を基準記憶部３２が記憶する。ユーザは、動作状態評価プログラムの使用にあたり、情報端末１２のタッチパネル６０を介してあらかじめ自身の身長を入力して設定する。タッチパネル６０を介して入力された身長の情報は、入力部５０および機能制御部４７を介して基準記憶部３２に記憶される。

情報記憶部３４は、動作状態評価プログラムおよび動作状態評価システム１０を利用するためのユーザのＩＤ（例えばメールアドレス）およびパスワードを記憶する。結果記憶部３６は、後述する動画像の解析結果や評価結果が記録される。

機能制御部４７は、動作状態評価プログラムを構成する各種機能を発揮させるために情報の入出力等の処理を制御する。機能制御部４７は、情報記憶部３４に記憶されるユーザのＩＤおよびパスワードに基づいて評価サーバ１４へログインする。機能制御部４７は、画像取得部２０により取得された動画像を、評価サーバ１４による解析対象として、出力部５２および通信部７０を介して評価サーバ１４へ転送する。このとき、情報端末１２のユーザ自身が被検者となる場合は基準記憶部１３２に記憶されたユーザの身長の情報を動画像とともに評価サーバ１４へ転送する。情報端末１２のユーザ以外が被検者となる場合は、機能制御部４７はタッチパネル６０から入力された被験者の身長の情報を動画像とともに評価サーバ１４へ転送する。画面生成部４８は、動作状態評価プログラムの画面表示機能として、タッチパネル６０に表示させる画面を生成し、生成した画面を出力部５２を介してタッチパネル６０に表示させる。

入力部１５０は、情報端末１２から送信された動画像および身長の情報を通信部１６２を介して受信し、動画像を画像記憶部１２４に一時的に保存し、身長の情報を基準記憶部１３２に一時的に保存する。特徴推定部１４２は、動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する。基準記憶部１３２は、所定の基準部位の実世界における長さである基準長さをあらかじめ記憶する。本実施形態においては、基準記憶部１３２は基準長さとして被検者の身長を一時的に記憶する。動作解析部１４４は、推定された複数の身体特徴点から定まる基準部位に相当する画像上の特徴点距離（画素単位の距離）と基準長さ（メートル単位系の長さ）との比に基づき、被検者の動作の評価に用いる値として、複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める。評価処理部１４６は、所定の身体的状態に基づく値を所定の回帰方程式に代入してランニングフォームパラメータの仮定値を算出し、被検者の動画像から解析したランニングフォームパラメータと仮定値の差が標準偏差内であるか否かにしたがって被検者の動作を評価する。ここでいう身体的状態に基づく値は、被検時において被検者が置かれた身体的な状態や被検者が持つ身体的な運動水準、運動特性、運動属性等を示す値のうち、特に回帰方程式において目的変数とする値との間で相関のある値である。身体的状態に基づく値として、被検者の動画像から解析して得られる各種ランニングフォームパラメータのうちのいずれかの値を用いてもよい。また仮定値は、統計上の標準値、平均値、中央値であってもよい。

（身体特徴点の推定）
図３は、走行する被検者の動画像から複数の身体特徴点を推定した状態を模式的に示す。特徴推定部１４２は、複数の身体特徴点として、被検者の複数の関節位置、例えば四肢の関節（肩、肘、手首、股関節、膝、足首等）の位置を推定する。また特徴推定部１４２は、複数の身体特徴点として、関節以外の連結部分（首、骨盤、胸郭等）の位置や、先端部（頭頂部、踵等）の位置をさらに推定する。図３の例では、走行する被検者の動画像から、頭頂部２０３、首２０４、左肩２０５、右肩２０６、左肘２０７、右肘２０８、左手首２０９、右手首２１０、左股関節２１１、右股関節２１２、左膝２１３、右膝２１４、左足首２１５、右足首２１６の各位置を特徴推定部１４２が推定する。特徴推定部１４２は、本図の例のように、複数の身体特徴点を丸印で表し、身体特徴点同士を結んだ身体部位を太線で表す、いわゆるスティックピクチャーを動画像に重ね合わせることができる。

体勢認識方法としては任意の技術を用いてよい。例えば、多数の動画像に対する深層学習の結果を用いたマーカーレスモーションキャプチャにより動画像から被検者の身体特徴点を推定してもよい。深層学習を用いたマーカーレスモーションキャプチャ技術としては、例えば「DeepPose: Human Pose Estimation via Deep Neural Networks」（Alexander Toshev, Christian Szegedy）、「Convolutional Pose Machines」（Shih-En Wei, Varun Ramakrishna, Takeo Kanade, Yaser Sheikh）、「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」（Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh）が知られている。深層学習を用いないマーカーレスモーションキャプチャ技術としては、例えば「Articulated Human Pose Estimation with Flexible Mixtures of Parts」（Yi Yang and Deva Ramanan）が知られている。他の形態においては、被検者の身体の各所にマーカーやセンサを取り付けて、そのマーカーやセンサの位置を認識することで被検者の身体特徴点を推定するモーションキャプチャ技術を用いてもよい。これら各モーションキャプチャ技術は公知であるため、その詳細は説明を省略する。このように、マーカーレスモーションキャプチャ技術を用いることにより、モーションキャプチャのための特別な機材を用いることなく、スマートフォンに内蔵されたカメラのように一般に普及しているデバイスを用いて手軽に人の身体特徴点を推定することができる。

動作解析部１４４は、例えば、画像上で推定された所定の関節間の距離に基づく被験者の身長分に相当する画像上の距離を求める。具体的には、頭から足までの長さを推定するために、頭頂部〜首、首〜肩、肩〜股関節、股関節〜膝、膝〜足首、足首〜踵の各身体部位の画像上の距離を測定してこれらの和を算出し、これを頭頂部から踵までの画像上の身長Ｈとする。なお、特徴推定部１４２が踵の位置を推定しない場合には、頭頂部から足首までの画像上の距離の和に所定の補正係数（例えば１．０５）を乗じた補正値を頭頂部から踵までの画像上の身長Ｈとしてもよい。あるいは、特徴推定部１４２が頭頂部の位置を推定しない場合には、首から踵までの画像上の距離の和に所定の補正係数（例えば１．１）を乗じた補正値を頭頂部から踵までの画像上の身長Ｈとするか、首から足首までの画像上の距離の和に所定の補正係数（例えば１．１５）を乗じた補正値を頭頂部から踵までの画像上の身長Ｈとしてもよい。

（ランニングフォームパラメータの解析）
動作解析部１４４は、求めた画像上の身長Ｈと、基準記憶部１３２があらかじめ記憶する基準長さとしての被検者の身長の比を求め、これを画像上の距離をメートル単位系に変換する変換係数Ｓとする。動作解析部１４４は、変換係数Ｓに基づいて、被検者の動作状態を示す値を求める。動作状態を示す値は、例えば被験者の運動時における所定動作の幅に基づくパラメータである。本実施形態においては、動作状態を示す値として、ランニングフォームを構成するランニングフォームパラメータ（速度、ストライド、上下動の幅の他、ピッチ、体幹の前傾角度、肩関節の可動域、股関節の可動域）を求める。すなわち、動作解析部１４４は各種ランニングフォームパラメータの値を動画像から解析して求める。求めた値が長さの値である場合には、変換係数Ｓを乗じることで実世界におけるメートル単位系での値に変換する。これら動画像から解析によって求めた各種ランニングフォームパラメータの値を以下、解析値Ｐとする。このように、変換係数Ｓを用いることにより、複雑なキャリブレーション作業をせずとも単純な計算のみで簡易的に各種ランニングフォームパラメータをメートル単位系で算出することができる。

動作解析部１４４は、ランニングフォームパラメータを、主に走行する被検者の側方を固定撮影位置および固定撮影方向で撮影した動画像から解析する。例えば、被検者を右側方から撮影した動画像の場合は右半身の身体特徴点から解析し、被検者を左側方から撮影した動画像の場合は左半身の身体特徴点から解析する。動作解析部１４４は、被検者の上下動の周期において頭頂部の鉛直方向位置が極小値となったタイミングを接地タイミングと判定する。動作解析部１４４は、身体特徴点を認識しはじめてから初めて判定した接地タイミングを１歩目、逆足の接地タイミングを２歩目、１歩目と同じ足の次の接地タイミングを３歩目とし、１歩目から３歩目を１走行周期とする。

ここで、ランニングフォームパラメータとしての「速度」は、動画像における２点間の距離（例えば、頭部が水平方向に移動した位置の差分）を移動する速度であり、１走行周期の速度の平均値でもよい。「ストライド」は、動画像における１歩分の距離であってもよいし、１歩目から３歩目まで（１走行周期）の距離（例えば、接地足の水平方向の位置の差分）を２で割った値でもよい。「ピッチ」は、１分間の接地回数であってもよいし、１歩分の時間（ある接地から次の接地までの時間間隔）の逆数であってもよい。「上下動の幅」は、１走行周期における頭頂部の鉛直方向位置の最大値と最小値の差であってもよい。「体幹の前傾角度」は、股関節と首を結ぶ直線と鉛直線のなす角の１走行周期における平均であってもよい。「肩関節の可動域」は、肩と肘を結ぶ直線と鉛直線のなす角の１走行周期における最大値と最小値の差であってもよい。「股関節の可動域」は、股関節と膝を結ぶ直線と鉛直線のなす角の１走行周期における最大値と最小値の差であってもよい。

動作解析部１４４は、ランニングフォームパラメータとして、被検者を側方から撮影した場合における足の着地位置（例えば、頭頂部、股関節、膝のいずれかの基準部位を通る鉛直線に対する着地の相対的な位置）、腰の落ち込み度合い（例えば、股関節の鉛直方向位置）をさらに求めてもよい。また、ランニングフォームパラメータとして、被検者を前方から撮影した場合における頭の傾斜角度、肩の水平度合い、上体の捻れ、上体のブレ、骨盤の水平度合い、腕振り、膝の向き、足先の向き、遊脚期の太股の捻れ、振り出し脚の向き、足の着地位置、をさらに求めてもよい。また、ランニングフォームパラメータとして、被検者を後方から撮影した場合における接地パターン（前足部、中足部、後足部の接地順序）、プロネーション（過回内／過回外）、下腿の内反、蹴り出しの足先の向き、下腿の巻上げ、をさらに求めてもよい。動作解析部１４４および評価処理部１４６による解析と評価の対象となるランニングフォームパラメータの種類は、被検者の動画像が側方、前方、後方のいずれから撮影されたものであるかに応じて異なる種類のパラメータが設定される。このように、動画像から画像解析で各種ランニングフォームパラメータを求めることにより、ランニングフォームを定量的に分析することができる。

（ランニングフォームパラメータの評価）
評価処理部１４６は、被検者の身体的状態に基づく値を所定の回帰方程式に代入して各種ランニングフォームパラメータの仮定値Ｅを算出し、被検者の動画像から解析した解析値Ｐと仮定値Ｅの差が標準偏差内であるか否かにしたがって被検者の動作を評価する。解析結果および評価結果は、ユーザＩＤと対応づけられて結果記憶部１３６に記録される他、情報端末１２に送信されて結果記憶部３６に記録される。被検者の身体的状態に基づく値Ｖとして、例えば被検者の被検時における運動速度や身長等を用いる仕様の場合、基準記憶部１３２は、運動速度や身長等を説明変数とし、各種ランニングフォームパラメータの仮定値Ｅを目的変数とする回帰方程式（Ｅ＝ａＶ＋ｂ）および標準偏差ＳＤをランニングフォームパラメータごとに記憶する。この場合、動作解析部１４４は、被験者の動画像から画像上の被験者の運動速度を解析するとともに、その速度に変換係数Ｓをかけることにより実世界における運動速度を算出してもよい。

図４は、身体的状態に基づく値に対する各種ランニングフォームパラメータの分布から求めた回帰直線および標準偏差の例を示す図である。図のように、多数の被検者からあらかじめ得られたサンプルデータの分布から回帰直線および標準偏差を割り出す。（ａ）は身体的状態に基づく値に対する体幹の前傾角度の回帰直線および標準偏差を示し、（ｂ）は身体的状態に基づく値に対する股関節可動域角度の回帰直線および標準偏差を示す。身体的状態に基づく値は、例えば運動速度や身長等であり、本図の例では運動速度に対する前傾角度および股関節可動域角度の分布から回帰直線および標準偏差を求める。図示する通り、それぞれの分布から回帰方程式および標準偏差を割り出して、あらかじめ基準記憶部１３２に記憶させる。

評価処理部１４６は、解析値Ｐが仮定値Ｅ＋標準偏差ＳＤより大きい場合は「標準より大」と評価し、解析値Ｐが仮定値Ｅ−標準偏差ＳＤより小さい場合は「標準より小」と評価し、解析値Ｐが仮定値Ｅ±標準偏差ＳＤの範囲内であれば「標準」と評価する。評価処理部１４６は、各種ランニングフォームパラメータの解析値Ｐ、仮定値Ｅ、標準偏差ＳＤ、評価結果の情報を出力部１５２および通信部１６２を介して情報端末１２へ送信する。なお、評価処理部１４６が情報端末１２に対して解析や評価の結果としてどの情報を送信するかは様々な仕様が考え得る。例えば、評価処理部１４６が評価結果の表示画面自体を生成して画面のデータを情報端末１２に送信する仕様でもよいし、解析値Ｐ、回帰方程式、標準偏差ＳＤを送信して情報端末１２の側で仮定値Ｅや標準偏差ＳＤに基づく評価を判定させる仕様でもよい。あるいは、あらかじめ情報端末１２の側に回帰方程式および標準偏差ＳＤを記憶させておき、解析値Ｐのみを送信して情報端末１２の側で評価を判定させる仕様でもよい。なお、変形例として、回帰分析を用いない評価方法によって被検者の解析値Ｐを評価する仕様としてもよい。例えば、各種ランニングフォームパラメータの統計として、性別、年齢、身長、体重等の属性別で分類した各パラメータの平均値を記憶しておき、それぞれ平均値との大小を比較することで評価を決定してもよい。

図５は、動作状態評価プログラムのメニュー画面例を模式的に示す。情報端末１２のタッチパネル６０の画面において、動画撮影ボタン３００、撮影動画一覧ボタン３０２、設定ボタン３０４が表示される。ユーザが動画撮影ボタン３００を押下（タップ）すると、撮像部２２による動画撮影に移行し、撮影された動画像を画像取得部２０が取得する。ユーザが撮影動画一覧ボタン３０２を押下すると、画像記憶部２４に記憶された撮影動画が一覧表示され、その一覧から選択された動画像を画像取得部２０が取得する。ユーザが設定ボタン３０４を押下すると、ユーザＩＤやパスワード、身長などを設定する画面に移行し、これらの情報を登録または変更をすることができる。

図６は、動画像の解析および評価を開始する画面例を模式的に示す。情報端末１２のタッチパネル６０の画面において、動画再生画面２２２、解析開始ボタン３０６、解析評価一覧ボタン３０８が表示される。動画再生画面２２２には撮影動画が再生表示される。ユーザが解析開始ボタン３０６を押下すると、撮影動画が評価サーバ１４へ転送されて解析と評価の処理が開始される。ユーザが解析評価一覧ボタン３０８を押下すると、解析と評価の履歴が一覧表示され、過去の解析や評価を表示させることができる。

（動画再生画面）
図７は、動画像および評価結果を表示する画面例を示す。図７の画面は画面生成部４８により生成される。画面上半分の動画再生画面２２２には、撮影された被検者の動画像およびその解析結果が表示される。解析結果としては、例えば動画像において頭頂部が移動した軌跡を示す上下動軌跡２２３の線や、被検者の頭、腕、脚の位置や角度を強調するための頭部強調線２２４、腕部強調線２２５、脚部強調線２２６を被検者の画像に動的に重ね合わせて表示する。このとき、図３のように、複数の身体特徴点およびそれらを結ぶ身体部位の線をスティックピクチャーとして被検者の画像に動的に重ね合わせて表示してもよい。被検者の動作や解析結果を視認しやすくするために、動画をスローモーションで再生してもよい。以上により、フォームの特徴を視覚的に把握しやすくすることができる。

（評価画面）
画面下半分の評価画面２２０においては、各種ランニングフォームパラメータの解析値および評価結果を表示するためのストライド表示欄２３０ａ、ピッチ表示欄２３０ｂ、上下動表示欄２３０ｃ、体幹前傾表示欄２３０ｄ、肩関節可動域表示欄２３０ｅ、股関節可動域表示欄２３０ｆが含まれる他、ランニングフォーム全体の傾向に関する評価結果を表示するための全体評価表示欄２３１が含まれる。

例えば、ストライド表示欄２３０ａには、ストライドの解析値Ｐとして「１２０ｃｍ」が表示されるとともに、右側の評価ゲージ２３２ａの右端に星印２３４ａが表示される。評価ゲージは、左範囲、中央範囲、右範囲の３領域に分割される。中央範囲は仮定値Ｅ±１ＳＤの「標準」範囲であり、左範囲は回帰方程式から求まる仮定値Ｅ−３ＳＤ（標準偏差の３倍）からＥ−１ＳＤまでの「標準より小」範囲であり、右範囲は仮定値Ｅ＋１ＳＤからＥ＋３ＳＤまでの「標準より大」範囲である。星印２３４ａが評価ゲージ２３２ａの右端に表示されることは「標準より大」の評価を示している。

ピッチ表示欄２３０ｂには、ピッチの解析値Ｐとして「１８０／ｍｉｎ」が表示されるとともに、右側の評価ゲージ２３２ｂの左範囲に星印２３４ｂが表示される。星印２３４ｂの位置は「標準より小」の評価を示す。上下動表示欄２３０ｃには、上下動の解析値Ｐとして「１０ｃｍ」が表示されるとともに、右側の評価ゲージ２３２ｃの右範囲に星印２３４ｃが表示される。星印２３４ｃの位置は「標準より大」の評価を示す。体幹前傾表示欄２３０ｄには、体幹の前傾角度の解析値Ｐとして「７°」が表示されるとともに、右側の評価ゲージ２３２ｄの中央範囲に星印２３４ｄが表示される。星印２３４ｄの位置は「標準」の評価を示す。肩関節可動域表示欄２３０ｅには、腕の振り幅の角度範囲の解析値Ｐとして「６０°」が表示されるとともに、右側の評価ゲージ２３２ｅの中央範囲に星印２３４ｅが表示される。星印２３４ｅの位置は「標準」の評価を示す。股関節可動域表示欄２３０ｆには、脚の振り幅の角度範囲の解析値Ｐとして「４５°」が表示されるとともに、右側の評価ゲージ２３２ｆの右範囲に星印２３４ｆが表示される。星印２３４ｆの位置は「標準より大」の評価を示す。

ランニングフォームパラメータのうち、ストライドが「標準より大」で、ピッチが「標準より小」または「標準」の場合に、全体評価表示欄２３１には「ストライド型の傾向が見られます。」の評価が表示される。逆に、ストライドが「標準より小」または「標準」で、ピッチが「標準より大」の場合に、全体評価表示欄２３１には「ピッチ型の傾向が見られます。」の評価が表示される。このように、ユーザは、統計上の標準値、中央値、平均値との比較で自分自身のフォームの特徴を定量的かつ客観的に把握することができる。

なお、評価ゲージ２３２の左範囲、中央範囲、右範囲はそれぞれに異なる彩色を施して視覚的に区別容易にしてもよい。例えば、左範囲が青、中央範囲が黄色、右範囲が赤をそれぞれ中心とし、評価ゲージ２３２の左端から右端へ向けて色彩が徐々に変化するグラデーション表示としてもよい。これにより、フォームの特徴を視覚的に把握しやすくすることができる。評価処理部１４６は、故障リスクやランニングエコノミー（走行効率性）をさらに評価し、その評価結果を図７のように画面に表示させてもよい。

（故障リスク評価）
評価処理部１４６は、ランニングフォームパラメータに基づいて故障リスクを評価してもよい。例えば、多数の走者のランニングフォームパラメータと故障の有無に関する情報に基づいて各パラメータと故障の関係性を統計分析によってあらかじめ割り出す。すなわち、故障の有無を目的変数とし、ランニングフォームパラメータを説明変数にして、統計分析を行うことで故障のリスクを算出する故障関数を作成して、基準記憶部１３２に記憶させる。評価処理部１４６は、各種ランニングフォームパラメータの解析値Ｐを故障関数に代入して故障リスクの有無を評価する。これにより、動画像の画像解析をするだけでユーザは自身の故障リスクを定量的かつ容易に認知することができ、故障の未然回避に繋げることが期待できる。

（ランニングエコノミー評価）
評価処理部１４６は、ランニングフォームパラメータに基づいてランニングエコノミーを評価してもよい。ランニングエコノミーは、一定速度での走行に必要なエネルギーないし酸素摂取量が少ないほど高効率とする指標である。例えば、多数の走者のランニングフォームパラメータと各走者のランニングエコノミーの関係性を統計分析によってあらかじめ割り出す。すなわち、ランニングエコノミー（最大下の所定速度での走行における酸素摂取量）を目的変数とし、ランニングフォームパラメータを説明変数にして、統計分析を行うことでランニングエコノミーを算出するエコノミー関数を作成して、基準記憶部１３２に記憶させる。評価処理部１４６は、各種ランニングフォームパラメータの解析値Ｐをエコノミー関数に代入してランニングエコノミーを推定し、効率性を評価する。さらに、評価処理部１４６は、推定したランニングエコノミーに基づいてマラソンタイムを推定してもよい。例えば、多数の走者のランニングエコノミーと各走者のマラソンタイムの関係性を統計分析によってあらかじめ割り出す。すなわち、マラソンタイムを目的変数とし、ランニングエコノミー（最大下の所定速度での走行における酸素摂取量）を説明変数にして、統計分析を行うことでマラソンタイムを算出するマラソンタイム関数を作成して、基準記憶部１３２に記憶させる。この場合、マラソンタイム関数の説明変数にエコノミー関数を用いることで、各種ランニングフォームパラメータからマラソンタイムを推定する関数を導き出すことができる。評価処理部１４６は、各種ランニングフォームパラメータの解析値Ｐをエコノミー関数に代入して得られたランニングエコノミーの値をさらにマラソンタイム関数に代入してマラソンタイムを推定することができる。このように、動画像の画像解析をするだけでユーザは簡単に自身の効率性やマラソン推定タイムを知ることができ、効率性向上とタイム向上に資することができる。

（フォーム比較）
動画再生画面２２２において、被検者の動画像だけでなく、他者の動画像やユーザの過去の動画像を今回の被検者の動画像と比較可能な態様で再生表示させてもよい。例えば、手本となる模範走者の動画像およびその身体特徴点の情報を情報記憶部３４または情報記憶部１３４に記憶させておき、被検者の動画像に代えて、もしくは被検者の動画像と並べて、模範走者の動画像とそのスティックピクチャーを再生表示する。ユーザの過去の動画像を履歴として記憶する場合、現在と過去の動画像とそのスティックピクチャーを比較可能な態様で再生してもよい。また、被検者の動画像に他者や過去の自身の動画を重ね合わせて表示してもよい。その場合、重ね合わせるいずれかの動画像を透過させてもよい。また、スティックピクチャーも重ね合わせて表示してもよいし、動画像に代わりスティックピクチャーのみを重ね合わせて表示してもよい。あるいは、動画像やスティックピクチャーの代わりに、動画エフェクトとして、アニメーションのキャラクターを重ね合わせて表示してもよい。このように、ユーザは理想的なフォームと自身のフォームを視覚的かつ容易に対比することができ、フォーム改善に資することができる。また、自身のフォームの変化を視覚的かつ容易に把握することができる。

（評価スコア比較）
評価処理部１４６は、解析値Ｐと仮定値Ｅの差分の標準偏差ＳＤに対する比に基づいて評価スコアを算出することにより、評価を数値化してもよい。ランニングフォームパラメータごとに評価スコアを算出し、評価スコアの合計によって他者の評価スコアまたは過去の自分の評価スコアと比較して評価画面２２０に表示させてもよい。また、他者の評価スコアや過去の自分の評価スコアとの比較をランキング表示にしてもよい。このように、ユーザは自身のフォームの変化を定量的かつ容易に確認することができる。

以上のように、解析結果や評価結果は、情報端末１２の画面に結果表示をすることでユーザにフィードバックされる。画面表示以外のフィードバック方法としては、評価処理部１４６が算出した評価スコアが低いランニングフォームパラメータについて、音声や振動によってフィードバックすることも可能である。例えば、ストライド、上下動、ピッチ、体幹の前傾角度等の各パラメータの解析値Ｐと仮定値Ｅの差分が標準偏差ＳＤより大きい場合、ランニングのログを記録するアプリケーションプログラムにおいて、ランニング開始前やランニング中に音声フィードバックや振動フィードバックでユーザに注意喚起するといった態様である。それらの場合、例えばストライドが大きすぎると評価されたユーザには「ストライドを抑えることを意識しましょう」といったセリフの音声フィードバックを出力し、上下動が大きいと評価されたユーザには「上下動を抑えることを意識しましょう」といったセリフの音声フィードバックを出力する。例えばピッチが少なすぎる、または多すぎると評価されたユーザには、現在の走行速度に応じて最適なピッチの時間間隔にて音声や振動を起こしてユーザに理想的なピッチを認識させることができる。例えば、体幹の前傾角度が小さすぎる、または、大きすぎると評価されたユーザには、前傾角度を測定するセンサの購入および装着を勧めた上で、センサを装着してランニングをする間に前傾角度が小さすぎる、または、大きすぎる状態となったときに音声や振動を起こしてユーザに注意喚起することができる。

（アドバイス情報）
図８は、アドバイス情報を表示する画面例の図である。情報記憶部１３４は、動作の評価結果との対応で運動における動作に関連するアドバイス情報を記憶する。評価処理部１４６は、被検者の動作を評価した結果に対応するアドバイス情報を情報記憶部１３４から抽出する。抽出されたアドバイス情報は、出力部１５２および通信部１６２を介して情報端末１２へ送信される。図８のような画面は画面生成部４８によって生成される。情報端末１２の画面には、改善情報欄２４０、推奨運動情報欄２４２、推奨用具情報欄２４４が表示される。改善情報欄２４０には、アドバイス情報としてランニングフォームにおいて改善すべき点の説明が表示される。推奨運動情報欄２４２には、アドバイス情報として推奨されるトレーニング内容の説明が表示される。推奨用具情報欄２４４には、アドバイス情報として推奨されるランニングシューズの説明が表示される。以上により、ユーザはランニングフォームの現状把握だけでなく、フォーム改善に向けたアドバイスとして、改善すべき点、効果的なトレーニング方法、適切な用具を把握することができ、改善を促進することができる。

図９は、図８の推奨運動情報欄２４２に表示する推奨トレーニング内容の選択基準として定められたトレーニング選択テーブルを模式的に示す図である。トレーニング選択テーブル２５０は基準記憶部１３２にあらかじめ記憶される。本図のトレーニング選択テーブル２５０には、４つの選択パターンを例示する。第１のパターンは、ストライドが「標準より小」と評価された場合に選択され、推奨トレーニングとして「トレーニングＮｏ．１」を図８の推奨運動情報欄２４２に表示させる。第２のパターンは、体幹の前傾角度が「標準より大」と評価された場合に選択され、推奨トレーニングとして「トレーニングＮｏ．２」を図８の推奨運動情報欄２４２に表示させる。第３のパターンは、上下動が「標準より大」と評価された場合に選択され、推奨トレーニングとして「トレーニングＮｏ．３」を図８の推奨運動情報欄２４２に表示させる。第４のパターンは、腕の振り幅が「標準より小」と評価された場合に選択され、推奨トレーニングとして「トレーニングＮｏ．４」を図８の推奨運動情報欄２４２に表示させる。

図１０は、図８の推奨用具情報欄２４４に表示する推奨シューズの選択基準として定められたシューズ選択テーブルを模式的に示す図である。シューズ選択テーブル２６０は基準記憶部１３２にあらかじめ記憶される。本図のシューズ選択テーブル２６０には、１２の選択パターンを例示する。各選択パターンには、被検者であるユーザのマラソンタイムのゾーン、通常時のランニングペースのゾーン、フォームのタイプが対応づけられており、シューズごとの推奨ランナーレベルが設定されている。例えば、第１，２のパターンにはマラソンタイムとして２時間３０分未満が対応づけられ、第３，４のパターンにはマラソンタイムとして２時間３０分〜３時間が対応づけられ、第５，６のパターンにはマラソンタイムとして３時間〜３時間３０分が対応づけられ、第７，８のパターンにはマラソンタイムとして３時間３０分〜４時間が対応づけられ、第９，１０のパターンにはマラソンタイムとして４時間〜４時間３０分が対応づけられ、第１１，１２のパターンにはマラソンタイムとして４時間３０分以上が対応づけられる。ただし、ユーザがマラソン未経験の場合やマラソンタイムを失念した場合など、マラソンタイムが不明なときは通常時のランニングペースに応じて選択できるよう、通常ペースが対応づけられている。例えば、例えば、第１，２のパターンにはキロ４分未満が対応づけられ、第３，４のパターンにはキロ４〜４．５分が対応づけられ、第５，６のパターンにはキロ４．５〜５分が対応づけられ、第７，８のパターンにはキロ５〜５．５分が対応づけられ、第９，１０のパターンにはキロ５．５〜６分が対応づけられ、第１１，１２のパターンにはキロ６分以上が対応づけられる。

第１，３，５，７のパターンは、ランニングフォームが「ストライド型」と評価された場合に対応づけられ、第２，４，６，８のパターンは、ランニングフォームが「ピッチ型」と評価された場合に対応づけられる。また、第９，１１のパターンは、ランニングフォームが「オーバープロネーション」（過回内）と評価された場合に対応づけられ、第１０，１２のパターンは、ランニングフォームが「アンダープロネーション」（過回外、サピネーション）と評価された場合に対応づけられる。

以上の判断基準により、被検者のマラソンタイムまたは通常ペースに応じて推奨シューズのパターン候補が２つに絞られ、さらにフォームに応じて１つの推奨シューズが選択され、図８の推奨用具情報欄２４４に表示される。

図１１は、情報端末１２と評価サーバ１４の間のデータフローと、動画像の解析および評価の処理過程を示すフローチャートである。まず、画像取得部２０が被検者の動画像を取得し（Ｓ１０）、出力部５２および通信部６２が動画像を評価サーバ１４へ転送する（Ｓ１２）。受信した動画像から特徴推定部１４２が複数の身体特徴点を推定し（Ｓ１４）、動作解析部１４４が画像上の身長Ｈを計測し（Ｓ１６）、あらかじめ記憶された被検者の身長との比により変換係数Ｓを算出する（Ｓ１８）。動作解析部１４４は、各種ランニングフォームパラメータの値を動画像から解析し、長さの値には変換係数Ｓを乗じて解析値Ｐを算出する（Ｓ２０）。評価処理部１４６は、各種ランニングフォームパラメータごとの回帰方程式に説明変数である身体的状態に基づく値を代入してパラメータごとの仮定値Ｅを算出し（Ｓ２２）、パラメータごとの解析値Ｐがそれぞれの仮定値Ｅ±標準偏差ＳＤの範囲内か否かによって評価をする（Ｓ２４）。評価処理部１４６は、評価結果に応じてアドバイス情報を抽出し（Ｓ２６）、出力部１５２および通信部１６２が解析結果、評価結果、アドバイス情報を情報端末１２へ送信し（Ｓ２８）、画面生成部４８が生成した結果表示の画面を出力部５２がタッチパネル６０に表示させる（Ｓ３０）。

なお、第１実施形態の変形例として、評価処理部を評価サーバ１４側だけでなく情報端末１２側にも設けるとともに、基準記憶部３２がアドバイス情報を記憶する仕様としてもよい。その場合、評価サーバ１４側の評価処理部１４６が各種ランニングフォームパラメータの評価を実行し、その評価結果をもとに、情報端末１２側の評価処理部が評価結果に対応するアドバイス情報を情報記憶部３４から抽出して画面に表示させることとしてもよい。

（第２実施形態）
図１２は、第２実施形態における情報端末１２および解析サーバ１６の基本構成を示す機能ブロック図である。本実施形態における動作状態評価システム１０は、情報端末１２と解析サーバ１６で構成される点と、「評価処理部」がサーバ側（解析サーバ１６）ではなく情報端末１２に設けられている点で、第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、共通点の説明を省略する。

動作解析部１４４により解析された各種ランニングフォームパラメータの解析値Ｐは、出力部１５２および通信部１６２により情報端末１２へ送信される。情報端末１２の基準記憶部３２は、運動速度や身長等の身体的状態に基づく値Ｖを説明変数とし、各種ランニングフォームパラメータの仮定値Ｅを目的変数とする回帰方程式（Ｅ＝ａＶ＋ｂ）および標準偏差ＳＤをランニングフォームパラメータごとに記憶する。評価処理部４６は、説明変数である身体的状態に基づく値を回帰方程式に代入して各種ランニングフォームパラメータの仮定値Ｅを算出し、評価サーバ１４から送信された解析値Ｐと仮定値Ｅの差が標準偏差内であるか否かにしたがって被検者の動作を評価する。解析結果および評価結果は結果記憶部３６に記録される。

情報記憶部３４は、動作の評価結果との対応で運動における動作に関連するアドバイス情報を記憶する。データ処理部４０は、評価処理部４６、機能制御部４７、画面生成部４８を有する。評価処理部４６は、被検者の動作を評価した結果に対応するアドバイス情報を情報記憶部３４から抽出する。抽出されたアドバイス情報は、画面生成部４８が生成する画面において表示される。

図１３は、情報端末１２と解析サーバ１６の間のデータフローと、動画像の解析および評価の処理過程を示すフローチャートである。まず、画像取得部２０が被検者の動画像を取得し（Ｓ１０）、出力部５２および通信部６２が動画像を評価サーバ１４へ転送する（Ｓ１２）。受信した動画像から特徴推定部１４２が複数の身体特徴点を推定し（Ｓ１４）、動作解析部１４４が画像上の身長Ｈを計測し（Ｓ１６）、あらかじめ記憶された被検者の身長との比により変換係数Ｓを算出する（Ｓ１８）。動作解析部１４４は、各種ランニングフォームパラメータの値を動画像から解析し、長さの値には変換係数Ｓを乗じて解析値Ｐを算出する（Ｓ２０）。出力部１５２および通信部１６２が解析結果を情報端末１２へ送信し（Ｓ２１）、評価処理部４６は、各種ランニングフォームパラメータごとの回帰方程式に説明変数である身体的状態に基づく値Ｖを代入してパラメータごとの仮定値Ｅを算出し（Ｓ２２）、パラメータごとの解析値Ｐがそれぞれの仮定値Ｅ±標準偏差ＳＤの範囲内か否かによって評価をする（Ｓ２４）。評価処理部４６は、評価結果に応じてアドバイス情報を抽出し（Ｓ２６）、画面生成部４８が生成した結果表示の画面を出力部５２がタッチパネル６０に表示させる（Ｓ３０）。以上のような態様においても、特別な機材を用いることなく、スマートフォンに内蔵されたカメラのように一般に普及しているデバイスを用いた画像解析によってランニングフォームの改善を容易にすることができる。

（第３実施形態）
図１４は、第３実施形態における情報端末１２および解析サーバ１６の基本構成を示す機能ブロック図である。本実施形態における動作状態評価システム１０は、情報端末１２と解析サーバ１６で構成される点と、「動作解析部」および「評価処理部」がサーバ側（解析サーバ１６）ではなく情報端末１２に設けられている点で、第１実施形態と相違する。また、「動作解析部」がサーバ側（解析サーバ１６）ではなく情報端末１２に設けられている点で、第２実施形態とも相違する。以下、第１実施形態および第２実施形態との相違点を中心に説明し、共通点の説明を省略する。

特徴推定部１４２によって推定された複数の身体特徴点の座標データは、出力部１５２および通信部１６２により情報端末１２へ送信される。情報端末１２の基準記憶部３２は基準長さとして被検者の身長をあらかじめ記憶する。データ処理部４０は、動作解析部４４、評価処理部４６、機能制御部４７、画面生成部４８を有する。動作解析部４４は、複数の身体特徴点の座標データに基づき、画像上で推定された所定の関節間の距離に基づく被験者の身長分に相当する画像上の身長Ｈを求める。動作解析部４４は、求めた画像上の身長Ｈと、基準記憶部３２があらかじめ記憶する基準長さとしての被検者の身長の比を求め、これを画像上の距離をメートル単位系に変換する変換係数Ｓとする。動作解析部４４は各種ランニングフォームパラメータを動画像から解析し、長さの値に変換係数Ｓを乗じることで、実世界におけるメートル単位系でのランニングフォームパラメータの解析値Ｐを求める。

評価処理部４６は、説明変数である身体的状態に基づく値Ｖを所定の回帰方程式に代入して各種ランニングフォームパラメータの仮定値Ｅを算出し、動作解析部４４により算出された解析値Ｐと仮定値Ｅの差が標準偏差内であるか否かにしたがって被検者の動作を評価する。解析結果および評価結果は結果記憶部３６に記録される。評価処理部４６は、被検者の動作を評価した結果に対応するアドバイス情報を情報記憶部３４から抽出する。抽出されたアドバイス情報は、画面生成部４８が生成する画面において表示される。

図１５は、情報端末１２と解析サーバ１６の間のデータフローと、動画像の解析および評価の処理過程を示すフローチャートである。まず、画像取得部２０が被検者の動画像を取得し（Ｓ１０）、出力部５２および通信部６２が動画像を評価サーバ１４へ転送する（Ｓ１２）。受信した動画像から特徴推定部１４２が複数の身体特徴点を推定する（Ｓ１４）。出力部１５２および通信部１６２が複数の身体特徴点の座標データを情報端末１２へ送信し（Ｓ１５）、動作解析部４４が画像上の身長Ｈを計測し（Ｓ１６）、あらかじめ記憶された被検者の身長との比により変換係数Ｓを算出する（Ｓ１８）。動作解析部４４は、各種ランニングフォームパラメータの値を動画像から解析し、長さの値には変換係数Ｓを乗じて解析値Ｐを算出する（Ｓ２０）。評価処理部４６は、各種ランニングフォームパラメータごとの回帰方程式に説明変数である身体的状態に基づく値Ｖを代入してパラメータごとの仮定値Ｅを算出し（Ｓ２２）、パラメータごとの解析値Ｐがそれぞれの仮定値Ｅ±標準偏差ＳＤの範囲内か否かによって評価をする（Ｓ２４）。評価処理部４６は、評価結果に応じてアドバイス情報を抽出し（Ｓ２６）、画面生成部４８が生成した結果表示の画面を出力部５２がタッチパネル６０に表示させる（Ｓ３０）。以上のような態様においても、特別な機材を用いることなく、スマートフォンに内蔵されたカメラのように一般に普及しているデバイスを用いた画像解析によってランニングフォームの改善を容易にすることができる。

（第４実施形態）
図１６は、第４実施形態における情報端末１２および管理サーバ１８の基本構成を示す機能ブロック図である。本実施形態における動作状態評価システム１０は、情報端末１２と管理サーバ１８で構成される点と、「特徴推定部」「動作解析部」「評価処理部」がサーバ側（管理サーバ１８）ではなく情報端末１２に設けられている点で、第１〜３実施形態と相違する。以下、第１〜３実施形態との相違点を中心に説明し、共通点の説明を省略する。

本実施形態においては、画像取得部２０によって取得された動画像は、解析対象としてサーバ側（管理サーバ１８）には転送されず、情報端末１２において解析および評価が処理される。データ処理部４０は、特徴推定部４２、動作解析部４４、評価処理部４６、機能制御部４７、画面生成部４８を有する。特徴推定部４２は、動画像から被検者の複数の身体特徴点を推定する。動作解析部４４は、複数の身体特徴点の座標データに基づき、画像上で推定された所定の関節間の距離に基づく被験者の身長分に相当する画像上の身長Ｈを求める。動作解析部４４は、求めた画像上の身長Ｈと、基準記憶部３２があらかじめ記憶する基準長さとしての被検者の身長の比を求め、これを画像上の距離をメートル単位系に変換する変換係数Ｓとする。動作解析部４４は各種ランニングフォームパラメータを動画像から解析し、長さの値に変換係数Ｓを乗じることで、実世界におけるメートル単位系でのランニングフォームパラメータの解析値Ｐを求める。

評価処理部４６は、説明変数である身体的状態に基づく値Ｖを所定の回帰方程式に代入して各種ランニングフォームパラメータの仮定値Ｅを算出し、動作解析部４４により算出された解析値Ｐと仮定値Ｅの差が標準偏差内であるか否かにしたがって被検者の動作を評価する。解析結果および評価結果は結果記憶部３６に記録される。評価処理部４６は、被検者の動作を評価した結果に対応するアドバイス情報を情報記憶部３４から抽出する。抽出されたアドバイス情報は、画面生成部４８が生成する画面において表示される。

管理サーバ１８のデータ記憶部１３０は情報記憶部１３４を有する。情報記憶部１３４には、ユーザのＩＤおよびパスワードが記憶され、機能制御部４７が管理サーバ１８に対してログインする場合に情報記憶部１３４に記憶されるＩＤおよびパスワードと照合される。

図１７は、情報端末１２における動画像の解析および評価の処理過程を示すフローチャートである。まず、画像取得部２０が被検者の動画像を取得し（Ｓ１０）、動画像から特徴推定部４２が複数の身体特徴点を推定し（Ｓ１４）、動作解析部４４が画像上の身長Ｈを計測し（Ｓ１６）、あらかじめ記憶された被検者の身長との比により変換係数Ｓを算出する（Ｓ１８）。動作解析部４４は、各種ランニングフォームパラメータの値を動画像から解析し、長さの値には変換係数Ｓを乗じて解析値Ｐを算出する（Ｓ２０）。評価処理部４６は、各種ランニングフォームパラメータごとの回帰方程式に説明変数である身体的状態に基づく値Ｖを代入してパラメータごとの仮定値Ｅを算出し（Ｓ２２）、パラメータごとの解析値Ｐがそれぞれの仮定値Ｅ±標準偏差ＳＤの範囲内か否かによって評価をする（Ｓ２４）。評価処理部４６は、評価結果に応じてアドバイス情報を抽出し（Ｓ２６）、画面生成部４８が生成した結果表示の画面を出力部５２がタッチパネル６０に表示させる（Ｓ３０）。以上のような態様においても、特別な機材を用いることなく、スマートフォンに内蔵されたカメラのように一般に普及しているデバイスを用いた画像解析によってランニングフォームの改善を容易にすることができる。

以上、本発明について実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下変形例を示す。

上述の各実施形態においては、ランニングフォームの解析に使用する例を説明したが、変形例においては、歩行フォームの解析や、他のスポーツのフォーム解析に応用してもよい。例えば、野球やゴルフのスイングフォーム、水泳のフォーム、スキーのフォームなどである。スポーツに限らず、ダンスやパフォーマンスなどの技芸のフォームに応用してもよい。

上述の各実施形態においては、基準長さとして、被検者の身長の情報を用いる例を説明したが、変形例においては、身長以外の身体部位の長さを基準長さとしてもよい。あるいは、身体部位以外の長さ、例えば所定長の物体を被検者が身につけた状態で動画像を撮影することで、その所定長を基準長さとしてもよい。

上述の各実施形態と変形例の任意の組み合わせもまた本発明の実施形態として有用である。組み合わせによって生じる新たな実施形態は、組み合わされる実施形態および変形例それぞれの効果をあわせもつ。

１０ 動作状態評価システム、 １２ 情報端末、 １４ 評価サーバ、 １６ 解析サーバ、 １８ 管理サーバ、 ２０ 画像取得部、 ３２ 基準記憶部、 ３４ 情報記憶部、 ４２ 特徴推定部、 ４４ 動作解析部、 ４６ 評価処理部、 ５２ 出力部、 １３２ 基準記憶部、 １３４ 情報記憶部、 １４２ 特徴推定部、 １４４ 動作解析部、 １４６ 評価処理部、 １５２ 出力部、 ２００ 動画像、 ２０２ 被検者。

本発明は、被検者の運動時のフォームを分析するシステムに関する。

Claims (11)

1. 被検者の動画像を取得する画像取得部と、
   前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、
   所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、
   前記推定された複数の身体特徴点から定まる前記基準部位に相当する画像上の距離と前記基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、
   前記動作状態を示す値を出力する出力部と、
   を備えることを特徴とする動作状態評価システム。
2. 前記特徴推定部は、前記複数の身体特徴点として、被検者の複数の関節位置を推定し、
   前記動作解析部は、画像上で推定された所定の関節間の距離と前記基準長さとの比に基づいて、被検者の動作状態を示す値を求めることを特徴とする請求項１に記載の動作状態評価システム。
3. 前記基準記憶部は、前記基準長さとして被検者の身長を記憶し、
   前記動作解析部は、前記複数の身体特徴点から定まる被検者の身長分に相当する画像上の距離と前記身長との比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の画像上の特徴点距離から被検者の動作状態を示す値を求めることを特徴とする請求項１または２に記載の動作状態評価システム。
4. 前記動作状態を示す値に基づいて被検者の動作を評価する評価処理部をさらに備え、
   前記動作状態を示す値は、被検者の運動時の所定動作の幅に基づく値を含み、
   前記基準記憶部は、複数の他の被検者の動画像を用いてあらかじめ解析して求めた運動時の所定動作の幅に基づく値と被検者の身体的状態に基づく値との間の回帰分析結果として、前記身体的状態に基づく値を説明変数とし前記所定動作の幅に基づく値を目的変数とする回帰方程式および標準偏差をさらに記憶し、
   前記評価処理部は、被検者の前記身体的状態に基づく値を前記回帰方程式に代入して前記所定動作の幅に基づく値の仮定値を算出し、被検者の動画像から解析した所定動作の幅に基づく値と前記仮定値の差が前記標準偏差内であるか否かにしたがって前記被検者の動作を評価し、
   前記出力部は、前記評価の結果を出力することを特徴とする請求項１から３のいずれかに記載の動作状態評価システム。
5. 動作の評価結果との対応で前記運動における動作に関連するアドバイス情報を記憶する情報記憶部をさらに備え、
   前記評価処理部は、前記被検者の動作を評価した結果に対応するアドバイス情報を前記情報記憶部から抽出し、
   前記出力部は、前記抽出されたアドバイス情報を出力することを特徴とする請求項４に記載の動作状態評価システム。
6. 被検者の動画像を取得する画像取得部と、
   所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、
   前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により推定された前記被検者の複数の身体特徴点から定まる前記基準部位に相当する画像上の距離と前記基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、
   前記動作状態を示す値を画面に表示する出力部と、
   を備えることを特徴とする動作状態評価装置。
7. 被検者の動画像を取得する画像取得部と、
   前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、
   所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、
   前記推定された複数の身体特徴点から定まる前記基準部位に相当する画像上の距離と前記基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、
   前記動作状態を示す値を画面に表示する出力部と、
   を備えることを特徴とする動作状態評価装置。
8. 被検者の動画像をネットワーク経由で所定の情報端末から受信する受信部と、
   前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、
   所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、
   前記推定された複数の身体特徴点から定まる前記基準部位に相当する画像上の距離と前記基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、
   前記動作状態を示す値を出力する出力部と、
   を備えることを特徴とする動作状態評価サーバ。
9. 画像取得部が被検者の動画像を取得する過程と、
   特徴推定部が前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する過程と、
   動作解析部が、前記推定された複数の身体特徴点から定まる所定の基準部位に相当する画像上の距離と、あらかじめ記憶された前記基準部位の実世界における長さである基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める過程と、
   出力部が前記動作状態を示す値を出力する過程と、
   を備えることを特徴とする動作状態評価方法。
10. 被検者の動画像を所定の撮像手段を介して取得する過程と、
    前記動画像をネットワーク経由で所定のサーバへ送信する過程と、
    前記サーバにおいて前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により推定された前記被検者の複数の身体特徴点から定まる所定の基準部位に相当する画像上の距離と、あらかじめ記憶された前記基準部位の実世界における長さである基準長さとの比に基づいて前記複数の身体特徴点の間の画像上の距離から求まる被検者の動作状態を示す値をネットワーク経由で受信する過程と、
    前記動作状態を示す値を画面に表示する過程と、
    を備えることを特徴とする動作状態評価プログラム。
11. 被検者の動画像を所定の撮像手段を介して取得する過程と、
    プロセッサの処理で前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する過程と、
    所定の基準部位の実世界における長さである基準長さを所定の記憶媒体から読み出す過程と、
    前記推定された複数の身体特徴点から定まる前記基準部位に相当する画像上の距離と前記基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値をプロセッサの処理で求める過程と、
    前記動作状態を示す値を画面に表示する過程と、
    を備えることを特徴とする動作状態評価プログラム。

Images