JPH10111940A - 身体特徴点検出装置および身体運動解析装置 - Google Patents

Abstract

(57)【要約】 【課題】 スポーツ分野などで使用される身体運動解析
装置において、非接触およびマーカーなしで、身体に関
する知識を利用しながら、身体特徴点を検出し、身体運
動の解析を行なうことを目的とする。 【解決手段】 撮影手段１で身体の運動を撮影し、身体
知識を利用しながら、身体抽出手段３で身体の抽出を
し、身体部品抽出手段４で身体の部品に分け、可視特徴
点検出手段５で見える身体特徴点を検出し、未知特徴点
検出手段６で隠れた身体特徴点を算出する。さらに、時
系列の身体特徴点データをもとに、身体運動解析手段１
０では、身体運動知識や運動環境知識を利用しながら、
身体運動の解析を行なっていく。さらに、身体運動解析
結果をもとに、アドバイス作成手段１２では熟練者身体
運動知識を利用しながら、使用者にアドバイスを与え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、身体や身体運動の
知識を利用することで、非接触、マーカーなしで、身体
の特徴点を検出し、検出結果に基づき身体運動の解析ま
でをおこない、スポーツトレーニング装置などに利用可
能な身体運動解析装置に関するものである。

【０００２】

【従来の技術】身体の特徴点を検出する方法として、磁
気センサを用いるものやマーカーをつけて撮影する方法
がある。

【０００３】磁気センサを用いるものとして、特開平５
−１８０８６１号公報記載のものがある。また、マーカ
ーを用いるものとして、特開平５−２７４４３４号公報
記載の発明などがある。

【０００４】

【発明が解決しようとする課題】従来の身体特徴点検出
装置では、身体の特徴点を検出するのに、磁気センサや
マーカーなどを用いていた。磁気センサでは、磁界の影
響を受けるほか、有線による動きの制限といった課題が
ある。また、マーカーを用いる処理では、動作者に装着
物などの制限を与えることになる。

【０００５】そこで、本発明では、動きや服装に制約を
持たせず、動作者が普通に動ける環境のもとで、身体特
徴点をとらえることを目的とする。

【０００６】また、従来の身体特徴点検出装置では、装
置の使用者の個人的な特徴まで考慮していなかった。

【０００７】そこで、本発明では、基準値との差異を計
算し、補正情報として持っておくことで、より正確な身
体特徴点検出を目的とする。

【０００８】また、従来の身体特徴点検出装置では、身
体特徴点が隠れた場合など、位置予測が正確とはいえな
かった。

【０００９】そこで、本発明では、身体特徴点の時系列
データをもとに、速度や加速度から正確な位置予測を行
なうことを目的とする。

【００１０】また、従来の身体運動解析装置では、体の
ある着目点における角度や位置の解析のみを行なってい
た。

【００１１】そこで、本発明では、身体運動の解析項目
を階層的に知識として持たせることで、多様な身体運動
の解析を行なうことを目的とする。

【００１２】また、従来の身体運動解析装置では、運動
能力向上のための手段などを用意してなかった。

【００１３】そこで、本発明では、身体運動の解析結果
をもとに、熟練者の動きに近付けるためのアドバイス作
成を行なうことを目的とする。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本願発明は、身体の運動を撮影する撮影手段と、身
体の知識を記憶する身体知識記憶手段と、撮影した画像
から身体部のみを抽出する身体抽出手段と、抽出した身
体部を、身体の部品に分ける身体部品抽出手段と、身体
の部品の中で画像中で見えている身体特徴点を身体の知
識を利用して検出する可視特徴点検出手段と、身体の部
品の中で画像中で見えない身体特徴点を検出する未知特
徴点検出手段と時系列の身体特徴点検出結果を記憶する
身体特徴点記憶手段を備えた身体特徴点検出装置であ
る。

【００１５】また、上記構成における、身体特徴点検出
装置に、装置の使用者の身体特徴を事前に検出する個人
身体特徴検出手段と、身体知識記憶手段に対しての補正
情報を記憶する個人身体知識記憶手段を付加して構成さ
れる身体特徴点検出装置である。

【００１６】また、上記構成における身体特徴点検出装
置に、身体特徴点記憶手段の時系列身体特徴点検出結果
を用い、身体特徴点の運動パラメータを計算する運動パ
ラメータ計算手段と運動パラメータ計算手段による計算
した運動パラメータを用いて身体特徴点の位置を計算す
る位置計算手段を付加して構成される身体運動解析装置
である。

【００１７】また、上記構成における、身体特徴点検出
装置に、身体運動の知識を記憶する身体運動知識記憶手
段と、運動に関する周囲の環境の知識を記憶する運動環
境知識記憶手段と、運動環境知識を考慮して、時系列の
身体特徴点データと身体運動の知識から、身体運動を解
析する身体運動解析手段を付加して構成される身体運動
解析装置である。

【００１８】また、上記構成における、身体運動解析装
置に、熟練者の身体運動の知識を記憶する熟練者身体運
動知識記憶手段と、身体運動解析結果をもとに、用途に
応じたアドバイスを与えるアドバイス作成手段を付加し
て構成される身体運動解析装置である。

【００１９】

【発明の実施の形態】

（実施の形態１）本発明の身体特徴点検出装置について
記述する。図１は発明の実施例の身体特徴点検出に関す
る部分のシステム構成図である。図１を参照して本実施
例の構成について説明する。

【００２０】身体の運動を撮影する撮影手段１、身体の
知識を記憶する身体知識記憶手段２、撮影した画像から
身体部のみを抽出する身体抽出手段３、抽出した身体部
を、身体の部品に分ける身体部品抽出手段４、身体の部
品の中で画像中で見えている身体特徴点を身体の知識を
利用して検出する可視特徴点検出手段５、身体の部品の
中で画像中で見えない身体特徴点を検出する未知特徴点
検出手段６、身体特徴点検出方法の結果を時系列の身体
特徴点データとして記憶する身体特徴点記憶手段７によ
り構成される。

【００２１】次に、本実施例の具体的な動作について、
図１を用いて説明する。撮影手段１により、何らかの身
体運動を行なっている人物を撮影する。ここでは、ラン
ニングマシーン上でランニングを行なっているとする。
人物は、白のランニングシャツ、黒の短パン、白のソッ
クスとシューズを身に付けているとする。また、撮影は
カメラの性能に応じて、１／３０（秒）や１／１２０
（秒）などのサンプリング間隔で取り込むことが可能で
ある。身体知識記憶手段２では、身体抽出のための肌や
服の色の特性や輪郭形状知識、身体部品抽出のための部
品位置関係や部品形状知識、特徴点検出のための特徴点
位置関係知識などを保持しておく。図２に身体部品知識
を、図３に身体特徴点知識を示す。身体抽出手段３で
は、取り込まれた画像に対して、輪郭抽出処理と色抽出
処理をかける。また、直前の画像との差分をとって、動
いている領域を抽出することも有効である。輪郭に囲ま
れる領域のうち、肌色領域と肌色領域にはさまれる服の
領域および、それに隣接する髪やシューズの領域を統合
していき、身体の抽出を行なう。図４に、身体抽出結果
を示す。

【００２２】次に、身体部品抽出手段４では、身体の部
品（頭部、胴体部、手、足など）の抽出できるものから
抽出していく。ここで、図２の身体部位知識の存在可能
位置や形状知識などを利用する。まず、形状変化のほと
んどない頭部と胴体部について抽出する。最大の面積を
取り四角形に近似できる胴体部と、顔の肌色と髪の黒を
含み円形に近似できる頭部を抽出する。手と足について
は、輪郭情報から連結した２つ（１つ）の長方形を、胴
体部からの分離を行ないながら抽出する。図５に、身体
部品抽出結果を示す。なお、ランニング用の服装以外で
も、色の特性の知識を持っておくことで、対応可能であ
る。図６に、ここで検出すべき身体特徴点を示す。この
特徴点は、用途によって必要な点が増減するが、ここで
は１４点としておく。各点の位置は、Ｐ１（頭部重
心）、Ｐ２（胴体部重心）、Ｐ３（右肩）、Ｐ４（右
肘）、Ｐ５（右手首）、Ｐ６（左肩）、Ｐ７（左肘）、
Ｐ８（左手首）、Ｐ９（右足の付け根）、Ｐ１０（右
膝）、Ｐ１１（右足首）、Ｐ１２（左足の付け根）、Ｐ
１３（左膝）、Ｐ１４（左足首）とする。可視特徴点検
出手段５では、身体部品抽出結果から、頭部や胴体部に
ついては、その領域の重心を求め、カメラごとの２次元
座標から、カメラ間の視差などを用いて３次元座標に変
換する。手や足についても可視特徴点については、図３
の身体特徴点知識を利用して、胴体部との接続関係など
から肩や肘を推測していく。図６では、足の付け根のみ
が、膝が上がっているために隠れている状態である。こ
のため、これ以外の特徴点は、すべて３次元座標が得ら
れる。未知特徴点検出手段６では、未知特徴点であるＰ
１２の左足の付け根の座標を求める。身体特徴点知識と
して、足の付け根は、胴体部に接触し、膝と連結関係に
あり、膝との距離は４０ｃｍであるということを利用し
て、Ｐ１２の左足の付け根の座標を求める。このように
して、各特徴点において得られた結果は、図７のｔ０の
ようになる。身体特徴点記憶手段７では、この結果をフ
レームごとに、すべて時系列に格納する。格納結果は、
図７のようになる。

【００２３】次に、個人の体格差などを事前に把握して
おくことで、より正確な人体解析を行える作用に関する
部分について述べる。図８は図１の身体特徴点検出装置
への付加部分のシステム構成図である。図８を参照し
て、構成について説明する。身体特徴点記憶手段７と、
身体知識記憶手段２の間に、装置の使用者の身体特徴を
事前に検出する個人身体特徴検出手段１３、身体知識記
憶手段に対しての補正情報を記憶する個人身体知識記憶
手段１４を付加して構成される。

【００２４】図８の個人身体特徴検出手段１３におい
て、身体特徴点記憶手段７に入ってきた情報を元に、個
人的な特徴をとらえるための連結部位間の距離などを算
出する。例えば、図７の実測値を使えば、Ｐ２とＰ３の
距離は１１．１ｃｍである。これらのサイズをすべての
連結部で計算していく。個人身体知識記憶手段１４で
は、実測値とあらかじめ入れてある基準値との差を計算
し、個人身体知識として格納していく。Ｐ２とＰ３の距
離については、図３の身体特徴点知識の基準値では、１
５ｃｍとなっている。よって、補正情報として−３．９
ｃｍを記憶し格納しておく。これによって、この人物が
使用している間はこの情報を常に使うことができる。

【００２５】次に、未知特徴点の検出を時系列情報を利
用して予測する部分について述べる。図９は図１の身体
特徴点検出装置への付加部分のシステム構成図である。
図９を参照して、構成について説明する。

【００２６】身体特徴点記憶手段７と、未知特徴点検出
手段６の間に、運動パラメータの一種である時系列点間
の速度を計算する速度計算手段７１と、運動パラメータ
の一種である時系列点間の加速度を計算する加速度計算
手段７２と、速度計算手段７１と加速度計算手段７２に
より計算した運動パラメータを用いて身体特徴点の位置
を計算する位置計算手段７３で構成する位置予測手段７
０を付加して構成される。

【００２７】図６で示した隠れがある場合に、図１の身
体特徴点検出装置に図９で示す位置予測手段７０を付加
することで、隠れ点である未知特徴点を検出する手がか
りになるデータを計算することができ、より正確に未知
特徴点を検出することができる。

【００２８】例えば、速度計算手段７１で速度データを
計算し、加速度計算手段７２で加速度データを計算す
る。位置計算手段７３で前記速度データと前記加速度デ
ータから位置の計算を行ない、得られた位置データを未
知特徴点検出手段６に送る。

【００２９】図１０はｔ３の時点で隠れなどで未知とな
ったＰ点の処理例であり、身体特徴点記憶手段７に記憶
されているＰ点のｔ０，ｔ１，ｔ２の時点の位置データ
をもとにＰ点の速度Ｖと加速度Ａを算出し未知となった
ｔ３の時点の位置を算出した例である。速度Ｖは速度計
算手段７１で１サンプリング前の位置データとその時点
の位置データの差分を取ることで速度データを計算し、
加速度Ａは加速度計算手段７２により前記速度データの
差分を取ることで加速度データを計算する。

【００３０】位置計算手段７３で、加速度一定の時の位
置予測の式である（数１）を用いてｔ３の位置を計算す
る。

【００３１】

【数１】

【００３２】計算したＰ点の予測位置データは未知特徴
点検出手段６に送り、身体知識と共に処理してより正確
な位置座標を求める。なお、（数１）のΔｔは単位時間
として処理している。

【００３３】また、位置計算手段７３での計算式は速度
一定時の位置予測式である（数２）を用いる方法や、人
体を機械のリンク機構とみなしＮｅｗｔｏｎ−Ｅｕｌｅ
ｒ法により身体特徴点の運動方程式を用いて位置予測を
行なうことも可能である。

【００３４】

【数２】

【００３５】（実施の形態２）本発明の身体運動解析装
置について記述する。図１１は発明の実施例の身体特徴
点検出に関する部分のシステム構成図である。図１１を
参照して本実施例の構成について説明する。図１の構成
に加えて、身体運動の知識を記憶する身体運動知識記憶
手段８、運動に関する周囲の環境の知識を記憶する運動
環境知識記憶手段９、運動環境知識を考慮して、時系列
の身体特徴点データと身体運動の知識から、身体運動を
解析する身体運動解析手段１０、熟練者の身体運動の知
識を記憶する熟練者身体運動知識記憶手段１１、身体運
動解析結果をもとに、用途に応じたアドバイスを与える
アドバイス作成手段１２により構成される。次に、身体
運動解析部分について説明していく。身体運動知識記憶
手段８では、基本的な運動について、その運動を解析す
るためのレベル別の関連解析項目知識、身体特徴点間の
関係などの知識を格納している。運動として、走る、投
げる、蹴るなど、走るという運動の中では、腕の振り、
歩幅、ピッチなど、また腕の振りの項目の中でも手首の
位置変化、腕の角度の変化、左右の腕の振るタイミング
などのように、使用者のレベルに応じて多くの項目に関
する知識を持つ。また、運動環境知識記憶手段９では、
ランニングマシーン上で走っている場合、サンプリング
間隔ごとのローラーの移動距離などのデータを、図７の
時間ごとのデータに対応させて格納しておく。他にも温
度や湿度といった運動環境に関係する知識も持たせてお
くことが可能である。ここで身体運動解析手段１０で基
本的な運動についての解析を行なっていく。例えば、走
るという動作における腕の振りについて、時系列の特徴
点データから解析していく。解析項目として、手首の位
置変化を考えてみる。時間ｔ（ｎ）から時間ｔ（ｎ＋
ｍ）に動いた時、時間ｔ（ｎ＋ｍ）における手首の位置
については、運動環境知識記憶手段９のローラーの移動
距離も考慮に入れて計算する。値の補正の結果を左手首
の位置（Ｐ８）を例に図１２に示す。このようにして、
２点間の実際の位置をもとめ、、その２点間の距離を見
ることにより、手首の位置変化量が求まる。つぎに、ア
ドバイス作成部分について説明していく。熟練者身体運
動知識記憶手段１０では、身体運動知識記憶手段８で有
していた項目に関しての熟練者のデータを知識として格
納しておく。アドバイス作成手段１１では、動作者の解
析結果と熟練者のデータを比較して、より熟練者に近付
くようなアドバイスを与える。例えば、動作者の腕の振
りを解析した結果、肩と肘と手首の作る角度が、６０°
〜１２０°の間でブレが計測されたとする。熟練者デー
タでは、８０°〜１００°のブレしかなかったとする。
このとき、アドバイスとして、「腕の角度は９０°位で
保持して下さい。」といったものを作成することが可能
となる。なお、身体運動解析、アドバイス作成ともに、
ランニング以外のラケットを使うスポーツなどにも適用
できる。

【００３６】

【発明の効果】本発明の身体特徴点検出装置によれば、
撮影した画像から身体部のみを抽出し、身体の部品に分
け、身体の部品の中で画像中で見えている部分と見えて
ない身体特徴点を身体の知識を利用して検出することに
より、動きや服装に制約を持たせず、動作者が普通に動
ける環境のもとで、身体特徴点をとらえることができる
という効果が得られる。

【００３７】また、装置の使用者が代わっても、個人の
身体特徴を基準値との差異を計算し、補正情報として持
っておくことで、より正確な身体特徴点検出ができると
いう効果が得られる。

【００３８】また、身体特徴点がカメラから隠れた場合
にも時系列の身体特徴点データから隠れた点の位置を予
測することができるという効果が得られる。

【００３９】また、記憶しておいた時系列の身体特徴点
データを元に、身体運動の知識と、運動に関する周囲の
環境の知識を利用して、身体運動を解析することによ
り、多様な解析ができるという効果が得られる。

【００４０】また、身体運動解析結果をもとに、熟練者
の身体運動の知識との比較によって、アドバイス作成を
行なうことで、効率の良いトレーニングができるという
効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の身体特徴点検出装置の
構成を示す図

【図２】本発明の実施の形態１の身体部品知識の図

【図３】本発明の実施の形態１の身体特徴点知識の図

【図４】本発明の実施の形態１の身体抽出結果を示す図

【図５】本発明の実施の形態１の身体部品抽出結果を示
す図

【図６】本発明の実施の形態１の身体特徴点を示す図

【図７】本発明の実施の形態１の時系列の身体特徴点検
出結果を示す図

【図８】本発明の実施の形態１の身体特徴点検出装置に
個人身体情報を処理する部分を付加した構成を示す図

【図９】本発明の実施の形態１の身体特徴点検出装置に
時系列データから未知身体特徴点を予測する部分を付加
した構成を示す図

【図１０】本発明の実施の形態１の位置予測手段の処理
例を示す図

【図１１】本発明の実施の形態２の身体運動解析装置の
構成を示す図

【図１２】本発明の実施の形態２の身体運動解析のため
の位置座標の補正を示す図

【符号の説明】

ｐ１ 身体特徴点（頭部重心） ｐ２ 身体特徴点（胴体部重心） ｐ３ 身体特徴点（右肩） ｐ４ 身体特徴点（右肘） ｐ５ 身体特徴点（右手首） ｐ６ 身体特徴点（左肩） ｐ７ 身体特徴点（左肘） ｐ８ 身体特徴点（左手首） ｐ９ 身体特徴点（右足の付け根） ｐ１０ 身体特徴点（右膝） ｐ１１ 身体特徴点（右足首） ｐ１２ 身体特徴点（左足の付け根） ｐ１３ 身体特徴点（左膝） ｐ１４ 身体特徴点（左足首）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 身体の運動を撮影する撮影手段と、身体
   の知識を記憶する身体知識記憶手段と、撮影した画像か
   ら身体部のみを抽出する身体抽出手段と、抽出した身体
   部を、身体の部品に分ける身体部品抽出手段と、身体の
   部品の中で画像中で見えている身体特徴点を身体の知識
   を利用して検出する可視特徴点検出手段と、身体の部品
   の中で画像中で見えない身体特徴点を検出する未知特徴
   点検出手段とを備えた身体特徴点検出装置。
2. 【請求項２】 時系列の身体特徴点検出結果を記憶する
   身体特徴点記憶手段を付加した請求項１記載の身体特徴
   点検出装置。
3. 【請求項３】 装置の使用者の身体特徴を事前に検出す
   る個人身体特徴検出手段と、身体知識記憶手段に対して
   の補正情報を記憶する個人身体知識記憶手段とを付加し
   た身体請求項２記載の特徴点検出装置。
4. 【請求項４】 位置予測手段を備え、前記位置予測手段
   は、身体特徴点記憶手段の時系列身体特徴点検出結果を
   用い、身体特徴点の運動パラメータを計算する運動パラ
   メータ計算手段と、運動パラメータ計算手段による計算
   した運動パラメータを用いて身体特徴点の位置を計算す
   る位置計算手段とを含むことを特徴とする請求項２また
   は３記載の身体特徴点検出装置。
5. 【請求項５】 運動パラメータとして、少なくとも身体
   特徴点の速度と加速度とを用いることを特徴とする請求
   項４の身体特徴点検出装置。
6. 【請求項６】 身体運動の知識を記憶する身体運動知識
   記憶手段と、運動に関する周囲の環境の知識を記憶する
   運動環境知識記憶手段と、運動環境知識を考慮して、時
   系列の身体特徴点データと身体運動の知識から、身体運
   動を解析する身体運動解析手段とを備えた身体運動解析
   装置。
7. 【請求項７】 熟練者の身体運動の知識を記憶する熟練
   者身体運動知識記憶手段と、身体運動解析結果をもと
   に、用途に応じたアドバイスを与えるアドバイス作成手
   段とを備えた身体運動解析装置。