JP4279079B2 - ゴルフスウィングの自動追尾方法 - Google Patents

Description

本発明は、ゴルフスウィングの自動追尾方法に関し、詳しくは、ゴルフクラブのシャフトあるいは／およびゴルファーの体に付された色付きのマークをカメラ撮影された画像上で自動追尾する方法に関するものである。

従来、ゴルフスウィングを解析する装置として、図７に示すような動作診断装置が特許２７９４０１８号公報に開示されている。
上記動作診断装置は、被診断者１のスウィング動作を撮影するＴＶカメラ２と、ＴＶカメラ２に接続された処理装置３と、診断結果を表示するＣＲＴ４などを備えており、被診断者１には、反射テープが張られた動作ポイントＰ₁〜Ｐ₆が設けられている。

処理装置３は、ＴＶカメラ２からの画像データをデジタル信号に変換する手段と、その画像データから動作ポイントＰ₁〜Ｐ₆の座標を抽出する手段と、各動作ポイントＰ₁〜Ｐ₆の座標から動作の特徴を示す数値データに演算する手段と、比較基準の数値データと比較して評価する手段と、該評価値に従って診断する手段とを有している。

そして、画像データ上の各動作ポイントＰ₁〜Ｐ₆には、動作ポイントＰ₁〜Ｐ₆を囲む窓枠が設定され、窓枠ごとに動作ポイントＰ₁〜Ｐ₆を認識して個別に追跡するようにしている。
また、特開２００１−６１４号公報や特開平９−１５４９９６号公報に開示されたスウィング解析装置では、手首等に軸方向を測定できるセンサを取り付けて手首関節角度等を求めたりして、プレーヤーの動きを検出しスウィングを分析している。

しかしながら、特許２７９４０１８号公報に開示された動作診断装置によれば、動作ポイントＰ₁〜Ｐ₆以外の背景画像に動作ポイントＰ₁〜Ｐ₆と似た輝度や色の部位が存在した場合には、背景画像と動作ポイントＰ₁〜Ｐ₆とを誤認識する恐れがある。また、被診断者１が実際にスウィング動作を行うと、腕の動きにより肩や腰等に付された動作ポイントＰ₃、Ｐ₄、Ｐ₆が隠れてしまい、動作ポイントＰ₁〜Ｐ₆の追跡エラーが発生して測定精度が低下する問題がある。

さらには、異なる動作ポイントＰ₁〜Ｐ₆がＴＶカメラ２から見て重なった場合にも、動作ポイントＰ₁〜Ｐ₆の追跡を失敗してしまう問題があると共に、動作ポイントＰ₁〜Ｐ₆が重ならなくても近接した場合には、上記した窓枠内に複数の動作ポイントＰ₁〜Ｐ₆が検知され、動作ポイントＰ₁〜Ｐ₆を誤認識してしまう恐れもある。

また、特開２００１−６１４号公報や特開平９−１５４９９６号公報では、センサを用いているために多数のポイントを測定することが困難となると共に、１箇所の動作を測定するとしても、被診断者の体にセンサを取り付けている影響で、被診断者の本来のスウィングとは異なるスウィングになる可能性がある。

特許２７９４０１８号公報 特開２００１−６１４号公報 特開平９−１５４９９６号公報

本発明は、上記問題に鑑みてなされたもので、計測対象のポイントが腕等により隠された場合や異なるポイント同士が重なり又は近接した場合等の追跡エラーを低減すると共に、ポイントと背景画像との誤認を防止することを課題としている。

上記課題を解決するため、本発明は、測定対象であるゴルファーがスウィングする前、ゴルファーのいずれか１ヶ所の部位およびゴルファーが使用するゴルフクラブの少なくとも１ヶ所の所要位置を含む複数位置に色付きのマークを取り付け、
ゴルファーが写らないスウィング場所の背景画像と、ゴルファーのスウィング時のアドレスからフィニッシュまでのスウィング動画像とを、カメラによってカラー画像で撮影し、
上記撮影した背景画像をコンピュータに記憶させると共に、上記スウィング動画像を複数の静止画像に変換してコンピュータに記憶させ、
上記静止画像のうち上記マークが全て見える特定の静止画像を基準画像とし、各マークの基準色情報と座標データ（位置情報）を予め手動あるいは自動で記憶させ、
上記静止画像の上記マーク位置毎に、該静止画像に時間的に隣接する静止画像上での予測されるマーク位置を含む領域である探索範囲と、該探索範囲の領域内に上記マークが見えない場合を想定して、同一コマの静止画像のままで上記探索範囲よりも大きい領域である待機範囲とを静止画像上に設定し、かつ、
上記探索範囲および待機範囲において、上記マークの基準色情報と同一色であると見なすことができる許容範囲である色範囲を設定し、上記背景画像で差分処理した差分後画像上のピクセル色と上記基準色情報との差の絶対値が上記色範囲内で且つ差が最小であるピクセルを上記マークの位置とみなして座標データを取得する色探索を行う設定とし、
静止画像の上記探索範囲で上記マークが見えない場合には、上記探索範囲を待機範囲に変更して探索領域を広げ、スウィング中に動く上記各マークを自動的に追尾することを特徴とするゴルフスウィングの自動追尾方法を提供している。

上記方法によると、上記マークの位置を検出するために上記基準色情報との差の絶対値が上記色範囲内であるか否かを判断する領域を全画面とせず、上記各マークの位置および上記マークが次の時刻で移動すると予測される位置を含む領域である探索範囲内および待機範囲内だけで判断しているので、上記マークと近似した色が静止画像中に含まれていても排除して誤認識を防止することができる。

また、上記静止画像の探索範囲内および待機範囲内のピクセルについて上記背景画像との差分処理を行って背景画像を排除することにより、探索範囲内および待機範囲内の背景画像中に上記マークの色と近似した色が存在しても排除して誤認識を防止することができる。

さらに、上記色範囲を設定することで同一色であると認識する色情報に幅をもたせているので、撮影されたマークの色がスウィング場所のライティングの影響等により微妙に変化する場合でも、当該マークの色であると確実に認識し、取得された色情報の誤差を許容することが可能となる。
また、通常は探索範囲を用いてマークを自動追尾しているが、マークがスウィングにより動かされた腕などで見えない場合には、上記探索範囲がより広い範囲である上記待機範囲に変更されるので、時間的に進めてマークが新たに見え始めた時に該範囲の外にマークが現れることが防止され、マークの再追尾を確実に行うことが可能となる。

また、上記マークの取付箇所は、少なくとも上記ゴルフクラブに２点必要であるが、また、ゴルファーについては少なくとも１箇所、より好ましくは少なくとも２箇所にマークを付していることが好ましく、さらに、左肘および左手首にマークを付していることが好ましい。
なお、上記基準画像は、ゴルファーがアドレス姿勢である静止画像を用いると好ましいが、該アドレス画像にて全てのマークを見つけることができない場合には、全てのマークを認識できる静止画像まで時間的に動かし、当該画像を基準色情報および座標データを取得する基準画像としており、このように、１枚目の静止画像を基準画像とできなかった場合には、上記追尾処理は時間的に進めて行うだけでなく、時間的に逆方向にも戻して行うこととする。

上記色付きのマークは、上記ゴルフクラブのシャフトの長さ方向に間隔をあけた少なくとも２箇所と、ゴルファーの頭・右肩・左肩・右肘・左肘・右手首・左手首・右腰・左腰・右膝・左膝・右足首・左足首・右足先・左足先から選ばれる少なくとも１箇所以上、より好ましくは２箇所以上に設けているとよい。
さらには、下半身の動きを見る場合は、両膝・両足首・両足先に設けているとさらに好ましい。
即ち、ゴルファーの体の関節部分にマークを設けていることで、ゴルファーのスウィング解析をより高精度に行うことができる。

上記探索範囲あるいは上記待機範囲において、上記基準色情報との差の絶対値が上記色範囲内で且つ差が最小であるピクセルを上記マークの位置とみなして座標データを取得する際に、上記背景画像との差分処理を行うか否かをマーク位置毎に選択可能としている。

上記のようにすると、例えば、探索範囲（あるいは待機範囲）内にマークの色と近似する色の背景画像が現れる可能性のある探索範囲（あるいは待機範囲）についてのみ背景画像との差分処理を行う一方、マークの色と近似した色の背景画像が現れる可能性の低い探索範囲については差分処理を行わないことにより、マークの認識率を低下させることなく計算速度を高めることができる。

上記複数のマークのうち、スウィング中に互いに近接あるいは重なるマークは異なる色に設定していると好適である。

即ち、近接あるいは重なる可能性のあるマーク同士を異なる色にすることで、１つの探索範囲内に上記各マークが入ってしまった場合でも、互いのマークを誤認識するのを防止することができる。

上記マークのうち１つを基準マークとして追尾して、時刻の異なる静止画像間での該基準マークの移動量を算出し、
別のマークを追尾する際に、上記基準マークの移動量と同じだけ該マークに対応する上記探索範囲を上記静止画像間で移動させて、該移動後の探索範囲内で色探索を行っている。

特に、上記基準マークはゴルファーの右手首あるいは左手首に設けたマーク、または、シャフトに取り付けた少なくとも２つのマークのうち手首に近いマークとすると共に、上記別のマークは上記ゴルフクラブのシャフトに設けたマークとしていると好ましい。

ゴルファーの手元（グリップ）とゴルフクラブとはほぼ同じような動きをするので、例えば、静止画像上において、右手首あるいは左手首に付された基準マーク、または、シャフトに取り付けた少なくとも２つのマークのうち手首に近いマークに付された基準マークの移動量と同じ量だけ、上記シャフトに付されたマークに対応する探索範囲を移動させれば、探索範囲内にてシャフトに付されたマークを色探索で認識できる可能性を高めることができる。しかも、認識率が向上することによって、探索範囲を狭く設定することも可能となり、計算時間を短縮化することもできる。

また、探索範囲での認識率が向上することで、結果として、ゴルファーの右手首あるいは／および左手首やシャフトに付されたマークの動きが最も速くなるインパクト直前の数コマの静止画像だけに、領域の大きな待機範囲が使用される傾向となり、待機範囲の使用頻度が低減されて無駄な探索時間を削減することも可能となる。

ある静止画像上において上記探索範囲内でマークを認識できなかった場合に、同一静止画像上で上記待機範囲に変更し、
上記待機範囲のうち上記色探索済みの探索範囲を除く領域を色探索するようにしている。

同一コマの静止画像で１つのマーク当たりに１つの探索範囲を設定した場合、特にゴルファーの手首やシャフトに付されたマークにおいて、動きの遅いテイクバックと動きの速いダウンスウィングとの両方で確実にマークを認識しようと思えば、動きの速いダウンスウィングを考慮に入れて探索範囲を大きく設定しなければならない。しかし、本発明では上記構成のように、領域の小さい探索範囲で色探索した結果、マークを認識できなかった場合には、同一コマの静止画像のままで領域の大きい待機範囲で色探索して、二段階の探索を行うようにしているので、通常の色探索に用いる探索範囲は小さく設定して無駄な計算時間を低減することができる。即ち、動きの遅いテイクバック等は小さい探索範囲でマークを認識して、動きの速いダウンスウィングでは探索範囲で認識できなかった場合に、領域の大きい待機範囲で色探索してマークの認識を図る。

以上の説明より明らかなように、本発明によれば、上記マークの位置を検出するための判断領域を全画面とせず、上記各マークの位置および上記マークが次の時刻で移動すると予測される位置を含む領域である探索範囲内だけで判断しているので、上記マークと近似した色が静止画像中に含まれていても排除して誤認識を防止できる。また、上記静止画像の探索範囲内のピクセルについて背景画像との差分処理を行って背景画像を排除することで、探索範囲内の背景画像中にマークの色と近似する色が存在しても排除して誤認識を防止できる。さらに、上記色範囲を設定してマークと同一色であると認識する色情報に幅をもたせているので、マークの色がスウィング場所のライティングの影響等により微妙に変化した場合でも、当該マークの色であると確実に認識することができる。

また、マークが腕等に隠されて見えない場合に上記探索範囲より広い範囲である待機範囲に変更することにより、時間的に進めてマークが新たに見え始めた時に該範囲の外にマークが現れることが防止され、マークの再追尾を確実に行うことができる。
さらに、探索範囲あるいは待機範囲内で上記背景画像との差分処理を行うか否かを選択可能とすることで、例えば、探索範囲あるいは待機範囲内にマークの色と近似する色の背景画像が現れる可能性のあるものについてのみ背景画像との差分処理を行うことで、マークの認識率を低下させることなく計算速度を高めることができる。
また、近接あるいは重なる可能性のあるマーク同士を異なる色にすることで、１つの探索範囲内に上記各マークが入ってしまった場合でも、互いのマークの誤認識を防止できる。

本発明の実施形態を図面を参照して説明する。
図１は第１実施形態のゴルフスイング自動追尾システムの概略図を示し、情報処理機器となるコンピュータ１４と、該コンピュータ１４に接続された表示手段であるモニター１６と、コンピュータ１４に接続された入力手段であるマウス１７およびキーボード１８と、コンピュータ１４に接続されゴルファー１５の正面位置に設置されたカラーＣＣＤカメラ１３とを備え、被診断者となるゴルファー１５には１７つのマークＭ１〜８、Ｍ１１〜１７が所要箇所に取り付けられていると共に、クラブ１１のシャフト１１ａには間隔をあけて２つのマークＭ９、Ｍ１０が取り付けられている。

マークＭ１〜Ｍ１７としては、反射テープやＬＥＤ（発光ダイオードの発光源）等を利用してもよいが、今回は半球状の発泡スチロールを着色したものを接着することで光の反射による色の変化を低減しており、各マークＭ１〜Ｍ１７の色の設定方法は、近接するマークやスウィング中に重なる可能性があるマークは同色にせずに色を異ならせている。例えば、頭のマークＭ１と左手首のマークＭ６、シャフト１のマークＭ９とシャフト２のマークＭ１０、シャフト１のマークＭ９およびシャフト２のマークＭ１０と両腰のマークＭ７、Ｍ８などである。
シャフト１とシャフト２のマークＭ９、Ｍ１０は、クラブ１１のグリップエンド寄りの位置に間隔をあけて取り付けている。グリップエンド寄りの方がヘッド寄りよりも移動速度が遅く追跡し易いからである。

具体的には、マークＭ１〜Ｍ１７の色は、頭のマークＭ１を青、右肩のマークＭ２を黄緑、左肩のマークＭ３をオレンジ、右肘のマークＭ４を黄、左肘のマークＭ５をピンク、左手首のマークＭ６を赤、右腰のマークＭ７を白、左腰のマークＭ８を黄緑、グリップエンド側のシャフト１のマークＭ９をピンク、ヘッド側のシャフト２のマークＭ１０を白、首のマークＭ１１を紫、右膝のマークＭ１２をオレンジ、左膝のマークＭ１３を赤、右足首のマークＭ１４を赤、左足首のマークＭ１５を白、右足先のマークＭ１６を青、左足先のマークＭ１７をオレンジとしている。

カラーＣＣＤカメラ１３は、アナログＣＣＤカメラを用いる場合には１秒間あたりコマ数が３０コマ以上で、好ましくは６０コマ以上とし、高速度デジタルＣＣＤカメラを用いる場合には、１秒間あたりのコマ数が６０コマ以上で、好ましくは１２０コマ以上、汎用のデジタルＣＣＤビデオカメラでは、１秒間あたりのコマ数が３０とし、シャッタースピードは１／５００ｓ、好ましくは１／１０００ｓ以下とする。

スウィングを撮影する空間（縦３×横３×高さ２ｍ）の明るさは、アナログＣＣＤカメラ使用時は１０００ルクス以上、高速度デジタルＣＣＤカメラ使用時は１５００ルクス以上の明るさが必要である。また、１０００あるいは２０００ルクス以上であっても、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、アナログＣＣＤカメラ使用時は１０００〜１５００ルクスの範囲、デジタルＣＣＤカメラでは１５００〜２５００ルクスの範囲内で均一の明るさをスウィング環境として設定することが好ましい。

カラーＣＣＤカメラ１３でスウィングを撮影する時間は、アドレスからフォロースルーまでの３秒程度であることが好ましい。しかし、アドレスからインパクトまでについて診断するので有れば、２秒程度でも構わない。
スウィングを撮影する空間の背景１２は、後述する背景差分によってゴルファー１５の肌色やマークＭ１〜Ｍ１７等を抽出しやすいように、極力、異なる色とすることが好ましい。

コンピュータ１４は、カラーＣＣＤカメラ１３とＬＡＮケーブルやＩＥＥＥ１３９４やＩ−ｌｉｎｋ等を用いてオンライン接続されており、カラーＣＣＤカメラ１３で撮影された画像をコンピュータ１４のハードディスクに保存している。
なお、ＤＶテープを利用して、後で再生しながらコンピュータに取り込む等して、オフラインで画像を取り込んでも構わない。
画像の保存形式は、画像の質を考慮するとＢＭＰ形式が好ましいが、ＪＰＥＧやＴＩＦＦ等のその他ファイル形式でも良い。

次に、カラーＣＣＤカメラ１３でコンピュータ１４に取り込んだスウィング画像から各マークＭ１〜Ｍ１７の座標を追跡する手順について図５のフロチャートを用いて説明する。
先ず、カラーＣＣＤカメラ１３でゴルファー１５が存在しない状態の背景１２のみを撮影した背景画像を読み込み（ステップ１００）、また、カラーＣＣＤカメラ１３からスウィング動画像をコンピュータ１４に取り込んで各コマ毎に静止画像に変換してハードディスクに保存する。ゴルファー１５のアドレスからフィニッシュ（またはインパクト）までのスウィングの各静止画像をメモリに読み込む（ステップ１０１）。

次いで、時系列的に１枚目の画像を基準画像として、図２に示すように、ゴルファー１５およびシャフト１１ａに取り付けられた全マークＭ１〜Ｍ１７をマウス１７を用いてクリックすることにより認識させる（ステップ１０２）。これにより、全マークＭ１〜Ｍ１７の基準色情報と座標データが取得される。（ここで、基準色情報とは、上記基準画像上でのマークＭ１〜Ｍ１７の色情報であるＲ（赤）Ｇ（緑）Ｂ（青）のことをいい、色が２４ビットで表現される場合は各色は０〜２５５までの値となる。）

この際、マークＭ１〜Ｍ１７の中に腕等で隠されて認識できないマークが存在する場合には、全マークＭ１〜Ｍ１７の認識ができるまで時間的に画像のコマを進めて（ステップ１０３）、特定の画像での全マークＭ１〜Ｍ１７の基準色情報と座標データを取得する。
なお、マウス１７を用いて手動で全マークＭ１〜Ｍ１７を認識させる代わりに、予め全マークＭ１〜Ｍ１７について色情報を入力しておき、自動で座標データを認識するようにしてもよい。

そして、マークＭ１〜Ｍ１７に、各マークＭ１〜Ｍ１７を中心として四角形の探索範囲Ｓ１〜Ｓ１７を設定すると共に、マークＭ１〜Ｍ１７が隠れた場合に探索範囲Ｓ１〜Ｓ１７の代わりに用い、探索範囲Ｓ１〜Ｓ１７より大きい範囲である待機範囲を設定する（ステップ１０４）。（なお、図２では隠れたマークＭ１〜Ｍ１７が存在しないため探索範囲Ｓ１〜Ｓ１７しか見られないが、上記待機範囲は、探索範囲Ｓ１〜Ｓ１７と同様に、個々のマークＭ１〜Ｍ１７に対して割り当てられるもので、それらの符号と対応して１７つの待機範囲Ｗ１〜Ｗ１７が用意されている。）
ここで、探索範囲Ｓ１〜Ｓ１７とは、マークＭ１〜Ｍ１７の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲Ｓ１〜Ｓ１７の概念を導入すれば、図３に示すように、ゴルファー１５の右腰に付された白色のマークＭ７とゴルファー１５が着ている白シャツ１５ａとの色が近似している場合であっても、マークＭ７の検出処理には探索範囲Ｓ７内しか行わないため、白シャツをマークＭ７と誤認識してしまうのを防止することが可能となる。

本実施形態では、探索範囲はマークＭ１〜Ｍ１７を中心としてデフォルトで縦横（ＹＸ）範囲を１０×１０ピクセルとしている。（なお、画像上では横方向をＸ軸、縦方向をＹ軸としている。）該デフォルト値を基準として、ＣＣＤカメラ１３の撮影フレーム数が１２０コマ／ｓである場合、上半身等の様に良く動くマークについては探索範囲を最大で３倍までに大きくする一方、下半身等のマークはスウィング中にほとんど動かないので、探索範囲を最小で０．５倍までに小さくするカスタマイズを行う。この際、シャフト２のマークＭ１０等のように横方向への移動が大きいものには、探索範囲Ｓ１０を正方形とせずに横長の長方形とすれば、探索範囲Ｓ１０の面積を大きくせずに追跡確率を高めることができる。

一方、上述の待機範囲とは、マークＭ１〜Ｍ１７が腕等で隠れた場合に探索範囲Ｓ１〜Ｓ１７の代わりに用いるもので、夫々のマークＭ１〜Ｍ１７毎に設定され、対応するマークＭ１〜Ｍ１７の探索範囲Ｓ１〜Ｓ１７よりも大きく設定されている。本実施形態では、待機範囲の大きさはデフォルトで縦横（ＹＸ）範囲を１５×１５ピクセルとしており、探索範囲Ｓ１〜Ｓ１７に対する待機範囲の倍率を１．５〜１０倍の範囲で、よく動くマークＭ１〜Ｍ１７については上記倍率を大きくし、あまり動かないマークＭ１〜Ｍ１７については上記倍率を小さくするカスタマイズを行う。

次いで、色範囲を設定する（ステップ１０５）。
色範囲とは、マークＭ１〜Ｍ１７を認識する際に、画像上の対象箇所の色情報が上記マークの基準色情報と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上記色範囲をＲ（赤）Ｇ（緑）Ｂ（青）のそれぞれについてデフォルトで±４０に設定している。そして、Ｒ（赤）Ｇ（緑）Ｂ（青）それぞれについて対象箇所の色情報の値ｒ、ｇ、ｂと基準色情報の値ｒ’、ｇ’、ｂ’とを個々に比較して±４０以内の誤差内であれば同一色、つまり、当該対象箇所をマークＭ１〜Ｍ１７とみなす。なお、色範囲についても、上記デフォルト値から夫々増減させてカスタマイズすることができる。

マークＭ１〜Ｍ１７の検知方法として、上記の判定方法の他、対象箇所での色情報ｒ、ｇ、ｂと基準色情報ｒ’、ｇ’、ｂ’との差の絶対値の和である
｜ｒ−ｒ’｜＋｜ｇ−ｇ’｜＋｜ｂ−ｂ’｜
が、予め設定したしきい値以下であればマークＭ１〜Ｍ１７で、しきい値以上であればマークＭ１〜Ｍ１７でないと判定してもよい。なお、該しきい値は、例えば約３０が好適である。
あるいは、ノルム（対象箇所での色情報ｒ、ｇ、ｂと基準色情報ｒ’、ｇ’、ｂ’との差の絶対値の２乗和の平方根）
によってマークＭ１〜Ｍ１７であるか否かを判定してもよい。

上記条件設定のもとで、探索範囲Ｓ１〜Ｓ１７内で背景画像との差分処理を行う（ステップ１０６）。これにより、探索範囲Ｓ１〜Ｓ１７内で背景画像が取り除かれ、後工程での各マークＭ１〜Ｍ１７の認識の際に、背景画像にマークＭ１〜Ｍ１７と近似した色が存在しても誤認しなくなるメリットがある。
ここで、背景差分処理とは、ゴルファー１５を撮影した画像ＲＧＢ値から背景１２の背景画像を走査しながら各ピクセル位置毎に差分し、ＲＧＢの差がしきい値（例えば、３０）以上であればゴルファー１５のゴルファー画像として認識している。
なお、背景差分処理を行う探索範囲Ｓ１〜Ｓ１７は選択可能であり、全ての探索範囲Ｓ１〜Ｓ１７について実施してもよいし、背景１２の背景画像との誤認識をする可能性の低いものについては背景差分処理を行わなくてもよい。

次いで、探索範囲Ｓ１〜Ｓ１７内の差分後のピクセル色情報と、マークの基準色情報との差の絶対値が、上記設定した色範囲内であるか否かを判定する（ステップ１０７）。
そして、色範囲内であるピクセルが１つしかなければ、探索範囲Ｓ１〜Ｓ１７内の該当箇所をマークＭ１〜Ｍ１７であると認定し、複数あれば、上記差の絶対値が最小である箇所をマークＭ１〜Ｍ１７であると認定し、その認定されたマークＭ１〜Ｍ１７の座標データを取得する（ステップ１０８）。

また、色範囲内ではないと判定された場合には、探索範囲Ｓ１〜Ｓ１７内のマークＭ１〜Ｍ１７が腕等で隠されて存在しなくなったと考えられるので、スウィング画像を時間的に進めてマークＭ１〜Ｍ１７が表れるのに備えて探索範囲Ｓ１〜Ｓ１７よりも大きい領域である待機範囲に変更する（ステップ１０９）。
詳しくは、図４（Ａ）に示すように、マークＭ７が見えておりゴルファー１５の腕１５ｂでまだ隠されていない場合には、探索範囲Ｓ７が設定されており、時間的に進んだ画像になると、図４（Ｂ）に示すように、腕１５ｂでマークＭ７が隠されて認識できなくなる。この時に、更に時間的に進んだ画像でマークＭ７が表れた際に範囲内にキャッチできるように、探索範囲Ｓ７から範囲の大きな待機範囲Ｗ７へと変更する。そして、時間的に進んで、図４（Ｃ）に示すように、腕１５ｂで隠されていたマークＭ７が表れて認識可能となると、待機範囲Ｗ７から探索範囲Ｓ７へと戻される。

そして、上記手順が全スウィング画像について終了してなければ（ステップ１１０）、画像を時間的に進めて（ステップ１１１）、上記同様の手順を繰り返す。
なお、上記ステップ１０２で全マークＭ１〜Ｍ１７の基準色情報と座標データを取得した画像が時間的に１枚目の画像でなかった場合は、時間的に逆方向にも戻して上記手順がなされる。結果的に、全スウィング画像について終了することで、アドレスからフィニッシュまでのスウィング動作における全マークＭ１〜Ｍ１７の座標データが取得される。

（実施例１）
次に、第１実施形態について具体例を挙げて説明する。

マークＭ１〜Ｍ１７の位置および色は、表１に示すように設定し、スウィング中に近接あるいは重なる恐れのあるマークは同色にしないように設定した。シャフト１のマークＭ９はグリップエンドから２００ｍｍ、シャフト２のマークＭ１０はグリップエンドから４００ｍｍの位置に取り付けた。
探索範囲は縦横（ＹＸ）範囲として１０×１０ピクセルをデフォルト値とする一方、右肘・左手首は動きが速いので１５×１５ピクセルとし、首はマークＭ１１の移動方向を考慮して探索範囲の形が正方形ではなく長方形となる１５×１０ピクセルとし、シャフト１・シャフト２はマークＭ９、Ｍ１０の移動量が大きいので３０×３０ピクセルとしている。

待機範囲は縦横（ＹＸ）範囲として１５×１５ピクセルをデフォルト値とする一方、右肘・左手首は動きが大きいので４０×４０ピクセルとし、首はマークＭ１１の移動方向を考慮して待機範囲Ｗ１１の形が正方形ではなく長方形となる２０×１５ピクセルとした。シャフト１・シャフト２のマークＭ９、Ｍ１０は移動量が大きいので４０×２５ピクセルとしている。
膝から下の下半身のマークＭ１２〜Ｍ１７はスウィング中にほとんど動かないので、探索範囲および待機範囲をデフォルト値よりも小さくして、それぞれ７×７ピクセルおよび１０×１０ピクセルとして計算時間の短縮を行うようにした。
色範囲は（Ｒ）（Ｇ）（Ｂ）のそれぞれについて±４０とした。

背景１２の色は、背景画像を差分処理する際にゴルファー１５の肌色やマークＭ１〜Ｍ１７の色等を抽出しやすいように、白青色、若しくは白緑色が好ましい。しかし、ゴルファー１５の着ている服によっては他の色を背景１２の色としてもよい。
カラーＣＣＤカメラ１３の撮影条件は、シャッタースピードを１／５００ｓ、撮影コマ数は１２５コマ/ｓ、撮影空間の明るさは、テイク・ダウンスウィング領域で２０００ルクス以上、フォロー領域で１０００ルクス以上とする。
スウィング撮影時間は約３秒間として、アドレスからフィニッシュまでスウィングを撮影した。コンピュータ１４は、ＣＰＵ：ペンティアムIII１．２ＧＨｚ、メモリ２５６ＭＢのパーソナルコンピュータであり、静止画像の保存形式はＢＭＰ形式とした。

そして、探索範囲および待機範囲のうち、背景色との混同を起こし易いと予測されるシャフト１およびシャフト２についてのみ、背景画像との差分処理を行う一方、他の位置の探索範囲および待機範囲については背景画像との差分処理を行っていない。

（比較例１）
比較例１では、全ての探索範囲および待機範囲について背景画像との差分処理を行わずに自動追尾を行った。なお、他の条件は実施例１と同様である。

（比較例２）
比較例２では、全ての探索範囲および待機範囲について背景画像との差分処理を行った。なお、他の条件は実施例１と同様である。

（評価）
比較例１では、シャフト１およびシャフト２の２箇所で背景１２の色を誤って追尾してしまったために自動追尾認識率が低くなっているが、実施例１では、シャフト１およびシャフト２の２箇所で背景差分処理を実施することによって、背景の色を追尾することが無くなり、自動追尾認識率が向上している。
なお、自動追尾認識率とは、探索範囲において追尾した計算上のマーク位置と実際のマークＭ１〜Ｍ１７とが一致したコマ数と待機範囲のコマ数とを足した数値を全コマ数で割った値を百分率で表したものであり、５０名のテスターにて当該百分率の値を求め、その５０名のテスターにおける当該百分率の値を平均し、それを各例の自動追尾認識率として表示している。

また、比較例２では、自動追尾処理時間に８０秒を要しているのに対し、実施例１では、１７秒しか要しておらず、自動追尾認識率が高いままであるにも関わらず、全てのマークＭ１〜Ｍ１７に背景差分処理を行う比較例２に比べて大幅に計算時間が短縮化されている。

次に第２実施形態について説明する。
本実施形態では、ゴルファーの左手首に近いシャフト１のマークＭ９を基準マークＭ９として、基準マークＭ９について第１実施形態と同様に追尾を行い基準マークＭ９の座標データを取得し、時系列的に隣接する静止画像の間での基準マークＭ９の移動量を算出する。

次いで、シャフト２のマークＭ１０を追尾する際には、対象とする静止画像より１コマ前の静止画像からの基準マークＭ９の移動量と同じだけ、マークＭ１０に対応する探索範囲Ｓ１０を上記対象とする静止画像上で移動させて、該移動後の探索範囲Ｓ１０内で第１実施形態と同様の色探索を行っている。

上記方法によると、ゴルファーの手元（グリップ）とゴルフクラブとはほぼ同じような動きをするので、対象の静止画像上において、手首に近いシャフト１のマークＭ９の移動量と同じ量だけ、シフト移動させた探索範囲Ｓ１０で色探索すれば、マークＭ１０が探索範囲Ｓ１０のエリア内に入っている可能性が高まり、マークＭ１０の自動追尾認識率が向上する。かつ、自動追尾認識率が向上することで、探索範囲Ｓ１０を狭く設定することも可能となり、計算時間も短縮化できる。

加えて、探索範囲Ｓ９、Ｓ１０では認識し切れずに領域の大きな待機範囲Ｗ９、Ｗ１０が使用されるのは、探索範囲Ｓ９、Ｓ１０でのマークＭ９、Ｍ１０の自動追尾認識率が向上するので、シャフト１・シャフト２に付されたマークＭ９、Ｍ１０の動きが最も速くなるインパクト直前の数コマの静止画像だけになる傾向となり、待機範囲Ｗ９、Ｗ１０の使用頻度が低減されて無駄な探索時間がさらに削減される。
なお、他の構成は第１実施形態と同様であるため説明を省略する。

（実施例２）
次に、第２実施形態について具体例を挙げて説明する。

実施例２は第２実施形態に該当し、基準マークＭ９の移動量に応じて、シャフト１・シャフト２のマークＭ９、Ｍ１０に対応する探索範囲Ｓ９、Ｓ１０をシフト移動させる機能を採用している。
シャフト１・シャフト２の探索範囲の縦横（ＹＸ）範囲は、実施例１より小さくして１０×１０ピクセルとすると共に、シャフト１・シャフト２の待機範囲の縦横（ＹＸ）範囲は４０×２０ピクセルとしている。他の条件は実施例１と同様とする。

（比較例３）
比較例３では、第２実施形態に記載の基準マークＭ９の移動量に応じた探索範囲Ｓ９、Ｓ１０のシフト移動を採用していない点以外は実施例２と同様である。

（評価）
表２に基づいて実施例２と比較例３とを比較すると、シャフト１・シャフト２のマークＭ９、Ｍ１０の自動追尾認識率が、比較例３では９７．１％および９８．１％となっているのに対して、実施例２ではともに１００％となっており、実施例２の方が比較例３に比べて、自動追尾認識率が向上しているのが分かる。
また、実施例２の自動追尾認識率が向上することで、探索範囲では認識し切れない場合に使用される領域の大きな待機範囲の使用頻度が低減され、比較例３に比べて実施例２の自動追尾処理時間（計算時間）が１０秒から５秒へ短縮されているのが分かる。

次に第３実施形態について説明する。
本実施形態では、ある静止画像上において探索範囲Ｓ１〜Ｓ１７内でマークＭ１〜Ｍ１７を認識できなかった場合に、コマを進めることなく同一静止画像上で待機範囲Ｗ１〜Ｗ１７に変更して色探索している。

例えば、図６に示すように、ある静止画像上でマークＭ９が探索範囲Ｓ９の外部にあると、探索範囲Ｓ９内で色探索してもマークＭ９を認識することができない。そこで、次のコマの静止画像に進めて待機範囲Ｗ９で色探索を行うのではなく、同一静止画像上で待機範囲Ｗ９に変更し、待機範囲Ｗ９のうち色探索済みの探索範囲Ｓ９を除く差分領域Ａを色探索してマークＭ９を認識する。即ち、同一静止画像上で待機範囲Ｗ９を第二の探索範囲として利用している。

上記構成とすると、同一コマの静止画像上において、領域の小さい探索範囲Ｓ９と、領域の大きい待機範囲Ｗ９とで二段階の色探索を行ってマークＭ９の認識を行うようにしているので、通常の色探索に用いる探索範囲Ｓ９は小さく設定して無駄な計算時間を低減することができる。例えば、動きの遅いテイクバック等は小さい探索範囲Ｓ９でマークＭ９を認識して計算時間の短縮を図り、動きの速いダウンスウィング等で探索範囲Ｓ９にて認識できなかった場合にのみ、領域の大きい待機範囲Ｗ９で色探索する。しかも、待機範囲Ｗ９で色探索する際には、探索範囲Ｓ９との差分領域Ａだけを探索することで計算効率もアップする。
なお、他の構成は第１実施形態と同様であるため説明を省略する。

（実施例３）
次に、第３実施形態について具体例を挙げて説明する。

実施例３は第３実施形態に該当し、シャフト１・シャフト２の探索範囲の縦横（ＹＸ）範囲は、実施例１より小さくして１０×１０ピクセルとすると共に、シャフト１・シャフト２の待機範囲の縦横（ＹＸ）範囲を４０×２０ピクセルとしている。他の条件は実施例１と同様とする。

（比較例４）
比較例４は、上述の実施例１と同様である。

（評価）
表３に基づいて実施例３と比較例４とを比較すると、シャフト１・シャフト２のマークＭ９、Ｍ１０の自動追尾認識率が、比較例４では７２．１％および７４．３％となっているのに対して、実施例３ではともに９７．１％および９８．１％となっている。即ち、実施例３の方が比較例４に比べて、自動追尾認識率が向上しているのが分かる。
また、実施例３では探索範囲（および待機範囲）の領域が小さく設定できるので、比較例４に比べて実施例３の自動追尾処理時間（計算時間）が１７秒から１０秒に短縮されているのが分かる。

本発明の実施形態の装置の構成図である。 マークおよび探索範囲が設定された基準画像を示す図面である。 マークおよび探索範囲を示す要部拡大図である。 （Ａ）〜（Ｃ）は探索範囲から待機範囲への変更を説明する要部拡大図である。 処理手順を示すフローチャートである。 第二の探索範囲を示す図面である。 従来例の装置の構成図である。

符号の説明

１１ ゴルフクラブ
１１ａ シャフト
１２ 背景
１３ カラーＣＣＤカメラ
１４ コンピュータ
１５ ゴルファー
Ｍ１〜Ｍ１７ マーク
Ｓ１〜Ｓ１７ 探索範囲
Ｗ１〜Ｗ１７ 待機範囲

Claims (7)

1. 測定対象であるゴルファーがスウィングする前、ゴルファーのいずれか１ヶ所の部位およびゴルファーが使用するゴルフクラブの少なくとも１ヶ所の所要位置を含む複数位置に色付きのマークを取り付け、
   ゴルファーが写らないスウィング場所の背景画像と、ゴルファーのスウィング時のアドレスからフィニッシュまでのスウィング動画像とを、カメラによってカラー画像で撮影し、
   上記撮影した背景画像をコンピュータに記憶させると共に、上記スウィング動画像を複数の静止画像に変換してコンピュータに記憶させ、
   上記静止画像のうち上記マークが全て見える特定の静止画像を基準画像とし、各マークの基準色情報と座標データ（位置情報）を予め手動あるいは自動で記憶させ、
   上記静止画像の上記マーク位置毎に、該静止画像に時間的に隣接する静止画像上での予測されるマーク位置を含む領域である探索範囲と、該探索範囲の領域内に上記マークが見えない場合を想定して、同一コマの静止画像のままで上記探索範囲よりも大きい領域である待機範囲とを静止画像上に設定し、かつ、
   上記探索範囲および待機範囲において、上記マークの基準色情報と同一色であると見なすことができる許容範囲である色範囲を設定し、上記背景画像で差分処理した差分後画像上のピクセル色と上記基準色情報との差の絶対値が上記色範囲内で且つ差が最小であるピクセルを上記マークの位置とみなして座標データを取得する色探索を行う設定とし、
   静止画像の上記探索範囲で上記マークが見えない場合には、上記探索範囲を待機範囲に変更して探索領域を広げ、スウィング中に動く上記各マークを自動的に追尾することを特徴とするゴルフスウィングの自動追尾方法。
2. 上記色付きのマークは、上記ゴルフクラブのシャフトの長さ方向に間隔をあけた少なくとも２箇所と、ゴルファーの頭・右肩・左肩・右肘・左肘・右手首・左手首・右腰・左腰・右膝・左膝・右足首・左足首・右足先・左足先から選ばれる少なくとも１箇所以上に設けている請求項１のゴルフスウィングの自動追尾方法。
3. 上記探索範囲あるいは上記待機範囲において、上記基準色情報との差の絶対値が上記色範囲内で且つ差が最小であるピクセルを上記マークの位置とみなして座標データを取得する際に、上記背景画像との差分処理を行うか否かをマーク位置毎に選択可能としている請求項１または請求項２に記載のゴルフスウィングの自動追尾方法。
4. 上記複数のマークのうち、スウィング中に互いに近接あるいは重なるマークは異なる色に設定している請求項１乃至請求項３のいずれか１項に記載のゴルフスウィングの自動追尾方法。
5. 上記マークのうち１つを基準マークとして追尾して、時刻の異なる静止画像間での該基準マークの移動量を算出し、
   別のマークを追尾する際に、上記基準マークの移動量と同じだけ該マークに対応する上記探索範囲を上記静止画像間で移動させて、該移動後の探索範囲内で色探索を行っている請求項１乃至請求項４に記載のゴルフスウィングの自動追尾方法。
6. 上記基準マークはゴルファーの右手首あるいは左手首に設けたマーク、または、シャフトに取り付けた少なくとも２つのマークのうち手首に近いマークとすると共に、上記別のマークは上記ゴルフクラブのシャフトに設けたマークとしている請求項５に記載のゴルフスウィングの自動追尾方法。
7. ある静止画像上において上記探索範囲内でマークを認識できなかった場合に、同一静止画像上で上記待機範囲に変更し、
   上記待機範囲のうち上記色探索済みの探索範囲を除く領域を色探索するようにしている請求項１乃至請求項５に記載のゴルフスウィングの自動追尾方法。