JP4283146B2 - スウィング計測用服 - Google Patents

Description

本発明は、スウィング計測用服に関し、詳しくは、スウィング動作の解析を行うためにゴルファーが着用する計測用服に関するものである。

従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。
特許第２７９４０１８号で開示された動作診断装置では、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。

しかしながら、上記動作診断装置を用いた場合、被診断者には体の各部の注目点に複数の動作ポイントをわざわざ付けてもらわねばならないため、被診断者は動作診断を行うにあたり煩わしさを覚えてしまう欠点がある。このような装置は通常ゴルフショップなどの公衆スペースに設置されて実施され、ユーザに面倒くさいと思われることは致命的であり、より利便性の高い手段の提供が望まれるところである。
特許第２７９４０１８号

本発明は、前記問題に鑑みてなされたもので、スウィング計測を行う際に、ゴルファーの注目点の抽出を簡便に行うことができるようにすることを課題としている。

前記課題を解決するため、本発明は、ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影し、コンピュータでスウィング動作解析を行う際に前記ゴルファーが着用する服であって、
前記撮影された画像上で前記コンピュータにより色情報に関する所定の閾値を満たす色ピクセルを抽出することにより認識される色マークを少なくとも肘位置に設けており、該色マークは服の素地の外面に色付部を設けて形成し、該色付部の色は背景や服の素地と相違させ、かつ、該色付部を有する素地の内面側にパッドを配置することで前記色付部を隆起させて前記色マークとしているスウィング計測用服を提供している。

前記構成とすると、ゴルファーは既に色マークが備えられたスウィング計測用服を私服の上から着用するだけで、ゴルファーのスウィング動作中の注目点である肘位置に自動的に色マークが付されることになる。したがって、ゴルフスウィングの動作解析を行うにあたりゴルファーは非常に簡便にスウィング計測を受けることでき、ユーザの利用意欲を高めることができる。
また、色マークは背景や服の素地と配色を異ならせているので、コンピュータにより色情報に関する所定の閾値を満たす色ピクセルを抽出して画像上での色マークの位置を特定する際の誤認識を防止することができる。

前記色マークは、少なくとも両肘位置、両肩位置、腰位置に設けられている。

前記構成とすると、スウィング動作の計測に重要な関節である肘、肩、腰の位置を画像上で認識することができる。
また、前記色マークは、さらに首位置あるいは／および手首位置に設けられても好適である。つまり、首位置や手首位置の位置座標の抽出を他の手段で行わない時は、計測用服の襟（首位置）に色マークを付したり、袖口（手首位置）に色を塗ることによって色抽出にて画像上の位置座標を認識すればよい。

前記色マークは、球状、帯状、直方体あるいは半球状としている。
即ち、色マークを球状とすれば、色マークの向きが変化しても画像上に映される色マークの面積が変化するのを防止することができる。また、色マークを帯状とすれば、体の角度が大きく変化しても色マークが隠れないように撮影することができる。なお、帯状の色マークを肘に設ける場合には腕章状とし、腰に設ける場合にはベルト状とすると好適である。また、色マークの形状は視認性が良好であれば上記形状に限定されず、直方体や半球状あるいはそれ以外の形状としてもよいことは言うまでもない。

前記服は上着のみとしていると好ましい。
つまり、前記スウィング計測用服を上着のみとすれば、ゴルファーがスウィング計測を試みる場合の準備作業が非常に楽になり利用意欲を高めるメリットがある。もし、下半身にも着用する計測用のズボンがあると準備作業に手間が掛かり煩雑な印象を与えてしまうからである。

前記色マークは近接する他の色マークと配色を相違させている。
前記構成とすると、コンピュータにより色情報に関する所定の閾値を満たす色ピクセルを抽出して画像上での色マークの位置を特定する際に、他の色マークと誤認識してしまうのを防止することができる。

前記服の前開き部の対向する端縁に開閉用のファスナーを設けており、
前記ファスナーは下方から上方に向けて開くことができる構成としている。

前記構成とすると、前記ファスナーを下方から少し上方に上げることにより、前記前開き部の下端側のみを開状態に開放することができ、ゴルファーがアドレス姿勢の時などに前記計測用服の腹部周囲がダボつく（服が体から浮く）のを防止することができる。よって、前記色マークとゴルファーの体との位置関係の精度を向上させることができる。

前記服の胴回りを調節する伸縮手段を設けている。
即ち、ゴルファーが前記計測用服を着用した際に窮屈な場合には伸縮手段を調節して胴回りを拡げて緩和することができる一方、計測用服がゴルファーの体より大きい場合には伸縮手段を調節して胴回りを縮めることができる。したがって、様々な体型のゴルファーについて前記スウィング計測用服を体にフィットさせて、前記色マークとゴルファーの体との位置関係の精度を向上させることができる。なお、前記伸縮手段としては面ファスナー等を用いていると好適である。

前記のように、色マーク設定位置の前記素地の外面には色付部を設けており、該色付部を有する素地の内面側にパッドを配置することで前記色付部を隆起させて前記色マークとしている。

前記構成とすると、球状等の色マークを服の素地の外面に突設した場合等に比べて外観が向上する利点がある。

以上の説明より明らかなように、本発明によれば、ゴルファーは既に色マークが付されたスウィング計測用服を着用するだけで、ゴルファーのスウィング動作中の注目点である肘位置等に自動的に色マークが付されることになり、スウィング計測の準備作業を大幅に簡便化することができる。

本発明の実施形態を図面を参照して説明する。
スウィング計測システムの被診断者となるゴルファー１９（右利きとする）は、関節位置の注目点に色マークＭ１〜Ｍ７が付された上着であるスウィング計測用服１０を私服の上から着用している。
図１はスウィング計測用服１０を示し、計測用服１０の素地１１は白地からなり、左肘位置には黄色の色マークＭ１、左肩位置には赤色の色マークＭ２および青色の色マークＭ３、右肩位置には青色の色マークＭ４および赤色の色マークＭ５、右肘位置には青色の色マークＭ６、腰位置（臍）には赤色の色マークＭ７を備えている。なお、左肘位置の色マークＭ１は球状マークＭ８と腕章状マークＭ９との組み合わせとし、腰の色マークＭ７はベルト状とし、その他の色マークＭ２〜Ｍ６は球状としている。

左肘については、球状マークのみでは左腕の捻転により隠れてカラーＣＣＤカメラ２０、２１に映らない可能性があるので、上記のように腕章を組み合せることであらゆるスウィング姿勢で色マークＭ１を画像上で認識できるようになる。
右肘については、側面（飛球線後方）のカラーＣＣＤカメラ２１からしか位置抽出を行わないので球状の色マークＭ６でよいが、右腕の捻転により色マークＭ６が隠れる可能性もないとはいえないため、腕章も組み合せているとより好適である。

球状の色マークＭ２〜Ｍ６、Ｍ８の大きさについては、大きすぎるとゴルファー１９の邪魔になりスウィング動作に支障をきたす一方、小さすぎるとカラーＣＣＤカメラ２０、２１の分解能の影響で画像上で色を忠実に認識できない恐れがあるので、その中間の適度な大きさであることが求められる。例えば、画像の分解能が５１２×３８４ピクセルで視野幅（画像の縦横値）が３×３ｍであった場合には、球状の色マークＭ１〜Ｍ６は、直径０．５〜５ｃｍ、好ましくは１〜３ｃｍがよく、本実施形態では直径２ｃｍとしている。

球状の色マークＭ２〜Ｍ６、Ｍ８の形は、球状だけに限定されるものではなく、半球状、球の一部を切り取ったもの、あるいは、立方体や楕円体など、カラーＣＣＤカメラ２０、２１で撮影して認識できる大きさや形状であればよい。

腕章状あるいはベルト状の色マークＭ７、Ｍ９は、その幅を１〜５ｃｍ、好ましくは２〜４ｃｍがよく、本実施形態では３ｃｍとしている。ベルト状の色マークＭ７の長さは１０ｃｍ以上で臍の位置、つまり腰位置の前面側を横断しており、図５に示す角度定義において臍位置を基点とした胴回りの角度が−１２０°〜１５０°の範囲にベルト状の色マークＭ７が位置するように長さ設定するとよく、本実施形態では−１００°〜１５０°の長さに設定している。なお、ベルト状色マークＭ７は胴回りの全周に設けてもよい。また、長さが１ｃｍ以上のベルトを少なくとも２箇所以上で少なくとも１色以上のベルトを腰位置の全周りに複数配置してもよい。

左肩位置には赤色の色マークＭ２および青色の色マークＭ３、右肩位置には青色の色マークＭ４および赤色の色マークＭ５とそれぞれ２つずつ取り付けているが、２つ以上の異なる色から構成される色マークを１箇所に取り付けてもよい。あるいは腕章状のものでもよい。
上記各色マークＭ１〜Ｍ７は、計測用服１０の素地１１に縫い付けてもよいし、面ファスナー等で着脱自在にして異なる色マークと交換可能としてもよい。
上記色マークＭ１〜Ｍ７は、図１７（Ａ）（Ｂ）に示すように、計測用服１０”の素地１１”の該当箇所に色付けして隆起させている。

計測用服１０の前開き部１１ａの対向する端縁には開閉用のファスナー１２を設けており、このファスナー１２は上方から下方に開く第１ツマミ部１２ａと、下方から上方に開く第２ツマミ部１２ｂとを備えている。
つまり、第２ツマミ部１２ｂを下方から少し上方に上げることにより、前開き部１１ａの下端側のみを開状態に少し開放することができ、ゴルファー１９がアドレス姿勢の時などに計測用服１０の腹部周囲がダボつく（服が体から浮く）のが防止され、色マークＭ７７とゴルファー１９の体との位置関係の精度が向上する。

計測用服１０の両脇腹位置には胴回りを伸縮自在に調節する伸縮手段１６を設けている。伸縮手段１６は、図１及び図２に示すように、後端１３ｂが素地１１に縫い付けられ先端１３ａ側の内面に係止用の面ファスナー１４を設けている布片１３と、素地１１の所要位置に縫い付けられた被係止用の面ファスナー１５とを備えている。
つまり、布片１３を被係止用の面ファスナー１５側に引き寄せて、係止用の面ファスナー１４を被係止用の面ファスナー１５に係止することで、計測用服１０の胴回りのサイズを縮小することができる。これにより、様々な体型のゴルファー１９について計測用服１０が体にフィットされ、色マークＭ７とゴルファー１９の体との位置関係の精度が向上する。
なお、上述した計測用服１０はＭ、Ｌ、ＬＬのスリーサイズを用意しており、ゴルファー１１は自己に最適なサイズを選択するとよい。

次に、図３はゴルフスウィング計測システムの概略図を示し、コンピュータ２２と、該コンピュータ２２に接続された表示手段であるモニター２３と、コンピュータ２２に接続された入力手段であるキーボード２４およびマウス２５と、コンピュータ２２に接続されゴルファー１９の正面位置および飛球線後方（側面）位置に設置されたカラーＣＣＤカメラ２０、２１とを備えている。

ゴルファー１９の把持するゴルフクラブ１８のシャフト１８ａには間隔をあけて３つのクラブ用色マークＣＭ１、ＣＭ２、ＣＭ３が取り付けられている。クラブ用色マークＣＭ１〜ＣＭ３は、グリップ側からヘッド側にかけて等間隔に取り付けており、グリップに最も近いクラブ用色マークＣＭ１は黄色とし、真ん中に配置されたクラブ用色マークＣＭ２はピンク色とし、ヘッド１３ｂ側に配置されたクラブ用色マークＭ３は黄色として隣り合うマークが異なる色となるようにしている。本実施形態では、各クラブ用色マークＣＭ１〜ＣＭ３の間の距離は２５０ｍｍとすると共に、グリップ端とクラブ用色マークＣＭ１との距離は２５０ｍｍとする。

２つのカラーＣＣＤカメラ２０、２１はコンピュータ２２で撮影タイミングを同期させており、高速度デジタルＣＣＤカメラを用いる場合には、１秒間あたりのコマ数が３０コマ以上で、好ましくは６０コマ以上、シャッタースピードは１／５００ｓ、好ましくは１／１０００ｓ以下とする。

スウィングを撮影する空間（縦３×横３×高さ２ｍ）の明るさはできるだけ明るい空間であることが好ましいが、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、３０００ルクスを超えない範囲内で均一の明るさをスウィング環境として設定することが好ましい。また、スウィングを撮影する空間の背景２６は、ゴルファー１９や色マークＭ１〜Ｍ７やクラブ用色マークＣＭ１〜ＣＭ３を抽出しやすいように、異なる色としている。

コンピュータ２２は、カラーＣＣＤカメラ２０、２１とＬＡＮケーブルやＩＥＥＥ１３９４やＣａｍｅｒａＬｉｎｋ規格等を用いてオンライン接続されており、カラーＣＣＤカメラ２０、２１で撮影されたスウィング動画像（複数の静止画像）をコンピュータ２２のハードディスクやコンピュータ２２上のメモリやボード上のメモリに保存している。また、コンピュータ２２には、後述するように、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルをクラブ用色マークＣＭ１〜ＣＭ３や計測用服１０の色マークＭ１〜Ｍ７の位置として座標データを取得する手段等を備えたプログラムを内蔵している。

次に、ゴルファー１９が着用した計測用服１０の色マークＭ１〜Ｍ７の位置座標の取得を特定のチェックポイント画像において行う。
先ず、カラーＣＣＤカメラ２０、２１でゴルファー１９が存在しない状態の背景２６のみを撮影した背景画像を読み込み、また、カラーＣＣＤカメラ２０、２１からボールＢを打撃するスウィング動画像の各コマ毎の静止画像をコンピュータ２２に取り込んでハードディスクあるいはコンピュータ２２内のメモリあるいはボード上のメモリに保存する。

次に、スウィング動画像を構成する多数の静止画像からスウィング診断に有用となるスウィング姿勢が映されたチェックポイント画像である、アドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の各チェックポイント画像を自動抽出する。
前記のようにスウィング動画像の多数の静止画像から有用なチェックポイント画像を抽出することで、後工程において行われる計測用服１０の色マークＭ１〜Ｍ７の位置座標を抽出する計算を全コマではなく前記チェックポイント画像についてのみ行えばよい利点がある。

以下、各チェックポイント画像の自動抽出方法について分説する。
（アドレス画像）
先ず、アドレス画像の抽出方法について説明する。なお、アドレス画像とは、ゴルファー１９がアドレス姿勢をしている状態の静止画像である。
スウィング動画像の撮影をアドレス状態から開始した場合は、初期画像をアドレス画像とする。しかし、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得した場合には、例えば、初期画像がワッグル（アドレス前に予備動作としてヘッドを前後に揺らす動作）等を含むことで、初期画像が必ずしもアドレス画像とならない。そこで、この場合には、各フレーム（静止画像）間で差分処理を実施し、差分が最小となるフレームがゴルファー１９が静止している状態と考えてアドレス画像とみなす。

次に、テイクバックシャフト９時画像、トップ画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の抽出方法について説明する。

ここで、テイクバックシャフト９時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。トップ画像とは、テイクバックからダウンスウィングに移行するトップポジションの状態の静止画像である。ダウンスウィングシャフト９時画像とは、ダウンスウィング時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。インパクト前画像とは、インパクト直前の状態の静止画像である。インパクト画像とは、ゴルフクラブのヘッドがボールと衝突した瞬間の静止画像である。インパクト後画像とは、インパクト直後の状態の静止画像である。フォローシャフト３時画像とは、フォロースルー時にシャフトを時計の針に見立てた場合に３時位置にある状態の静止画像である。フィニッシュ画像とは、スウィングが終了しゴルフクラブの動きが停止した状態の静止画像である。

これらチェックポイント画像は、基本的には各静止画像におけるクラブ用色マークＣＭ１〜ＣＭ３の座標を追跡することで判定されるので、先ず、クラブ用色マークＣＭ１〜ＣＭ３の自動追尾方法について説明する。

アドレス画像においてクラブ用色マークＣＭ１〜ＣＭ３を自動認識するための二値化処理を行う。なお、二値化処理の対象は本実施形態ではフレーム全体としているが、ゴルファー１９が画像中心付近に撮影されるように限定しておいた場合には、図６に示すように、ゴルフシャフト１８ａが存在すると考えられる領域Ｓのみで二値化処理してもよい。なお、領域Ｓの設定は具体的には、画像の幅をＷ、高さをＨとすると、１／３Ｗ〜２／３Ｗの範囲を領域Ｓの幅とすると共に、１／２Ｈ〜４／５Ｈの範囲を領域Ｓの高さとしている。
二値化処理の方法としては、ＲＧＢ値やＹＩＱ値を用いてもよいが、本実施形態ではクラブ用色マークＣＭ１〜ＣＭ３の色を最も認識しやすい色相・彩度・明度を利用している。具体的には、フレーム上の各ピクセル毎のＲＧＢ値を取得し、

前記の数式１により求められる刺激和Ｔを用いて以下の数式２の正規化を行う。

なお、ＲＧＢ値は色が２４ビットで表現される場合は各色は０〜２５５までの値となるものである。

色相θは、以下の数式３および数式４で算出される。

但し、０≦θ₁≦πを用いて、

とする。

彩度Ｓは、以下の数式５で算出される。

明度Ｖは、以下の数式６で算出される。

前記数式３〜６で算出されたピクセルの色相、彩度および明度の値（ピクセル色情報）が所定の条件（基準色情報）を満たさないピクセルは０とし、該条件を満たすピクセルは色マークＭ１〜Ｍ３と同一の色であるとみなして１とする二値化処理を行い、１のピクセルを順にラベリング処理する。
ここで、色相、彩度および明度の条件としては、例えば、黄色のクラブ用色マークＭ１、Ｍ３であれば色相θ＝３０〜６０°、彩度Ｓ≧０．５、明度Ｖ≧１００という閾値を設定しており、ピンク色の色マークＭ２であれば色相θ＝３２０°〜３６０°または０°〜１０°、彩度Ｓ＝０．３〜０．６、明度Ｖ≧８０という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。

ここで、例えばピンク色のクラブ用色マークＣＭ２は現実には１つしかないが、画像中に関係のないピンク色が存在した場合には２つ以上の領域が抽出される恐れがある。そのような場合を考慮して、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域はクラブ用色マークＣＭ２ではないと判断し、設定範囲内の面積を有する領域をクラブ用色マークＣＭ２であると認識する。本実施形態ではクラブ用色マークＣＭ１〜ＣＭ３として認識する面積範囲は５〜６０若しくは５〜２００ピクセルとしている。

前記のようにしてクラブ用色マークＣＭ１〜ＣＭ３と認識したピクセルを各マークＣＭ１〜ＣＭ３のラベリングにより１、２、３とした場合、各数字のピクセルからマーク色情報と重心座標を得る。ここで、マーク色情報とは、領域内の各ピクセルの平均色と、各ピクセルのＲＧＢの最大値・最小値と、その変動幅を含む情報のことである。
以上のような処理を行うことで、ゴルフクラブ１８のシャフト１８ａに付されたクラブ用色マークＣＭ１〜ＣＭ３を精度良く自動抽出することができる。

次に、アドレス画像で自動抽出されたクラブ用色マークＣＭ１〜ＣＭ３をアドレス画像取得後の２、３枚目の画像について自動追尾する処理を行う。
図７に示すように、クラブ用色マークＣＭ１〜ＣＭ３には、クラブ用色マークＣＭ１〜ＣＭ３を中心として四角形の探索範囲Ｓ１〜Ｓ３を設定する。ここで、探索範囲Ｓ１〜Ｓ３とは、クラブ用色マークＣＭ１〜ＣＭ３の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲Ｓ１〜Ｓ３の概念を導入すれば、画像上の探索範囲Ｓ１〜Ｓ３外にクラブ用色マークＣＭ１〜ＣＭ３と色が近似している箇所があっても、クラブ用色マークＣＭ１〜ＣＭ３の検出処理を探索範囲Ｓ１〜Ｓ３内しか行わないため誤認識が防止できると共に、フレーム内の全ピクセルを処理対象とする場合に比べ計算時間も大幅に短縮することが可能となる。本実施形態では、探索範囲Ｓ１〜Ｓ３はクラブ用色マークＣＭ１〜ＣＭ３を中心としてデフォルトで縦横（ＹＸ）範囲を１０×１０ピクセルとしている。なお、画像上では横方向をＸ軸、縦方向をＹ軸としていると共に、画像上の右向きがＸ座標の正方向、下向きがＹ座標の正方向としている。また、前記自動追尾中の探索範囲Ｓ１〜Ｓ３の配置決定は、アドレス画像取得後の２、３枚目の画像においてはシャフト１８ａは殆ど動かないので、１つ前の時刻の画像で自動認識したクラブ用色マークＣＭ１〜ＣＭ３を中心位置として設定している。

次いで、色範囲を設定する。
色範囲とは、クラブ用色マークＣＭ１〜ＣＭ３を認識する際に、画像上の対象ピクセルの色情報がクラブ用色マークＣＭ１〜ＣＭ３の色（基準色情報）と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上述のアドレス画像で取得されたマーク色情報のＲ（赤）Ｇ（緑）Ｂ（青）のそれぞれについて平均値を中心として最大最小幅の半分の数値範囲を色範囲として設定している。

以下の自動追尾処理は、スウィング中の移動速度の遅いグリップ近くに配されたクラブ用色マークＣＭ１から順にＣＭ２、ＣＭ３と追尾していくこととする。
まず、探索範囲Ｓ１内の差分ピクセルのＲＧＢそれぞれについて前記色範囲内であるか否かを判定し、色範囲内であるピクセルを色マークＭ１を表示するピクセルとみなし、その色抽出されたピクセル群の重心位置を取得する。もし、この色範囲を用いた方法により追尾できない場合には、色情報（色相、彩度、明度）を利用して色抽出を行い追尾してもよい。これらの処理を各色マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３について行う。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色マークＭ１の認識の際に、背景画像等に色マークＭ１と近似した色が存在しても誤認しなくなる。

次に、アドレス画像から４枚目以降のフレームにおける色マークＣＭ１〜ＣＭ３の探索範囲Ｓ１〜Ｓ３の中心位置の設定方法について説明する。先ず、最もグリップに近いクラブ用色マークＣＭ１の場合については、例えば、４枚目のフレームに関しては、１枚目（アドレス）−２枚目間の移動ベクトル量Ｖ１と、２枚目−３枚目間の移動ベクトル量Ｖ２とを求めて、その増加量（Ｖ２−Ｖ１）を考慮して３枚目−４枚目間の移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}を予測する。１つ前の時刻の探索範囲Ｓ１中心位置からその移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけオフセット移動させた位置を現画像（４枚目）の探索範囲Ｓ２の中心として設定している。（５枚目以降のフレームについても同様の手順）

クラブ用色マークＣＭ２、ＣＭ３の探索範囲Ｓ２、Ｓ３の中心位置については、例えば４枚目のフレームに関しては、前記で位置が決定したクラブ用色マークＣＭ１を利用して求めた移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけ１つ前の時刻の探索範囲Ｓ２、Ｓ３中心位置からオフセットさせると共に、１枚目−２枚目間のシャフト角度Ｄ１と、２枚目−３枚目間のシャフト角度Ｄ２とを求めて、その増加量（Ｄ２−Ｄ１）を考慮して３枚目−４枚目間のシャフト角度{Ｄ２＋（Ｄ２−Ｄ１）}を予測し、４枚目のフレームの色マークＭ１を回転支点として角度{Ｄ２＋（Ｄ２−Ｄ１）}だけ回転させる。（５枚目以降のフレームについても同様の手順）
このように、オフセット移動と回転移動とを組み合せて探索範囲Ｓ２、Ｓ３の中心位置を決定することで、ダウンスウィングのようなシャフト１８ａの移動が速い場合でも、シャフト位置をかなり正確に予測することができ、探索範囲Ｓ２、Ｓ３の面積を追尾中に増加させる必要がなくなる。なお、図８に示すように、探索範囲Ｓ２、Ｓ３の面積は、２０×２０ピクセルとしている。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色マークＭ１の認識の際に、背景画像等に色マークＭ１と近似した色が存在しても誤認しなくなる。

前記方法によってもクラブ用色マークＣＭ１〜ＣＭ３を追尾できなかった場合は、アドレス画像でクラブ用色マークＣＭ１〜ＣＭ３を自動抽出した方法と同様にして再二値化処理を実施する。即ち、アドレス画像で決定した色範囲でクラブ用色マークＣＭ１〜ＣＭ３が発見できない主な理由は、アドレス画像に比べて暗い領域に存在するクラブ用色マークＣＭ１〜ＣＭ３を追尾しようとすることが考えられるため、クラブ用色マークＣＭ１〜ＣＭ３の彩度と明度の閾値を小さくする変更をして二値化処理を再実施することとする。

これでも追尾できなかった場合には、３つのクラブ用色マークＣＭ１〜ＣＭ３のうち２つのマークが認識できている場合は該２つのマークに対する位置関係から残りの１つのマークを位置を算出することとする。あるいは、前記方法によってオフセットした探索範囲の中心を現在の時刻のマーク位置と仮にみなしてもよい。
以上のようにして、アドレスからフィニッシュまでのスウィング動作におけるクラブ用色マークＣＭ１〜ＣＭ３の位置座標データが取得される。

次に、前記取得されたスウィング中のクラブ用色マークＣＭ１〜ＣＭ３の座標データに基づいて各チェックポイント画像を抽出する。
（テイクバックシャフト９時画像）
テイクバックシャフト９時画像は、クラブ用色マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１８ａの角度を算出し、シャフト１８ａが水平（９０°）に最も近い画像を選択することで抽出する。あるいは、クラブ用色マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になる画像を選択することで抽出してもよい。なお、ここでいう角度はシャフト１８ａが６時の状態を０°として時計回りを正とする。

（トップ画像）
トップ画像は、各クラブ用色マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１８ａの角度を算出し、シャフト１８ａの角度が最も大きくなった画像を選択することで抽出する。あるいは、クラブ用色マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になる画像を選択することで抽出してもよい。

（ダウンスウィングシャフト９時画像）
ダウンスウイングシャフト９時画像は、クラブ用色マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１８ａの角度を算出し、シャフト１８ａが水平（９０°）に最も近く、かつ、時刻がトップ画像よりも後である画像を選択することで抽出する。あるいは、クラブ用色マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ成分が極小になり、かつ、時刻がトップ画像よりも後である画像を選択することで抽出してもよい。

（インパクト画像）
インパクト画像は、クラブ用色マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１８ａの角度を算出し、シャフト１８ａの角度が０°に最も近くなった画像を選択することで抽出する。あるいは、クラブ用色マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＹ方向成分が極小になる画像を選択することで抽出してもよい。また、インパクト画像は外部トリガー信号を用いて画像抽出を行ったり、インパクト時のヘッドとボールの打球音を利用してインパクト画像を抽出してもよい。

（インパクト前画像）
インパクト前画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を巻き戻して得られる画像を選択することで抽出する。

（インパクト後画像）
インパクト後画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を進めて得られる画像を選択することで抽出する。

（フォローシャフト３時画像）
フォローシャフト３時画像は、クラブ用色マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１８ａの角度を算出し、シャフト１８ａの角度が−９０°に最も近くなった画像を選択することで抽出する。あるいは、クラブ用色マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になり、かつ、時刻がインパクト画像より後の画像を選択することで抽出してもよい。

（フィニッシュ画像）
フィニッシュ画像は、クラブ用色マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１８ａの角度を算出し、シャフト１８ａの角度が最も小さくなった画像を選択することで抽出する。あるいは、クラブ用色マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になり、かつ、時刻がトップ画像よりも後の画像を選択することで抽出してもよい。

次に、テイクバック左腕水平画像、ダウンスウィング左腕水平画像の抽出方法について説明する。
ここで、テイクバック左腕水平画像とは、テイクバック時に左腕の前腕部が水平状態の静止画像である。ダウンスウィング左腕水平画像とは、ダウンスウィング時に左腕の前腕部が水平状態の静止画像である。

左腕が水平である画像を認識するためには、左腕を含む画像領域であるテンプレートを作成し、テンプレートマッチング処理によりマッチしたテンプレート角度が水平となる画像を左腕水平とする。
以下、静止画像中の左腕を含むテンプレートを作成するためにゴルファー１９の輪郭抽出を行う。

先ず、クラブ用色マークＣＭ１〜ＣＭ３の座標から取得されるシャフト角度によりシャフト１８ａが６時状態となる画像を抽出する。グリップに最も近いクラブ用色マークＣＭ１と次に近いクラブ用色マークＣＭ２とからマーク間ベクトルを求めてグリップ位置を決定する。具体的には、
（グリップ位置）＝（クラブ用色マークＣＭ１の位置）−α×（マーク間ベクトル）
によりグリップ位置を算出する。
ここで、αは、クラブ用色マークＣＭ１とクラブ用色マークＣＭ２との距離に対するクラブ用色マークＣＭ１とグリップとの実際の距離の割合を意味しており、本実施形態ではα＝０．５としている。

次に、シャフト６時画像を背景画像（ゴルファー１９が写っていない画像）で背景差分処理を行ってゴルファー１９のシルエットを抽出する。詳しくは、背景画像でのＲＧＢ値をそれぞれｒ’、ｇ’、ｂ’とし、シャフト６時画像上のピクセルのＲＧＢ値をそれぞれｒ、ｇ、ｂとすると、数式７に示すノルム（対象ピクセルでのｒ、ｇ、ｂとｒ’、ｇ’、ｂ’との差の絶対値の２乗和の平方根）が予め設定した閾値未満であればゴルファー１９のシルエットでないとみなして当該ピクセルを０とし、該閾値以上であればゴルファー１９のシルエットであるとみなして１とする二値化処理を行い、１のピクセルについて順にラベリング処理を行う。なお、本実施形態でのノルムの閾値は４０としている。また、色相、彩度、明度を用いて背景差分処理を行ってもよく、その場合、シルエットであるとみなしたラベリング領域のうち、５０００以上もしくは１００００以上の１つ或いは２つの領域をシルエットとする。

図９（Ａ）に示すように、この二値化画像について走査処理を行って、１あるいは２のピクセルに当たったところから輪郭抽出を行う。この輪郭抽出の方法は、上記ラベリングした画像についてフレームの左上のピクセルを始点として右方向へと上から下へ走査処理を行い、１あるいは２のピクセルを探して輪郭抽出を行う。詳しくは、走査処理により初めに（４，７）のピクセルが見つかり、図９（Ｂ）に示すように、このピクセルの直前のピクセルを除いた回りの７つのピクセルを左上のピクセルから時計回りに調べ、最初に（４，７）で見つけたピクセル（１あるいは２）と同じラベルのピクセルを次の境界点とする。この処理を順々に行い、境界点が（４，７）に戻ってきた時点で輪郭抽出を終了する。この抽出された輪郭のままではノイズが残っているので、移動平均処理を輪郭全体に循環して行うことによってスムージングをかけておく。

なお、移動平均処理は以下の数式８で行われる。

ここで、ｂｎｄ＿ｐｔ（ｎ）はｎ番目の輪郭の座標で、ｋは計算に利用する前後のピクセル数で、ｂｎｄ＿ｐｔ＿ｉｄｏ（ｎ）は移動平均後の輪郭の座標である。
ただし、ゴルファー１９の輪郭が１番目からｂｎｄ＿ｎｕｍ番目（輪郭番号の最後）まで存在する場合において、移動平均を行うピクセルをｎ番目とすると、ｎ＜ｋである場合は、輪郭番号の最後の方であるｂｎｄ＿ｎｕｍ−（ｋ−ｎ）番目〜ｂｎｄ＿ｎｕｍ番目のピクセルを利用して移動平均を行う。また、ｂｎｄ＿ｎｕｍ−ｎ＜ｋである場合は、輪郭番号の最初の方である１番目〜ｋ−（ｂｎｄ＿ｎｕｍ−ｎ）番目のピクセルを利用して移動平均を行っている。

次いで、スムージング後の輪郭データから曲率を計算してゴルファー１９の左肩位置を取得する。つまり、図１０に示すような輪郭データを含む画像の上から走査して初めに現れる輪郭２１の大きな曲率部分を頭とし、次に現れる小さな曲率部分を首とし、その次に現れる大きな曲率部分を肩と認識する。ここで、服のしわ等を考慮して、前後±５のピクセルでそれぞれ曲率を計算してその平均値をそれらの中心のピクセルの曲率とするとよい。

以下、輪郭の曲率の計算方法について説明する。
対象となる輪郭の円弧の長さをＳ、角度をθとすると、曲率Ｃは以下の数式９で表される。

この数式９は、曲率を求めたいピクセルと該ピクセルの隣接点だけで計算すると、値の変動が大きく正しい値が得られないので、曲率を求めたいピクセルの両側ｋ個の点列を含めて以下の数式１０により計算する方法が用いられる。

なお、数式１０は、数式９におけるＳを省略して簡素化している。本実施形態では、さらに簡単のため、図１２に示すように、点列の両端を用いて以下の数式１１で曲率Ｃを算出している。

（テイクバック左腕水平画像）
図１１（Ａ）に示すように、前記のようにして抽出された左肩２２とグリップ２３との間の領域において長方形のテンプレートＴを設定し、該テンプレートＴの長辺の長さＬ１は肩とグリップの間の距離の半分とし、短辺の長さＬ２は腕がテンプレートＴの中に入る程度の長さ（本実施形態では２０ピクセル）としている。

次の時刻の画像を読み込んでグリップ位置を取得し、グリップ位置の移動ベクトルと同じように前フレームのテンプレートＴを平行移動させる。次いで、図１１（Ｂ）に示すように、テンプレートＴをグリップ位置を支点として時計回りに１０°まで１°刻みで回転させて最もマッチングしたテンプレートの角度を計算し、テンプレート角度が９０°（水平）に最も近い画像をテイクバック左腕水平画像であるとみなして抽出する。さらに、テンプレートの回転に並進を加えてマッチング処理を行ってもよい。

なお、前記テンプレートマッチング処理は、テンプレートＴ内のピクセルの色情報であるＲＧＢ値を以下の数式１２により輝度Ｙに変換して評価する。（なお、輝度Ｙで評価してもよいが、ＲＧＢのノルム（数式７を参照）を用いても構わない。）

前記評価は、以下の数式１３で表される画素値の差の絶対値の和（Sum of Absolute Difference：ＳＡＤ）が用いられる。

ここで、ｔは現在のフレーム、ｔ−１は１コマ前のフレーム、（ｐ，ｑ）は平行移動を行う範囲、（ｉ₀，ｊ₀）はグリップ位置、ｍはテンプレートＴの長辺のピクセル数、ｎはテンプレートＴの短辺のピクセル数、θはテンプレートＴの回転角度、αは１コマ前に求めたテンプレート角度、ｇ_t（ｘ，ｙ，θ）は座標（ｘ，ｙ）でテンプレート角度がθにおけるピクセルの輝度Ｙ（あるいはＲＧＢのノムル）を表す関数である。

テンプレートＴの位置・角度（ｐ，ｑ，θ）を前記条件のもと変化させてＳ（ｐ，ｑ，θ）を計算し、この値が最小となる位置・角度で最もマッチングしたとみなすこととしている。このマッチングした際の（ｐ，ｑ，θ）のθ値が９０°に最も近くなる画像をテイクバック左腕水平画像として抽出する。

（ダウンスウィング左腕水平画像）
ダウンスウィング９時画像は、前記取得されたテイクバック左腕水平画像での左腕を含むテンプレートを利用して、そのテンプレートと最もマッチングするトップ画像以降の画像をダウンスウィング左腕水平画像として抽出する。
ここで、スウィング画像の順番を考慮すればトップ画像の後にダウンスウィング左腕水平画像が抽出されること分かっているので、トップ画像からテンプレートマッチング処理を開始してもよいが、それでは時間がかかったり、あるいは、トップで腕が全部見えるとは限らないので誤認識する可能性もある。
そこで、本実施形態では、先にダウンスウィングシャフト９時画像を抽出しておいて、その後、時刻を戻しながらテンプレートマッチングを行うことによりダウンスウィング左腕水平画像を抽出することとして計算時間の短縮化と誤認識の防止を図っている。

（テイクバックシャフト８時画像）
次に、テイクバックシャフト８時画像の抽出方法について説明する。なお、テイクバックシャフト８時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に８時位置にある状態の静止画像である。
上述したシャフト６時画像でのゴルファー１９のシルエットを抽出することで、体の幅（スタンス幅）を取得しておき、右足側端を通過する垂線とクラブ用色マークＭ１が交差する時刻の画像をテイクバックシャフト８時画像として選択して抽出する。

以上のようにして図１３に示すような正面のチェックポイント画像（アドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像）を抽出することができ、かつ、カラーＣＣＤカメラ２０、２１は互いに撮影タイミングを同期させているので、正面のチェックポイント画像と同時刻のものを選らぶことで、図１４に示すような飛球線後方（側面）のチェックポイント画像を抽出することができる。
以下、チェックポイント画像の夫々について、ゴルファー１９のスウィング診断に必要な注目点の位置座標の取得を行う。

次に、探索範囲Ｓを用いてゴルファー１９が着用している計測用服１０の色マークＭ１〜Ｍ７の座標位置を認識することにより、ゴルファー１９の体の注目点である関節の位置座標を取得する。
例えば、アドレス画像（正面）の右肩の抽出方法は、まず画像中のゴルファー１９についてシルエット抽出を行ってゴルファー１９の輪郭を抽出する。輪郭の曲率を上端（頭部）から反時計回りに調べ、曲率が極値となるピクセルを右首と認識し、図１５に示すように、この右首を探索範囲Ｓの端部起点としてＹ方向に−４０ピクセル、Ｘ方向に＋４０ピクセルの範囲を探索範囲Ｓを決定している。
この探索範囲Ｓ内において背景画像との差分処理を行い、探索範囲Ｓ内の差分ピクセルのＲＧＢそれぞれについて、右肩の色マークＭ４（青）あるいはＭ５（赤）の色範囲内であるか否かを判定し、色範囲内であるピクセルを色マークＭ４あるいはＭ５を表示するピクセルとみなして色抽出し、その重心位置座標を取得する。

なお、各色マークＭ１〜Ｍ７の色範囲は表１のような条件としており、該条件を満たすピクセルを色マークＭ１〜Ｍ７と同色とみなし、各関節位置のマークＭ１〜Ｍ７の画像上の位置座標を取得している。

なお、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域は色マークＭ１〜Ｍ７ではないと判断し、設定範囲内の面積を有する領域を色マークＭ１〜Ｍ７であると認識するようにして認識精度を向上させている。本実施形態では色マークＭ１〜Ｍ７として認識する面積範囲は５〜６０ピクセルとしている。

図１６に示す計測用服１０’では、左手首位置（左袖口）および右手首位置（右袖口）の素地を黄緑色に着色して色マークＭ１０、Ｍ１１を形成していると共に、首位置（襟）に球状で黄色の色マークＭ１２を備えている。
つまり、ゴルファー１９の手首と首の画像上での位置座標を上述した色抽出により認識したい場合には、図１６に示すように、計測用服１０’の色抽出したい関節位置に色マークＭ１０〜Ｍ１２を追加するとよい。

図１７（Ａ）（Ｂ）は前記したように、本発明の実施形態の色マークを示す。
色マークＭ１〜Ｍ７として計測用服１０”の素地１１”の該当箇所に色付けして隆起させるようにしている。

詳しくは、図１７（Ａ）に示すように、素地１１の色マークＭ１〜Ｍ７設定位置（図面では左肩位置）に開口１００ａを有するポケット部１００を設けており、このポケット部１００の外面には所要の着色（赤）を施して色付部としている。そして、図１７（Ｂ）に示すように、球状等のパッド１０１を開口１００ａから挿入することでポケット部１００の内面側にパッド１０１を配置してポケット部１００外面を隆起させて色マークＭ２とする。
こうすると、パッド１０１をポケット部１００から取り出すだけで計測用服１０”を損傷することなく洗濯することができ、取扱性が向上する。
また変形例として、ポケット部１００の内部にパッド１０１を入れた状態で開口１００ａを縫い付けてしまってもよい。

本発明の実施形態のスウィング計測用服の正面図である。 計測用服の要部斜視図である。 ゴルフスウィング計測システムの構成図である。 計測用服を着用したゴルファーを側面からみた図面である。 角度定義を説明する図面である。 アドレス画像におけるマーク抽出を説明する図面である。 アドレス以降の２、３枚目におけるマーク抽出を説明する図面である。 マークの自動追尾を説明する図面である。 （Ａ）（Ｂ）はゴルファーの輪郭抽出を説明する図面である。 ゴルファーの輪郭抽出された画像を示す図面である。 （Ａ）（Ｂ）テンプレートマッチングを説明する図面である。 曲率計算の説明図である。 正面のチェックポイント画像である。 飛球線後方（側面）のチェックポイント画像である。 色マークの抽出を説明する図面である。 他のスウィング計測用服の正面図である。 （Ａ）（Ｂ）は本発明のスウィング計測用服の要部斜視図である。

符号の説明

１０ 計測用服
１１ 素地
１２ ファスナー
１２ａ 第１ツマミ部
１２ｂ 第２ツマミ部
１３ 布片
１４ 係止用の面ファスナー
１５ 被係止用の面ファスナー
１６ 伸縮手段
１８ ゴルフクラブ
１９ ゴルファー
Ｍ１〜Ｍ７ 色マーク
Ｓ、Ｓ１〜Ｓ３ 探索範囲

Claims (8)

1. ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影し、コンピュータでスウィング動作解析を行う際に前記ゴルファーが着用する服であって、
   前記撮影された画像上で前記コンピュータにより色情報に関する所定の閾値を満たす色ピクセルを抽出することにより認識される色マークを少なくとも肘位置に設けており、該色マークは服の素地の外面に色付部を設けて形成し、該色付部の色は背景や服の素地と相違させ、かつ、該色付部を有する素地の内面側にパッドを配置することで前記色付部を隆起させて前記色マークとしているスウィング計測用服。
2. 前記色マークは、少なくとも両肘位置、両肩位置、腰位置に設けられている請求項１に記載のスウィング計測用服。
3. 前記色マークは、球状、帯状、直方体あるいは半球状としている請求項１または請求項２に記載のスウィング計測用服。
4. 前記服は上着のみとしている請求項１乃至請求項３のいずれか１項に記載のスウィング計測用服。
5. 前記色マークは近接する他の色マークと配色を相違させている請求項１乃至請求項４のいずれか１項に記載のスウィング計測用服。
6. 前記服の前開き部の対向する端縁に開閉用のファスナーを設けており、
   前記ファスナーは下方から上方に向けて開くことができる構成としている請求項１乃至請求項５のいずれか１項に記載のスウィング計測用服。
7. 前記服の胴回りを調節する伸縮手段を設けている請求項１乃至請求項６のいずれか１項に記載のスウィング計測用服。
8. 前記色マークは、さらに首位置あるいは／および手首位置に設けられている請求項１乃至請求項７に記載のスウィング計測用服。

Images