JP6218351B2 - ゴルフスイングの診断方法 - Google Patents

Description

本発明は、ゴルフスイングの良否を診断する方法に関する。

ゴルファーがゴルフボールを打撃するとき、左右の爪先を結ぶ線が打撃方向とほぼ平行となるようにアドレスする。右利きのゴルファーのアドレスでは、左足が打撃方向前側に位置し、右足が打撃方向後側に位置する。アドレスでは、ゴルフクラブのヘッドはゴルフボールの近くに位置する。この状態からゴルファーはテイクバックを開始し、ヘッドを後へ、次いで上方へと振り上げる。最もヘッドが振り上げられた位置がトップである。トップから、ダウンスイングが開始される。ダウンスイングの開始時点は、切り返しと称されている。切り返しの後、ヘッドが振り下ろされ、ヘッドがゴルフボールと衝突する（インパクト）。インパクト後、ゴルファーはゴルフクラブを前方へ、次いで上方へと振り抜き（フォロースルー）、フィニッシュを迎える。

ゴルファーの技量向上において、適切なスイングフォームの習得が重要である。技量向上の一助とすべく、スイング診断がなされている。スイング診断では、ビデオカメラでスイングが撮影される。ゴルフ用品の開発に役立つ資料の収集の目的で、スイングが撮影されることもある。

古典的なスイング診断では、ティーチングプロ等が動画を見て、スイング中の問題点を指摘する。一方、画像処理によってスイングを診断しようとの試みも、なされている。画像処理による場合、多数のフレームの中から、診断に必要なフレームが抽出される必要がある。この抽出方法の一例が、特開２００５−２１０６６６号公報に開示されている。この方法では、差分処理によって抽出がなされる。また、精度のよいスイング診断には、良好な画像が必要とされる。特開２０１１−７８０６６号には、スイング撮影時における手ブレ補正方法の一例が開示されている。

特開２００５−２１０６６６号公報 特開２０１１−７８０６６号公報

特開２００５−２１０６６６公報に開示された方法では、シャフトにマークが付いたゴルフクラブが用いられる。このようなゴルフクラブが、事前に準備される必要がある。この方法は、ゴルフ用品ショップでの撮影に基づいてなされる診断には適している。しかし、ゴルフコースやドライビングレンジで、一般のゴルフクラブを用いてスイングがなされる場合の診断には、不向きである。

本発明の目的は、スイングの良否が手軽に診断できる方法の提供にある。

本発明に係るゴルフスイングの診断方法は、次のステップを含む。
（ｘ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ。
（ｙ）演算部が、上記複数のフレームを用いて、シャフトの位置を判断するためのチェックフレームと他のフレームとで差分処理及び二値化処理を行い、二値化された差分画像を得るステップ。
（ｚ）演算部が、この差分画像又はその修正画像にハフ変換処理を施して、シャフト位置の抽出を試みるステップ。

好ましくは、この診断方法は、次のステップ（Ｓａ）及び／又はステップ（Ｓｂ）を更に含む。
（Ｓａ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームのシャフト位置が抽出されたか否かによって、ゴルファーの姿勢の良否が判断されるステップ。
（Ｓｂ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームのシャフト位置が抽出された場合、そのシャフト位置によってゴルファーの姿勢の良否が判断されるステップ。

好ましくは、上記チェックフレームが、トップのフレームである。好ましくは、上記チェックフレームが、フィニッシュのフレームである。

他の観点による本発明は、次のステップを含む。
（１）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ。
（２）演算部が、上記複数のフレームから、複数の所定フレームを抽出するステップ。
（３）演算部が、上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得るステップ。
（４）演算部が、上記複数の差分画像に対してＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得るステップ。
（５）演算部が、上記ＡＮＤ画像を用いて、シャフト探索領域を決定するステップ。
（６）演算部が、複数の上記ＡＮＤ画像又はその修正画像のそれぞれにハフ変換処理を施して、シャフト位置の時系列的な抽出を試みるステップ。

好ましくは、この診断方法は、次のステップを更に含む。
（７）演算部が、 上記差分画像及び／又は上記ＡＮＤ画像に収縮処理及び膨張処理を施して、マスク画像を得るステップ。
（８）演算部が、上記ＡＮＤ画像と上記マスク画像との差分処理によって、マスク処理済み差分画像を得るステップ。

好ましくは、上記修正画像が、このマスク処理済み差分画像である。

好ましくは、上記時系列的な抽出の結果として、チェックフレームのシャフト位置の抽出結果と、このチェックフレームより前のシャフト位置の抽出結果とが得られる。好ましくは、このチェックフレームのシャフト位置が抽出できなかった場合、このチェックフレームより前のシャフト位置が抽出されたか否かによって、このチェックフレームにおけるシャフト位置の抽出の適否が判断される。好ましくは、上記チェックフレームは、トップ又はフィニッシュのフレームである。

本発明に係るゴルフスイングの診断システムは、
（Ａ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを撮影するカメラ
（Ｂ）撮影された画像データを記憶するメモリ
及び
（Ｃ）演算部
を備えている。上記演算部が、
（Ｃ１）上記画像データから、複数の所定フレームを抽出する機能、
（Ｃ２）上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得る機能、
（Ｃ３）上記複数の差分画像にＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得る機能、
（Ｃ４）上記ＡＮＤ画像を用いて、シャフト探索領域を決定する機能、
及び、
（Ｃ５）複数の上記ＡＮＤ画像又はその修正画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
を有する。

本発明に係る方法により、ゴルフスイングの良否が手軽に診断されうる。

図１は、本発明の一実施形態に係るスイング診断システムが示された概念図である。 図２は、図１のシステムによってなされるゴルフスイングの診断方法が示されたフローチャートである。 図３は、図１のカメラの画面が示された説明図である。 図４は、チェックフレームの決定方法が示されたフローチャートである。 図５は、アドレスのフレームが決定される方法が示されたフローチャートである。 図６は、ソーベル法のための説明図である。 図７は、二値化された画像である。 図８は、インパクトのフレームが決定される方法が示されたフローチャートである。 図９は、第４４番目のフレームと基準フレームとの差分の結果が示された画像である。 図１０は、第６２番目のフレームと基準フレームとの差分の結果が示された画像である。 図１１は、第７５番目のフレームと基準フレームとの差分の結果が示された画像である。 図１２は、第７６番目のフレームと基準フレームとの差分の結果が示された画像である。 図１３は、第７７番目のフレームと基準フレームとの差分の結果が示された画像である。 図１４は、第７８番目のフレームと基準フレームとの差分の結果が示された画像である。 図１５は、差分値が示されたグラフである。 図１６は、トップのフレームが決定される方法が示されたフローチャートである。 図１７は、差分値が示されたグラフである。 図１８は、テイクバックの所定位置のフレームが決定される方法が示されたフローチャートである。 図１９は、第３０番目のフレームと基準フレームとの差分の結果が示された画像である。 図２０は、第３９番目のフレームと基準フレームとの差分の結果が示された画像である。 図２１は、第４１番目のフレームと基準フレームとの差分の結果が示された画像である。 図２２は、第４３番目のフレームと基準フレームとの差分の結果が示された画像である。 図２３は、第５２番目のフレームと基準フレームとの差分の結果が示された画像である。 図２４は、第５７番目のフレームと基準フレームとの差分の結果が示された画像である。 図２５は、トップのシャフトの抽出方法の一例が示されたフローチャートである。 図２６は、図２５の抽出方法の過程で生成される画像を示す図である。 図２７は、アドレス画像のエッジ画像におけるシャフト探索範囲が示された図である。 図２８は、アドレスでの手元位置が示されたマスク画像１である。 図２９は、図２８に頭の位置が追加されたマスク画像１である。 図３０は、図２９にトップ近傍での手元位置が追加されたマスク画像１である。 図３１は、シャフト探索領域の一例が示されたＡＮＤ画像である。 図３２は、シャフト探索領域の他の例が示されたＡＮＤ画像である。

以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。

図１に示されたシステム２は、携帯電話機４とサーバ６とを備えている。携帯電話機４とサーバ６とは、通信回線８を介して接続されている。携帯電話機４は、カメラ１０、メモリ１２及び送受信部１４を備えている。メモリ１２の具体例としては、ＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。サーバ６は、演算部１６、メモリ１８及び送受信部２０を備えている。典型的な演算部１６は、ＣＰＵである。

図２には、図１のシステム２によってなされるゴルフスイング診断方法のフローチャートが示されている。この診断方法では、カメラ１０によって撮影がなされる（ＳＴＥＰ１）。図３には、撮影が開始される前の画面が示されている。この画面は、携帯電話機４のモニタ（図示されず）に表示される。この画面には、ゴルフクラブ２２を持ったゴルファー２４のアドレスが撮影されている。この画面では、ゴルファー２４が後方から撮影されている。この画面には、第一枠２６及び第二枠２８が示されている。これらの枠２６、２８は、携帯電話機４のＣＰＵ（図示されず）の上で実行されるソフトウエアにより、表示される。これらの枠２６、２８は、撮影者がカメラ１０のアングルを決定するときの一助となる。撮影者は、第一枠２６にグリップ３０が含まれ、第二枠２８にヘッド３２が含まれるように、カメラ１０のアングルを決定する。これらの枠２６、２８は、カメラ１０とゴルファー２４との距離の決定の一助ともなる。

図３に示された状態から、撮影が開始される。撮影開始後、ゴルファー２４はスイングを開始する。ゴルフボール（図示されず）が打撃され、さらにスイングが終了するまで、撮影が継続される。撮影により、動画のデータが得られる。このデータは、多数のフレームからなる。これらフレームが、メモリ１２に記憶される（ＳＴＥＰ２）。各フレームの画素数は、例えば６４０×４８０である。各画素は、ＲＧＢ系の色情報を有している。

撮影者又はゴルファー２４が携帯電話機４を操作することにより、動画のデータがサーバ６へと送信される（ＳＴＥＰ３）。データは、携帯電話機４の送受信部１４から、サーバ６の送受信部２０へ送信される。送信は、通信回線８を介してなされる。データは、サーバ６のメモリ１８に記憶される（ＳＴＥＰ４）。

演算部１６は、手ブレ補正を行う（ＳＴＥＰ５）。後に詳説される通り、本発明に係る診断方法では、フレーム間の差分処理がなされる。手ブレ補正は、この差分処理の精度を高める。手ブレ補正方法の一例が、特開２０１１−７８０６６に開示されている。携帯電話機４が十分な手ブレ補正機能を有している場合、演算部１６による手ブレ補正が省略されうる。

演算部１６は、多数のフレームの中から、スイングの良否の判定に供されるフレームを決定する（ＳＴＥＰ６）。以下、このフレームはチェックフレームと称される。例えば、
（１）アドレス
（２）テイクバック中の所定位置
（３）トップ
（４）切り返し
（５）インパクト
（６）フィニッシュ
に相当するフレームが、抽出される。テイクバック中の所定位置には、腕が水平である位置が含まれる。切り返しとは、ダウンスイングの開始直後の状態を意味する。切り返しでは、腕はほぼ水平である。チェックフレームの抽出ステップ（ＳＴＥＰ６）の詳細は、後に説明される。

演算部１６は、それぞれのチェックフレームに関し、輪郭を決定する（ＳＴＥＰ７）。具体的には、ゴルファー２４の体の輪郭又はゴルフクラブ２２の輪郭を決定する。演算部１６は、この輪郭に基づき、スイングの良否を判定する（ＳＴＥＰ８）。

判定結果は、サーバ６の送受信部２０から携帯電話機４の送受信部１４へと送信される（ＳＴＥＰ９）。判定結果は、携帯電話機４のモニタに表示される（ＳＴＥＰ１０）。モニタを見たゴルファー２４は、スイングのうち是正すべき箇所を知ることができる。このシステム２は、ゴルファー２４の技量の向上に寄与しうる。

前述の通り、チェックフレームの決定（ＳＴＥＰ６）は、演算部１６が行う。この演算部１６は、以下の機能を有する。
（１）上記画像データから抽出されたフレームのエッジ画像を得る機能
（２）このエッジ画像に対して所定の閾値に基づく二値化を施し、二値化画像を得る機能
（３）この二値化画像にハフ処理を施してゴルフクラブ２２のシャフト３４の位置を抽出し、ゴルフクラブ２２の先端座標を特定する機能
（４）異なるフレーム間の先端座標を対比することにより、アドレス時の仮フレームを決定する機能
（５）上記仮フレームよりも所定数後のフレームから逆送りで各フレームの基準領域内の色情報を算出し、この色情報の変化に基づいてアドレス時のフレームを決定する機能
（６）上記アドレス時のフレームから所定数後のフレームを基準フレームとして、この基準フレーム以降の各フレームとこの基準フレームとの差分値を算出し、この差分値の変化に基づいてインパクトのフレームを決定する機能
（７）上記インパクトのフレームよりも前の複数のフレームに関して直前フレームとの差分値を算出し、この差分値に基づいてトップのフレームを決定する機能
（８）上記インパクトのフレームよりも後の複数のフレームに関して直前フレームとの差分値を算出し、この差分値に基づいてフィニッシュのフレームを決定する機能
（９）上記アドレスのフレーム以降の複数のフレームに関し、このアドレスのフレームとの差分値を算出する機能
（１０）各フレームの差分画像にハフ変換処理を施して、シャフト３４の位置を抽出する機能
（１１）上記シャフト３４の位置の変化に基づいて、テイクバック中の所定のポジションのフレームを決定する機能
（１２）上記複数の画像データから、複数の所定フレームを抽出する機能
（１３）上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得る機能
（１４）上記複数の差分画像にＡＮＤ処理を施し、ＡＮＤ画像を得る機能
（１５）上記ＡＮＤ画像を用いて、シャフト探索領域を決定する機能
（１６）複数の上記ＡＮＤ画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
（１７）複数の上記ＡＮＤ画像を修正して得られた複数の修正画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
（１８）所定のピクセル数以上の面積の領域を残し、所定のピクセル数未満の面積の領域を消去するラベリング機能
（１９）収縮処理を行う機能
（２０）膨張処理を行う機能
(２１）差分画像に収縮処理及び膨張処理を施してマスク画像を得る機能
(２２）上記ＡＮＤ画像と上記マスク画像との差分処理によって、マスク処理済み差分画像を得る機能
(２３）上記マスク処理済み差分画像にハフ変換処理を施して、シャフト位置の抽出を試みる機能
（２４）チェックフレーム及びそのチェックフレームの前の１以上のフレームについてハフ変換処理を施して、複数のフレームについてシャフトの位置の抽出結果を得る機能
（２５）上記（２４）における複数の抽出結果に基づいて、チェックフレームにおけるシャフトの位置及び／又はスイングの良否を判断する機能

なお、本願において、「シャフト抽出を試みる」との表現を用いているのは、トップ等のチェックフレームにおいてシャフトの抽出が困難な場合があることを考慮したためである。

図４には、チェックフレームの決定方法のフローチャートが示されている。この決定方法は、アドレスのフレームが決定されるステップ（ＳＴＥＰ６１）、インパクトのフレームが決定されるステップ（ＳＴＥＰ６２）、トップのフレームが決定されるステップ（ＳＴＥＰ６３）、テイクバックの所定位置のフレームが決定されるステップ（ＳＴＥＰ６４）及びフィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）を含む。テイクバックの所定位置とは、例えば、腕が水平である位置である。なお、フィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は省略されてもよい。

フィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は、例えば、インパクトのフレームから所定数後のフレームとされうる。また、このフィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は、トップのフレームが決定されるステップ（ＳＴＥＰ６３）と同様の方法とされてもよい。

図４に示された方法によって決定されたフレームに基づいて、他のチェックフレームが決定されてもよい。例えば、インパクトのフレームから所定数前のフレームが、切り返しのフレームとされうる。

図５には、アドレスのフレームが決定される方法のフローチャートが示されている。この方法では、各フレームが、ＲＧＢ画像から濃淡画像へと変換される（ＳＴＥＰ６１１）。この変換は、後のエッジ検出を容易とする目的でなされる。濃淡画像における値Ｖは、例えば以下の数式によって算出される。
Ｖ ＝ ０．３０ ・ Ｒ ＋ ０．５９ ・ Ｇ ＋ ０．１１ ・ Ｂ

この濃淡画像からエッジが検出され、エッジ画像が得られる（ＳＴＥＰ６１２）。エッジでは、値Ｖの変化が大きい。従って、値Ｖの変化に対して微分又は差分が行われることにより、エッジが検出されうる。微分又は差分の演算に際し、ノイズが除去されることが好ましい。エッジの検出方法の一例として、ソーベル（Ｓｏｂｅｌ）法が挙げられる。他の方法によってエッジが検出されてもよい。他の方法としては、プレビット（Ｐｒｅｗｉｔｔ）法が例示される。

図６は、ソーベル法のための説明図である。図６中のＡからＩは、各画素の値Ｖを表している。値Ｅから、ソーベル法により、値Ｅ’が計算される。値Ｅ’は、エッジ強度である。値Ｅ’は、下記数式によって得られる。
Ｅ’ ＝ （ｆ_ｘ ^２ ＋ｆ_ｙ ^２）^１／２
この数式において、ｆ_ｘ及びｆ_ｙは、下記数式によって得られる。
ｆ_ｘ ＝ Ｃ ＋ ２ ・ Ｆ ＋ Ｉ − （Ａ ＋ ２ ・ Ｄ ＋ Ｇ）
ｆ_ｙ ＝ Ｇ ＋ ２ ・ Ｈ ＋ Ｉ − （Ａ ＋ ２ ・ Ｂ ＋ Ｃ）

このエッジ画像の各画素が、二値化される（ＳＴＥＰ６１３）。二値化の閾値は、天候、時刻等に応じ、適宜決定される。二値化により、モノクロ画像が得られる。モノクロ画像の一例が、図７に示されている。

このモノクロ画像のデータが、ハフ変換に供される（ＳＴＥＰ６１４）。ハフ変換は、幾何学的形状の規則性を利用して画像から線を抽出する方法である。ハフ変換により、直線、円、楕円等が抽出されうる。本実施形態では、ハフ変換により、ゴルフクラブ２２のシャフト３４に対応する直線が抽出される。

直線は、この直線に直交する線がｘ軸に対してなす角度θと、この直線と原点との距離ρとによって表されうる。角度θは、原点（０，０）を中心とする時計回りの角度である。原点は、左上である。ｘ−ｙ平面上の直線は、θ−ρ平面上での点に対応する。一方、ｘ−ｙ平面上の点（ｘ_ｉ，ｙ_ｉ）は、θ−ρ平面上では、下記数式で表される正弦曲線に変換される。
ρ ＝ ｘ_ｉ ・ ｃｏｓθ ＋ ｙ_ｉ ・ ｓｉｎθ
ｘ−ｙ平面上で同一直線上にある点をθ−ρ平面に変換すると、全ての正弦曲線が１つの点で交差する。θ−ρ平面において多数の正弦曲線が通過する点が判明すれば、この点に相当するｘ−ｙ平面上の直線が判明する。

このハフ変換により、シャフト３４に対応する直線の抽出を試みる。テイクバックにおけるシャフト３４が水平であるフレームでは、シャフト３４の軸方向は、カメラ１０の光軸とほぼ一致する。このようなフレームでは、シャフト３４に対応する直線は抽出され得ない。本実施形態では、ρを指定せず、θを３０°以上６０°以下と指定し、ｘを２００以上４８０以下と指定し、ｙを２５０以上５３０以下と指定して、直線の抽出を試みる。θをこの範囲に指定するので、直立するポールに相当する直線は、抽出されない。地面に置かれ水平方向に延在する物体に相当する直線も、抽出されない。θを３０°以上６０°以下に指定することでシャフト３４に相当しない直線をシャフト３４に相当する直線と誤認識することが防がれる。本実施形態では、投票数（１つの直線が通過する画素の数）が１５０以上である直線の中で最大のものを、シャフト３４に対応する直線とみなす。ハフ変換によってシャフト３４に相当する直線が抽出されたフレームでは、シャフト３４の先端座標（直線の先端位置）が取得される（ＳＴＥＰ６１５）。

本実施形態では、撮影開始後５０枚目のフレームから、逆送りで、先端座標の取得がなされる。前後のフレームとの間での、先端の移動距離が所定値以下となるフレームを、アドレスの仮フレームと決定する（ＳＴＥＰ６１６）。本実施形態では、第二枠２８（図３参照）の中に先端があり、かつ（ｆ−１）番目から（ｆ＋２）番目までの先端の移動距離の総和が４０以下であるｆ番目のフレームを、仮フレームとする。

仮フレームの前後の複数のフレームに関し、ＳＡＤ（色情報）が算出される（ＳＴＥＰ６１７）。ＳＡＤは、下記の数式（Ｆ１）によって算出される。
ＳＡＤ ＝ （ＲＳＡＤ ＋ ＧＳＡＤ ＋ ＢＳＡＤ） ／ ３ （Ｆ１）
この数式（Ｆ１）において、ＲＳＡＤは下記数式（Ｆ２）によって算出され、ＧＳＡＤは下記数式（Ｆ３）によって算出され、ＢＳＡＤは下記数式（Ｆ４）によって算出される。
ＲＳＡＤ ＝ （Ｒｆ１ − Ｒｆ２）^２ （Ｆ２）
ＧＳＡＤ ＝ （Ｇｆ１ − Ｇｆ２）^２ （Ｆ３）
ＢＳＡＤ ＝ （Ｂｆ１ − Ｂｆ２）^２ （Ｆ４）
上記数式（Ｆ２）において、Ｒｆ１はｆ番目の第二枠２８内のＲ値を表し、Ｒｆ２は（ｆ＋１）番目の第二枠２８内のＲ値を表す。上記数式（Ｆ３）において、Ｇｆ１はｆ番目の第二枠２８内のＧ値を表し、Ｇｆ２は（ｆ＋１）番目の第二枠２８内のＧ値を表す。上記数式（Ｆ４）において、Ｂｆ１はｆ番目の第二枠２８内のＢ値を表し、Ｂｆ２は（ｆ＋１）番目の第二枠２８内のＢ値を表す。

仮フレームから所定数後のフレームから、逆送りで、各フレームのＳＡＤが算出される。本実施形態では、仮フレームから７後のフレームから、仮フレームから１０前のフレームまでのＳＡＤが算出される。ＳＡＤが最初に５０未満となったフレームをもって、アドレスの本フレームと決定される（ＳＴＥＰ６１８）。このフレームは、チェックフレームである。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。ＳＡＤが５０未満であるフレームが存在しないときは、ＳＡＤが最小であるフレームが、アドレスの本フレームと決定される。

図８には、インパクトのフレームが決定される方法のフローチャートが示されている。アドレスのフレームは既に決定されているので、このアドレスのフレームから所定数後のフレームを、基準フレームと決定する（ＳＴＥＰ６２１）。基準フレームは、インパクト前であって、かつ第二枠２８にゴルフクラブ２２が写っていないフレームである。本実施形態では、アドレスのフレームから２５後のフレームが、基準フレームとされる。

基準フレームと、この基準フレームの後の各フレームとの間で、差分処理がなされる（ＳＴＥＰ６２２）。差分処理は、画像処理の１つとして既知な処理である。図９から１４に、差分画像が示されている。それぞれの画像の詳細は、以下の通りである。
図９：第４４番目のフレームと基準フレームとの差分画像
図１０：第６２番目のフレームと基準フレームとの差分画像
図１１：第７５番目のフレームと基準フレームとの差分画像
図１２：第７６番目のフレームと基準フレームとの差分画像
図１３：第７７番目のフレームと基準フレームとの差分画像
図１４：第７８番目のフレームと基準フレームとの差分画像

差分処理後の画像について、第二枠２８内の差分値が算出される（ＳＴＥＰ６２３）。この差分値が、図１５のグラフに示されている。このグラフより、第７７番目のフレームの差分値が最も大きいことが分かる。この第７７番目のフレームが、インパクトのフレームと決定される（ＳＴＥＰ６２４）。このフレームは、チェックフレームの一例である。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。

図１６には、トップのフレームが決定される方法のフローチャートが示されている。インパクトのフレームは、既に決定されている。このインパクトのフレームから、インパクトの所定数前までのフレームについて、差分処理がなされる（ＳＴＥＰ６３１）。差分処理は、当該フレームと、当該フレームの１つ後のフレームとの間でなされる。差分処理により、差分値が得られる。この差分値が、図１７に示されている。本実施形態では、インパクトよりも１５前のフレームからインパクトのフレームまでの間で、差分値が最小であるフレームが選定される（ＳＴＥＰ６３２）。図１７の例では、第７７番目のフレームがインパクトのフレームであり、第６５番目のフレームがトップのフレームである。第６５番目のフレームは、チェックフレームである。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。

フィニッシュのフレームが決定される方法は、トップのフレームが決定される方法と同様とされうる。インパクトのフレームは、既に決定されている。このインパクトの所定数後のフレームから、最後のフレームまでについて、差分処理がなされる。差分処理は、当該フレームと、当該フレームの１つ後のフレームとの間でなされる。差分処理により、差分値が得られる。例えば、インパクトよりも所定数後のフレームから最後のフレームまでの間で、差分値が最小であるフレームが、フィニッシュのフレームに選定される。このフィニッシュのフレームは、チェックフレームである。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。

図１８には、テイクバックの所定位置のフレームが決定される方法のフローチャートが示されている。アドレスのフレームは、既に決定されている。このアドレスのフレーム以降のフレームに、差分処理がなされる（ＳＴＥＰ６４１）。この差分処理は、アドレスのフレームを基準フレームとし、この基準フレームと他のフレームとの間でなされる。図１９から２４に、差分画像が示されている。それぞれの画像の詳細は、以下の通りである。
図１９：第３０番目のフレームと基準フレームとの差分画像
図２０：第３９番目のフレームと基準フレームとの差分画像
図２１：第４１番目のフレームと基準フレームとの差分画像
図２２：第４３番目のフレームと基準フレームとの差分画像
図２３：第５２番目のフレームと基準フレームとの差分画像
図２４：第５７番目のフレームと基準フレームとの差分画像

これらの差分画像において、縦ｙの画素数は６４０であり、横ｘの画素数は４８０である。これら差分画像に、ハフ変換がなされる（ＳＴＥＰ６４２）。ハフ変換により、シャフト３４に相当する直線が算出されうる。それぞれの差分画面において、下記の条件を満たす直線の有無が判定される（ＳＴＥＰ６４３）。
θ：５°以上８５°以下
ρ：指定無し
ｘ：０以上２４０以下
ｙ：０以上３２０以下
投票数：１００以上
これら条件を満たす直線が抽出されるフレームでは、シャフト３４がゴルファー２４の胴よりも左側に位置している。アドレスのフレーム以降のフレームであって最初にこれら条件を満たす直線が抽出されたフレーム（以下「合致フレーム」と称する）が、チェックフレームである。合致フレームから所定数後のフレームが、チェックフレームと決定されてもよい。合致フレームから２つ後のフレームにおいて、右利きゴルファー２４の左腕がほぼ水平であることが、経験的に判明している。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。

以下、トップのシャフト位置の抽出方法が説明される。図２５は、この抽出方法の一例を示すフローチャートである。図２６は、この抽出方法の各段階で得られる画像を示す。この抽出方法では、対象画像から、シャフト以外の部分が除去されうる。この除去により、精度の高いシャフト位置の抽出が可能とされうる。なお、本願において対象画像とは、シャフトの位置が抽出される画像を意味する。対象画像にハフ変換処理が施されて、シャフトの位置が抽出される。好ましい対象画像は、後述されるＡＮＤ画像、又は、このＡＮＤ画像の修正画像である。この修正画像の一例は、後述される差分画像Ｄｐ−Ｄである。この修正画像は、例えば、ＡＮＤ画像をマスク画像によって修正することで得られる。

トップのフレームにおいて、シャフトが見えないことがある。例えば、トップにおいてシャフトが目標方向を向いた場合、シャフトが見えないことがある。この場合、トップでのシャフト位置が抽出されない。しかし、本実施形態では、トップでのシャフト位置が抽出されない場合であっても、スイングの良否が判断されうる。

この抽出方法では、差分処理をスタートする画像Ｔが決定される（ＳＴＥＰ１１００）。前述したように、トップのフレームは、既に決定されている。この画像Ｔは、トップのフレームから所定数前のフレームとされる。この所定数は、好ましくは３以上１０以下であり、より好ましくは５である。好ましくは、この画像Ｔは、トップ直前の画像とされる。本実施形態では、この画像Ｔは、トップのフレームから５前のフレームである。

トップのフレームにおいてシャフトが見えない場合であっても、トップより前のフレームでは、シャフトは見える。差分処理をスタートする画像Ｔは、トップに近く且つシャフトが見えやすいフレームに決定されるのが好ましい。

次に、差分Ａがなされる（ＳＴＥＰ１１１０）。この差分Ａは、上記画像Ｔとアドレス画像との差分処理である。図２６には、この差分Ａによって得られる差分画像Ｄｐ−Ａが示されている。

次に、差分Ｂがなされる（ＳＴＥＰ１１２０）。この差分Ｂは、画像Ｔと、その画像Ｔから所定数後のフレームとの差分処理である。本実施形態では、この所定数は２とされている。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。図２６には、この差分Ｂによって得られる差分画像Ｄｐ−Ｂが示されている。

次に、差分Ｃがなされる（ＳＴＥＰ１１３０）。この差分Ｃは、画像Ｔと、その画像Ｔから所定数前のフレームとの差分処理である。本実施形態では、この所定数が２とされている。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。図２６には、この差分Ｃによって得られる差分画像Ｄｐ−Ｃが示されている。

このように、差分Ｂ及び差分Ｃでは、画像Ｔの前後で且つ画像Ｔに近いフレームと画像Ｔとの差分がなされる。

次に、ＡＮＤ処理がなされる（ＳＴＥＰ１１４０）。差分画像Ｄｐ−Ｂと差分画像Ｄｐ−Ｃとの間で、ＡＮＤ処理がなされる。このＡＮＤ処理により、差分画像Ｄｐ−Ｂと差分画像Ｄｐ−Ｃとの両方に存在する画素のみが、残される。図２６には、このＡＮＤ処理によって得られるＡＮＤ画像Ａｎ−１が示されている。このＡＮＤ画像Ａｎ−１では、画像Ｔにおけるシャフト以外の部分が効果的に除去されている。

このＡＮＤ処理は、差分画像の修正処理の一例である。ＡＮＤ画像Ａｎ−１は、上記修正画像の一例である。

このＡＮＤ画像Ａｎ−１が対象画像とされてもよい。ただし、本実施形態では、シャフト位置の抽出の精度を更に高めるため、以下のステップがなされる。

次に、マスク画像１が生成される（ＳＴＥＰ１１５０）。このステップでは、差分画像Ｄｐ−Ａに処理が施される。このマスク画像１の生成ステップは、差分画像Ｄｐ−Ａに、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５０である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、４回の膨張処理がなされる。得られたマスク画像１が、図２６において、符号Ｍｐ−１で示されている。

このマスク画像１（画像Ｍｐ−１）は、シャフト以外の部分の画像を除去するために用いられる。図２６が示すように、マスク画像１（画像Ｍｐ−１）では、シャフト部分の画素は除去されており、主としてゴルファー部分の画素が残されている。

次に、マスク画像２が生成される（ＳＴＥＰ１１６０）。このステップでは、ＡＮＤ画像Ａｎ−１に処理が施される。このマスク画像２の生成ステップは、ＡＮＤ画像Ａｎ−１に、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、３回の膨張処理がなされる。このマスク画像２が、図２６において、符号Ｍｐ−２で示されている。

このマスク画像２（画像Ｍｐ−２）は、シャフト以外の部分（ヘッド）の画像を除去するために用いられる。図２６が示すように、マスク画像２（画像Ｍｐ−２）では、シャフト部分の画素は除去されており、主として画像Ｔにおけるヘッドの画素が残されている。このマスク画像２は、シャフト以外の部分（ヘッド）を除去するのに役立つ。

次に、差分Ｄがなされる（ＳＴＥＰ１１７０）。この差分Ｄは、ＡＮＤ画像Ａｎ−１から、マスク画像１及びマスク画像２が除去される差分処理である。図２６には、この差分Ｄによって得られる差分画像Ｄｐ−Ｄが示されている。マスク画像１、２を用いて差分Ｄがなされることで、ＡＮＤ画像Ａｎ−１から、シャフト以外の部分が効果的に除去されている。この差分画像Ｄｐ−Ｄは、マスク処理済み差分画像の一例である。この差分画像Ｄｐ−Ｄは、上記修正画像の一例である。

次に、シャフト探索領域が決定される（ＳＴＥＰ１１８０）。シャフト探索領域が限定されることで、シャフト位置の抽出の精度が向上しうる。

シャフト探索領域は、シャフトが存在する可能性が高い領域に設定される。シャフト探索領域が狭すぎると、シャフトがこの領域から外れる可能性が高まる。一方、シャフト探索領域が広すぎると、シャフトの抽出精度が低下しうる。これらの点を考慮して、適切なシャフト探索領域が設定される。

好ましくは、このシャフト探索領域の決定では、上記の各ステップで得られた画像のいずれかを用いて特徴点が抽出される。この特徴点に基づいて、シャフト探索領域が決定される。この特徴点の抽出の一例については、後述される。

次に、ハフ変換処理が実施される（ＳＴＥＰ１１９０）。決定されたシャフト探索領域において、ハフ変換処理が実施される。このハフ変換処理により、シャフトが抽出される。ただし。シャフトが見えない場合には、このハフ変換処理によっても、シャフトは抽出されない。

次に、画像Ｔがトップか否かが判断される（ＳＴＥＰ１２００）。画像Ｔがトップであれば、シャフトの抽出が終了される。画像Ｔがトップでない場合、画像Ｔの１後のフレームが選択され（ＳＴＥＰ１２１０）、上記差分ステップに戻る。画像Ｔがトップとなるまで、このループが繰り返される。このループにより、シャフト位置の時系列的な抽出が試行される。本実施形態では、トップの５フレーム前が当初の画像Ｔであるから、本実施形態では、上記ループが６回繰り返される。このように、本実施形態では、トップ前からトップまでの複数のフレームについて、シャフト位置の抽出が試行される。よって、複数のフレームのそれぞれについてシャフト位置の抽出結果が時系列的に得られる。

これらの複数のフレームでの抽出結果に基づき、トップのシャフト位置が判断される。この抽出結果は、以下の結果ＡからＣに分類される。
［結果Ａ］：トップのシャフト位置が抽出されている。
［結果Ｂ］：トップのシャフト位置は抽出されていないが、トップ前の少なくとも１のフレームについてはシャフト位置が抽出されている。
［結果Ｃ］：シャフト位置の抽出を試みた全てのフレームについて、シャフト位置が抽出されていない。

結果Ａの場合、その抽出されたトップでのシャフト位置に基づいて、スイングの良否（トップの姿勢の良否）が判断される。

結果Ｂの場合、トップ前（トップ近傍）でのシャフト位置の抽出には成功している。よって、トップ近傍でのシャフト位置の抽出に失敗しているという状況ではない。結果Ｂが得られた場合、トップのシャフト位置が抽出されていないという結果は、信頼性が高い。即ち、結果Ｂの場合、トップにおいてシャフトが目標方向に対して略平行であると判断されうる。

トップにおいてシャフトが目標方向に対して平行な状態は、良好なシャフト位置である。結果Ｂが得られた場合、トップでのゴルファー２４の姿勢は良好であると判断される。

結果Ｃの場合、結果Ｂと同様に、トップでのシャフト位置の抽出は出来ていない。しかし、更に結果Ｃでは、トップ前（トップ近傍）でのシャフト位置の抽出もできていない。この結果Ｃは、トップ近傍でのシャフト位置の抽出に失敗していることを示す。即ち、結果Ｃは、トップ近傍においてシャフトが見える状況であるにも関わらず、何らかの原因で、シャフトの抽出に失敗している状況を示している。なぜなら、トップより前においてシャフトが見えないという状況は考えにくいからである。よって、結果Ｃが得られた場合は、トップのシャフト位置が不明であると判断される。この場合、トップでのゴルファー２４の姿勢の良否は判断されない。

これらの抽出結果に関する判断は、次のステップ（Ｓａ）又は（Ｓｂ）を含む。
（Ｓａ）シャフト位置の抽出を試みるステップにおいてチェックフレームのシャフト位置が抽出されたか否かによって、ゴルファーの姿勢の良否が判断されるステップ。
（Ｓｂ）上記シャフト位置の抽出を試みるステップにおいてチェックフレームのシャフト位置が抽出された場合、そのシャフト位置によってゴルファーの姿勢の良否が判断されるステップ。

好ましくは、上記ステップ（Ｓａ）は、次のステップ（Ｓａ１）を含む。
（Ｓａ１）チェックフレームのシャフト位置が抽出できなかった場合、このチェックフレームより前のシャフト位置が抽出されたか否かによって、このチェックフレームにおけるシャフト位置の抽出の適否が判断される

このステップ（Ｓａ１）では、上記チェックフレームより前のシャフト位置が抽出される場合に、上記チェックフレームにおけるシャフト位置の抽出が適切であると判断される。このステップ（Ｓａ１）では、上記チェックフレームより前のシャフト位置が抽出されない場合に、上記チェックフレームにおけるシャフト位置の抽出が不適切であると判断される。

好ましくは、上記ステップ（Ｓａ）は、次のステップ（Ｓａ２）を含む。
（Ｓａ２）シャフト位置の抽出を試みるステップにおいてチェックフレームのシャフト位置が抽出されず、且つ、このチェックフレームの前のフレームにおいてシャフト位置が抽出された場合、シャフト位置（ゴルファーの姿勢）が良好であると判断されるステップ。

なお、ステップ（Ｓａ１）及び（Ｓａ２）において、チェックフレームの前のフレームとは、好ましくは、時系列的な抽出結果として得られた複数のフレームの抽出結果のうち、上記チェックフレーム以外の他のフレームの抽出結果である。本実施形態では、チェックフレームがトップのフレームである。

単にチェックフレーム（トップのフレーム）のシャフト位置を抽出するのみでは、結果Ｂと結果Ｃとが区別できない。よって、単にトップのシャフト位置を抽出するのみでは、トップ近傍でのシャフト位置の抽出に失敗しているにも関わらず、シャフト位置が良好と判断されうる。本実施形態では、トップ前のフレームからシャフト位置を追跡することで、トップでのシャフトの抽出結果の信頼性を高めている。

以下に、上記差分ステップ（ＳＴＥＰ１１１０、１１２０、１１３０）の詳細が例示的に示される。なお、この差分ステップでの差分処理は、原画像（カラー画像）からの差分処理である。よって、この差分ステップでは、二値化された差分画像を得るために、差分処理の後に二値化処理がなされる。一方、本願では、二値化画像同士の差分処理も含まれている。この差分処理では、差分処理の後に二値化処理は不要である。

この差分ステップの一例では、差分の対象となる２つのフレームの各画素について、色相Ｈ、彩度Ｓ及び明度Ｖが算出される。この算出の計算式が以下の（１）から（４）に示される。

上記（１）が示すように、色相Ｈは、５つの場合分けによって決定される。Ｒ、Ｇ及びＢは、それぞれ、ＲＧＢ系の色情報の値である。また、ｄ＝２Ｒ−Ｇ−Ｂである。このｄは、「denominator」の略である。Ｌは輝度である。

ＲＧＢ系からＨＳＶ系への変換は、公知である。上記以外の公知の変換式が用いられても良い。

次に、算出された色相Ｈ、彩度Ｓ及び明度Ｖに基づいて、画素間の色距離が算出される。差分される一方のフレームにおいて、色相がＨ_１とされ、彩度がＳ_１とされ、明度がＶ_１とされる。差分される他方のフレームにおいて、色相がＨ_２とされ、彩度がＳ_２とされ、明度がＶ_２とされる。色相がＨ_１であり、彩度がＳ_１であり且つ明度がＶ_１である色ベクトルがＣ_１とされる。色相がＨ_２であり、彩度がＳ_２であり且つ明度がＶ_２である色ベクトルがＣ_２とされる。色距離Ｄ（Ｃ_１，Ｃ_２）は、次の式（５）から（１６）により算出される。ただし、色距離Ｄ（Ｃ_１，Ｃ_２）は、０以上１０．０以下である。なお、式（７）では、Ｈｕｅ−Ｓａｔｕｒａｔｉｏｎ空間におけるＣ_１とＣ_２との色距離ΔＨが求められている。式（１５）及び式（１６）で対数を採っているのは、Ｓ_１及びＳ_２が低い場合においても色距離を正確に算出するためである。式（５）におけるａ、ｂ及びｃは定数であり、本実施形態では、ａは５．１とされ、ｂは２．２５とされ、ｃは２．６５とされる。

この色距離Ｄ（Ｃ_１，Ｃ_２）の計算が、差分処理の一例である。この色距離Ｄ（Ｃ_１，Ｃ_２）に基づいて、二値化処理がなされる。この二値化処理では、色距離Ｄ（Ｃ_１，Ｃ_２）が所定値以上である画素が１とされ、色距離Ｄ（Ｃ_１，Ｃ_２）が所定値未満である画素が０とされる。本実施形態では、色距離Ｄ（Ｃ_１，Ｃ_２）が０．４以上である画素が１とされ、色距離Ｄ（Ｃ_１，Ｃ_２）が０．４未満である画素が０とされる。この二値化処理により、二値化された差分画像が得られる。

次に、シャフト探索領域の決定ステップ（ＳＴＥＰ１１８０）の一例が説明される。この決定ステップは、特徴点を抽出するステップを含む。この特徴点に基づき、シャフト探索領域が決定される。適切なシャフト探索領域を決定するのに適した特徴点が選択される。

本実施形態では、第１の特徴点として、ヘッド画像の中心点ＨＣ１（図示省略）が抽出される。この中心点ＨＣ１は、上記マスク画像２（画像Ｍｐ−２；図２６参照）に写っているヘッド画像の中心点である。このヘッド画像において、ｘの最大値Ｘ１、ｘの最小値Ｘ２、ｙの最大値Ｙ１及びｙの最小値Ｙ２が決定される。中心点ＨＣ１のｘがＸｃとされ、中心点ＨＣ１のｙがＹｃとされるとき、これらのＸｃ及びＹｃは次の式によって算出される。
Ｘｃ＝（Ｘ１＋Ｘ２）／２
Ｙｃ＝（Ｙ１＋Ｙ２）／２

本実施形態では、第２の特徴点として、アドレスでの手元位置が抽出される。このアドレスでの手元位置を抽出するステップは、アドレスでのシャフトを抽出するステップＳｔ１と、このステップＳｔ１の結果に基ついてアドレスでの手元位置が抽出されるステップＳｔ２とを含む。

ステップＳｔ１では、アドレスのエッジ画像ＥＡｐが用いられる（図２７参照）。なおこの図２７では、エッジ画像の記載は省略されている。好ましくは、ステップＳｔ１では、所定のシャフト探索範囲が決定される。このシャフト探索範囲は、アドレスにおけるシャフトの位置を考慮して決定される。本実施形態では、このシャフト探索範囲は、ｘが２４０から４８０までであり、ｙが３２０から６４０までである（図２７参照）。ステップＳｔ１では、このシャフト探索範囲に、ハフ変換処理が施される。このハフ変換処理により、シャフトの位置が抽出される。

図２８は、ステップＳｔ２を説明するための図である。このステップＳｔ２では、マスク画像１（画像Ｍｐ−１）が用いられる。このステップＳｔ２では、ステップＳｔ１で抽出されたシャフト位置に沿った直線Ｌｓが用いられる。この直線Ｌｓと、画像Ｍｐ−１との交点に基づいて、アドレスでの手元位置ＡＧ１が決定される（図２８参照）。この手元位置ＡＧ１のｘがＸａとされる。この手元位置ＡＧ１のｙがＹａとされる。

本実施形態では、第３の特徴点として、トップ（又はトップ近傍）における頭の位置が抽出される。この頭の位置の抽出では、マスク画像１（画像Ｍｐ−１）が用いられる。図２９において示される長方形は、頭の位置の抽出における探索範囲である。本実施形態では、この探索範囲のｘは、［Ｘａ−４０］から［４８０×０．８］までとされている。この探索範囲のｙは、２０からＹａまでとされている。この探索範囲に存在する画像において、ｙが最小（図２９において最も上側）の点が、頭の位置ＴＨ１とされる（図２９参照）。この頭の位置ＴＨ１のｘがＸｈとされる。この頭の位置ＴＨ１のｙがＹｈとされる。

本実施形態では、第４の特徴点として、トップ（又はトップ近傍）における手元の位置が抽出される。この手元の位置の抽出では、マスク画像１（画像Ｍｐ−１）が用いられる。図３０において示される長方形は、この手元の位置の抽出における探索範囲である。本実施形態では、この探索範囲のｘは、４０から［Ｘｈ−４０］までとされている。この探索範囲のｙは、２０からＹａまでとされている。この探索範囲に存在する画像において、ｙが最小（図３０において最も上側）の点が、手元の位置ＴＧ１とされる（図３０参照）。この手元の位置ＴＧ１のｘがＸｔとされる。この手元の位置ＴＧ１のｙがＹｔとされる。

この位置ＴＧ１が適宜修正されてもよい。本実施形態では、最終的に決定される手元位置のｙがＹｆとされるとき、このＹｆは［Ｙｔ＋１０］とされる。最終的に決定される手元位置のｘがＸｆとされるとき、このＸｆはＸｔ（修正無し）とされる。

以上のステップにより、次の特徴点が決定している。
・ヘッド画像の中心点ＨＣ１（Ｘｃ，Ｙｃ）
・トップ（又はトップ近傍）における手元位置（Ｘｆ，Ｙｆ）
これらの特徴点に基づいて、本ステップ（ＳＴＥＰ１１８０）の最終目的である、シャフト探索領域が決定される。

決定されるシャフト探索領域の一例が、図３１に四角形で示されている。この領域のｘは、［Ｘｆ−２０］から［Ｘｃ＋２０］までである。この領域のｙは、［Ｙｃ−２０］から［Ｙｆ＋２０］までである。このようにして、シャフト探索領域が決定される。この決定されたシャフト探索領域において、ハフ変換処理（ＳＴＥＰ１１９０）がなされる。ｋのハフ変換処理において、投票数が所定数以上の直線が、シャフトとして抽出される。この投票数は、３以上１０以下が好ましく、より好ましくは６である。θの拘束条件は設定されないのが好ましい。

図３２は、他のＡＮＤ画像Ａｎ−１を示す。この図３２の実施形態のように、ＡＮＤ画像においてヘッドが見えないことがある。この場合、マスク画像２（画像Ｍｐ−２）にも、ヘッドの画像は存在しない。よって、上記中心点ＨＣ１の座標（Ｘｃ，Ｙｃ）は決定されえない。この場合、他の特徴点を用いて、シャフト探索領域が決定されうる。図３２に四角形で示された領域は、この決定されたシャフト探索領域の一例である。この領域の決定では、腰位置のｘ座標Ｘｂと、腰位置のｙ座標Ｙｂとが用いられる。更に、この領域の決定では、ＡＮＤ画像Ａｎ−１における最大のｘ座標Ｘｍが用いられる。図３２における画像における右端のｘが、Ｘｍである。

Ｘｂ及びＹｂの決定方法の一例は次の通りである。ＡＮＤ画像Ａｎ−１において、体のバック側（背中等）のライン（バックライン）で極値をとる点が、腰位置Ｂ１（Ｘｂ，Ｙｂ）とされうる。図３２には、この決定された腰位置Ｂ１の一例が示されている。

この腰位置Ｂ１（Ｘｂ，Ｙｂ）を用いて、シャフト探索領域が決定されている。図３２で示される実施形態において、シャフト探索領域のｘはＸｂからＸｍまでであり、シャフト探索領域のｙはＹｆからＹｚまでである。但し、Ｙｚは、次の式により算出される。
Ｙｚ＝（（Ｙｂ−Ｙｆ）／３）＋Ｙｆ

このように、トップ（又はトップ近傍）におけるシャフト探索領域は、複数の特徴点に基づいて、決定されうる。シャフト探索領域を適切に設定することで、シャフト抽出の精度が向上しうる。

フィニッシュのシャフト位置の抽出は、トップのシャフト位置の抽出と似た方法によってなされうる。フィニッシュにおいても、トップと同様に、シャフトが見えない場合がある。よって、この方法は、フィニッシュのシャフト位置の抽出にも有効に適用されうる。

フィニッシュのシャフト位置の抽出では、好ましくは、インパクトの所定数後のフレームからシャフトが追跡される。この追跡が開始されるフレームは、インパクトとフィニッシュとの間のフレームである。好ましくは、この所定数は、５以上１５以下であり、より好ましくは１０である。この追跡により、フィニッシュでのシャフト位置が抽出されなかった場合においても、適切な判断がなされうる。

以下、フィニッシュのシャフト位置の抽出方法の概略が説明される。この抽出方法の概略は、トップの場合（図２５参照）と似ているので、以下では、図２５を参照しつつ、トップの場合との相違点のみが説明される。

この抽出方法では、差分処理をスタートする画像Ｔが決定される（前述のＳＴＥＰ１１００参照）。前述したように、インパクトのフレームは、既に決定されている。この画像Ｔは、インパクトのフレームから所定数後のフレームとされる。本実施形態では、この画像Ｔは、インパクトのフレームから１０後のフレームである。

フィニッシュのフレームにおいてシャフトが見えない場合であっても、フィニッシュより前のフレームでは、シャフトは見える。差分処理をスタートする画像Ｔは、フィニッシュに近く且つシャフトが見えやすいフレームに決定されるのが好ましい。

図２５の実施形態（トップのシャフト位置の抽出方法）では、差分処理をスタートする画像Ｔは、アドレスからトップまでの間のフレームである。これに対して、フィニッシュのシャフト位置の抽出方法では、差分処理をスタートする画像Ｔは、インパクトからフィニッシュまでの間のフレームである。

次に、差分Ａがなされる（前述のＳＴＥＰ１１１０参照）。この差分Ａは、上記画像Ｔとアドレス画像との差分処理である。この差分Ａにより、差分画像ＤＡが得られる。

次に、差分Ｂがなされる（前述のＳＴＥＰ１１２０参照）。この差分Ｂは、画像Ｔと、その画像Ｔから所定数後のフレームとの差分処理である。この差分Ｂにより、差分画像ＤＢが得られる。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。

次に、差分Ｃがなされる（前述のＳＴＥＰ１１３０参照）。この差分Ｃは、画像Ｔと、その画像Ｔから所定数前のフレームとの差分処理である。この差分Ｃにより、差分画像ＤＣが得られる。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。

このように、差分Ｂ及び差分Ｃでは、画像Ｔの前後で且つ画像Ｔに近いフレームと画像Ｔとの差分がなされる。

次に、ＡＮＤ処理がなされる（前述のＳＴＥＰ１１４０参照）。差分画像ＤＢと差分画像ＤＣとの間で、ＡＮＤ処理がなされる。このＡＮＤ処理により、両差分画像に存在する画素のみが、残される。このＡＮＤ処理により、ＡＮＤ画像Ａ１が生成される。このＡＮＤ画像Ａ１では、画像Ｔにおけるシャフト以外の部分が効果的に除去されている。

このＡＮＤ画像Ａ１が対象画像とされてもよい。ただし、シャフト位置の抽出の精度を更に高める観点から、好ましくは、以下のステップがなされる。

次に、マスク画像１が生成される（前述のＳＴＥＰ１１５０参照）。このステップでは、差分画像ＤＡに処理が施される。このマスク画像１の生成ステップは、差分画像ＤＡに、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５０である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、４回の膨張処理がなされる。

このマスク画像１は、シャフト以外の部分の画像を除去するために用いられる。図示されないが、マスク画像１では、シャフト部分の画素は除去されており、主としてゴルファー部分の画素が残されている。

次に、マスク画像２が生成される（前述のＳＴＥＰ１１６０参照）。このステップでは、ＡＮＤ画像Ａ１に処理が施される。このマスク画像２の生成ステップは、ＡＮＤ画像Ａ１に、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、３回の膨張処理がなされる。

このマスク画像２は、シャフト以外の部分（ヘッド）の画像を除去するために用いられる。図示されないが、マスク画像２では、シャフト部分の画素は除去されており、主として画像Ｔにおけるヘッドの画素が残されている。このマスク画像２は、シャフト以外の部分（ヘッド）を除去するのに役立つ。

次に、差分Ｄがなされる（前述のＳＴＥＰ１１７０参照）。この差分Ｄは、ＡＮＤ画像Ａ１から、マスク画像１及びマスク画像２が除去される差分処理である。マスク画像１、２を用いて差分Ｄがなされることで、ＡＮＤ画像Ａ１から、シャフト以外の部分が効果的に除去されている。

次に、シャフト探索領域が決定される（前述のＳＴＥＰ１１８０参照）。シャフト探索領域が限定されることで、シャフト位置の抽出の精度が向上しうる。

シャフト探索領域は、シャフトが存在する可能性が高い領域に設定される。シャフト探索領域が狭すぎると、シャフトがこの領域から外れる可能性が高まる。一方、シャフト探索領域が広すぎると、シャフトの抽出精度が低下しうる。これらの点を考慮して、適切なシャフト探索領域が設定される。

好ましくは、このシャフト探索領域の決定では、上記の各ステップで得られた画像のいずれかを用いて特徴点が抽出される。この特徴点に基づいて、シャフト探索領域が決定される。

次に、ハフ変換処理が実施される（前述のＳＴＥＰ１１９０参照）。決定されたシャフト探索領域において、ハフ変換処理が実施される。このハフ変換処理により、シャフトが抽出される。ただし。シャフトが見えない場合には、このハフ変換処理によっても、シャフトは抽出されない。

このハフ変換処理におけるシャフト抽出では、投票数が所定数以上とされる。この投票数は、この投票数は、５以上１５以下が好ましく、より好ましくは１０である。好ましくは、θの拘束条件は設定されない。

このハフ変換処理において、投票数が上記所定数（例えば１０）未満である場合がありうる。この場合、差分画像Ｄに代えて、ＡＮＤ画像Ａ１にハフ変換処理が施されても良い。即ちこの場合、ＡＮＤ画像Ａ１が対象画像とされてもよい。このハフ変換処理により、投票数が所定数（例えば１０）以上の直線が抽出された場合、この直線がシャフトとして抽出される。ＡＮＤ画像Ａ１を対象画像とする場合、θの拘束条件が付加されるのが好ましい。好ましいθの拘束条件は、０°以上−９０°である。

次に、画像Ｔがフィニッシュか否かが判断される（前述のＳＴＥＰ１２００参照）。画像Ｔがフィニッシュであれば、シャフトの抽出が終了される。画像Ｔがフィニッシュでない場合、画像Ｔの１後のフレームが選択され（前述のＳＴＥＰ１２１０参照）、上記差分ステップに戻る。画像Ｔがフィニッシュとなるまで、このループが繰り返される。本実施形態では、よって、フィニッシュ前からフィニッシュまでの複数のフレームについて、シャフト位置の抽出が試行される。よって、複数のフレームのそれぞれについてシャフト位置の抽出結果が得られる。

これらの複数のフレームでの抽出結果に基づき、フィニッシュのシャフト位置が判断される。この抽出結果は、以下の結果ＡからＣに分類される。
［結果Ａ］：フィニッシュのシャフト位置が抽出されている。
［結果Ｂ］：フィニッシュのシャフト位置は抽出されていないが、フィニッシュ前の少なくとも１のフレームについてはシャフト位置が抽出されている。
［結果Ｃ］：シャフト位置の抽出を試みた全てのフレームについて、シャフト位置が抽出されていない。

結果Ａの場合、その抽出されたフィニッシュでのシャフト位置に基づいて、スイングの良否（フィニッシュの姿勢の良否）が判断される。

結果Ｂの場合、フィニッシュ前（フィニッシュ近傍）でのシャフト位置の抽出には成功している。よって、フィニッシュ近傍でのシャフト位置の抽出に失敗しているという状況ではない。結果Ｂが得られた場合、フィニッシュのシャフト位置が抽出されていないという結果は、信頼性が高い。即ち、結果Ｂの場合、フィニッシュにおいてシャフトが目標方向に対して略平行であると判断されうる。あるいは、フィニッシュにおいてシャフトが体によって隠れている場合も想定される。

結果Ｃの場合、結果Ｂと同様に、フィニッシュでのシャフト位置の抽出は出来ていない。しかし、更に結果Ｃでは、フィニッシュ前（フィニッシュ近傍）でのシャフト位置の抽出もできていない。この結果Ｃは、フィニッシュ近傍でのシャフト位置の抽出に失敗していることを示す。即ち、結果Ｃは、フィニッシュ近傍においてシャフトが見える状況であるにも関わらず、何らかの原因で、シャフトの抽出に失敗している状況を示している。なぜなら、フィニッシュより前（インパクトからフィニッシュまで）においてシャフトが見えないという状況は考えにくいからである。よって、結果Ｃが得られた場合は、フィニッシュのシャフト位置が不明であると判断される。この場合、フィニッシュでのゴルファー２４の姿勢の良否は判断されない。

単にフィニッシュのシャフト位置を抽出するのみでは、結果Ｂと結果Ｃとが区別できない。よって、単にフィニッシュのシャフト位置を抽出するのみでは、フィニッシュ近傍でのシャフト位置の抽出に失敗しているにも関わらず、この失敗を認識することなく、シャフト位置が判断されうる。本実施形態では、フィニッシュ前のフレームからシャフト位置を追跡することで、フィニッシュでのシャフトの抽出結果の信頼性が高められている。

チェックフレームは、トップ及びフィニッシュに限定されない。チェックフレームの決定により、種々のポジションでのスイング診断が可能である。例えば、アドレス時のシャフト３４に相当する直線と、ダウンスイング時のシャフト３４に相当する直線とのなす角度により、スイングの良否が判定されてもよい。

この実施形態ではサーバ６の演算部１６が各処理を行うが、携帯電話機４の演算部１６が各処理を行ってもよい。この場合、携帯電話機４とサーバ６との接続は不要である。

本発明に係る方法では、ゴルフ場、プラクティスレンジ、ゴルフショップ、一般家庭の庭等においてなされるスイングが、診断されうる。

２・・・システム
４・・・携帯電話機
６・・・サーバ
１０・・・カメラ
１６・・・演算部
２２・・・ゴルフクラブ
２６・・・第一枠
２８・・・第二枠
３６・・・シャフト探索領域
Ａｎ−１・・・ＡＮＤ画像
Ｄｐ−Ａ、Ｄｐ−Ｂ、Ｄｐ−Ｃ、Ｄｐ−Ｄ・・・差分画像
Ｍｐ−１、Ｍｐ−２・・・マスク画像

Claims (4)

1. ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを後方からカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ、
   演算部が、上記複数のフレームを用いて、シャフトの位置を判断するためのチェックフレームであるトップのフレームから所定数前のフレームである画像Ｔと他のフレームとで差分処理及び二値化処理を行い、二値化された差分画像を得るステップ、
   及び
   演算部が、この差分画像の修正画像にハフ変換処理を施して、上記チェックフレームであるトップのフレームのシャフト位置の抽出を試みるステップ
   を含み、
   上記修正画像が、
   上記画像Ｔとアドレス画像との差分処理により差分画像Ｄｐ−Ａを得るステップと、
   上記画像Ｔとこの画像Ｔから所定数後のフレームとの差分処理により差分画像Ｄｐ−Ｂを得るステップと、
   上記画像Ｔとこの画像Ｔから所定数前のフレームとの差分処理により差分画像Ｄｐ−Ｃを得るステップと、
   上記差分画像Ｄｐ−Ｂと上記差分画像Ｄｐ−ＣとのＡＮＤ処理によりＡＮＤ画像Ａｎ−１を得るステップと、
   上記差分画像Ｄｐ−Ａに収縮処理、ラベリング処理及び膨張処理を施してマスク画像Ｍｐ−１を得るステップと、
   上記ＡＮＤ画像Ａｎ−１に収縮処理、ラベリング処理及び膨張処理を施してマスク画像Ｍｐ−２を得るステップと、
   上記ＡＮＤ画像Ａｎ−１から上記マスク画像Ｍｐ−１及びマスク画像Ｍｐ−２が除去される差分処理により、上記修正画像としてのマスク処理済み差分画像Ｄｐ−Ｄを得るステップと、
   を含むステップにより作成され、
   次のステップ（Ｓａ）及びステップ（Ｓｂ）を更に含むゴルフスイングの診断方法。
   （Ｓａ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームであるトップのフレームのシャフト位置が抽出されなかった場合、ゴルファーの姿勢が良好と判断されるステップ。
   （Ｓｂ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームであるトップのフレームのシャフト位置が抽出された場合、そのチェックフレームのシャフト位置においてゴルファーの姿勢の良否が判断されるステップ。
2. ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを後方からカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ、
   演算部が、上記複数のフレームから、複数の所定フレームを抽出するステップ、
   演算部が、上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得るステップ、
   演算部が、上記複数の差分画像に対してＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得るステップ、
   演算部が、上記ＡＮＤ画像を用いて、シャフト探索領域を決定するステップ、
   及び、
   演算部が、複数の上記ＡＮＤ画像の修正画像のそれぞれにハフ変換処理を施して、シャフト位置の時系列的な抽出を試みるステップ
   を含み、
   上記修正画像を得るためのステップが、
   トップのフレームから所定数前のフレームである画像Ｔとアドレス画像との差分処理により差分画像Ｄｐ−Ａを得るステップと、
   上記画像Ｔとこの画像Ｔから所定数後のフレームとの差分処理により差分画像Ｄｐ−Ｂを得るステップと、
   上記画像Ｔとこの画像Ｔから所定数前のフレームとの差分処理により差分画像Ｄｐ−Ｃを得るステップと、
   上記差分画像Ｄｐ−Ｂと上記差分画像Ｄｐ−ＣとのＡＮＤ処理によりＡＮＤ画像Ａｎ−１を得るステップと、
   上記差分画像Ｄｐ−Ａに収縮処理、ラベリング処理及び膨張処理を施してマスク画像Ｍｐ−１を得るステップと、
   上記ＡＮＤ画像Ａｎ−１に収縮処理、ラベリング処理及び膨張処理を施してマスク画像Ｍｐ−２を得るステップと、
   上記ＡＮＤ画像Ａｎ−１から上記マスク画像Ｍｐ−１及びマスク画像Ｍｐ−２が除去される差分処理により、上記修正画像としてのマスク処理済み差分画像Ｄｐ−Ｄを得るステップと、
   を含むステップにより作成され、
   次のステップ（Ｓａ）及びステップ（Ｓｂ）を更に含む診断方法。
   （Ｓａ）上記シャフト位置の時系列的な抽出を試みるステップにおいてチェックフレームであるトップのフレームのシャフト位置が抽出されなかった場合、ゴルファーの姿勢が良好と判断されるステップ。
   （Ｓｂ）上記シャフト位置の時系列的な抽出を試みるステップにおいてチェックフレームであるトップのフレームのシャフト位置が抽出された場合、そのチェックフレームのシャフト位置においてゴルファーの姿勢の良否が判断されるステップ。
3. 上記時系列的な抽出の結果として、チェックフレームのシャフト位置の抽出結果と、このチェックフレームより前のシャフト位置の抽出結果とが得られ、
   チェックフレームのシャフト位置が抽出できなかった場合、このチェックフレームより前のシャフト位置が抽出されたか否かによって、このチェックフレームにおけるシャフト位置の抽出の適否が判断される請求項２に記載の診断方法。
4. （Ａ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを後方から撮影するカメラ
   （Ｂ）撮影された画像データを記憶するメモリ
   及び
   （Ｃ）演算部
   を備えており、
   上記演算部が、
   （Ｃ１）上記画像データから、複数の所定フレームを抽出する機能、
   （Ｃ２）上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得る機能、
   （Ｃ３）上記複数の差分画像にＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得る機能、
   （Ｃ４）上記ＡＮＤ画像を用いて、シャフト探索領域を決定する機能、
   及び、
   （Ｃ５）複数の上記ＡＮＤ画像の修正画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
   を有し、
   上記修正画像が、
   トップのフレームから所定数前のフレームである画像Ｔとアドレス画像との差分処理により差分画像Ｄｐ−Ａを得るステップと、
   上記画像Ｔとこの画像Ｔから所定数後のフレームとの差分処理により差分画像Ｄｐ−Ｂを得るステップと、
   上記画像Ｔとこの画像Ｔから所定数前のフレームとの差分処理により差分画像Ｄｐ−Ｃを得るステップと、
   上記差分画像Ｄｐ−Ｂと上記差分画像Ｄｐ−ＣとのＡＮＤ処理によりＡＮＤ画像Ａｎ−１を得るステップと、
   上記差分画像Ｄｐ−Ａに収縮処理、ラベリング処理及び膨張処理を施してマスク画像Ｍｐ−１を得るステップと、
   上記ＡＮＤ画像Ａｎ−１に収縮処理、ラベリング処理及び膨張処理を施してマスク画像Ｍｐ−２を得るステップと、
   上記ＡＮＤ画像Ａｎ−１から上記マスク画像Ｍｐ−１及びマスク画像Ｍｐ−２が除去される差分処理により、上記修正画像としてのマスク処理済み差分画像Ｄｐ−Ｄを得るステップと、
   を含むステップにより作成され、
   上記演算部が、次のステップ（Ｓａ）及びステップ（Ｓｂ）を行う機能を更に含むゴルフスイングの診断システム。
   （Ｓａ）上記シャフト位置の時系列的な抽出においてチェックフレームであるトップのフレームのシャフト位置が抽出されなかった場合、ゴルファーの姿勢が良好と判断する機能。
   （Ｓｂ）上記シャフト位置の時系列的な抽出においてチェックフレームであるトップのフレームのシャフト位置が抽出された場合、そのチェックフレームのシャフト位置においてゴルファーの姿勢の良否を判断する機能。

Images