JP5917914B2 - ゴルフスイングの診断方法 - Google Patents

Description

本発明は、ゴルフスイングの良否を診断する方法に関する。

ゴルファーがゴルフボールを打撃するとき、左右のつま先を結ぶ線が打撃方向とほぼ平行となるようにアドレスする。右利きのゴルファーのアドレスでは、左足が打撃方向前側に位置し、右足が打撃方向後側に位置する。アドレスでは、ゴルフクラブのヘッドはゴルフボールの近くに位置する。この状態からゴルファーはテイクバックを開始し、ヘッドを後へ、次いで上方へと振り上げる。最もヘッドが振り上げられた位置がトップである。トップから、ダウンスイングが開始される。ダウンスイングの開始時点は、切り返しと称されている。切り返しの後、ヘッドが振り下ろされ、ヘッドがゴルフボールと衝突する（インパクト）。インパクト後、ゴルファーはゴルフクラブを前方へ、次いで上方へと振り抜き（フォロースルー）、フィニッシュを迎える。

ゴルファーの技量向上において、適切なスイングフォームの習得が重要である。技量向上の一助とすべく、スイング診断がなされている。スイング診断では、ビデオカメラでスイングが撮影される。ゴルフ用品の開発に役立つ資料の収集の目的で、スイングが撮影されることもある。

古典的なスイング診断では、ティーチングプロ等が動画を見て、スイング中の問題点を指摘する。一方、画像処理によってスイングを診断する試みも、なされている。画像処理による場合、多数のフレームの中から、診断に必要なフレームが抽出される必要がある。これらのフレームから被写体のシルエットが抽出される必要がる。この被写体のシルエットの抽出方法の一例が、特開２００５−２１０６６６公報及び特開２０１１−７８０６９公報に開示されている。

特開２００５−２１０６６６公報 特開２０１１−７８０６９公報

特開２００５−２１０６６６公報に開示された方法では、被写体と背景とが差分処理を用いて区別されている。この差分処理により、被写体のシルエットが抽出されている。特開２０１１−７８０６９公報に開示された方法では、被写体と背景とがシルエット抽出法を用いて区別されている。このシルエット抽出法では、フレームを構成する画素の輝度ヒストグラムと色ヒストグラムとを用いて、被写体のシルエットが抽出される。

抽出された複数のシルエットから、例えばアドレスのシルエット等、所定のシルエットが特定される。この特定されたシルエットから、そのスイングの良否が判定される。このシルエットから適切な情報を抽出することで、良否判断が自動化され得る。また、この抽出される情報が適切であれば、精度よくスイングの良否判定がされ得る。

本発明の目的は、スイングの良否が手軽にかつ精度よく診断できる方法の提供にある。

本発明に係るゴルフスイングの診断方法は、
ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、画像データが得られるステップ、
上記画像データから複数のフレームが得られ、この複数のフレームからゴルファーが所定の姿勢にあるチェックフレームを決定するステップ、
このチェックフレームからゴルファーの輪郭を決定するステップ、
及び
このゴルファーの輪郭からスイングを判定するステップ、
を含む。
このスイングを判定するステップでは、この輪郭を構成する極値が決定されており、
この極値から特徴点が決定されており、この特徴点を用いてスイングが診断されている。

好ましくは、この診断方法では、上記極値は、頭部の輪郭、腰の輪郭又は踵の輪郭を構成している。

好ましくは、この診断方法では、上記極値又は極値から求められる参照点が２点以上決定されている。この２点を通る直線から輪郭までの距離が最大又は最小となる輪郭上の点が、特徴点とされている。

好ましくは、この診断方法では、上記極値又は極値から求められる参照点が２点以上決定されている。この２点を通る直線から輪郭までの距離が最大又は最小となる輪郭上の点をベジェ曲線の制御点に決定している。この輪郭がベジェ曲線で近似されている。この輪郭が最も近似されたときのベジェ曲線に基づいて、更に他の特徴点が決定されている。

好ましくは、この診断方法では、上記極値に基づいて輪郭上の点を参照点に決定しており、参照点を含む輪郭が多項式近似されて近似線が得られており、この近似線上の点であって極値となる点が、更に他の特徴点とされている。

好ましくは、この診断方法では、上記特徴点からの相対的位置が特定された輪郭の一部をテンプレートとして決定している。このテンプレートが輪郭の他の部位にマッチング処理されている。このテンプレートが輪郭の他の部位に最も近似されたときに、このテンプレートから特定される特徴点に相当する位置の点が更に他の特徴点とされている。

好ましくは、この診断方法では、上記他の特徴点から延ばされる直線上の点であって、エッジが最大値となる点が、更に他の特徴点とされている。

好ましくは、この診断方法では、上記極値、参照点又は特徴点から、人体の部位の幾何学的位置関係を基に決定される位置の点が、更に他の特徴点とされている。

好ましくは、この診断方法では、上記極値、参照点又は特徴点を基準とする所定の探索領域が設定されている。この探索領域内の極値となる点が、更に他の特徴点とされている。

好ましくは、上記チェックフレームからゴルファーの輪郭を決定するステップにおいて、このチェックフレームからゴルファーのシルエットの二値化画像が得られている。この二値化画像からゴルファーの輪郭が決定されている。

好ましくは、上記チェックフレームからゴルファーの輪郭を決定するステップにおいて、複数のフレームの差分処理により差分画像が得られている。この差分画像からゴルファーの輪郭が決定されている。

本発明に係るゴルフスイングの診断システムは、
（Ａ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを撮影するカメラ
（Ｂ）撮影された画像データを記憶するメモリ
及び
（Ｃ）演算部
を備えている。この演算部が、
（Ｃ１）上記画像データから複数のフレームを抽出する機能、
（Ｃ２）この複数のフレームからゴルファーが所定の姿勢にあるチェックフレームを決定する機能
（Ｃ３）このチェックフレームのゴルファーの輪郭を決定する機能、
（Ｃ４）この輪郭から極値を決定する機能、
（Ｃ５）この極値から特徴点を決定する機能、
及び
（Ｃ６）この特徴点の位置情報を用いてスイングを診断する機能
を有する。

本発明に係る方法では、輪郭から極値が決定されている。この極値から特徴点が決定されている。この特徴点の位置情報を用いて、ゴルフスイングの良否が診断される。この極値と特徴点とを用いることで、ゴルフスイング良否が手軽にかつ精度よく診断できる。

図１は、本発明の一実施形態に係るスイング診断システムが示された概念図である。 図２は、図１のシステムによってなされるゴルフスイングの診断方法が示されたフローチャートである。 図３は、図１のカメラの画面が示された説明図である。 図４は、チェックフレームの決定方法が示されたフローチャートである。 図５は、アドレスのフレームが決定される方法が示されたフローチャートである。 図６は、ソーベル法のための説明図である。 図７は、二値化された画像である。 図８は、インパクトのフレームが決定される方法が示されたフローチャートである。 図９（ａ）は、第４４番目のフレームと基準フレームとの差分の結果が示された画像であり、図９（ｂ）は第６２番目のフレームと基準フレームとの差分の結果が示された画像であり、図９（ｃ）は第７５番目のフレームと基準フレームとの差分の結果が示された画像であり、図９（ｄ）は第７６番目のフレームと基準フレームとの差分の結果が示された画像であり、図９（ｅ）は第７７番目のフレームと基準フレームとの差分の結果が示された画像であり、図９（ｆ）は第７８番目のフレームと基準フレームとの差分の結果が示された画像である。 図１０は、差分値が示されたグラフである。 図１１は、トップのフレームが決定される方法が示されたフローチャートである。 図１２は、差分値が示されたグラフである。 図１３は、テイクバックの所定位置のフレームが決定される方法が示されたフローチャートである。 図１４（ａ）は第３０番目のフレームと基準フレームとの差分の結果が示された画像であり、図１４（ｂ）は第３９番目のフレームと基準フレームとの差分の結果が示された画像であり、図１４（ｃ）は第４１番目のフレームと基準フレームとの差分の結果が示された画像であり、図１４（ｄ）は第４３番目のフレームと基準フレームとの差分の結果が示された画像であり、図１４（ｅ）は第５２番目のフレームと基準フレームとの差分の結果が示された画像であり、図１４（ｆ）は、第５７番目のフレームと基準フレームとの差分の結果が示された画像である。 図１５は、シルエット抽出により輪郭が決定される方法が示されたフローチャートである。 図１６は、図１５のシルエット抽出のためのマスクが示された説明図である。 図１７は、図１５のシルエット抽出の一部のステップの詳細が示されたフローチャートである。 図１８は、ある画素についての輝度ヒスとグラムである。 図１９は、他の画素についての輝度ヒスとグラムである。 図２０は、更に他の画素についての輝度ヒスとグラムである。 図２１は、図１８のピクセルについての色ヒストグラムである。 図２２は、図１９のピクセルについての色ヒストグラムである。 図２３は、図２０のピクセルについての色ヒストグラムである。 図２４は、図１５の方法の判定ステップの第一ステージが示されたフローチャートである。 図２５は、図１５の方法の判定ステップの第二ステージが示されたフローチャートである。 図２６は、図１５の方法の判定ステップの第三ステージが示されたフローチャートである。 図２７は、図１５の方法で得られたシルエットが示された説明図である。 図２８は、図２７のシルエットの輪郭が示された説明図である。 図２９は、特徴点を用いた判定方法のフローチャートである。 図３０は、アドレスの輪郭から特徴点が決定される説明図である。 図３１は、アドレスの輪郭から他の特徴点が決定される説明図である。 図３２は、アドレスの輪郭から更に他の特徴点が決定される説明図である。 図３３は、アドレスの輪郭から更に他の特徴点が決定される説明図である。 図３４は、アドレスの輪郭から更に他の特徴点が決定される説明図である。 図３５は、アドレスの輪郭から更に他の特徴点が決定される説明図である。 図３６は、アドレスの輪郭から更に他の特徴点が決定される説明図である。 図３７は、テイクバック中の所定の位置の輪郭から特徴点が決定される説明図である。 図３８は、テイクバック中の所定の位置の輪郭から他の特徴点が決定される説明図である。 図３９は、テイクバック中の所定の位置の輪郭から更に他の特徴点が決定される説明図である。 図４０は、トップの輪郭から特徴点が決定される説明図である。 図４１は、トップの輪郭から他の特徴点が決定される説明図である。 図４２は、トップの輪郭から更に他の特徴点が決定される説明図である。 図４３は、インパクトの輪郭から特徴点が決定される説明図である。 図４４は、インパクトの輪郭から他の特徴点が決定される説明図である。 図４５は、アドレスの輪郭からスイングが判定される説明図である。 図４６は、差分処理された画像から特徴点が決定される説明図である。

以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。

図１に示された診断システム２は、携帯電話機４とサーバ６とを備えている。携帯電話機４とサーバ６とは、通信回線８を介して接続されている。携帯電話機４は、カメラ１０、メモリ１２及び送受信部１４を備えている。メモリ１２の具体例としては、ＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。サーバ６は、演算部１６、メモリ１８及び送受信部２０を備えている。典型的な演算部１６は、ＣＰＵである。

図２には、図１のシステム２によってなされるゴルフスイング診断方法のフローチャートが示されている。この診断方法では、カメラ１０によって撮影がなされる（ＳＴＥＰ１）。図３には、撮影が開始される前の画面が示されている。この画面は、携帯電話機４のモニタ（図示されず）に表示される。この画面には、ゴルフクラブ２２を持ったゴルファー２４のアドレスが撮影されている。この画面では、ゴルファー２４が後方から撮影されている。この画面には、第一枠２６及び第二枠２８が示されている。これらの枠２６、２８は、携帯電話機４のＣＰＵ（図示されず）の上で実行されるソフトウエアにより、表示される。これらの枠２６、２８は、撮影者がカメラ１０のアングルを決定するときの一助となる。撮影者は、第一枠２６にグリップ３０が含まれ、第二枠２８にヘッド３２が含まれるように、カメラ１０のアングルを決定する。これらの枠２６、２８は、カメラ１０とゴルファー２４との距離の決定の一助ともなる。

図３に示された状態から、撮影が開始される。撮影開始後、ゴルファー２４はスイングを開始する。ゴルフボール（図示されず）が打撃され、さらにスイングが終了するまで、撮影が継続される。撮影により、動画のデータが得られる。このデータは、多数のフレームからなる。これらフレームが、メモリ１２に記憶される（ＳＴＥＰ２）。各フレームの画素数は、例えば６４０×４８０である。各画素は、ＲＧＢ系の色情報を有している。

撮影者又はゴルファー２４が携帯電話機４を操作することにより、動画のデータがサーバ６へと送信される（ＳＴＥＰ３）。データは、携帯電話機４の送受信部１４から、サーバ６の送受信部２０へ送信される。送信は、通信回線８を介してなされる。データは、サーバ６のメモリ１８に記憶される（ＳＴＥＰ４）。

演算部１６は、手ブレ補正を行う（ＳＴＥＰ５）。後に説明される通り、本発明に係る診断方法では、フレーム間の差分処理がなされる。手ブレ補正は、この差分処理の精度を高める。フレーム間で特徴点が流用される。手ブレ補正は、この特徴点の位置精度を高める。手ブレ補正方法の一例が、特開２０１１−７８０６６公報に開示されている。携帯電話機４が十分な手ブレ補正機能を有している場合、演算部１６による手ブレ補正が省略され得る。

演算部１６は、多数のフレームの中から、スイングの良否の判定に供されるフレームを決定する（ＳＴＥＰ６）。以下、このフレームはチェックフレームと称される。例えば、
（１）アドレス
（２）テイクバック中の所定位置
（３）トップ
（４）切り返し
（５）インパクト
（６）フィニッシュ
に相当するフレームが、抽出される。テイクバック中の所定位置には、腕が水平である位置が含まれる。切り返しとは、ダウンスイングの開始直後の状態を意味する。切り返しでは、腕はほぼ水平である。チェックフレームの抽出ステップ（ＳＴＥＰ６）の詳細は、後に説明される。

演算部１６は、それぞれのチェックフレームに関し、被写体の輪郭を決定する（ＳＴＥＰ７）。具体的には、ゴルファー２４の体の輪郭を、又はゴルファー２４の体の輪郭及びゴルフクラブ２２の輪郭を決定する。演算部１６は、この輪郭に基づき、スイングの良否を判定する（ＳＴＥＰ８）。

判定結果は、サーバ６の送受信部２０から携帯電話機４の送受信部１４へと送信される（ＳＴＥＰ９）。判定結果は、携帯電話機４のモニタに表示される（ＳＴＥＰ１０）。モニタを見たゴルファー２４は、スイングのうち是正すべき箇所を知ることができる。このシステム２は、ゴルファー２４の技量の向上に寄与し得る。

前述の通り、チェックフレームの決定（ＳＴＥＰ６）は、演算部１６が行う。この演算部１６は、以下の機能を有する。
（１）上記画像データから抽出されたフレームのエッジ画像を得る機能
（２）このエッジ画像に対して所定の閾値に基づく二値化を施し、二値化画像を得る機能、
（３）この二値化画像にハフ処理を施してゴルフクラブ２２のシャフトの位置を抽出し、ゴルフクラブ２２の先端座標を特定する機能
（４）異なるフレーム間の先端座標を対比することにより、アドレス時の仮フレームを決定する機能
（５）上記仮フレームよりも所定数後のフレームから逆送りで各フレームの基準領域内の色情報を算出し、この色情報の変化に基づいてアドレス時のフレームを決定する機能
（６）上記アドレス時のフレームから所定数後のフレームを基準フレームとして、この基準フレーム以降の各フレームとこの基準フレームとの差分値を算出し、この差分値の変化に基づいてインパクトのフレームを決定する機能
（７）上記インパクトのフレームよりも前の複数のフレームに関して直前フレームとの差分値を算出し、この差分値に基づいてトップのフレームを決定する機能
（８）上記アドレスのフレーム以降の複数のフレームに関し、このアドレスのフレームとの差分値を算出する機能
（９）各フレームの差分値にハフ変換処理を施して、シャフトの位置を抽出する機能
（１０）上記シャフトの位置の変化に基づいて、テイクバック中の所定のポジションのフレームを決定する機能

図４には、チェックフレームの決定方法のフローチャートが示されている。この決定方法は、アドレスのフレームが決定されるステップ（ＳＴＥＰ６１）、インパクトのフレームが決定されるステップ（ＳＴＥＰ６２）、トップのフレームが決定されるステップ（ＳＴＥＰ６３）、テイクバックの所定位置のフレームが決定されるステップ（ＳＴＥＰ６４）及びフィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）を含む。テイクバックの所定位置とは、例えば、腕が水平である位置である。なお、フィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は省略されてもよい。

フィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は、例えば、インパクトのフレームから所定数後のフレームとされ得る。また、このフィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は、トップのフレームが決定されるステップ（ＳＴＥＰ６３）と同様の方法とされてもよい。

図４に示された方法によって決定されたフレームに基づいて、他のチェックフレームが決定されてもよい。例えば、インパクトのフレームから所定数前のフレームが、切り返しのフレームとされ得る。

図５には、アドレスのフレームが決定される方法のフローチャートが示されている。この方法では、各フレームが、ＲＧＢ画像から濃淡画像へと変換される（ＳＴＥＰ６１１）。この変換は、後のエッジ検出の容易の目的でなされる。濃淡画像における値Ｖは、例えば以下の数式によって算出される。
Ｖ ＝ ０．３０ ・ Ｒ ＋ ０．５９ ・ Ｇ ＋ ０．１１ ・ Ｂ

この濃淡画像からエッジが検出され、エッジ画像が得られる（ＳＴＥＰ６１２）。エッジでは、値Ｖの変化が大きい。従って、値Ｖの変化に対して微分又は差分が行われることにより、エッジが検出され得る。微分又は差分の演算に際し、ノイズが除去されることが好ましい。エッジの検出方法の一例として、ソーベル（Ｓｏｂｅｌ）法が挙げられる。他の方法によってエッジが検出されてもよい。他の方法としては、プレビット（Ｐｒｅｗｉｔｔ）法が例示される。

図６は、ソーベル法のための説明図である。図６中のＡからＩは、各画素の値Ｖを表している。値Ｅから、ソーベル法により、値Ｅ’が計算される。値Ｅ’は、エッジ強度である。値Ｅ’は、下記数式によって得られる。
Ｅ’ ＝ （ｆ_ｘ ^２ ＋ｆ_ｙ ^２）^１／２
この数式において、ｆ_ｘ及びｆ_ｙは、下記数式によって得られる。
ｆ_ｘ ＝ Ｃ ＋ ２ ・ Ｆ ＋ Ｉ − （Ａ ＋ ２ ・ Ｄ ＋ Ｇ）
ｆ_ｙ ＝ Ｇ ＋ ２ ・ Ｈ ＋ Ｉ − （Ａ ＋ ２ ・ Ｂ ＋ Ｃ）

このエッジ画像の各画素が、二値化される（ＳＴＥＰ６１３）。二値化の閾値は、天候、時刻等に応じ、適宜決定される。二値化により、モノクロ画像が得られる。モノクロ画像の一例が、図７に示されている。

このモノクロ画像のデータが、ハフ変換に供される（ＳＴＥＰ６１４）。ハフ変換は、幾何学的形状の規則性を利用して画像から線を抽出する方法である。ハフ変換により、直線、円、楕円等が抽出され得る。本発明では、ハフ変換により、ゴルフクラブ２２のシャフトに対応する直線が抽出される。

直線は、この直線に直交する線がｘ軸に対してなす角度θと、この直線と原点との距離ρとによって表され得る。角度θは、原点（０，０）を中心とする時計回りの角度である。原点は、左上である。ｘ−ｙ平面上の直線は、θ−ρ平面上での点に対応する。一方、ｘ−ｙ平面上の点（ｘ_ｉ，ｙ_ｉ）は、θ−ρ平面上では、下記数式で表される正弦曲線に変換される。
ρ ＝ ｘ_ｉ ・ ｃｏｓθ ＋ ｙ_ｉ ・ ｓｉｎθ
ｘ−ｙ平面上で同一直線上にある点をθ−ρ平面に変換すると、全ての正弦曲線が１つの点で交差する。θ−ρ平面において多数の正弦曲線が通過する点が判明すれば、この点に相当するｘ−ｙ平面上の直線が判明する。

このハフ変換により、シャフトに対応する直線の抽出を試みる。テイクバックにおけるシャフトが水平であるフレームでは、シャフトの軸方向は、カメラ１０の光軸とほぼ一致する。このようなフレームでは、シャフトに対応する直線は抽出され得ない。本実施形態では、ρを指定せず、θを３０°以上６０°以下と指定し、ｘを２００以上４８０以下と指定し、ｙを２５０以上５３０以下と指定して、直線の抽出を試みる。θをこの範囲に指定するので、直立するポールに相当する直線は、抽出されない。地面に置かれ水平方向に延在する物体に相当する直線も、抽出されない。θを３０°以上６０°以下に指定することでシャフトに相当しない直線をシャフトに相当する直線と誤認識することが防がれる。本実施形態では、投票数（１つの直線が通過する画素の数）が１５０以上である直線の中で最大のものを、シャフトに対応する直線とみなす。ハフ変換によってシャフトに相当する直線が抽出されたフレームでは、シャフトの先端座標（直線の先端位置）が取得される（ＳＴＥＰ６１５）。

本実施形態では、撮影開始後５０枚目のフレームから、逆送りで、先端座標の取得がなされる。前後のフレームとの間での、先端の移動距離が所定値以下となるフレームを、アドレスの仮フレームと決定する（ＳＴＥＰ６１６）。本実施形態では、第二枠２８（図４参照）の中に先端があり、かつ（ｆ−１）番目から（ｆ＋２）番目までの先端の移動距離の総和が４０以下であるｆ番目のフレームを、仮フレームとする。

仮フレームの前後の複数のフレームに関し、ＳＡＤ（色情報）が算出される（ＳＴＥＰ６１７）。ＳＡＤは、下記の数式（１）によって算出される。
ＳＡＤ ＝ （ＲＳＡＤ ＋ ＧＳＡＤ ＋ ＢＳＡＤ） ／ ３ （１）
この数式（１）において、ＲＳＡＤは下記数式（２）によって算出され、ＧＳＡＤは下記数式（３）によって算出され、ＢＳＡＤは下記数式（４）によって算出される。
ＲＳＡＤ ＝ （Ｒｆ１ − Ｒｆ２）^２ （２）
ＧＳＡＤ ＝ （Ｇｆ１ − Ｇｆ２）^２ （３）
ＢＳＡＤ ＝ （Ｂｆ１ − Ｂｆ２）^２ （４）
上記数式（２）において、Ｒｆ１はｆ番目の第二枠２８内のＲ値を表し、Ｒｆ２は（ｆ＋１）番目の第二枠２８内のＲ値を表す。上記数式（３）において、Ｇｆ１はｆ番目の第二枠２８内のＧ値を表し、Ｇｆ２は（ｆ＋１）番目の第二枠２８内のＧ値を表す。上記数式（４）において、Ｂｆ１はｆ番目の第二枠２８内のＢ値を表し、Ｂｆ２は（ｆ＋１）番目の第二枠２８内のＢ値を表す。

仮フレームから所定数後のフレームから、逆送りで、各フレームのＳＡＤが算出される。本実施形態では、仮フレームから７後のフレームから、仮フレームから１０前のフレームまでのＳＡＤが算出される。ＳＡＤが最初に５０未満となったフレームをもって、アドレスの本フレームと決定される（ＳＴＥＰ６１８）。このフレームは、チェックフレームである。ＳＡＤが５０未満であるフレームが存在しないときは、ＳＡＤが最小であるフレームが、アドレスの本フレームと決定される。

図８には、インパクトのフレームが決定される方法のフローチャートが示されている。アドレスのフレームは既に決定されているので、このアドレスのフレームから所定数後のフレームを、基準フレームと決定する（ＳＴＥＰ６２１）。基準フレームは、インパクト前であって、かつ第二枠２８にゴルフクラブ２２が写っていないフレームである。本実施形態では、アドレスのフレームから２５後のフレームが、基準フレームとされる。

基準フレームと、この基準フレームの後の各フレームとの間で、差分処理がなされる（ＳＴＥＰ６２２）。差分処理は、画像処理の１つとして既知な処理である。図９（ａ）から１４に、差分画像が示されている。それぞれの画像の詳細は、以下の通りである。
図９（ａ）：第４４番目のフレームと基準フレームとの差分画像
図９（ｂ）：第６２番目のフレームと基準フレームとの差分画像
図９（ｃ）：第７５番目のフレームと基準フレームとの差分画像
図９（ｄ）：第７６番目のフレームと基準フレームとの差分画像
図９（ｅ）：第７７番目のフレームと基準フレームとの差分画像
図９（ｆ）：第７８番目のフレームと基準フレームとの差分画像

差分処理後の画像について、第二枠２８内の差分値が算出される（ＳＴＥＰ６２３）。この差分値が、図１０のグラフに示されている。このグラフより、第７７番目のフレームの差分値が最も大きいことが分かる。この第７７番目のフレームが、インパクトのフレームと決定される（ＳＴＥＰ６２４）。このフレームは、チェックフレームである。

図１１には、トップのフレームが決定される方法のフローチャートが示されている。インパクトのフレームは、既に決定されている。このインパクトのフレームから、インパクトの所定数前までのフレームについて、差分処理がなされる（ＳＴＥＰ６３１）。差分処理は、当該フレームと、当該フレームの１つ後のフレームとの間でなされる。差分処理により、差分値が得られる。この差分値が、図１２に示されている。本実施形態では、インパクトよりも１５前のフレームからインパクトのフレームまでの間で、差分値が最小であるフレームが選定される（ＳＴＥＰ６３２）。図１２の例では、第７７番目のフレームがインパクトのフレームであり、第６５番目のフレームがトップのフレームである。第６５番目のフレームは、チェックフレームである。

図１３には、テイクバックの所定位置のフレームが決定される方法のフローチャートが示されている。アドレスのフレームは、既に決定されている。このアドレスのフレーム以降のフレームに、差分処理がなされる（ＳＴＥＰ６４１）。この差分処理は、アドレスのフレームを基準フレームとし、この基準フレームと他のフレームとの間でなされる。図１４（ａ）から図１４（ｆ）に、差分画像が示されている。それぞれの画像の詳細は、以下の通りである。
図１４（ａ）：第３０番目のフレームと基準フレームとの差分画像
図１４（ｂ）：第３９番目のフレームと基準フレームとの差分画像
図１４（ｃ）：第４１番目のフレームと基準フレームとの差分画像
図１４（ｄ）：第４３番目のフレームと基準フレームとの差分画像
図１４（ｅ）：第５２番目のフレームと基準フレームとの差分画像
図１４（ｆ）：第５７番目のフレームと基準フレームとの差分画像

これらの差分画像において、縦ｙの画素数は６４０であり、横ｘの画素数は４８０である。これら差分画像に、ハフ変換がなされる（ＳＴＥＰ６４２）。ハフ変換により、シャフトに相当する直線が算出され得る。それぞれの差分画面において、下記の条件を満たす直線の有無が判定される（ＳＴＥＰ６４３）。
θ：５°以上８５°以下
ρ：指定無し
ｘ：０以上２４０以下
ｙ：０以上３２０以下
投票数：１００以上
これら条件を満たす直線が抽出されるフレームでは、シャフトがゴルファー２４の胴よりも左側に位置している。アドレスのフレーム以降のフレームであって最初にこれら条件を満たす直線が抽出されたフレーム（以下「合致フレーム」と称する）が、チェックフレームである。合致フレームから所定数後のフレームが、チェックフレームと決定されてもよい。合致フレームから２つ後のフレームにおいて、右利きゴルファー２４の左腕がほぼ水平であることが、経験的に判明している。

演算部１６は、チェックフレームから輪郭を決定する（ＳＴＥＰ７）。図１５には、チェックフレームから輪郭を決定をするフローチャートが示されている。演算部１６は、それぞれの画素について、全てのフレームからなる全フレーム集合を作成する（ＳＴＥＰ７１）。演算部１６は、それぞれのフレームのそれぞれの画素が、無彩色であるか有彩色であるかを決定し、それぞれの画素ごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する（ＳＴＥＰ７２）。

演算部１６は、全フレーム集合について、輝度ヒストグラム（第一ヒストグラム）を作成する（ＳＴＥＰ７３）。この輝度ヒストグラムでは、頻度がフレーム数であり、階級が輝度（第一色情報）である。他の色情報に基づいて輝度ヒストグラムが作成されてもよい。演算部１６は、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラム（第二ヒストグラム）を作成する（ＳＴＥＰ７４）。この色ヒストグラムは、頻度がフレーム数であり、有彩色フレーム集合に関する階級が色相（第二色情報）であり、無彩色フレーム集合に関する階級が輝度（第三色情報）である。有彩色フレーム集合に関する階級が、色相以外の色情報であってもよい。無彩色フレーム集合に関する階級が、輝度以外の色情報であってもよい。

演算部１６は、輝度ヒストグラム及び色ヒストグラムに基づいて、それぞれの画素のそれぞれのフレームが背景であるか被写体であるかを判定する（ＳＴＥＰ７５）。以下、主なステップの例が詳細に説明される。

本実施形態では、第一フレームに、図１６に示されるマスク３６が設定される。図１６から明らかなように、マスク３６は、図４に示されたゴルファー２４及びゴルフクラブ２２を含む。マスク３６の外縁は、ゴルファー２４の外縁よりも外側であり、ゴルフクラブ２２の外縁よりも外側である。それぞれの画素が無彩色であるか有彩色であるかの決定において、マスク３６に含まれる画素は計算の対象とされない。

図１７のフローチャートには、それぞれの画素が無彩色であるか有彩色であるかを決定し、それぞれの画素ごとに無彩色フレーム集合と有彩色フレーム集合とを作成するステップ（ＳＴＥＰ７２）の詳細が示されている。

この方法では、画素の彩度値ｓｆが算出される（ＳＴＥＰ７２１）。例えば、第１フレームから第６０フレームまでの６０のフレームに基づいてシルエットが抽出される場合、１つの画素あたりの輝度値ｓｆの数は、６０個である。

これら６０の輝度値ｓｆのそれぞれに関し、閾値θｓよりも小さいか否かが判定される。閾値θｓは、適宜決定され得る。本発明者が用いた閾値θｓは、０．１５である。換言すれば、輝度値ｓｆが０．１５未満である画素の色は、無彩色又は実質的に無彩色とみなされる。輝度値ｓｆが閾値θｓより小さいフレームにより、初期の無彩色フレーム集合Ｆｍが得られる（ＳＴＥＰ７２２）。

無彩色フレーム集合Ｆｍに属さないフレームｆにおける画素の色ベクトルＣｆに関し、集合Ｆｍとの最小の色距離ｄ（Ｃｆ）が計算される（ＳＴＥＰ７２３）。計算は、下記数式に基づいてなされる。

上記数式に基づき、無彩色フレーム集合Ｆｍの中でフレームｆとの色距離が最小である場合のｎが探索される。

得られたｄ（Ｃｆ）が閾値θｄ未満であるか否かが、判定される（ＳＴＥＰ７２４）。閾値θｄは、適宜決定され得る。本発明者が用いた閾値θｄは、３．０である。換言すれば、ｄ（Ｃｆ）が３．０未満である画素の色は、無彩色又は実質的に無彩色とみなされる。ｄ（Ｃｆ）が閾値θｄ未満である場合、当該フレームは無彩色フレーム集合Ｆｍに追加される（ＳＴＥＰ７２５）。この追加により、無彩色フレーム集合Ｆｍが更新される。ｄ（Ｃｆ）が閾値θｄ以上である場合、当該フレームは有彩色フレーム集合に区分される（ＳＴＥＰ７２６）。かかるフローが、全フレームについての有彩色と無彩色との区分が完了するまで、繰り返される。

図１７に示されたフローが、マスク３６を除く全ての画素についてなされる。例えば、マウスを除く画素の数が１５００００であり、フレーム数が６０である場合、９００００００（１５０００×６０）の輝度値ｓｆが計算される。

演算部１６は、全フレーム集合について、輝度ヒストグラムを作成する（ＳＴＥＰ７３）。ある画素についての輝度ヒストグラムの一例が、図１８に示されている。この輝度ヒストグラムにおいて、階級は輝度である。このヒストグラムは、１から１００までの１００階級を含んでいる。このヒストグラムにおいて、頻度はフレーム数である。頻度に、平滑化処理がなされてもよい。図１９には、他の画素についての輝度ヒストグラムの一例が示されている。図２０には、さらに他の画素についての輝度ヒストグラムの一例が示されている。それぞれの輝度ヒストグラムにおいて、フレームの総数は９８である。

演算部１６は、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラムを作成する（ＳＴＥＰ７４）。ある画素についての色ヒストグラムの例が、図２１に示されている。この色ヒストグラムは、有彩色フレーム集合のヒストグラムと無彩色フレーム集合のヒストグラムとが複合されたものである。この色ヒストグラムにおいて、有彩色フレーム集合の階級は色相である。色相の階級は、１から１００までの１００階級を含んでいる。この色ヒストグラムにおいて、無彩色フレーム集合の階級は輝度である。輝度の階級は、１から１００までの１００階級を含んでいる。階級の合計数は、２００である。この色ヒストグラムにおいて、頻度はフレーム数である。頻度に、平滑化処理がなされてもよい。図２２には、他の画素についての色ヒストグラムの一例が示されている。図２３には、さらに他の画素についての色ヒストグラムの一例が示されている。それぞれの色ヒストグラムにおいて、フレームの総数は９８である。

輝度ヒストグラム及び色ヒストグラムに基づいて、それぞれの画素が背景であるか被写体であるかが判定される（ＳＴＥＰ７５）。判定は、演算部１６が行う。この判定は、第一ステージ、第二ステージ及び第三ステージからなる。以下、各ステージが詳説される。

図２４は、第一ステージが示されたフローチャートである。この第一ステージは、画素ごとになされる。第一ステージではまず、条件１が満たされるか否かが判断される（ＳＴＥＰ７５１１）。この条件１は、下記の通りである。
条件１：輝度ヒストグラムにおいて、階級幅が２０以下の範囲に全てのフレームが 含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。

図１８の輝度ヒストグラムでは、輝度が１２から１９まで（すなわち幅が８）の範囲に、全てのフレームが含まれている。従って、この輝度ヒストグラムは、上記条件１を満たす。図１９の輝度ヒストグラムでは、階級の最小値は１２であり、最大値は７２である。従って、この輝度ヒストグラムは、上記条件１を満たさない。図２０の輝度ヒストグラムでは、階級の最小値は１３であり、最大値は７７である。従って、この輝度ヒストグラムは、上記条件１を満たさない。

次に、条件２が満たされるか否かが判断される（ＳＴＥＰ７５１２）。この条件２は、下記の通りである。
条件２：色ヒストグラムにおいて、階級幅が２０以下の範囲に全てのフレームが 含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。

図２１は、図１８の画素についての色ヒストグラムである。図２２は、図１９の画素についての色ヒストグラムである。図２３は、図２０の画素についての色ヒストグラムである。図２１の色ヒストグラムでは、色相が５９から６６まで（すなわち幅が７）の範囲に、全てのフレームが含まれている。従って、この色ヒストグラムは、上記条件２を満たす。図２２の色ヒストグラムでは、色相の階級の最小値は４０であり、最大値は６５である。さらに、図２２のヒストグラムでは、輝度の階級が頻度を有する。従って、この色ヒストグラムは、上記条件２を満たさない。図２３の色ヒストグラムでは、色相の階級の最小値は１６であり、最大値は６４である。さらに、図２３のヒストグラムでは、輝度の階級が頻度を有する。従って、この色ヒストグラムは、上記条件２を満たさない。

図１８及び２１に示された画素では、輝度ヒストグラムが上記条件１を満たし、色ヒストグラムが上記条件２を満たす。スイングのとき、ゴルファー２４は動く。この動きに起因して、画素にゴルファー２４及び背景の両方が撮影され得る。ゴルファー２４及び背景の両方が撮影された場合、当該画素の輝度又は色相は、大幅に変動する。上記条件１及び２の両方を満たす画素は、輝度及び色相の変動が小さな画素である。換言すれば、この画素には、第一フレームから最終フレームまでの間、ゴルファー２４は撮影されていないと考えられる。上記条件１及び２を満たす画素については、全てのフレームにおいて、「背景」と判定される（ＳＴＥＰ７５１３）。

互いに輝度が同じである有彩色と無彩色とは、輝度ヒストグラムでは区別され得ないが、色ヒストグラムでは区別され得る。互いに色相が同じで互いに輝度が異なる２つの有彩色は、色ヒストグラムでは区別され得ないが、輝度ヒストグラムでは区別され得る。本発明に係るシルエット抽出方法では、条件１及び２の両方が満たされれば、当該画素については、全てのフレームにおいて、「背景」と判定される。換言すれば、輝度ヒストグラム及び色ヒストグラムの両方が考慮されて、判定がなされる。従って、背景でない画素が背景と誤認定されることがほとんどない。

なお、第一フレームから最終フレームまでの間にゴルファー２４のみが撮影された画素でも、上記条件１及び２が満たされ得る。しかし、前述の通り、ゴルファー２４にはマスク３６によってマスキングがなされているので、上記条件１及び２を満たす画素については、全てのフレームにおいて、「背景」と判定され得る。

第一フレームから最終フレームまでの間に、ゴルファー２４及び背景の両方が撮影された画素は、上記条件１又は２を満たさない。条件１又は２を満たさない画素については、判定は第二ステージに持ち越される。

以下、第二ステージが詳説される。第一ステージにおいて、「ゴルファー２４及び背景の両方が撮影されている」と判断された画素に関し、第二ステージにおいて、さらに検討が加えられる。図２５は、第二ステージが示されたフローチャートである。この第二ステージは、画素ごとになされる。第二ステージではまず、条件３が満たされるか否かが判断される（ＳＴＥＰ７５２１）。この条件３は、下記の通りである。
条件３：輝度ヒストグラムにおいて、階級幅が２０以下の範囲に、全フレームの６ ０％以上が含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。比率として「６０％」以外の値が用いられてもよい。

図１９の輝度ヒストグラムでは、輝度が１２から１９まで（すなわち幅が８）の範囲に、８０（すなわち８１．６％）のフレームが含まれている。従って、上記条件３を満たす。図２０の輝度ヒストグラムでは、上記条件３は満たされない。

次に、条件４が満たされるか否かが判断される（ＳＴＥＰ７５２２）。この条件４は、下記の通りである。
条件４：色ヒストグラムにおいて、階級幅が２０以下の範囲に、全フレームの６ ０％以上が含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。比率として「６０％」以外の値が用いられてもよい。

図２２の色ヒストグラムでは、輝度が５９から６５まで（すなわち幅が７）の範囲に、７２（すなわち７３．５％）のフレームが含まれている。従って、上記条件４を満たす。図２３の色ヒストグラムでは、上記条件４は満たされない。

図１９及び２２に示された画素では、輝度ヒストグラムが上記条件３を満たし、色ヒストグラムが上記条件４を満たす。階級幅が２０以下の範囲に、全フレームの６０％以上のフレームが含まれる場合、当該階級幅内のフレーム群の当該画素では、輝度又は色相の変動が小さいと考えられる。一方、当該階級幅外のフレーム群の当該画素の輝度又は色相は、当該階級幅内のフレームの当該画素の輝度又は色相とは大きく異なっていると考えられる。かかる現象から、第一フレームから最終フレームまでの間、当該画素に主として背景が撮影されており、かつ、一時的にゴルファー２４の人体が撮影されたと考えられる。上記条件３及び４を満たす画素については、当該階級幅内のフレームを「背景」と判定し、その他のフレームを「被写体」と判定する（ＳＴＥＰ７５２３）。

互いに輝度が同じである有彩色と無彩色とは、輝度ヒストグラムでは区別され得ないが、色ヒストグラムでは区別され得る。互いに色相が同じで互いに輝度が異なる２つの有彩色は、色ヒストグラムでは区別され得ないが、輝度ヒストグラムでは区別され得る。本発明に係るシルエット抽出方法では、条件３及び４の両方に基づき、判定がなされる。換言すれば、輝度ヒストグラム及び色ヒストグラムの両方が考慮されて、判定がなされる。従って、誤認定が抑制される。

図２０及び２３に示されるようなヒストグラムを呈する画素の判定は、第三ステージに持ち越される。

以下、第三ステージが詳説される。第二ステージにおいて判定が持ち越された画素、及びマスク３６に該当する画素に関し、第三ステージにおいて、さらに検討が加えられる。以下、既に「背景」か「被写体」かの判定がなされた画素を「判定完了画素」と称する。一方、「背景」か「被写体」かの判定が未だなされていない画素を「判定未完了画素」と称する。

図２６は、第三ステージが示されたフローチャートである。第三ステージでは、判定未完了画素に関し、距離画像ｄｘｙが生成される（ＳＴＥＰ７５３１）。距離画像ｄｘｙは、二次元データに奥行きデータを付加したものである。ここで奥行きデータは、境界までの距離である。

閾値θｄの初期値が１であるとき、ｄｘｙがθｄ未満である判定未完了画素の８近傍に、判定完了画素が存在するか否かが検討される（ＳＴＥＰ７５３２）。ここで８近傍とは、当該判定未完了画素の左、左上、上、右上、右、右下、下及び左下に位置する８個の画素を意味する。

８近傍に判定完了画素が全く存在しない場合、当該画素は、全てのフレームにおいて「被写体」であると判定される（ＳＴＥＰ７５３３）。８近傍に１又は２以上の判定完了画素が存在する場合、下記条件５が満たされるか否かが判断される（ＳＴＥＰ７５３４）。この条件５は、下記の通りである。

条件５：輝度ヒストグラムにおいて、下記数式を満たすフレーム群が存在する

ｍｉｎ（ＬＱ） ＞ ｍｉｎ（ＬＢ）−θｗ
ｍａｘ（ＬＱ） ＜ ｍａｘ（ＬＢ）＋θｗ
これら数式において、ｍｉｎ（ＬＱ）は判定未完了画素の輝度ヒストグラムにおける上記フレーム群の階級幅最小値であり、ｍａｘ（ＬＱ）は判定未完了画素の輝度ヒストグラムにおける上記フレーム群の階級幅最大値であり、ｍｉｎ（ＬＢ）は８近傍に存在する１つの判定完了画素の輝度ヒストグラムにおける背景であるフレーム群の階級幅最小値であり、ｍａｘ（ＬＢ）は８近傍に存在する１つの判定完了画素の輝度ヒストグラムにおける背景であるフレーム群の階級幅の最大値である。θｗは、適宜設定される。本発明者は、θｗとして６を用いた。

８近傍に１又は２以上の判定完了画素が存在する場合、さらに、下記条件６が満たされるか否かが判断される（ＳＴＥＰ７５３５）。この条件６は、下記の通りである。

条件６：色ヒストグラムにおいて、下記数式が満たすフレーム群が存在する

ｍｉｎ（ＣＱ） ＞ ｍｉｎ（ＣＢ）−θｗ
ｍａｘ（ＣＱ） ＜ ｍａｘ（ＣＢ）＋θｗ
これら数式において、ｍｉｎ（ＣＱ）は判定未完了画素の色ヒストグラムにおける上記フレーム群の階級幅最小値であり、ｍａｘ（ＣＱ）は判定未完了画素の色ヒストグラムにおける上記フレーム群の階級幅最大値であり、ｍｉｎ（ＣＢ）は８近傍に存在する１つの判定完了画素の色ヒストグラムにおける背景であるフレーム群の階級幅最小値であり、ｍａｘ（ＣＢ）は８近傍に存在する１つの判定完了画素の色ヒストグラムにおける背景であるフレーム群の階級幅最大値である。θｗは、適宜設定される。本発明者は、θｗとして６を用いた。

上記条件５及び６を満たすフレーム群の当該画素は「背景」と判定され、満たさないフレーム群の当該画素は「被写体」と判定される（ＳＴＥＰ７５３６）。当該判定完了画素との関係において上記条件５及び６のいずれかが満たされず、かつ８近傍に他の判定完了画素が存在する場合、他の判定完了画素との関係において、上記条件５及び６が満たされるか否かが、判断される。

全ての判定未完了画素について条件５及び６の検討が完了した後、θｄに「１」が加算される（ＳＴＥＰ７５３７）。そして、判定未完了画素の８近傍に判定完了画素が存在するか否かの検討（ＳＴＥＰ７５３２）から、判定（ＳＴＥＰ７５３６）までのフローが繰り返される。この繰り返しは、θｄがθｄｍａｘとなるまでなされる。θｄｍａｘは、距離画像における最大値である。

以上のフローにより、全てのフレームの全ての画素が、「背景」及び「被写体」のいずれかに区分される。各フレームにおいて、被写体とされた画素の集合は、被写体のシルエットである。図２７には、アドレスとして特定されたフレームのシルエットが示されている。図２７では、被写体の画素が黒で示され、他の画素が白で示されている。図２７から明らかなように、この方法により、被写体の輪郭がほぼ忠実に再現されている。

図２８は、図２７のシルエットにおける、背景との境界が示されている。この境界は、被写体（ゴルファー２４）の輪郭である。図２８は、アドレスにおけるゴルファー２４の輪郭を示している。演算部１６は、この輪郭に基づき、スイングの良否を判定する（ＳＴＥＰ８）。

図２９には、被写体の輪郭からスイングの判定がされるフローチャートが示されている。演算部１６は、この輪郭から特徴点を決定する（ＳＴＥＰ８１）。この特徴点は、ゴルファー２４やゴルフクラブ２２の被写体の部位を表す点である。この特徴点は、判定に用いられる被写体の部位を表す点である。具体的には、演算部１６は、首の付け根、腰、膝関節、肘等のゴルファー３４の姿勢を判断するための特徴点と、ゴルフクラブ２２のグリップ端等のゴルフクラブの位置を判断するための特徴点とを決定する。ご演算部１６は、この特徴点の位置情報を取得する（ＳＴＥＰ８２）。演算部１６は、この位置情報から、スイングの良否を判定する（ＳＴＥＰ８３）。

図３０を参照しつつ、アドレスにおける首の付け根の特徴点の決定方法が説明される。このアドレスのフレームは、４８０×６４０の画素で構成されている。図３０では、このフレームが、左上端の点Ｐ０（０，０）を原点とし、各画素を一単位とするｘｙ座標として表されている。右上端は点Ｐ１（４７９，０）であり、左下端は点Ｐ２（０，６３９）であり、右下端は点Ｐ３（４７９，６３９）である。

図３０には、頭部探索領域３８が設けられている。図３０の点Ｐ１０１は、右上端の点Ｐ１から最も近い輪郭上の点を示している。この点Ｐ１０１は、輪郭上の点と点Ｐ１からその点までの距離とを関数としたときに、この距離が最小となる極値である。ここでは、関数の極大値又は極小値を極値としている。例えば、輪郭上の点であって、ｘｙ座標上でｘの値が最大値又は最小値をとる点や、ｙの値が最大値又は最小値をとる点は、いずれも極値である。また、ある点とある点から線までの距離との関数や、ある点とある点から他の点までの距離との関数において、この距離が最大又は最小となる、ある点は極値である。点Ｐ１０１のｘ座標の値がｘ_１０１と表現され、ｙ座標の値がｙ_１０１と表現される。同様に、点Ｐ１０２のｘがｘ_１０２とされ、ｙがｙ_１０２とされる。以下の説明では、各点のｘ及びｙの値は、特に言及がない限り、この点Ｐ１０１及び点Ｐ１０２と同様に表現される。

点Ｐ１０２は、頭部探索領域３８で輪郭を構成する画素内で、ｘが最大値ｘ_１０２である極値である。点Ｐ１０３は、この頭部探索領域３８で輪郭を構成する画素内で、ｙが最小値ｙ_１０３である極値である。頭部探索領域３８は、点Ｐ１０１を基点とする所定の範囲である。頭部探索領域は、例えば、ｘがｘ_１０１−３０以上ｘ_１０１＋３０以下で、ｙがｙ_１０１−３０以上ｙ_１０１＋３０以下の画素の範囲である。この点Ｐ１０１から点Ｐ１０３は、ゴルファー２４の頭部を特定している。被写体の部位の幾何学的位置関係から、この所定の範囲は定められればよい。以下の説明における他の探索領域の所定の範囲も同様に定められ得る。

図３０には、後頭部探索領域４０が設けられている。後頭部探索領域４０は点Ｐ１０３を基点とする所定の範囲である。点Ｐ１０４は、後頭部探索領域４０で輪郭を構成する画素内で、ｘの値が最小値ｘ_１０４である極値である。この点Ｐ１０４は、後頭部の位置を示している。この点Ｐ１０４は、極値である点Ｐ１０１から決定された参照点である。この後頭部探索領域４０は、例えば、ｘがｘ_１０３−１０以上ｘ_１０３以下で、ｙがｙ_１０３以上ｙ_１０３＋１０以下の画素の範囲である。

点Ｐ１０５は、この輪郭でｘの値が最小値ｘ_１０５の極値である。この点Ｐ１０５は、後腰の位置を示している。二点鎖線Ｌ１０１は、参照点である点Ｐ１０４と極値である点Ｐ１０５とを通る直線である。この直線Ｌ１０１から輪郭までの距離が計算される。この直線Ｌ１０１より左側の輪郭からこの直線Ｌ１０１までの距離は−（マイナス）とする。この直線Ｌ１０１より右側の輪郭からこの直線Ｌ１０１までの距離は＋（プラス）とする。この直線Ｌ１０１から距離が最大である輪郭上の点を点Ｐ１０６とする。この点Ｐ１０６は、首の付け根の特徴点を示している。

図３１を参照しつつ、グリップ端の特徴点の決定方法が説明される。この図３１の直線Ｌ１０２は、シャフトラインを示している。シャフトラインＬ１０２は、トップのフレームとアドレスのフレームとを差分処理して求められている。このシャフトラインＬ１０２は、差分処理の後にハフ変換して求められている。図３１は、図２７のシルエットにシャフトラインＬ１０２が重ねられて得られている。

図３１には、グリップ端探索領域４２が設けられている。例えば、このグリップ端探索領域４２に、第一枠２６が用いられる。点Ｐ１０９と点Ｐ１１０とは、輪郭とシャフトラインＬ１０２との交点を示している。このグリップ端探索領域４２内で、ｘの値が小さい交点がグリップ端とされる。図３１では、ｘ_１０９がｘ_１１０より小さい。この点Ｐ１０９がグリップ端とされる。

このグリップ端の特徴点の決定では、輪郭とシャフトラインＬ１０２との交点が一点の場合があり得る。例えば、手と腹とが一体となったシルエットの場合である。この場合は、この一点が検出される。二点が検出されないとき、グリップ端が未検出であると判定される。診断処理から、この一点は除外されて診断され得る。

図３２を参照しつつ、右膝先及び右膝関節の特徴点の決定方法が説明される。図３２には、踵探索領域４４が設けられている。この踵探索領域４４は、点Ｐ１０５を基点とする所定の範囲である。踵探索領域４４は、例えば、ｘがｘ_１０５以上４７９以下で、ｙがｙ_１０５以上６３９以下の画素の範囲である。点Ｐ１１１は、この踵探索領域４４内の輪郭上の点で、点Ｐ２に最も近い点であり、極値である。この点Ｐ１１１は踵を示している。

二点鎖線Ｌ１０３は、極値である点Ｐ１０５と極値である点Ｐ１１１とを通る直線である。点Ｐ１０５から点Ｐ１１１までの輪郭上の点とその点から直線Ｌ１０３までの距離との関数において、点Ｐ１１２は、この距離が最大値となる極値である。この点Ｐ１１２は、仮膝後を示している。この仮膝後の点Ｐ１１２から、ベジェ曲線を用いて膝後の特徴点Ｐ１１３を決定する。

図３３に示されるように、仮膝後の点Ｐ１１２を基準に所定の範囲に、制御点が定められる。ここでは、一例として、等間隔に配置された制御点Ｐｃ１からＰｃ７までの７点で、輪郭がベジェ曲線で近似される。この制御点Ｐｃ１からＰｃ７は、輪郭上の点である。この所定の範囲の上端点が点Ｐｃ１であり、下端点が点Ｐｃ７である。点Ｐ１０５と点Ｐ１１２との間で輪郭が四等分される。この四等分により、点Ｐ１０５側から点Ｐ１１２側に向かって、中間点がそれぞれ、点Ｐｃ１、点Ｐｃ２、点Ｐｃ３とされる。点Ｐ１１２が点Ｐｃ４とされる。点Ｐ１１２と点Ｐ１１１との間の輪郭が四等分される。この四等分により、点Ｐｃ４側から点Ｐ１１１側に向かって、中間点がそれぞれ、点Ｐｃ５、点Ｐｃ６、点Ｐｃ７、とされる。

例えば、ベジェ曲線での近似は、総評価値ＶＡＬを用いてされる。具体的には、図３３に示される点Ｐｃ１から点Ｐｃ７までの範囲で、制御点Ｐｃ４よりｙの値の小さい部分の評価値ｖａｌ（ａ）とし、制御点Ｐｃ４よりｙの値が大きい部分の評価値ｖａｌ（ｂ）としたときに、以下の関係式で総評価値ＶＡＬが計算される。
ＶＡＬ＝（ｖａｌ（ａ）＋ｖａｌ（ｂ））−ＡＢＳ（ｖａｌ（ａ）−ｖａｌ（ｂ））
ｖａｌ（ａ）は、点Ｐｃ１から点Ｐｃ４までの範囲における、ベジェ曲線と輪郭との差の合計値である。ｖａｌ（ｂ）は、点Ｐｃ４から点Ｐｃ７までの範囲における、ベジェ曲線と輪郭との差の合計値である。ここで、このＡＢＳ（ｖａｌ（ａ）−ｖａｌ（ｂ））は、ｖａｌ（ａ）とｖａｌ（ｂ）との差の絶対値である。

この点Ｐ１０５と点Ｐ１１１との間で、点Ｐｃ４を固定したまま、点Ｐｃ１から点Ｐｃ７を複数例設定する。この複数例のうち、総評価値ＶＡＬが最大となるときのベジェ曲線が決定される。この総評価値ＶＡＬが最大となるとき、ベジェ曲線が輪郭に最も近似される。

仮膝後の点Ｐ１１２を基準に所定の範囲で、仮特徴点Ｐ１１２’が設けられる。この所定の範囲は、例えば、ｘの値ｘ_１１２’が一定で、ｙの値がｙ_１２２−２０からｙ_１１２＋３０までの画素の範囲である。このｘ_１１２’は、ｘ_１１２より大きい。これにより点Ｐ１１２’は、点Ｐｃ１から点Ｐｃ７までの輪郭よりｘ軸方向＋（プラス）側に位置させられる。この点Ｐ１１２’は、ｙの値を増減させられる。点Ｐ１１２’が上下に移動して、この点Ｐ１１２’を制御点として、再度ベジェ曲線で近似される。前述のベジェ曲線での近似と同様に、総評価値ＶＡＬが最大となるとき、ベジェ曲線が輪郭に最も近似される。この最も近似されたときの制御点である点Ｐ１１２’から最も近い輪郭上の点が、膝後の特徴点Ｐ１１３とされる。

図３２の二点鎖線Ｌ１０４は、点Ｐ１１３を通る直線である。この二点鎖線Ｌ１０４は、直線Ｌ１０３に直交する直線である。点Ｐ１１４は、この直線Ｌ１０４と輪郭との交点である。この点Ｐ１１４は、仮膝先とされる。この点Ｐ１１４を基準にして、輪郭がベジェ曲線で近似される。前述の特徴点Ｐ１１３と同様にして、このベジェ曲線が輪郭に近似されて、特徴点が決定される。このようにして、点Ｐ１１５が膝先の特徴点として決定される。

図３２の点Ｐ１１６は、点Ｐ１１３と点Ｐ１１５との中点を示している。この点Ｐ１１６は膝関節の特徴点とされる。この膝関節の特徴点である点Ｐ１１６は、人体の部位の幾何学的位置関係を基に決定されている。

図３４を参照しつつ、右つま先の特徴点と背骨ラインとの決定方法が説明される。図３４の二点鎖線Ｌ１０５は、前述の点Ｐ１１１を通る直線である。この直線は、ｘ軸に平行である。点Ｐ１１７は、直線Ｌ１０５と輪郭との交点である。この点Ｐ１１７は、右つま先の特徴点である。

図３４の前腰探索領域４６は、点Ｐ１０５を基点とする所定の範囲である。この前腰探索領域４６は、ｘがｘ_１０５以上ｘ_１１７以下で、ｙがｙ_１０５以上ｙ_１１４以下の画素の範囲である。点Ｐ１１８は、輪郭上の点である。点Ｐ１１８は、点Ｐ１０５までの距離が最小となる極値である。この点Ｐ１１８は、前腰の特徴点である。直線Ｌ１０６は、点Ｐ１０５と点Ｐ１１８とを通る直線である。点Ｐ１１９は、この直線Ｌ１０６上の点である。この点Ｐ１０５から点Ｐ１１８までの距離をＤ１としたときに、この点Ｐ１１９は、点Ｐ１０５からＤ１の１／３倍の距離に位置する。この点Ｐ１１９は、腰の特徴点を示している。この点Ｐ１１９は、人体の部位の幾何学的位置関係を基に決定されている。二点鎖線Ｌ１０７は、前述の首付け根の点Ｐ１０６と点Ｐ１１９を通る直線である。この直線Ｌ１０７は、アドレスにおける背骨ラインである。

図３４を参照しつつ、右太腿ラインの決定方法が説明される。図３４の二点鎖線Ｌ１０８は、点Ｐ１１９と前述の点Ｐ１１６とを通る直線である。この直線Ｌ１０８は、右太腿ラインである。

図３５を参照しつつ、母子球及び右足首の特徴点の決定方法が説明される。図３５の点Ｐ１２０は、前述の直線Ｌ１０５上の点である。点Ｐ１１１から点Ｐ１１７までの距離をＤ２としたとき、点Ｐ１２０は、点Ｐ１１１からＤ２の６／７倍の距離に位置する点である。この点Ｐ１２０は、母子球の特徴点を示している。この点Ｐ１２０は、人体の部位の幾何学的位置関係を基に決定されている。

図３５の点Ｐ１２１は、前述の直線Ｌ１０５上の点である。点Ｐ１２１は、点Ｐ１１１からＤ２の３／８倍の距離に位置する点である。この点Ｐ１２１は、右足首の特徴点を示している。この点Ｐ１２１は、人体の部位の幾何学的位置関係を基に決定されている。

図３６を参照しつつ、右肩の特徴点の決定方法が説明される。図３６の直線Ｌ１０９は、前述の点Ｐ１０６と点Ｐ１０９を通る直線である。点Ｐ１２２は、この直線Ｌ１０９上の点である。点Ｐ１０６から点Ｐ１０９までの距離がＤ３のとき、点Ｐ１２２は、点Ｐ１０６からＤ３の３／８倍の距離に位置する点である。二点鎖線Ｌ１１０は、点Ｐ１２２を通りｘ軸方向の延びる直線である。点Ｐ１２３は、前述の直線Ｌ１０１と直線Ｌ１１０との交点である。点Ｐ１２４は、直線Ｌ１１０上の点である。点Ｐ１２４は、点Ｐ１２２と点Ｐ１２３との間に位置している。点Ｐ１２３から点Ｐ１２２までの距離がＤ４のとき、点Ｐ１２４は、点Ｐ１２３からＤ４の３／４倍の距離に位置する点である。この点Ｐ１２４は、右肩の特徴点を示している。この点Ｐ１２４は、人体の部位の幾何学的位置関係を基に決定されている。

この様にして、ゴルファー２４の輪郭から特徴点が決定される。演算部１６は、ゴルファーの首の付け根の特徴点Ｐ１０６、右の膝関節の特徴点Ｐ１１６、腰の特徴点Ｐ１１９等を決定している。演算部１６は、これらの特徴点から背骨ライン（直線Ｌ１０７）、太腿ライン（直線Ｌ１０８）等を決定している。

図３７から図３９を参照しつつ、テイクバック中の所定の位置のゴルファー２４の輪郭から特徴点を決定する方法が説明される。この図３７では、ゴルファー２４の利き腕が水平状態にある。この輪郭は、前述のアドレスの輪郭と同様にしてシルエット抽出により得られている。

図３７を参照しつつ、首の付け根の特徴点の決定方法が説明される。点Ｐ２０１、点Ｐ２０２、点Ｐ２０３、点Ｐ２０４、点Ｐ２０５及び直線Ｌ２０１は、前述の点Ｐ１０１、点Ｐ１０２、点Ｐ１０３、点Ｐ１０４、点Ｐ１０５及び直線Ｌ１０１と同様にして決定されており、ここではその説明が省略される。

点Ｐ２０６は、直線２０１より左側のシルエットＳ１部分の重心である。直線Ｌ２０２は、この点Ｐ２０６からｙ軸方向に延びる直線である。点Ｐ２０７は、直線Ｌ２０２と輪郭との交点であり、参照点である。この点Ｐ２０７は、点Ｐ２０６よりｙの値が小さい。Ｌ２０３は、点Ｐ２０４と点Ｐ２０７とを通る直線である。点Ｐ２０８は、点Ｐ２０４と点Ｐ２０７との間の輪郭上に位置して、直線Ｌ２０３からの距離が最大となる点である。この点Ｐ２０８は、首の付け根の特徴点を示している。テイクバックでは、前述のアドレスの点Ｐ１０６のようにして、首の付け根の特徴点を特定し難い。ここでは、参照点としての点Ｐ２０７を用いることで、点Ｐ２０８の決定が容易にされている。

図３８を参照しつつ、背骨ラインの決定方法が説明される。点Ｐ２０９は、前腰の特徴点である。点Ｐ２０９は、前述の前腰の特徴点Ｐ１１８と同様にして決定されており、ここでは、その説明が省略される。直線Ｌ２０４は、点Ｐ２０５と点Ｐ２０９とを通る直線である。点Ｐ２１０は、直線Ｌ２０４上の点である。点Ｐ２０５から点Ｐ２０９までの距離がＤ５のとき、点Ｐ２１０は、点Ｐ２０５からＤ５の１／２倍の距離に位置する点である。この点Ｐ２１０は、腰の特徴点を示している。この点Ｐ２１０は、人体の部位の幾何学的位置関係を基に決定されている。二点鎖線２０５は、点Ｐ２０８と点Ｐ２１０とを通る直線である。この直線Ｌ２０５が背骨ラインである。

図３９を参照しつつ、左つま先の特徴点の決定方法が説明される。前述の右つま先の特徴点Ｐ１１７と同様にして右つま先の特徴点Ｐ２１１が決定される。この点Ｐ２１１を含む右つま先の輪郭がテンプレートとして準備される。この点Ｐ２１１を含むテンプレートが輪郭にマッチング処理される。このテンプレートが最もマッチングする輪郭の部分が左つま先とされる。点Ｐ２１２は、このマッチングされたとき、点Ｐ２１１に相当する位置の点である。この点Ｐ２１２は、左つま先との特徴点を示している。ここでは、特徴点Ｐ２１１から相対位置が特定された右つま先の輪郭をテンプレートとして、このテンプレートが左のつま先にマッチング処理がされている。この右つま先のテンプレートから特定される特徴点Ｐ２１１に相当する位置の点が点Ｐ２１２として特定されている。このテンプレートとして、アドレスの右つま先の特徴点Ｐ１１７と点Ｐ１１７を含む輪郭が用いられてもよい。

この図３９の直線Ｌ２０６は点Ｐ２１２を通る直線である。この直線Ｌ２０６はｘ軸方向に延びている。直線Ｌ２０７は、シャフトラインを示している。シャフトラインＬ２０７は、このテイクバック中の所定の位置のフレームとアドレスのフレームとを差分処理して求められている。このシャフトラインＬ２０７は、差分処理の後にハフ変換して求められている。図３９は、図３７のシルエットにシャフトラインＬ２０７が重ねられて得られている。二点鎖線Ｌ２０８は、シャフトラインＬ２０７の延長線である。点Ｐ２１３は直線Ｌ２０６と直線２０８との交点である。

図３９の点Ｐ２１４は、打撃前のボールの中心位置の特徴点を示している。インパクト前のフレームとインパクト後のフレームとの差分処理により、打撃前のボールのシルエットが得られる。この点Ｐ２１４は、例えば、ボールのシルエットにおいて、ｘ軸方向及びｙ軸方向の中点として求められる。

図３８の点Ｐ２０５は、前述の点Ｐ１０５と同様にして決定したが、この点Ｐ２０５に代えて、他の特徴点が決定されてもよい。例えば、この点Ｐ２０５を含む輪郭上の複数の点が参照点として決定される。この輪郭が、最小二乗法で多項式に近似される。この多項式近似された近似線上の点で、ｘが最小の点を、特徴点としても良い。この特徴点を極値である点Ｐ２０５に代えて用いて、点Ｐ２１０、直線Ｌ２０４、直線Ｌ２０５に相当する点及び直線が特定されてもよい。

図４０から図４２を参照しつつ、トップのゴルファー２４の輪郭から特徴点を決定する方法が説明される。この輪郭は、前述のアドレスの輪郭と同様にしてシルエット抽出により得られている。

図４０を参照しつつ、手首の特徴点の決定方法が説明される。点Ｐ３０１、点Ｐ３０２、点Ｐ３０３、点Ｐ３０４、点Ｐ３０５、直線Ｌ３０１及び直線Ｌ３０２は、それぞれ前述の点Ｐ２０４、点Ｐ２０８、点Ｐ２０５、点Ｐ２０９、点Ｐ２１０、直線Ｌ２０４及び直線Ｌ２０５と同様にして決定されており、ここではその説明が省略される。なお、前述の点Ｐ２０４及び点Ｐ２０８を含む頭部の輪郭をテンプレートとして準備して、このテンプレートのマッチング処理をしても良い。図４０の輪郭にテンプレートをマッチング処理して、点Ｐ２０４及び点Ｐ２０８に相当する点を、それぞれ点Ｐ３０１及び点Ｐ３０２と決定してもよい。

図４０の手首探索領域４８は、点Ｐ３０１を基点とする所定の範囲である。この手首探索領域４８は、ｘが０以上ｘ_３０１以下であり、ｙが０以上ｙ_３０５以下の画素の範囲とされている。点Ｐ３０６は、手首探索領域４８でｙが最小値の点である。この点Ｐ３０６は、手の特徴点である。点Ｐ３０７は、点Ｐ３０６からｙ軸方向に所定量移動した点である。例えば、点Ｐ３０７のｙ座標の値ｙ_３０７は、ｙ_３０６＋１０とされている。この点Ｐ３０７が手首の特徴点とされる。この点Ｐ３０７は、人体の部位の幾何学的位置関係を基に決定されている。

図４１を参照しつつ、右肘の特徴点及び右腕ラインの決定方法が説明される。点Ｐ３０８は、点Ｐ３０５からｙ軸方向に所定量移動した点である。例えば、点Ｐ３０８のｙ座標の値ｙ_３０８は、ｙ_３０５−５０とされている。右肘探索領域５０は、点Ｐ３０１を基点とする所定の範囲である。この右肘探索領域５０は、ｘが０以上ｘ_３０１以下であり、ｙが０以上ｙ_３０８以下の画素の範囲とされている。点Ｐ３１０は、右肘探索領域５０でｘが最小値の点である。点Ｐ３１１は、点Ｐ３１０からｘ軸方向に所定量移動した点である。例えば、点Ｐ３１１のｘ座標の値ｘ_３１１は、ｘ_３１０＋１０とされている。この点Ｐ３１１が右肘の特徴点とされる。この点Ｐ３１１は、人体の部位の幾何学的位置関係を基に決定されている。二点鎖線Ｌ３０２は、点Ｐ３０７と点Ｐ３１１とを通る直線である。この直線Ｌ３０２は、右腕ラインである。

図４２を参照しつつ、左右膝先の特徴点の決定方法が説明される。点Ｐ３１２は、右の膝後の特徴点である。点Ｐ３１２は、アドレスの点Ｐ１１３と同様にして決定される。二点鎖線Ｌ３０３は、点Ｐ３１２からｘ軸方向に延びる直線である。点Ｐ３１３はこの直線Ｌ３０３と輪郭との交点である。点Ｐ３１４は、この点Ｐ３１３の周辺でｘが最大値の点である。この点Ｐ３１４を仮左膝先とする。この点Ｐ３１４を基準にして、輪郭がベジェ曲線で近似される。前述の特徴点Ｐ１１３と同様にして、このベジェ曲線が輪郭に近似されて、特徴点が決定される。このようにして、点Ｐ３１５が左膝先の特徴点として決定される。

図示されないが、このトップのフレームのエッジ画像を用いて、腰から右膝後までの領域の輪郭が直線近似される。例えば、最小二乗法を用いて、輪郭が直線近似される。図４２の二点鎖線Ｌ３０４は、この近似された直線を示している。膝輪郭探索領域５２は、Ｐ３０３を基点する所定の範囲である。例えば、この膝輪郭探索領域５２は、ｘがｘ_３０４−３０以上ｘ_３０４以下で、ｙがｙ_３０３＋３５の以上ｙ_３１２以下の画素の範囲である。エッジ画像中で、この膝輪郭探索領域５２で、直線Ｌ３０４とほぼ平行な直線を探索する。直線Ｌ３０５は、エッジ画像で決定された直線Ｌ３０４に平行な直線を示している。点Ｐ３１６は、この直線Ｌ３０５と直線Ｌ３０３との交点である。この点Ｐ３１６は、右膝先の特徴点を示している。

この直線Ｌ３０５の決定に代えて、予め、足の幅が測定されても良い。直線Ｌ３０４に対して、膝先側に足の幅の間隔を空けて平行線が引かれてもよい。この平行線と直線Ｌ３０３の交点が右膝先の特徴点とされてもよい。

図４３及び図４４には、チェックフレームから得られたインパクトのゴルファー２４の輪郭が示されている。この図４３及び図４４を参照しつつ、ゴルファー２４の輪郭から特徴点を決定する方法が説明される。この輪郭は、シルエット抽出により得られている。

図４３の点Ｐ４０１、点Ｐ４０２、点Ｐ４０３、点Ｐ４０４、直線Ｌ４０１及び直線Ｌ４０２は、それぞれ前述の点Ｐ２０８、点Ｐ２０５、点Ｐ２０９、点Ｐ２１０、直線Ｌ２０４及び直線Ｌ２０５と同様にして決定されており、ここではその説明が省略される。点Ｐ４０５は、直線Ｌ４０１上の点である。点Ｐ４０４から点Ｐ４０３までの距離がＤ６のとき、点Ｐ４０５は、点Ｐ４０４からＤ６の１／２倍の距離に位置する点である。この点Ｐ４０５は、人体の部位の幾何学的位置関係から決定されている。また、点Ｐ４０１の決定では、前述の点Ｐ２０８を含む頭部の輪郭をテンプレートとして準備して、このテンプレートのマッチング処理をしても良い。図４０の輪郭にテンプレートをマッチング処理して、点Ｐ２０８に相当する点を、点Ｐ４０１と決定してもよい。

図４３の右膝先探索領域５４は、腰前の特徴点Ｐ４０３を基点とする所定の範囲である。この所定の範囲は、例えば、ｘがｘ_４０３−３０以上ｘ_４０４＋５０以下で、ｙがｙ_４０３以上ｙ_２１２以下の画素の範囲である。この右膝先探索領域５４で、ｘが最大値となる点Ｐ４０６を仮膝先とする。この点Ｐ４０６を基準にして、輪郭がベジェ曲線で近似される。前述の特徴点Ｐ１１３と同様にして、このベジェ曲線が輪郭に近似されて、特徴点が決定される。このようにして、点Ｐ４０７が右膝先の特徴点として決定される。

図示されないが、このインパクトのフレームのエッジ画像を用いて、点Ｐ４０７からｘ軸方向のマイナス向きにエッジを探索する。ゴルファー２４のシルエットの領域内側にエッジがあれば、このエッジの位置を点Ｐ４０８とする。この点Ｐ４０８は、右膝後の特徴点を示している。

この点Ｐ４０８の決定方法では、予め、足の幅が測定されていても良い。点Ｐ４０７から足の幅の間隔を空けて右膝後の特徴点Ｐ４０８を決定してもよい。この方法は、ゴルファー２４のシルエットの領域内にエッジが発見されない場合に、用いられても良い。

二点鎖線Ｌ４０３は、点Ｐ４０７と点Ｐ４０８と通る直線である。点Ｐ４０９は、この直線Ｌ４０３上に位置して、点Ｐ４０７と点Ｐ４０８との間に位置している。点Ｐ４０８から点Ｐ４０７までの距離をＤ７のとき、点Ｐ４０９は、点Ｐ４０８からＤ７の１／２倍の距離の点である。この点Ｐ４０９は、右膝関節の特徴点である。

二点鎖線Ｌ４０４は点Ｐ４０５と点Ｐ４０９を通る直線である。この直線Ｌ４０４は、右太腿ラインを示している。

図４４を参照しつつ、右足首の特徴点及び下腿ラインの決定方法が説明される。点Ｐ１１１は、アドレスで決定した踵の特徴点である。点Ｐ４１０は、つま先の特徴点である、この点Ｐ４１０は、アドレスのつま先の特徴点Ｐ１１７を用いている。この点Ｐ４１０は、インパクトの輪郭から決定されても良い。二点鎖線Ｌ４０５は、点Ｐ１１１と点Ｐ４１０とを通る直線である。点Ｐ４１１は、この直線Ｌ４０５上の点である。点Ｐ４１１は、点Ｐ１１１と点Ｐ４１０との間に位置している。点Ｐ１１１から点Ｐ４１０までの距離をＤ８のとき、点Ｐ４１１は、点Ｐ１１１からＤ８の１／２倍の距離の点である。

踵探索領域５６は、点Ｐ４０２を基点とする所定の範囲である。この所定の範囲は、例えば、ｘがｘ_４０２以上ｘ_４１１以下で、ｙがｙ_４０２以上ｙ_１１１−１０以下の画素の範囲である。点Ｐ４１２は、この踵探索領域５６内で、この領域６５の左下隅の点Ｐ５からの距離が最小となる輪郭上の点である。この点Ｐ４１２は、踵の特徴点を示している。二点鎖線Ｌ４０６は、点Ｐ４１２と点Ｐ４１０を通る直線である。点Ｐ４１３は、この直線Ｌ４０６上の点である。点Ｐ４１３は、点Ｐ４１２と点Ｐ４１０との間に位置している。点Ｐ４１２から点Ｐ４１０までの距離をＤ９のとき、点Ｐ４１３は、点Ｐ４１２からＤ９の３／１０倍の距離の点である。この点Ｐ４１３は、右足首の特徴点を示している。二点鎖線Ｌ４０７は、点Ｐ４１３と点Ｐ４０７とを通る直線である。この直線Ｌ４０７は下腿ラインを示している。

演算部１６は、これらの特徴点と、特徴点から決定されるラインとに基づき、ゴルファー２４の姿勢の良否を判定する。異なる複数のチェックフレームの特徴点の位置と、特徴点から決定されるラインの位置とに基づき、ゴルファーの姿勢及びスイングの良否を判定する（ＳＴＥＰ８３）。

図４５を参照しつつ、一例として、アドレスの良否の判定の方法が説明される。図４５の二点鎖線Ｌ５０２はバランスポイントラインである。両矢印α１は、水平方向に対する背骨ラインＬ１０７の傾きである。バランスポイントラインＬ５０２は、母子球の特徴点Ｐ１２０を通り、鉛直方向に延びる直線である。

例えば、演算部１６は、特徴点の位置情報を取得している。この位置情報から、アドレスでは、以下の判断指標Ｅ１からＥ４が計算される。
Ｅ１＝ｘ_１２４−ｘ_１２０
Ｅ２＝ｘ_１１５−ｘ_１２０
Ｅ３＝α１
Ｅ４＝ｘ_１０９−ｘ_１１８

Ｅ１が所定の範囲にあるとき、演算部１６は、右肩の位置はバランスポイントラインＬ５０２に近いと判断する。この右肩の位置は良好と判断される。Ｅ１が所定の範囲外のとき、バランスが悪いと判断される。バランスの悪いアドレスではショットが不安定になりやすい。この所定の範囲は、例えば−１０以上＋１０以下の範囲である。

同様に、このＥ２が所定の範囲にあるとき、演算部１６は、膝の位置はバランスポイントラインＬ５０２に近いと判断する。この膝の位置は良好と判断される。Ｅ２が所定の範囲外のとき、バランスが悪いと判断される。バランスの悪いアドレスではショットが不安定になりやすい。この所定の範囲は、例えば−１０以上＋１０以下の範囲である。

このＥ３はスパインアングルである。このＥ３が所定の範囲にあるとき、演算部１６は、スパインアングルを良好と判断する。このＥ３が所定の範囲より小さいと、ゴルファー２４は下半身のパワーを使い難い。飛距離のロスが大きくなる。Ｅ３が所定の範囲より大きいと、回転軸が不安定となる。ショットが不安定になりやすい。このＥ３の所定の範囲は、例えば５０°以上７０°以下である。

Ｅ４が所定の範囲にあるとき、グリップの位置は良好と判断される。Ｅ２が所定の範囲より小さいと、腕が振りにくくなる。飛距離のロスが大きい。Ｅ４が所定の範囲より大きいと、体と腕との動きのバランスが取りにくい。この所定の範囲は、例えば５以上２０以下の範囲である。

ここでは、アドレスを例に説明がされたが、テイクバック中の所定位置、トップ、切り返し、インパクト及びフィニッシュのチェックフレームにおいても、それぞれの姿勢が判断され得る。またそれぞれのチェックフレームの判断指標が比較されることで、スイングの良否が評価される。例えば、アドレスのスパインアングルα１とテイクバック中の所定の位置でのスパインアングルを比較することで、回転軸が安定してるか否かが判断し得る。演算部１６は、それぞれのチェックフレームについて、予め定められた判断指標に基づいて、スイングの良否を判定する。演算部１６は、異なる２以上のチェックフレームから得られる判断指標を比較して、スイングの良否を判定する。全ての判断指標について判断が完了するとスイングの良否の判定が終了する（ＳＴＥＰ８）。

この診断方法では、画像データから複数のチェックフレームが決定されている（ＳＴＥＰ６）。種々の姿勢でのスイング診断がされる。また、異なる姿勢間で、姿勢の変化の良否が診断される。この診断方法は、スイングの総合的な診断に用いることができる。

この診断方法では、輪郭上の点であって極値を決定している。この極値から特徴点として、首の付け根、膝の関節、背骨ライン、太腿ライン、足首、腰等を決定している。輪郭上の極値の決定は、容易にされ、且つ誤決定が抑制され得る。この極値に基づいて特徴点が決定されるので、特徴点の決定は容易で且つ誤決定が抑制されている。この判断方法は、精度よく判定し得る。この判断方法は、判定の処理時間が短縮できる。

更に、これらの特徴点と、ゴルフクラブのシャフトライン及びボール位置とが特定されることで、ゴルファーのスイングの良否を精度よく判定し得る。

この実施形態では、シルエット抽出により二値化画像から輪郭が決定されたが、他の方法により輪郭が決定されてもよい。例えば、複数のフレームの差分処理により、輪郭が決定されてもよい。この輪郭に対して、前述のように、特徴点が決定されても良い。

図４６を参照しつつ、本発明の他の実施形態に係る診断方法が説明される。この実施形態では、差分処理により得られる差分画像が用いられている。図４６には、アドレスとトップとの差分処理で得られた差分画像が示されている。この差分画像は、手ぶれ補正がされて得られている。

この差分画像は、先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。例えば、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定の画素数以上の面積を有する領域が残され、所定の画素数以下の面積を有する領域が除去される。例えば、このラベリング処理における所定の画素数は、１５０である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。例えば、４回の膨張処理がなされる。

ここでは、差分処理の後に、収縮処理、ラベリング処理及び膨張処理が施されている。これにより、ゴルファー３４の輪郭をより精度よく且つ容易に識別し得る。輪郭に基づいて、特徴点が容易に決定され得る。

この図４６を参照しつつ、アドレスにおける特徴点の決定方法の一例が説明される。この画像は、４８０×６４０の画素で構成されている。図４６では、左上端の点Ｐ０（０，０）を原点とし、各画素を一単位とするＸＹ座標として表されている。右上端は点Ｐ１（４７９，０）であり、左下端は点Ｐ２（０，６３９）であり、右下端は点Ｐ３（４７９，６３９）である。

図示されないが、前述の一の実施形態と同様に、頭部探索領域及び後頭部探索領域が設けらる。図４６の点Ｐ６０１、点Ｐ６０２、点Ｐ６０３、点Ｐ６０４、点Ｐ６０５及び直線Ｌ６０１は、図３０の点Ｐ１０１、点Ｐ１０２、点Ｐ１０３、点Ｐ１０４、点Ｐ１０５及び直線Ｌ１０１と同様にして決定されている。ここでは、その説明が省略される。

ここでは、アドレスとトップとの差分処理により、アドレスの頭部の極値及び腰後の極値の決定方法を示した。復数のフレームのうちから、差分処理をするフレームの組合せを代えることで、差分画像を用いて、他の極値が決定され、この極値から特徴点が決定され得る。また、他の姿勢における特徴点が決定され得る。

この実施形態ではサーバ６の演算部１６が各処理を行うが、携帯電話機４の演算部１６が各処理を行ってもよい。この場合、携帯電話機４とサーバ６との接続は不要である。

本発明に係る方法では、ゴルフ場、プラクティスレンジ、ゴルフショップ、一般家庭の庭等においてなされるスイングが、診断され得る。

２・・・システム
４・・・携帯電話機
６・・・サーバ
１０・・・カメラ
１６・・・演算部
１８・・・メモリ
２２・・・ゴルフクラブ
２６・・・第一枠
２８・・・第二枠
３６・・・マスク
３８・・・頭部探索領域
４０・・・後頭部探索領域
４２・・・グリップ端探索領域
４４・・・踵探索領域
４６・・・前腰探索領域
４８・・・手首探索領域
５０・・・右肘探索領域
５２・・・膝輪郭探索領域
５４・・・右膝先探索領域

Claims (10)

1. ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、画像データが得られるステップ、
   上記画像データから複数のフレームが得られ、この複数のフレームからゴルファーが所定の姿勢にあるチェックフレームを決定するステップ、
   このチェックフレームからゴルファーの輪郭を決定するステップ、
   及び
   このゴルファーの輪郭からスイングを判定するステップ、
   を含み、
   このスイングを判定するステップでは、この輪郭を構成する極値が決定されており、
   この極値から特徴点が決定されており、
   この特徴点を用いてスイングが診断されており、
   上記極値又は極値から求められる参照点が２点以上決定されており、
   この２点以上のうちの２点を通る直線から輪郭までの距離が最大又は最小となる輪郭上の点を、特徴点とするゴルフスイングの診断方法。
2. 上記極値が、頭部の輪郭、腰の輪郭又は踵の輪郭を構成する請求項１に記載の診断方法。
3. 上記極値に基づいて輪郭上の点を参照点に決定しており、参照点を含む輪郭が多項式近似されて近似線が得られており、この近似線上の点であって極値となる点を、更に他の特徴点とする請求項１又は２に記載の診断方法。
4. 上記特徴点からの相対的位置が特定された輪郭の一部をテンプレートとして、このテンプレートが輪郭の他の部位にマッチング処理されて、このテンプレートが輪郭の他の部位に最も近似されたときに、このテンプレートから特定される特徴点に相当する位置の点を更に他の特徴点とする請求項１から３のいずれかに記載の診断方法。
5. 上記チェックフレームのエッジ画像において輪郭が直線近似されており、
   このエッジ画像に輪郭探索領域が設定されており、この輪郭探索領域で直線近似された輪郭と平行な直線を探索しており、
   この探索された直線上の点を更に他の特徴点とする請求項１から４のいずれかに記載の診断方法。
6. 上記極値、参照点又は特徴点から、人体の部位の幾何学的位置関係を基に決定される位置の点を更に他の特徴点とする請求項１から５のいずれかに記載の診断方法。
7. 上記極値、参照点又は特徴点を基準とする所定の探索領域を設定し、この探索領域内の極値となる点を更に他の特徴点とする請求項１から６のいずれかに記載の診断方法。
8. 上記チェックフレームからゴルファーの輪郭を決定するステップにおいて、
   このチェックフレームからゴルファーのシルエットの二値化画像が得られており、
   この二値化画像からゴルファーの輪郭を決定している請求項１から７のいずれかに記載の診断方法。
9. 上記チェックフレームからゴルファーの輪郭を決定するステップにおいて、
   複数のフレームの差分処理により差分画像が得られており、
   この差分画像からゴルファーの輪郭を決定している請求項１から７のいずれかに記載の診断方法。
10. （Ａ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを撮影するカメラ
    （Ｂ）撮影された画像データを記憶するメモリ
    及び
    （Ｃ）演算部
    を備えており、
    上記演算部が、
    （Ｃ１）上記画像データから複数のフレームを抽出する機能、
    （Ｃ２）この複数のフレームからゴルファーが所定の姿勢にあるチェックフレームを決定する機能
    （Ｃ３）このチェックフレームのゴルファーの輪郭を決定する機能、
    （Ｃ４）この輪郭から極値を決定する機能、
    （Ｃ５）この極値から特徴点を決定する機能、
    及び
    （Ｃ６）この特徴点の位置情報を用いてスイングを診断する機能
    を有しており、
    上記極値から特徴点を決定する機能が、上記極値又は極値から求められる参照点を２点以上決定する機能と、この２点以上のうちの２点を通る直線から輪郭までの距離が最大又は最小となる輪郭上の点を特徴点とする機能とを有しているゴルフスイングの診断システム。

Images