JP4205004B2

JP4205004B2 - キャリブレーション方法

Info

Publication number: JP4205004B2
Application number: JP2004090814A
Authority: JP
Inventors: 勝彦植田; 正秀大貫; 良明白井; 伸敬島田
Original assignee: Ｓｒｉスポーツ株式会社; 良明白井; 伸敬島田
Priority date: 2004-03-26
Filing date: 2004-03-26
Publication date: 2009-01-07
Anticipated expiration: 2024-03-26
Also published as: JP2005270484A

Description

本発明は、キャリブレーション方法に関し、詳しくは、ゴルフスウィング中の画像上における注目点の位置座標を適切に校正して認識する方法に関する。

従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。
例えば、特許第２７９４０１８号で開示された動作診断装置では、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。

しかしながら、上記公報では動作ポイントの位置座標を画像上から取得する際には、画像が平面情報であるために平面座標しか取得できない。従って、動作ポイントの画像上の奥行き方向の位置座標や距離を得ることができないので、三次元的な位置座標を用いた診断項目を設けることができず、あるいは、平面座標から無理に三次元的処理を行おうとすれば診断の誤差が大きくなる問題がある。

一般に、二次元画像から三次元位置座標を算出する手法として、三次元ＣＧ等で使用されているＤＬＴ法（Direct Linear Transformation）が知られている。ＤＬＴ法とは、複数台のカメラを利用して、実空間内に設置された複数のコントロールポイントを予め撮影し、複数台のカメラで撮影したコントロールポイントの位置座標から１１連立方程式を解くことにより、二次元座標と三次元座標の関係を取得することで、別途、複数のカメラで撮影した同一点の複数の二次元座標を利用して三次元座標を取得する方法である。

しかしながら、ＤＬＴ法では三次元空間上に６点以上のコントロールポイントが必要となり、計測準備が非常に手間になったり、キャリブレーション用の治具が大きくなってしまうので、コントロールポイントを増加させずに平面画像から三次元位置座標を簡便に取得できる方法の提供が求められる。
特許第２７９４０１８号

本発明は、前記問題に鑑みてなされたもので、カメラで撮影された画像から三次元的な距離や角度を簡便に取得する方法を提供することを課題としている。

前記課題を解決するため、本発明は、ゴルフクラブを把持してスウィングするゴルファーを撮影してコンピュータに取り込み、撮影された画像上に映された注目点の位置情報を前記コンピュータで校正して実際の位置情報を取得する方法であって、
スウィング実空間を構成する地面のゴルファーを包囲する位置にフレームを設け、
前記フレームを構成する少なくとも２つの直線を画像上で認識し、該２つの直線のスウィング実空間内での長さと画像上でのピクセル長さとを用いて、前記フレーム内におけるピクセル位置情報から実際の位置情報に換算する変換率を計算し、前記変換率を画像上のピクセル距離に乗じることで実際の距離を算出することを特徴とするキャリブレーション方法を提供している。

画像上では立体の実空間が平面化されて映し出されるため、画像上のピクセル位置情報は必ずしも実際の正しい位置情報と一致しないが、前記構成とすると、スウィング空間に設けられたフレームの奥行き方向の縮尺度合いを用いて画像上のピクセル位置情報を実際の位置情報に換算する変換率を簡易に求めることができる。したがって、画像での位置情報を簡単にキャリブレーションして実際の距離を算出することができる。
なお、ゴルファーがスウィングする前の段階で前記フレームを撮影して予め前記変換率を求めておき、ゴルファーが実際にスウィングする際には前記フレームを地面から撤去しておいてもよい。

前記フレームは仮想フレームとし、該仮想フレームの形の頂点となる位置の地面にマークを設置している。

前記構成とすると、ゴルファーがスウィング動作する地面に枠状のフレームを設けなくても、頂点となる位置にそれぞれマークを設けるだけで、頂点を結んだ仮想フレームを想定することができる。

前記フレームを構成する直線のうち、画像奥行きに対向配置された２つの直線上の前記変換率を平均することで、前記フレーム内の変換率を求めている。

前記構成とすると、フレームを構成する２つの直線の変換率を求めてそれらの平均をとるだけで、非常に簡易にフレーム内の平均の変換率を求めることができる。

また、２つの前記注目点の間の実際の距離は、前記画像上での２つの注目点の間のピクセル距離に前記変換率を乗じて求めているとよい。

あるいは、前記フレーム内の領域を複数のブロックに分割し、
前記ブロックを構成する直線のうち、画像奥行きに対向配置された２つの直線上の変換率を平均することで、前記ブロック内の変換率を求めても好適である。

即ち、フレーム内の変換率を１つで済ますのではなく、フレームを複数分割したブロックを設けて各ブロックに対応する複数の変換率を求めておくことで、注目点の存在する位置に対応して最適な変換率を選択して適応することができ、簡便で且つ精度向上を図ることができる。
なお、前記ブロックは、前記ゴルファーの足シルエットを基準として前記フレーム内の領域をブロック分割して形成されていると好適である。
さらに、２つの前記注目点の間の実際の距離は、各注目点が属する前記ブロック毎の変換率を平均して前記画像上での各注目点間のピクセル距離に乗じて求めているとよい。

また、前記フレームを構成する少なくとも２本の直線を利用して、線形補間によりフレーム内の変換率を求めても好適である。
このように、フレームを構成する直線の変換率を利用しながらフレーム内の各位置での変換率を線形的に補間しながら求めることで、画像奥行き方向に線形的に変化する変換率が取得でき、ピクセル距離から実際の距離への換算の精度を向上させることができる。

２つの前記注目点の間の実際の距離は、画像上で一方の注目点を他方の注目点を構成する面に投影し、該投影点と他方の注目点との距離に、他方の注目点の前記変換率を乗じて求めることとすれば、画像奥行き方向に位置の異なる２点間の距離を算出することができる。

また、画像上に存在する面あるいは線と前記注目点との間の実際の距離は、
前記注目点を前記面あるいは線を構成する面に投影し、該投影点と前記面あるいは線との距離に前記面上の変換率を乗じて求めることとすれば、画像奥行き方向に位置の異なる点と面（線）との距離を算出することができる。

前記画像上で、前記フレームの奥行き方向の辺である直線をそれぞれ奥行き方向に延長して交差する点を消失点とし、該消失点から鉛直方向に垂直線を下ろし、前記注目点と該垂直線との間の距離により各注目点間の距離を換算している。

前記構成とすると、画像上で消失点からの垂直線を基準とすることで、各注目点の間の距離を間接的に求めることができる。

前記フレームは、前記ゴルフクラブの一部の軌跡が含まれる範囲に設定されている。
特に、前記ゴルフクラブのヘッド部の軌跡が含まれる範囲に前記フレームを設定すると好ましい。
即ち、ゴルフクラブのヘッド部が一番大回りをして動作するため、そのヘッド部の軌跡が含まれるようにフレームの大きさを設定しておけば、フレーム内の変換率を用いてスウィング動作中の注目点の位置をほぼカバーすることができる。

前記フレームの飛球線方向に直交する方向の辺の長さをＷ１、飛球線方向の辺の長さをＷ２とすると、Ｗ１／Ｗ２＝１〜１０としていると好ましい。
即ち、スウィング軌道は飛球線方向に大きくなる傾向にあるので、前記比率とすることで効率的にフレームの大きさを決定することができる。

前記フレームの大きさは、前記フレームの辺をゴルファーの両足の中心の中点を基点として飛球線方向にｈ：ｉで分けたとき、ｈ／ｉ＝１〜３としている。
即ち、前記比率とすることで、ゴルファーの立ち位置を基準にしてスウィング軌道がフレーム内に含まれるよう効率的にフレームの大きさを決定することができる。

前記フレームの大きさは、前記フレームの辺をゴルファーの足を基点として飛球線方向に直交する方向にｊ：ｋで分けたとき、ｊ／ｋ＝１〜１０としている。
即ち、前記比率とすることで、ゴルファーの立ち位置を基準にしてスウィング軌道がフレーム内に含まれるよう効率的にフレームの大きさを決定することができる。

また本発明は、ゴルフクラブを把持してスウィングするゴルファーを撮影してコンピュータに取り込み、撮影された画像上に映された注目点の位置情報を前記コンピュータで校正して実際の位置情報を取得する方法であって、
２方向から撮影した画像上の同一平面に存在する少なくとも４点について、該２方向の夫々の画像間における位置座標の対応関係を表す射影変換行列を予め求めておき、
一方向側の画像上において前記注目点を通り奥行き方向を表す垂直ラインを前記射影変換行列により他方向側の画像上において水平なラインに変換し、他方向側の画像上で前記注目点を通る垂直ラインと前記水平なラインとの交点を求めて画像上の前記平面での位置座標を取得し、
この位置座標を、画像と実空間との間における位置座標の対応関係を表わす別の射影変換行列を用いて実空間上の位置座標に変換して、前記注目点の実空間座標を求めていることを特徴とするキャリブレーション方法を提供している。

前記構成とすると、２方向の画像を用いるだけで、画像上に映された計測対象の注目点の位置座標をキャリブレーションして実空間における位置座標を取得することができる。

前記注目点は２点とし、該２点間の距離あるいは／および角度を求めていると好ましい。
即ち、２点間の距離や角度を実空間座標で求めることで、インパクト前後のスウィング軌道等の診断に役立てることができる。

スウィング実空間を構成する地面のゴルファーを包囲する位置にフレームを設け、
前記フレームを構成する少なくとも２つの直線を画像上で認識し、該２つの直線のスウィング実空間内での長さと画像上でのピクセル長さとを用いて、前記フレーム内におけるピクセル位置情報から実際の位置情報に換算する変換率を計算し、
前記一方向側の画像上において前記注目点の特定の座標軸方向へのピクセル距離を求め、該ピクセル距離に前記変換率を乗じることで、前記注目点の実空間での三次元位置座標を取得している。

前記構成とすると、例えば、地面をＺ方向（鉛直方向）の原点として、原点から注目点へのＺ軸方向のピクセル距離を画像上で求めれば、注目点の存在する位置の変換率を当該ピクセル距離に乗じるだけで実空間でのＺ位置座標を取得することができ、三次元位置座標を算出することができる。なお、前記変換率としては、上述した線形補間により求められたものを用いると好適である。

また本発明は、上記キャリブレーション方法を用い、
前記注目点は前記ゴルファーの関節とし、一の関節と他の関節またはゴルフクラブシャフトとの距離、あるいは、一の関節と別の時刻の関節またはゴルフクラブシャフトとの距離を求めていることを特徴とするゴルフスウィング計測システムを提供している。

以上の説明より明らかなように、本発明によれば、スウィング空間に設けられたフレームの奥行き方向の縮尺度合いを用いて画像上のピクセル位置情報を実際の位置情報に換算する変換率を簡易に求めることができ、画像での位置情報を簡単にキャリブレーションして実際の距離を算出することができる。

本発明の第１実施形態を図面を参照して説明する。
図１はゴルフスウィング計測システムの概略図を示し、コンピュータ１６と、該コンピュータ１６に接続された表示手段であるモニター１７と、コンピュータ１６に接続された入力手段であるキーボード１８およびマウス１９と、コンピュータ１６に接続されゴルファー１１の正面位置および飛球線後方（側面）位置に設置されたカラーＣＣＤカメラ１４、１５とを備えている。

地面にはゴルファー１１が立つスウィング位置の周囲に枠状のフレーム２０が設置されている。フレーム２０は地面と異なる色であると共に、点Ａ〜Ｄの四点を頂点とする四角形状であり、図２に示すように、直線ＡＢおよび線ＣＤの長さはＷ１、直線ＢＣおよび直線ＡＤの長さはＷ２とし、Ｗ１／Ｗ２＝１〜１０の範囲としている。また、フレーム２０内でのゴルファー１１の立ち位置は、図３（Ａ）（Ｂ）に示すように、直線ＣＤおよび直線ＡＤがゴルファー１１の両足２２の中点で分けられる比ｈ／ｉが１〜３となるように設定していると共に、直線ＡＢおよび直線ＣＤがゴルファー１１の両足２２の中心で分けられる比ｋ／ｊが１〜１０となるように設定している。

被診断者となるゴルファー１１は、関節位置に色付マーク（注目点）Ｐ、Ｑが付された上着である計測用服１２を私服の上から着用している。ゴルファー１１の把持するゴルフクラブ１３のシャフト１３ａには間隔をあけて３つのクラブ用色付マークＣＭ１、ＣＭ２、ＣＭ３が取り付けられている。クラブ用色付マークＣＭ１〜ＣＭ３は、グリップ側からヘッド１３ｂ側にかけて等間隔に取り付けている。

コンピュータ１６は、カラーＣＣＤカメラ１４、１５とＬＡＮケーブルやＩＥＥＥ１３９４やＣａｍｅｒａＬｉｎｋ規格等を用いてオンライン接続されており、カラーＣＣＤカメラ１４、１５で撮影されたスウィング動画像（複数の静止画像）および背景画像をコンピュータ１６のハードディスクやコンピュータ１６上のメモリやボード上のメモリに保存している。また、コンピュータ１６には、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルをクラブ用色付マークＣＭ１〜ＣＭ３の位置として座標データを取得する手段と、クラブ用色付マークＣＭ１〜ＣＭ３の座標データを基にしてシャフト１３ａの動きを認識する手段と、ゴルファー１１の色付マークＰ、Ｑを認識する手段とを備えたプログラムを内蔵している。

ゴルファー１１が試打を行い、カラーＣＣＤカメラ１４、１５からスウィング動画像の各コマ毎の静止画像をコンピュータ１６に取り込んでハードディスクあるいはコンピュータ１６内のメモリあるいはボード上のメモリに保存し、カラーＣＣＤカメラ１４で撮影された正面画像およびカラーＣＣＤカメラ１５で撮影された側面画像において、クラブ用色付マークＣＭ１〜ＣＭ３やゴルファー１１の色付マークＰ、Ｑを認識し、後述するキャリブレーション処理により各マークの三次元位置座標を認識する。

次に、静止画像上で認識されたマークＰ、Ｑの間のピクセル距離ａを正しい距離Ｌにキャリブレーション（校正）する方法について説明する。
図４は正面画像を示しているが、直線ＡＤと直線ＢＣは実際の長さＷ２は等しいにも関わらず、画像上では奥行き側の直線ＢＣの方が短く映されることなるので、画像上の距離を実際の距離に換算する変換率を求めることとする。
本実施形態では、前記変換率としてフレーム２０内の領域の平均変換率を求めて各マークの距離換算に適用することとしている。つまり、本手法はゴルファー１１がフレーム２０領域のほぼ中心でスウィング動作を行っていることを利用した簡易キャリブレーション方法ということができる。

フレーム２０内の平均変換率ｓｆ_ave［ｃｍ／ピクセル］は、直線ＢＣおよび直線ＡＤの実測長さをＷ２［ｃｍ］、直線ＢＣの画像上の長さをＭ１［ピクセル］、直線ＡＤの画像上の長さをＭ２［ピクセル］とすると、以下の数式１で求められる。

したがって、マークＰとマークＱとの間のキャリブレーション後の距離Ｌ［ｃｍ］は、画像上のＰＱ間距離をａ［ピクセル］とすると以下の数式２で簡単に求めることができる。

また、図５に示すように、直線ＡＢの延長線と直線ＣＤの延長線との交点を消失点Ｓとして取得し、その消失点Ｓからボール２２まで引いた直線２１を用いることで、ボール２２の位置が適切かどうかを判断することができる。具体的には、ゴルファー１１のシルエットの踵と直線２１との距離を求めることで、ゴルファー１１の足に対するボール２２の設置位置を把握することができる。

なお、画像上におけるフレーム２０の認識方法は、オペレータがマウス等を用いて手動で認識させてもよいが、画像処理により自動で認識すると好適である。以下、後者のフレーム自動認識方法について説明する。
フレーム２０の色を地面や近傍の色と相違させておき、画像上の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルをフレーム２０であると認識してフレーム２０位置情報を取得する。二値化処理の方法としては、色情報としてＲＧＢ値やＹＩＱ値や色相・彩度・明度等を用い、フレーム２０の同一の色であるとみなすことのできる閾値を設定するとよい。また、ハフ変換を用いてフレーム２０を構成する直線を抽出してもよい。

あるいは、図６に示すように、仮想フレーム２０’を構成する４つの頂点Ａ〜Ｄに色マークを設置すると共に、色マークＡ〜Ｄを周辺色と異なる配色とし、画像上の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルを色マークＡ〜Ｄであると認識してフレーム頂点の位置座標を取得し、各色マークを結ぶことで仮想フレーム２０’の位置情報を取得するようにしてもよい。なお、フレーム頂点に設置する色マークは直径３ｃｍ程の球状体あるいは一辺３ｃｍ程の立方体など、色抽出しやすい形であれば何でも良い。

図７および図８は第２実施形態を示す。
第１実施形態との相違点は、変換率としてフレーム２０内の平均変換率を用いずに、フレーム２０を複数のブロックに分割して、各ブロック毎に変換率を求めている点である。

図７（Ａ）は正面画像、図７（Ｂ）は側面画像を示し、画像に映されたフレーム２０を消失点Ｓを通過する２本の線で直線ＢＣおよび直線ＡＤを等分割すると共に、水平方向の２本の線で直線ＡＢおよび直線ＣＤを等分割し、フレーム２０をブロック１〜ブロック９に９分割する。
まず、正面画像上で認識されたマークＰを通過する垂直線２３を引き、この垂直線２３が通過するブロック２、５、８を記憶する。次いで、側面画像上で認識されたマークＰを通過する垂直線２４を引き、この垂直線２４が通過するブロック１、２、３、４を記憶する。

上記正面画像と側面画像とで共通して記憶されたブロック２をマークＰが存在するブロックであると決定し、マークＰに関してはブロック２に関する変換率ｓｆ_B2［ｃｍ／ピクセル］を用いることとする。なお、ブロック毎の変換率の算出方法は、第１実施形態のフレーム２０内の平均変換率の算出方法を用い、フレームをブロックに置き換えて適用することで容易に算出される。

次に、マークＰとマークＱとの間のキャリブレーション後の距離Ｌ［ｃｍ］を求める。
（１）マークＰとマークＱとが同一ブロック内に存在する場合は、当該ブロックの変換率をｓｆ_B［ｃｍ／ピクセル］、画像上のＰ、Ｑ間距離をａ［ピクセル］とすると、以下の数式３でキャリブレーション後の距離Ｌ［ｃｍ］を算出することができる。

（２）マークＰとマークＱが隣合うブロックにそれぞれ存在する場合、例えば、マークＰはブロック２に存在する一方、マークＱはブロック１に存在する場合は、ブロック２の変換率をｓｆ_B2［ｃｍ／ピクセル］、ブロック１の変換率をｓｆ_B1［ｃｍ／ピクセル］とすると、以下の数式４でキャリブレーション後の距離Ｌ［ｃｍ］を算出することができる。

（３）マークＰとマークＱが隣合わないブロックにそれぞれ存在する場合、例えば、マークＰはブロック２に存在する一方、マークＱはブロック７に存在する場合は、図８に示すように、マークＱが存在するブロック７とそれに横並びするブロック８、９を通る垂直面にマークＰを投影した点Ｐ’を用い、Ｐ’Ｑ間距離をａ’［ピクセル］、ブロック７、８、９の変換率をｓｆ_Q［ｃｍ／ピクセル］として、以下の数式５でキャリブレーション後の距離Ｌ［ｃｍ］を求めることができる。

ここで、点Ｐ’の決定方法について説明すると、まず、マークＰから鉛直方向の垂直線を下して点Ｐ₁を求める。但し、マークＰの地面上のラインはブロック２の中心から水平に横断するラインとする。次いで、消失点Ｓと点Ｐ₁とを結ぶ線ＳＰ₁の延長線と、ブロック７、８、９の中心を水平に横断するラインと交わる点を点Ｐ₂とする。そして、消失点ＳとマークＰとを結ぶ線ＳＰの延長線と、点Ｐ₂を通る垂直線とが交わる点を点Ｐ’として決定する。なお、他の構成は第１実施形態と同様であるため説明を省略する。

また、フレーム２０内のブロック分割の変形例を図９（Ａ）（Ｂ）に示す。本変形例ではフレーム２０内を１２個のブロック１〜１２に分割している。
図９（Ａ）の正面画像では、ゴルファー１１の足シルエットの両側端の点２５、２６をそれぞれ消失点（図示せず）と結んだ線２７、２８と、足シルエットの両踵間の中点を消失点と結んだ線３０と、踵２９、３０を通過して直線ＡＤと平行な線３４と、足シルエットの下端３２を通過して直線ＡＤと平行な線３３とを用いてブロック分割している。
図９（Ｂ）の側面画像では、ゴルファー１１の足シルエットの踵３５を消失点（図示せず）と結んだ線３８と、足シルエットの足先３６と消失点と結んだ線３９と、足先３６、３７を通過して直線ＡＢと平行な線４０、４１と、両足先３６、３７間の中点を通過して直線ＡＢと平行な線４１とを用いてブロック分割している。

図１０乃至図１３は第３実施形態を示す。
第１・第２実施形態との相違点は、フレーム２０内やブロック内の平均的な変換率を用いずに、線形補間により正確に変換率を算出している点である。

図１０（Ｂ）に示すように、側面画像から見てマークＰを通る垂直線がフレーム２０を構成している直線ＣＤをα：βで分ける場合、図１０（Ａ）に示すように、正面画像から見てマークＰから垂線を下して地面と交点を通る直線ＢＣと平行な線をＥＦとすると、正面画像の奥行き方向の長さは徐々に短くなるのでＢＥ：ＡＥ＝α：βにならず、ＢＥ：ＡＥ＝α’：β’となる。ここで、直線ＢＣの画像上の長さをＭ１［ピクセル］、直線ＡＤの画像上の長さをＭ２［ピクセル］、線ＥＦの画像上の長さをＭ３［ピクセル］とし、直線ＢＣでの変換率をｓｆ_M1［ｃｍ／ピクセル］、直線ＡＤでの変換率をｓｆ_M2［ｃｍ／ピクセル］とする。すると、線ＥＦでの変換率をｓｆ_M3［ｃｍ／ピクセル］は以下の数式６で算出される。

ここで、数式６の右辺のうち未知の値はＭ３[ピクセル]である。このＭ３は以下の数式７で求めることができる。

次に、この数式７の右辺のα’、β’に関する算出手順について詳説する。
図１１は天井側から見下ろした図を示し、カラーＣＣＤカメラ１４から見た奥行き方向をＺ方向とし、飛球線方向をＹ方向とする。
点Ａ、Ｅ、Ｂを通過する線をｂＹ＋ｃＺ＋ｄ＝０とすると（ｂ、ｃ、ｄは定数）、点ＡのＹ座標であるＹ₀は数式８で求められる。

同様に、点ＥのＹ座標であるＹ₁は数式９で求められる。

ここで、Ｙ₀、ｙ₀、ｆ、Ｚ₀の関係は図１２から分かるように数式１０の関係式が成り立つ。なお、ｙ₀は点Ａとカメラ１４とを結ぶ線とＹ軸との交点のＹ座標、ｆはカメラ１４とＹ軸との距離、Ｚ₀は点ＡのＺ座標である。

よって、数式８と数式１０とから数式１１が導き出されると共に、数式９と数式１０とから数式１２が導き出される。なお、ｙ₁は点Ｅとカメラ１４とを結ぶ線とＹ軸との交点のＹ座標、Ｚ₁は点ＥのＺ座標である。

次いで、数式１１と数式１２とから以下の数式１３が導き出される。

また、数式１３と同様にして、数式１４も導き出される。なお、ｙ₂は点Ｂとカメラ１４とを結ぶ線とＹ軸との交点のＹ座標、Ｚ₂は点ＢのＺ座標である。

Ｙ軸上のｙ₀、ｙ₁、ｙ₂はカメラ１４に映った正面画像における点Ａ、Ｅ、Ｂと考えることができるので、正面画像におけるα’、β’は以下の数式１５で求めることができる。

ここで、数式１５の右辺のうちＺ₀は実空間において実測して求めておき、また、Ｚ₁、Ｚ₂は以下の数式１６、数式１７で求めて代入することとする。

つまり、以上のようにして得られたα’／β’を数式７に代入して算出されるＭ３を更に数式６に代入することで、正面画像からみたマークＰでの変換率ｓｆ_M3を求めることができる。

次に、図１３（Ａ）（Ｂ）に示すように、点と線（面）との距離の算出方法について説明する。
図１３（Ａ）に示すように、アドレス時の正面画像で認識されたクラブ用色付マークＣＭ１〜ＣＭ３の位置からゴルフクラブ１３のオリジナルシャフトラインＳＬを求める。また、クラブ用色付マークＣＭ１〜ＣＭ３の位置と、クラブ用色付マークＣＭ３とヘッド部１３ｂとの距離とから、ゴルフクラブ１３のヘッド部１３ｂの位置を予測する。このヘッド部１３ｂはアドレス状態では地面に位置すると考えることができるので、ヘッド部１３ｂから下した垂線が直線ＡＤを分ける比ａ：ｂを求める。また、マークＰから下した垂線が直線ＡＤを分ける比α：βを求める。そして、これら比ａ：ｂおよび比α：βより、上述した数式１５と同様の原理でａ’：ｂ’およびα’：β’を求める。

次いで、図１３（Ｂ）に示す側面画像において、マークＰから下した垂線とフレーム２０をα’：β’に分ける線５１との交点５４を求め、該交点５４と消失点Ｓとを結ぶ線５２がフレーム２０をａ’：ｂ’に分ける線５３と交わる点５５を求める。そして、点５５を通る垂線と線５０との交点を点Ｐ’とする。
よって、側面画像上でのオリジナルシャフトラインＳＬとマークＰ’との最短のピクセル距離を求め、該ピクセル距離に線５３上での変換率を乗じることで、オリジナルシャフトラインＳＬとマークＰとの実際の距離を求めることができる。
なお、本実施形態では点（マークＰ）と線（オリジナルシャフトラインＳＬ）との距離を求めているが、点と面との距離も同様の手順で求めることができる。

図１４は第４実施形態を示す。
本実施形態は、正面画像および側面画像を利用してゴルフクラブ１３のヘッド部１３ｂの実空間での位置座標を把握することによりインパクト前後のスウィング軌道を調べている。

（１）正面画像および側面画像上のヘッド位置の推定
まず、正面・側面画像についてクラブ用色付マークＣＭ１〜ＣＭ３からヘッド部１３ｂの位置座標を推定する。（なお、以降は、実空間での三次元座標を大文字Ｘ、Ｙ、Ｚで表す一方、画像上での平面的な位置座標を小文字ｘ、ｙで表すこととする。また、Ｘは飛球線方向、Ｙはゴルファーから見た前後方向、Ｚは鉛直方向、ｘは画像上の水平方向、ｙは画像上の垂直方向とする。）即ち、
（ヘッド部１３ｂのｘ座標）
＝（マークＣＭ２のｘ）＋ｎ・{（マークＣＭ３のｘ）−（マークＣＭ２のｘ）｝
＝（１−ｎ）・（マークＣＭ２のｘ）＋ｎ・(マークＣＭ３のｘ)
と、
（ヘッド部１３ｂのｙ座標）
＝（マークＣＭ２のｙ）＋ｎ・｛（マークＣＭ３のｙ）−（マークＣＭ３のｙ）｝
＝（１−ｎ）・（マークＣＭ２のｙ）＋ｎ・(マークＣＭ３のｙ)
とにより、正面画像および側面画像のそれぞれについてヘッド部１３ｂのｘ−ｙ座標を算出する。但し、ｎは定数で正面画像の場合に２．１、側面画像の場合に１．８を用いている。

上記算出されたヘッド部１３の正面画像での位置座標を用いて、図１４に示す正面画像において、インパクト前のヘッド部１３ｂの位置６０と、インパクト時のヘッド部１３ｂの位置６１と、インパクト後のヘッド部１３ｂの位置６２とを特定することができる。
これらヘッド位置６０〜６２を通過する垂直のライン６３〜６５を正面画像上に表示することで、インパクト前・インパクト・インパクト後の夫々におけるヘッド部１３ｂの地面への投影点が存在する地面上のライン６３〜６５を認識することができたことになる。

（２）仮定
ヘッド部１３ｂの三次元座標を推定するにあたり、以下の項目を仮定している。
仮定１：カメラは撮影した画像の座標系のｘ軸（横軸）が地面に対してほぼ平行であること。
仮定２：カメラの光軸は地面に対してほぼ平行であること
仮定３：２つのカメラは光軸方向をなす角度が４５°以上好ましくはほぼ９０°であること。
仮定４：三次元空間上のヘッド部１３ｂを地面に投影した位置は、２次元画像のヘッド部１３ｂ位置を含む垂直なライン上に必ず存在すること。
仮定５：上記ラインは三次元空間におけるｙ軸方向とｚ軸方向のラインが重なっている。
仮定６：奥行き方向に対して垂直な平面上の変換率は同一である。

（３）射影変換行列の同定
３．１コントロールポイントの取得
フレーム２０の頂点Ａ〜Ｄの４箇所をコントロールポイントＡ〜Ｄとして正面・側面画像で対応するようにｘｙ座標データを取得する。尚、この画像を取得するのは背景画像（人が入っていない画像）であることが好ましいが、スウィング中の画像から４点Ａ〜Ｄを取得しても構わない。

３．２射影変換行列の算出
コントロールポイントＡ〜Ｄを利用して、正面画像の地面上に存在する直線を側面画像へ変換する行列（射影変換行列）を算出する。この際、コントロールポイント４点が同一の平面上に存在するので、仮定１〜３に示すようにカメラ設定を行うことによって連立方程式のパラメータ数は通常の１１個から８個となり、対応点ｘ、ｙが４組以上あれば射影変換行列を導出することができるが、本実施形態ではＡ〜Ｄの各点について正面と側面の４組存在するので行列を導出できる。詳しくは、射影変換行列をＰとし、側面画像での対応点座標をｘ（ｘ₁，ｘ₂）、正面画像での対応点座標をｙ（ｙ₁，ｙ₂）、スケールファクタをsとすると数式１８の行列式の関係が成り立つ。

ここで、対応点ｘ、ｙについてコントロールポイントＡ〜Ｄの４組が与えられているので、前記数式１８は、以下の数式１９と表すことができる。

なお、ｘ_ij、ｙ_ijについては、ｘは側面画像、ｙは正面画像を意味し、ｉ＝１〜４は４つのコントロールポイントＡ〜Ｄに対応し、ｊ＝１は画像上のｘ座標、Ｊ＝２は画像上のｙ座標を意味する。即ち、たとえばｘ₁₁であれば、側面画像上でのコントロールポイントＡのｘ座標を示すことになる。

よって、４組の対応点の場合、前記数式１９より以下の数式２０のように、射影変換行列Ｐの線形式に直すことができる。

この関係式について、最小二乗法を利用し射影変換行列Ｐを算出する。
次いで、図１４で求め仮定５からなる正面画像のライン６３〜６５上の全ての点を射影変換行列Ｐを用いて数式２１により変換することで、図１５に示す側面画像上においてライン６３’〜６５’とライン６３”〜６５”に分けることができる。

（４）側面画像におけるヘッド部１３ｂの地面位置（スウィング軌道）の推定
仮定４より、側面画像上おけるインパクト前・インパクト・インパクト後での夫々のヘッド位置６６〜６８を通る垂線６３”〜６５”と、正面画像から変換したライン６３’〜６５’との交点７０〜７２が、側面画像においてヘッド部１３ｂを地面に投影したヘッド地面位置７０〜７２になる。
次に、側面画像において、画面上のフレーム２０の４点Ａ〜Ｄの位置座標と実空間での４点Ａ〜Ｄの位置座標とを利用して上記（３）と同様の原理で射影変換行列を求める。この行列を利用して、先に取得した画面上のヘッド地面位置７０〜７２を実空間のヘッド地面位置に変換する。

この変換後のヘッド地面位置を利用して、スウィング（ヘッド）の軌道を求めることができる。例えば、図１６に示すように、変換後のインパクト前のヘッド地面位置７０と、インパクト時のヘッド地面位置７１とを結ぶ第１軌道線ＫＬ１の飛球線ＨＬに対する角度θ１、および、インパクト後のヘッド地面位置７２と、インパクト時のヘッド地面位置７１とを結ぶ第２軌道線ＫＬ２の飛球線ＨＬに対する角度θ２、を調べることで、スウィング軌道がアウトサイドイン、ストレート、インサイドアウトのいずれになっているかを診断することができる。
具体的には、θ１−θ２の値が、−５ｄｅｇ以下ならアウトサイドイン、−５ｄｅｇ〜１０ｄｅｇならストレート、１０ｄｅｇ以上ならインサイドアウトであると診断する。

（５）ヘッド部１３ｂの３次元位置座標の推定
上記（４）までは地面上、即ち、地面に垂直なＺ座標成分を０として扱ってきているが、ヘッド部１３ｂのＺ座標についても以下のようにして求めることができる。
三次元空間を、飛球線方向をＸ成分、ゴルファー１１から見て奥行き方向をＹ成分、地面から垂直方向をＺ成分とし、フレーム２０の頂点を原点とした場合、Ｘ、Ｙ成分は上記（４）の地面について側面画像から実空間へ変換した射影変換行列を利用する。

例えば、インパクト前のヘッド位置６６のＺ座標は、仮定６に基づき、そのヘッド地面位置７０を通る水平線がフレーム２０に交わる点７３と、ヘッド地面位置７０とを含む垂直平面の変換率ｓｆを第３実施形態の線形補間により求め、側面画面上で推定されたヘッド位置６６とヘッド地面位置７０との間のピクセル距離に前記変換率ｓｆを掛ければヘッド位置６６のＺ座標位置も取得できる。

本発明の第１実施形態のゴルフスウィング診断システムの構成図である。フレームの上面図である。（Ａ）（Ｂ）はフレームとゴルファーとの位置関係を示す図面である。正面画像を示す図面である。消失点の利用を説明する図面である。変形例を示す図面である。（Ａ）は第２実施形態の正面画像、（Ｂ）は側面画像を示す図面である。正面画像を示す図面である。（Ａ）はブロック分割の変形例を示す正面画像、（Ｂ）は側面画像を示す図面である。（Ａ）は第３実施形態の正面画像、（Ｂ）は側面画像を示す図面である。各点の位置関係を説明する概念図である。比率を示す図面である。（Ａ）は正面画像、（Ｂ）は側面画像を示す図面である。第４実施形態の正面画像を示す図面である。側面画像を示す図面である。スウィング軌道の診断に関する説明図である。

符号の説明

１１ゴルファー
１２計測用服
１３ゴルフクラブ
１３ａシャフト
１３ｂヘッド部
１４、１５カラーＣＣＤカメラ
１６コンピュータ
２０フレーム
ＣＭ１〜ＣＭ３クラブ用色付マーク
Ｐ、Ｑ色付マーク

Claims

ゴルフクラブを把持してスウィングするゴルファーを撮影してコンピュータに取り込み、撮影された画像上に映された注目点の位置情報を前記コンピュータで校正して実際の位置情報を取得する方法であって、
スウィング実空間を構成する地面のゴルファーを包囲する位置にフレームを設け、
前記フレームを構成する少なくとも２つの直線を画像上で認識し、該２つの直線のスウィング実空間内での長さと画像上でのピクセル長さとを用いて、前記フレーム内におけるピクセル位置情報から実際の位置情報に換算する変換率を計算し、前記変換率を画像上のピクセル距離に乗じることで実際の距離を算出することを特徴とするキャリブレーション方法。
前記フレームは仮想フレームとし、該仮想フレームの形の頂点となる位置の地面にマークを設置している請求項１に記載のキャリブレーション方法。
前記フレームを構成する直線のうち、画像奥行きに対向配置された２つの直線上の前記変換率を平均することで、前記フレーム内の変換率を求めている請求項１または請求項２に記載のキャリブレーション方法。
２つの前記注目点の間の実際の距離は、前記画像上での２つの注目点の間のピクセル距離に前記変換率を乗じて求めている請求項３に記載のキャリブレーション方法。
前記フレーム内の領域を複数のブロックに分割し、
前記ブロックを構成する直線のうち、画像奥行きに対向配置された２つの直線上の変換率を平均することで、前記ブロック内の変換率を求めている請求項１または請求項２に記載のキャリブレーション方法。
前記ブロックは、前記ゴルファーの足シルエットを基準として前記フレーム内の領域をブロック分割して形成されている請求項５に記載のキャリブレーション方法。
２つの前記注目点の間の実際の距離は、各注目点が属する前記ブロック毎の変換率を平均して前記画像上での各注目点間のピクセル距離に乗じて求めている請求項５または請求項６に記載のキャリブレーション方法。
前記フレームを構成する少なくとも２本の直線を利用して、線形補間によりフレーム内の変換率を求めている請求項１または請求項２に記載のキャリブレーション方法。
２つの前記注目点の間の実際の距離は、画像上で一方の注目点を他方の注目点を構成する面に投影し、該投影点と他方の注目点との距離に、他方の注目点の前記変換率を乗じて求めている請求項８に記載のキャリブレーション方法。
画像上に存在する面あるいは線と前記注目点との間の実際の距離は、
前記注目点を前記面あるいは線を構成する面に投影し、該投影点と前記面あるいは線との距離に前記面上の変換率を乗じて求めている請求項８または請求項９に記載のキャリブレーション方法。
前記画像上で、前記フレームの奥行き方向の辺である直線をそれぞれ奥行き方向に延長して交差する点を消失点とし、該消失点から鉛直方向に垂直線を下ろし、前記注目点と該垂直線との間の距離により各注目点間の距離を換算している請求項１乃至請求項１０のいずれか１項に記載のキャリブレーション方法。
前記フレームは、前記ゴルフクラブの一部の軌跡が含まれる範囲に設定されている請求項１乃至請求項１１のいずれか１項に記載のキャリブレーション方法。
前記フレームの一辺の長さをＷ１、直交する他辺の長さをＷ２とすると、Ｗ１／Ｗ２＝
１〜１０としている請求項１乃至請求項１１のいずれか１項に記載のキャリブレーション方法。
前記フレームの大きさは、前記フレームの辺をゴルファーの両足の中心の中点を基点として飛球線方向にｈ：ｉで分けたとき、ｈ／ｉ＝１〜３としている請求項１乃至請求項１３のいずれか１項に記載のキャリブレーション方法。
前記フレームの大きさは、前記フレームの辺をゴルファーの足を基点として飛球線方向に直交する方向にｊ：ｋで分けたとき、ｊ／ｋ＝１〜１０としている請求項１乃至請求項１３のいずれか１項に記載のキャリブレーション方法。
ゴルフクラブを把持してスウィングするゴルファーを撮影してコンピュータに取り込み、撮影された画像上に映された注目点の位置情報を前記コンピュータで校正して実際の位置情報を取得する方法であって、
２方向から撮影した画像上の同一平面に存在する少なくとも４点について、該２方向の夫々の画像間における位置座標の対応関係を表す射影変換行列を予め求めておき、
一方向側の画像上において前記注目点を通り奥行き方向を表す垂直ラインを前記射影変換行列により他方向側の画像上において水平なラインに変換し、他方向側の画像上で前記注目点を通る垂直ラインと前記水平なラインとの交点を求めて画像上の前記平面での位置座標を取得し、
この位置座標を、画像と実空間との間における位置座標の対応関係を表わす別の射影変換行列を用いて実空間上の位置座標に変換して、前記注目点の実空間座標を求めていることを特徴とするキャリブレーション方法。
前記注目点は２点とし、該２点間の距離あるいは／および角度を求めている請求項１６に記載のキャリブレーション方法。
スウィング実空間を構成する地面のゴルファーを包囲する位置にフレームを設け、
前記フレームを構成する少なくとも２つの直線を画像上で認識し、該２つの直線のスウィング実空間内での長さと画像上でのピクセル長さとを用いて、前記フレーム内におけるピクセル位置情報から実際の位置情報に換算する変換率を計算し、
前記一方向側の画像上において前記注目点の特定の座標軸方向へのピクセル距離を求め、該ピクセル距離に前記変換率を乗じることで、前記注目点の実空間での三次元位置座標を取得している請求項１６または請求項１７に記載のキャリブレーション方法。
請求項１乃至請求項１８のいずれか１項に記載のキャリブレーション方法を用い、
前記注目点は前記ゴルファーの関節とし、一の関節と他の関節またはゴルフクラブシャフトとの距離、あるいは、一の関節と別の時刻の関節またはゴルフクラブシャフトとの距離を求めていることを特徴とするゴルフスウィング計測システム。