JP4109094B2 - Method for measuring the rotational and flight characteristics of a sphere - Google Patents

Method for measuring the rotational and flight characteristics of a sphere Download PDF

Info

Publication number
JP4109094B2
JP4109094B2 JP2002351709A JP2002351709A JP4109094B2 JP 4109094 B2 JP4109094 B2 JP 4109094B2 JP 2002351709 A JP2002351709 A JP 2002351709A JP 2002351709 A JP2002351709 A JP 2002351709A JP 4109094 B2 JP4109094 B2 JP 4109094B2
Authority
JP
Japan
Prior art keywords
sphere
dimensional
rotation
posture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002351709A
Other languages
Japanese (ja)
Other versions
JP2004184236A (en
Inventor
勝彦 植田
正秀 大貫
光範 三木
Original Assignee
Sriスポーツ株式会社
光範 三木
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sriスポーツ株式会社, 光範 三木 filed Critical Sriスポーツ株式会社
Priority to JP2002351709A priority Critical patent/JP4109094B2/en
Publication of JP2004184236A publication Critical patent/JP2004184236A/en
Application granted granted Critical
Publication of JP4109094B2 publication Critical patent/JP4109094B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、球体の回転特性と飛行特性の測定方法に関し、詳しくは、ゴルフボール等の球体の三次元姿勢及び位置を特定し、球体の回転数、回転軸方向、飛行経路や飛行速度等を短時間で精度良く測定するものである。
【0002】
【従来の技術】
従来から、ゴルフボール等の各種球体の回転量等の測定に対して様々な測定方法および装置が提案されている。
例えば、表面に反射テープを貼り付けた球体や、表面に光を反射しない黒色に塗装した領域を有する球体に投光し、球体の回転により得られる反射光の光量変化から球体の回転量を測定する方法がある。しかし、この方法では光量のみを測定し、球体の輪郭や姿勢変位等を測定しないため、球体の回転軸の方向等を特定することはできない。よって、表面にマークを付けた回転飛行する球体を、所定の時間間隔をあけて複数枚撮影し、撮影された各画像におけるマークの変位状況から球体の回転量や回転軸角度を求めることが多い。
【0003】
このようなマークを付した撮影画像より球体の回転量等を求める装置や方法の具体例として、特許第2810320号の球体の回転量測定装置、特開平10−186474号のゴルフボールの運動測定方法、特許第2950450号の移動するスポーツ用物体の飛行特性を測定する装置等が挙げられる。
【0004】
本出願人が提案している特許第2810320号の測定装置は、図12(A)(B)に示すように、マークP、Qを付した中心点Cを有する球体Tを二回撮影して二枚の二次元画像G1、G2を得て、各画像における球体半径を単位半径として規定すると共に、各画像毎に球体のマークP、Q、P’、Q’や中心点C、C’の三次元座標を画像上の二次元座標から算出している。これら算出された三次元座標を三次元ベクトルとして、二つの画像G1、G2間でベクトル移動量を求め、回転量および回転軸方向を算出測定している。
【0005】
また、特開平10−186474号の測定方法は、図13(A)に示すように、打撃時のクラブの動きを検知するセンサー2で撮影時期を判断し、第1及び第2カメラ1A、1Bで時間をあけてボールB1を撮影することにより図13(B)に示す二個のボールB1、B1’が写ったボール画像G3を得ている。この二次元のボール画像G3を上記と同様に処理し、ボールの回転量等を算出測定している。
【0006】
さらに、図14(A)の特許第2950450号の測定装置4は、2台の同期したカメラ5A、5Bにより、一枚の画像にマークBaを付したボールB2、B2’が二個写った画像を夫々撮影し、カメラ5A、5B間の視野の関係と関連付けて三角測量に近似した原理で三次元座標を導いている。これにより図14(B)に示すボールB2等の三次元領域図を得て、ボールの各種特性を測定している。なお、このようにして三次元座標を導く手法は、DLT(Direct Liner Transformation)法として知られている。
【0007】
さらには、特許第3185850号では、スポーツ用物体の飛行特性を測定表示するモニター装置が提案されている。具体的には、シャッター手段等を用い、1枚の画像を少なくとも1台のカメラを用いて撮影しており、少なくとも1台のカメラは予め対象となる空間に置かれた既知の座標を持った所定数以上の点を用いて校正される必要がある。既知の三次元空間座標とカメラのフィルム面に投影した二次元座標との関係を利用して、6変数(球体の質量重心座標3成分と基準座標からの回転量3つ)をテーラーの定理の線形化を8度の反復計算して解くことができ、ボール画像の半径等を基準とせずに、実空間での長さを基準としてボール上固定された点(マーク)の三次元座標を得ることができる。従って、ボール画像の輪郭を正確に撮影する必要がなくなり、高速で移動するボールの静止画を得るための高速シャッター手段による明るさ不足等の問題が緩和される等、撮影設備の自由度を向上させたものである。
【0008】
【特許文献1】
特許第2810320号公報
【0009】
【特許文献2】
特開平10−186474号公報
【0010】
【特許文献3】
特許第2950450号公報
【0011】
【特許文献4】
特許第3185850号公報
【0012】
【発明が解決しようとする課題】
しかしながら、図12(A)(B)の測定装置および図13(A)(B)の測定方法では、測定にかかる演算にボール画像の半径を用いるので、画像から得られる半径寸法の精度が、算出される三次元ベクトルの精度を左右してしまい、測定の基となる画像を高精度で撮影した上に、撮影画像からも高精度で球体半径を求める必要がある。しかし、高速で飛行するボール画像の静止画像を得るには、例えば、高速度シャッターを備える高速度カメラを使用することになるが、高速度シャッターはシャッターが開いている時間が僅かなので充分な光量を得にくい。
【0013】
よって、撮影された画像は、カメラの対向位置となるボール中心付近は、比較的鮮明な画像が得られるものの、球体であるボールの輪郭を鮮明に捉えることは困難であり、このことはライティング等を工夫しても改善されにくい。その結果撮影された画像のボール輪郭は不鮮明となり、ボール画像より読みとられる半径の寸法精度等も悪化し、ボールの回転量等に対する測定精度も自然と低下せざるを得ない問題がある。
【0014】
一方、図14(A)(B)に示す測定は、ボール画像の半径を用いることなく、実空間の長さを基準にしてボール表面のマークに対する三次元座標を得るため、ボール輪郭を明確に撮影する必要もなく光度不足の問題も比較的生じず、測定設備の負担も軽減できる利点がある。しかし、ボール表面に付されたマークの三次元座標を高精度で求めるには、各マークを正確に読みとれるように画像においてボールを比較的大きく撮影する必要がある。このようにボールを大きく写そうとすると、二つのボール画像の撮影する時間間隔を短くする必要があり、自然と二つのボール画像間の回転量は小さくなる。
【0015】
一方、ボールの回転量の測定精度を高めるには、マークの移動距離を大きくしてマーク位置の変位を大きくすること、即ち、撮影された2つのボール画像間でボールが回転した量を大きくする必要があり、上記ボール画像を大きくすることに相反する条件が必要となる。
【0016】
よって、ボール画像を大きくすれば、マークの三次元座標は高精度で測定できても、各画像間の位置変化が小さいためボールの回転量の測定に対しては精度が落ちてしまう問題がある。一方、ボールの回転量を大きくなるように撮影すると、時間間隔をあけて2つのボール画像を撮影しなければならず、ボールの回転量に対する測定精度は上昇するが、ボール画像は小さくなるので、マークの三次元座標の測定精度が落ちてしまい、いずれにしても、マークの三次元座標およびボールの回転量の双方を両立して高精度で測定できない問題がある。
【0017】
なお、上記問題に対しては、測定に要する装置を二セット用意して、一セット目の装置で一方のボール画像を撮影すると共に、時間間隔をあけて二セット目の装置で他方のボール画像を撮影し、マークの三次元座標とボール回転量の両方を高精度で測定することも想定し得る。しかし、測定においては両セット間の計四台の高速カメラを関連させて校正(キャリブレーション)する必要がある上に、装置構成も非常に複雑になりコストも大幅に上昇してしまい、装置を二セット使用するの現実的には困難である。
【0018】
さらに、撮影されたボール表面のマークの移動量からボールの回転量等を算出測定する際は、一つ目のボール画像における特定のマークが、二つ目のボール画像において何れのマークに対応するかを見きわめる必要がある。しかし、ボールの回転軸方向が予想でき、かつ、画像間のボールの回転変化が少ない場合は、上記見きわめは比較的容易であるが、回転軸の方向が測定毎に大きく変化するなどの理由で、回転軸方向が予想できない場合やボールの回転量が大きい場合等は、上記見きわめが非常に困難となり、コンピュータ等の自動認識等ではボールの回転量等の測定も不可能になるおそれがある。また、人間が上記見きわめを行う場合であっても時間を要したり、見きわめを誤るおそれもある。
【0019】
その上、一つ目のボール画像では写っていたマークが、二つ目のボール画像では、ボールの回転により裏面側に回ってしまい画像上のボール表面に表れない場合には、測定自体が不可能となることより、カメラの測定方向や測定対象のボールの回転方向等にも制限が生じ、自由に最適な状況で測定できにくい問題もある。
【0020】
さらには、特許第3185850号では、1つ目のボール画像上に見えていたマークが、ボールの回転によって、2つ目のボール画像上に写らなくなる。即ち、ボールの裏側に1つ目のボール画像上のマークが回ってしまう場合には、計測不能となるという問題がある。よって、カメラでの撮影方向や測定するボールの回転方向にも制約が生じ可搬性に欠けるという問題がある。
【0021】
本発明は、上記した種々の問題に鑑みてなされたものであり、コンピュータにより、飛行する回転球体の回転数や回転軸方向等の回転特性、及び、飛行経路や飛行速度等の飛行特性を短時間で精度良く測定することを課題としている。
【0022】
【課題を解決するための手段】
上記課題を解決するため、本発明は、表面に複数のマークを付した回転球体を所定の時間間隔をあけて複数回撮影して、上記球体の複数の二次元映像を得る一方、該球体と同様に表面にマークを付した仮想球体をコンピュータの三次元空間座標上に作成し、該仮想球体の任意姿勢及び任意位置を仮想球体の基準姿勢及び基準位置として設定すると共に、
少なくとも1台の撮影手段を用いて、三次元座標と二次元座標の間の関係を予め導出しておき、
上記関係を用いて、上記仮想球体の三次元空間座標上のマーク位置を、二次元的な画像上に変換することにより二次元の仮想マーク座標値を求めると共に、上記映像上に存在する球体の二次元の映像マーク座標値を求め、
上記仮想マーク座標値と、上記映像マーク座標値とが一致するように、上記仮想球体を、上記基準姿勢及び基準位置に対して、上記回転球体の移動速度および上記映像の撮影時間間隔から予測可能な回転量の範囲および飛行範囲に限定すると共に、該回転球体の飛行方向をY軸、左右方向をX軸、これら2軸に垂直な方向をZ軸と定義した場合、上記回転球体が物理的に回転可能な範囲は、上記基準姿勢に対してY軸回りに−90〜90[deg]、X軸回りに5〜120[deg]、Z軸回りに−15〜15 [ deg ] の範囲に限定して、上記仮想球体の姿勢変位操作し、該姿勢変位操作の量により、球体の各二次元映像毎に、球体の三次元姿勢及び位置を特定し、
上記二次元映像毎に特定された、ある時間の三次元姿勢及び位置と、他の時間の三次元姿勢及び位置とにより、球体の回転特性と飛行特性を演算していることを特徴とする球体の回転特性と飛行特性の測定方法を提供している。
【0023】
本発明は、上記のような方法で球体の三次元姿勢及び位置を特定しているため、ある時間の三次元姿勢及び位置と、他の時間の三次元姿勢及び位置との関係から球体の回転数と回転軸方向等の回転特性、飛行経路や飛行速度等の飛行特性を容易に短時間かつ高精度で測定することができる。よって、外力を受けずに回転している球体であるゴルフボールのスピン量や、打球の打出角や振れ角の測定に最適であり、特に打球時の左右の振れ角の測定精度を向上することができる。
【0024】
具体的には、球体の複数の二次元映像を得ると共に、基準姿勢及び基準位置に対して上記回転球体の移動速度および上記映像の撮影時間間隔から予測可能な回転量の範囲と飛行範囲に限定し、かつ、上記回転球体が物理的に回転可能な角度範囲内で姿勢変位操作している。このため、姿勢変位操作における回転角度及び飛行経路等の探索範囲を限定することができ、回転角度、振れ角、打出角等の演算量を飛躍的に低減することができる。よって、大幅に計算時間を短縮することができ、短時間で瞬時に球体の回転特性や飛行特性を測定することができる。予測可能な回転量の範囲及び飛行範囲とは、球体に外力等を加えた時の外力の大きさや撮影時間等を限定した探索範囲を指し、具体的には、ゴルフボールを打撃したゴルフクラブの番手やヘッドスピード、カメラに併設されているストロボの発光時間等を考慮して限定した探索範囲を指す。
【0025】
上記基準姿勢及び基準位置に対する姿勢変位操作の量を遺伝的アルゴリズムという最適化手法に応じた演算で求めており、上記遺伝的アルゴリズムを用いて座標変換及び移動変換する角度と位置の探索範囲を上記球体が物理的に回転あるいは移動可能な範囲に限定していることが好ましい。これにより、計算精度を低下させることなく演算量を低減でき、さらに短時間で精度良い測定を行うことができる。球体が物理的に回転や移動可能な範囲とは、上述したように球体に外力等を加えた時の外力の大きさや撮影時間等を限定した探索範囲を指す。即ち、球体がゴルフボールの場合を例に挙げると、ゴルフボールのスピン量を計測した時に、基準姿勢から回転できる可能性のある範囲であり、基準位置から平行移動できる可能性のある範囲である。
【0026】
また、球体が物理的に回転可能な範囲にのみ、該球体の表面上に複数のマークを付していることが好ましい。さらに効率良い測定を行うことができる。なお、演算時間が長くならない程度で、球体が物理的に回転可能な範囲外にマークを付しても良い。
球体表面には、10個以上100個以下、さらには30個以上50個以下のマークを付けるのが良い。上記範囲としているのは、10個より少なければ、観察方向から読みとれるマークが少数になりすぎて、姿勢を特定できなくなるおそれが生じるからであり、一方、100個より多いと演算にかかる時間が長くなり、効率が悪化するためである。
【0027】
上記基準姿勢や基準位置に対する回転量や移動量の限定範囲は、上記球体の移動速度や上記映像の撮影時間間隔に応じて決定していることが好ましい。これにより、さらに回転特性や飛行特性の測定時間を短縮することができる。
移動速度が40m/s〜90m/s、さらには50m/s〜80m/sで移動する球体の飛行特性の測定に好適である。
また、複数回の撮影を二つのカメラで行う場合、第1カメラは、上記球体が基準位置から移動後0.5ms〜4.0msの映像を撮影し、第2カメラは、上記球体が基準位置から移動後1.5ms〜8.0msの映像を撮影しているのが好ましい。複数回の撮影時間間隔は1.0ms〜4.0msが好ましい。
【0029】
遺伝的アルゴリズムを用いて回転角度を探索するためには、従来、球体の初期状態からどの程度回転するのか不明であると考えていたため、仮想空間の球体をXYZ軸周りに0〜360[deg]の全ての範囲内で回転角度の探索を行っていた。しかし、例えば、ゴルフボールの回転量の測定など、ある程度使用目的がはっきりしているような場合は、回転角度探索範囲を限定することによって、遺伝的アルゴリズムを用いた回転量の計算を大幅に低減することができる。
【0030】
球体の任意の基準位置に対してY軸回りに−90〜90[deg]としているのは、ヘッドスピードが40m/sでW#1を用いた場合にスピンが1000rpm〜4000rpmになるためである。また、X軸回りに5〜120[deg]としているのは、ヘッドスピードが40m/sでW#1を用いた場合にスピンが−3000rpm〜3000rpmになるためである。さらに、Z軸回りに−15〜15[deg]としているのは、ヘッドスピードが40m/sでW#1を用いた場合にスピンが−500rpm〜500rpmになるためである。この条件は、後述する球体の回転特性と飛行特性の測定装置により測定されるゴルフボールの回転特性と飛行特性の解析に特に有用である。第1カメラ、第2カメラのどちらの範囲も含むためには、上記条件を考慮する必要がある。
【0031】
上記球体の飛行方向をY軸、左右方向をX軸、これら2軸に垂直な方向をZ軸と定義した場合、上記球体が物理的に移動可能な範囲は、上記球体の基準位置に対して第1カメラで撮影した画像の場合、Y軸方向を50mm〜100mm、X軸方向を−100mm〜100mm、Z軸方向を0mm〜100mmの範囲、第2カメラで撮影した画像の場合、Y軸方向を150mm〜300mm、X軸方向を−300mm〜300mm、Z軸方向を0mm〜300mmの範囲としていることが好ましい。
【0032】
例えば、ゴルフボールの打撃時のヘッドスピードが40m/sである場合、ボール速度はヘッドスピードの1〜1.5倍程度であることを考慮し、40〜60m/sであると予想される。ボールインパクト後、第1カメラのシャッターを1.45ms後に発光させるとティーを基準とする場合、その距離は(ボール速度)×(シャッター時間)より求めることができる(58〜87mm程度)。同様にボールインパクト後、第2カメラのシャッターは4.45ms後に発光させるとティーを基準とする場合、その距離は178〜267mm程度となる。この2つの範囲を含むようにY軸方向の範囲を決定している。次に、X軸は左右のボール振れ角を−45〜45degと限定して上記範囲を決定し、Z軸についてもボールの打出角を0〜45degと限定して上記範囲を決定している。即ち、上記範囲は上記ヘッドスピードでのゴルフボール打撃時の上記撮影間隔の場合に特に好適である。
【0033】
遺伝的アルゴリズムの最適化計算の終了条件を、所定の適合度の値を用いて規定していることが好ましい。このように最適化計算を適合度で規定し計算を終了することにより、計算時間の短縮を図ることができる。
具体的には、事前の測定結果から、球体の回転角度あるいは位置が正しく計算できる適合度の値を予め導出しておき、その適合度の値を用いて最適化計算を終了することで、計算時間を短縮している。例えば、ゴルフボールの回転量の測定において、解に対して2deg未満(バックスピンが±50rpm以内)、打出角度・振角度に対して0.1deg以内になる適合度は、−0.00299以上(0が最も最適)であることが分かっている。そこで、適合度が−0.002以上であれば、最適化計算を終了する収束条件を付加することによって、1試行のみでも計算終了することができ、大幅に計算時間を短縮することができる。
【0034】
具体的に、球体としてゴルフボールを用いた場合について説明する。マークを付したゴルフボールをいつも同じ方向でティアップすることによって、2つのカメラの内、第1カメラで撮影した映像は、測定したゴルフボールがドライバーによって打撃されたものであれば、バックスピン、サイドスピン、軸スピンが物理的に生じる範囲を限定することができる。一般的にドライバーで打撃されたゴルフボールの回転量は、バックスピンが1000rpm〜4000rpm、サイドスピンが−3000rpm〜3000rpm、軸スピンが−500〜500rpmであるので、ボールが打撃されてから2つのカメラに撮影される時刻とある程度のボール初速と使用クラブの番手がわかれば、回転角度及び移動範囲の限定は可能である。よって、第1カメラで撮影されるゴルフボールの回転角度範囲、及び第2カメラで撮影される回転角度を限定することができる。
【0035】
また、ゴルフボールの位置探索範囲も打撃するクラブの番手が分かれば、ボール初速からある程度位置範囲を限定することができる。以上のように探索範囲をかなり限定することによって大幅に計算時間を短縮することができる。
【0036】
上記姿勢変位操作は、仮想球体の移動操作、回転操作であり、基準姿勢及び基準位置に対する姿勢変位操作の量を遺伝的アルゴリズムという最適化手法に応じた演算で求めていることが好ましい。
【0037】
コンピュータ上に形成した仮想球体は基準姿勢及び基準位置を任意に設定するため、この基準姿勢及び基準位置は、撮影された二次元映像の球体と、大きさ、位置、および、姿勢が相異している。よって、球体の姿勢及び位置を仮想空間における仮想球体の基準姿勢及び三次元と二次元の関係式を求めた三次元空間での基準位置に対する相対座標値で表示可能にするため、仮想球体が二次元映像の球体の姿勢及び位置に一致するように姿勢を変位する操作が必要となる。
【0038】
この姿勢変位は、コンピュータ上で仮想球体を平行移動等の移動、回転操作により行うが、これら平行移動等における変位操作の量を適正に決定することにより、仮想球体を実際の球体の姿勢及び位置へと正確に一致させることができ、それに伴い、球体の姿勢及び位置を三次元と二次元の関係式を求めた三次元空間での基準姿勢及び基準位置に対する相対座標値により高精度で特定できる。本発明では、上記変位操作量の決定を最適化の問題として捉え、最適化問題の解決手法の一つである遺伝的アルゴリズムという計算機用アルゴリズムを用いて演算を行うのが好ましい。
【0039】
上記遺伝的アルゴリズムによる演算解法は、シミュレーティド・アニーリング法や傾斜法、他の線形計画法といった他の最適化手法と異なる特徴を有しており、例えば、演算の対象となる変数を二進数、文字列、ベクトル等にコーディング(コード化)することや、演算結果を評価するための適合度を、目的関数を基に設定すること等の特徴を有している。
【0040】
遺伝的アルゴリズムは、多数の個体から最適な解を演算により同時探索する確率的な解法であり、演算された解を最適化されたものにすることができる。よって、コンピュータ上の仮想球体を、球体上の複数のマークを参照しながら二次元映像の球体の姿勢及び位置と一致させるのに有用である。
【0041】
上記遺伝的アルゴリズムに応じた演算では、球体の重心位置に関する三つの独立した変数として、上記回転操作する量を上記仮想球体の三次元的な回転操作に関する三つの独立した変数として、それぞれ設定し、これら六変数の各数値に基づき上記各操作を行っている。このように定められた六変数が基準姿勢及び三次元と二次元の関係式を求めた三次元空間での基準位置に対する相対座標値に相当し、よって、これら六変数の数値を求めれば球体の姿勢及び位置を特定することができる。
【0042】
なお、上記移動操作に関する三つの変数としては球体の重心位置((x,y,z)の3つ)が挙げられる。さらに、上記三次元的な回転操作に関する三つの独立変数としては、仮想三次元空間の直交座標軸である横軸、縦軸、垂直軸の各軸回りの回転角度が挙げられる。
【0043】
少なくとも1台の撮影手段を用いて、外力を受けず回転している球体の画像を撮影し、三次元座標と二次元座標の間の関係を予め導出して把握している。このため、コンピュータ上に作成した仮想球体上のマークの位置関係から、2次元的な画像上のマークの位置関係を求めることができる。よって、上記関係を用いて、上記仮想球体の三次元空間座標上のマーク位置を、二次元的な画像上に変換し、二次元の仮想マーク座標値を求めることができる。よって、従来にはできなかった二次元の仮想マークと三次元の仮想マークの対応が可能となり、二次元の仮想球体でも三次元の情報を持たせることができ、奥行き方向の情報を把握することができる。従来の方法では、奥行き方向に関する考慮がなされておらず単に投影しているだけであり、全て二次元画像は平面にあった。また、従来は投影する方向は一方向であったが、本発明は、仮想球体の位置によって投影方向が異なっている。
よって、球体のエッジがはっきり見えていない場合や、球体映像が画面の端部に撮影されたり、小さく撮影されたような場合でも、精度良く測定することができる。
【0044】
また、上記のように仮想マーク座標値と、映像マーク座標値とにより、仮想球体と実際の球体との姿勢及び位置を関連付けることで、実際の球体の姿勢や位置を、仮想三次元空間における基準姿勢及び基準位置に対する相対座標値で表現することが可能となる。これに伴い、球体の回転特性や飛行特性の解析にも上記仮想空間の基準姿勢及び基準位置に対する相対座標値を用いることが可能となり、球体の回転特性や飛行特性の解析をコンピュータ上で容易に自動演算することができる。なお、基準位置とは、三次元空間と二次元画像との関係を求めた時に定義した三次元座標系の原点を意味する。具体的には、ティーの位置に置いたボールの重心を指す。
【0045】
また、本発明では、球体の輪郭データを用いず、撮影された各二次元映像の球体の複数のマークから球体の姿勢及び位置を特定している。このため、各映像において球体に付されたマークさえ明確に確認できれば、球体の輪郭が不明瞭であっても球体の姿勢及び位置等に関する測定を高精度で行うことができる。なお、撮影された二次元映像より球体のマークをコンピュータに自動認識させるためには、撮影映像に対して白と黒のみで表示する二値化処理を行うことが考えられる。
【0046】
また、ある時間の三次元姿勢及び位置を他の時間の三次元姿勢及び位置に一致させる際の回転操作に関する回転行列を算出することにより、球体の回転特性を求めている。上記球体の回転量等は、時間間隔が特定可能な、ある時間の球体が有する回転行列に、他の時間の球体が有する回転行列の逆行列を掛けて算出している。このように算出して得られたある時間の球体の姿勢から、他の時間の球体の姿勢への回転行列の数値を判断すれば、回転量も判断でき、また、回転軸のベクトル即ち回転軸方向も容易に求めることができる。
【0047】
さらに、ある時間の三次元姿勢及び位置を他の時間の三次元姿勢及び位置に一致させる際の球体の重心座標の移動量と移動方向を算出することにより、球体の飛行特性を求めている。
【0048】
上記三次元座標と二次元座標の間の関係を予め導出する際に、1台のカメラを使用する場合は少なくとも12以上の三次元座標を、2台のカメラを使用する場合は少なくとも6つ以上の三次元座標を用いていることが好ましい。
これにより、三次元空間と二次元空間の関係を求めることができる。即ち、実空間とカメラ上の画像との関係を明確にすることができる。なお、上記三次元座標数より少ないと変数に対して既知数の量が少ないために三次元と二次元関係を示す連立方程式を解くことができないためである。
【0049】
仮想球体の三次元空間座標上のマーク位置を、二次元的な画像上に変換することにより二次元の仮想マーク座標値を求める方法としては、コンピュータ上に構築した基準姿勢及び基準位置の球体のマークを、既知の実空間三次元座標と二次元的な画像上の座標の関係を利用して、二次元の画像上に投影すること等が挙げられる。
【0050】
上記姿勢変位操作における設計変数として、上記球体の三次元重心位置及び仮想三次元空間の直交座標軸である横軸、縦軸、垂直軸の各軸回りの球体の回転角度の計6個を用いていることが好ましい。
これにより、球体の奥行き情報を算出することができるので、回転特性と飛行特性を同時に算出することができる。
【0051】
なお、測定対象の球体としては、ゴルフボール、テニスボール等の各種球技用のボールが挙げられる。これらの球技用のボールの使用時の回転特性や飛行特性等の解析に有用である。
【0052】
また、ボール映像の輪郭を明確に撮影することは根本的に困難であることから、ボール映像の輪郭のデータを用いずに回転特性を測定することが好ましい。特に、撮影映像の端部でボールが撮影された場合、ボールの右あるいは左部がストロボの影響で陰になってしまうために、できるだけ輪郭部分を用いずに回転特性を測定することが好ましい。
【0053】
また、本発明の球体の回転特性と飛行特性の測定に最適な装置としては、以下のような装置が挙げられる。
球体を各方向から撮影できる撮影手段と、上記撮影により得られた球体の二次元映像を記録する記録手段と、上記球体と同様の仮想球体を三次元座標空間上に作成し、該仮想球体と上記球体の二次元映像に基づいて、球体の三次元姿勢及び位置を特定し、球体の回転特性と飛行特性を求める演算手段とを備え、
上記演算手段は、少なくとも1台の撮影手段を用いて、三次元座標と二次元座標の間の関係を予め導出可能な座標変換プログラムを有し、
かつ、上記二次元映像上の球体の二次元の映像マーク座標値が、上記仮想球体の三次元座標上のマーク位置を変換することにより求められる二次元の仮想マーク座標値と一致するように、仮想球体を姿勢変位操作し、上記仮想球体の基準姿勢及び基準位置に対する姿勢変位操作の量により、上記球体の三次元姿勢及び位置を特定する姿勢認識プログラムを有してる。これにより、球体の姿勢、回転特性、飛行特性を精度良く求めることができる。特に、球体の回転量がある程度予測できる画像を撮影可能である。
【0054】
上記演算手段は、基準姿勢及び基準位置に対する姿勢変位操作の量を遺伝的アルゴリズムに応じて演算する最適化プログラムを有していることが好ましい。これにより、上述測定方法による演算を容易に行うことができ、演算精度を高めることができる。
【0055】
上記撮影手段は、外力等を受けずに回転や移動している球体を所定の時間間隔をあけて複数回撮影可能な構成としていることが好ましい。
具体的には、実物の球体の二次元映像を撮影するためには、スチールカメラ、CCDカメラ等の映像を取り込むための撮影手段とフィルムや画像メモリ等の映像を記録するための記録手段が必要である。その他、短時間の発光の輝度差を利用して瞬間の静止状態のボール画像を得るためにマイクロフラッシュも用いられる。なお、10m/s以上の高速で移動する球体が測定対象であっても、高速シャッターやマイクロフラッシュを用いることで、ブレのない静止画像を得ることができる。
【0056】
上記撮影手段としては2台のカメラを用いることが好ましい。その間隔をキャリブレーション無しに容易に可変とすることが好ましい。2台のカメラの間隔や撮影時間間隔を比較的長くすることで角度変化を大きくし、回転数の測定精度を高めることができる。また、1つ目のボール映像上の特定のマークが、2つ目のボール映像上のどのマーク位置に対応するのかを認識しやすくし、自動化を容易にすることができる。なお、二次元映像の撮影手段は、一台でも複数台でも適応可能である。
【0057】
また、複数の映像を得るには、少なくとも二回球体の映像を取り込む必要があるが、一台のカメラで複数回マイクロフラッシュを発光させるなどして、一枚の映像に複数の球体を写してもよく、また、一台のカメラで複数枚の映像にそれぞれ一つずつ球体を写すようにしてもよい。さらに、複数のカメラを用いて所要の時間間隔をあけて各カメラ毎に二次元映像を撮影してもよい。ただし、複数のカメラで撮影した場合は、各映像に対する共通の座標軸を校正等により特定することが必要である。
【0058】
また、撮影された映像より球体に付されたマークの位置を得る手段として、記録手段にフィルムを用いた場合では、現像した写真に直接定規等を当てて測定する原始的な方法や、フィルムや写真の画像をコンピュータに取り込めるスキャナー等の画像入力装置を用いてコンピュータ画面上で測定用カーソルを合わせて測定する方法もある。さらに、記録手段に画像メモリを用いた場合は、画像メモリ内のデータをコンピュータ画面上に読み出し、上記同様測定用カーソルで測定する方法等がある。即ち、球体映像における各マークの二次元位置さえ得られれば、特に測定手段は限定されず上記のいずれの方法を用いてもよい。
【0059】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図1(A)は、本発明の球体の回転特性と飛行特性の測定方法を実行する球体の回転特性と飛行特性の測定装置10の構成を示す。
測定装置10は、球体を各方向から撮影できる撮影手段と、撮影により得られた球体の二次元映像を記録する記録手段と、球体と同様の仮想球体を三次元座標空間上に作成し、該仮想球体と上記球体の二次元画像に基づいて、球体の三次元姿勢及び位置を特定し、球体の回転特性と飛行特性を求める演算手段とを備えている。
【0060】
また、演算手段は、少なくとも1台の撮影手段を用いて、三次元座標と二次元座標の間の関係を予め導出可能な座標変換プログラムを有し、かつ、二次元映像上の球体の二次元の映像マーク座標値が、仮想球体の三次元座標上のマーク位置を変換することにより求められる二次元の仮想マーク座標値と一致するように、仮想球体を姿勢変位操作し、仮想球体の基準姿勢及び基準位置に対する姿勢変位操作の量により、球体の三次元姿勢及び位置を特定する姿勢認識プログラムを有している。
【0061】
図1(B)に示すように、測定装置10は、撮影手段としてCCDカメラ11を使用すると共に二台のマイクロフラッシュ12−1、12−2も併用している。測定対象となる球体をCCDカメラ11により撮影し、順次得られる映像を記録手段である画像メモリ15bに蓄積する構成としている。画像メモリ15bは、演算手段であるコンピュータ15中に設置されている。
【0062】
映像撮影時に、所要の時間間隔をあけてマイクロフラッシュ12−1、12−2を一台づつ発光させてから画像メモリ15bへの蓄積を終了させることで、1枚の二次元映像に球体が二個写った画像を画像メモリ15bに得ている。なお、マイクロフラッシュ12−1、12−2を発光させるタイミングには、光電管スイッチ16−1、16−2とリターダー17によるトリガー信号を利用している。
【0063】
また、測定装置10に含まれるコンピュータ15は、上述した画像メモリ15b以外にも中央演算処理装置(CPU)、メモリ、記憶装置であるハードディスク15a等を備え、ハードディスク15aは、上記座標変換プログラム、上記姿勢認識プログラムや、基準姿勢及び基準位置に対する姿勢変位操作の量を遺伝的アルゴリズムに応じて演算する最適化プログラムを有している。
【0064】
上記姿勢認識プログラム、座標変換プログラム、最適化プログラムは、基本的には図2のフローチャートに基づいて組まれている。
即ち、測定対象の球体を基に仮想三次元空間内に仮想球体を形成し、仮想球体に実物の測定対称と同様にマークを付け、この形成された仮想球体の任意の姿勢及び位置を基準姿勢及び基準位置として設定する。
少なくとも1台の撮影手段を用いて予め導出した三次元座標と二次元座標の間の関係を用いて、仮想球体の三次元空間座標上のマーク位置を、二次元的な画像上に変換することにより二次元の仮想マーク座標値を求める。また、上記映像上に存在する球体の二次元の映像マーク座標値を求める。
仮想マーク座標値と、映像マーク座標値とが一致するように、仮想球体を、基準姿勢及び基準位置に対して予想可能な回転量及び飛行範囲に限定して姿勢変位操作(移動、回転等)し、姿勢変位操作の量により、球体の各二次元映像毎に、球体の三次元姿勢及び位置を特定する。球体の二次元映像は、予測可能な範囲内に限定して姿勢変位操作(移動、回転等)し、姿勢変位操作の回転移動量により球体の回転量と位置を得ている。
二次元映像毎に特定された、ある時間の三次元姿勢及び位置と、他の時間の三次元姿勢及び位置とにより、球体の回転特性と飛行特性を演算する。
なお、上述した処理以外には撮影された二次元画像を白と黒の表示に変換する二値化処理も含まれている。本発明では、三次元空間のある範囲内について特に詳細に限定し測定を行っている。
【0065】
上記のような仮想球体の姿勢変位操作に伴う変位量は、遺伝的アルゴリズムによる演算を用いて特定するように、遺伝的アルゴリズムに応じて演算する最適化プログラムにプログラミングされている。三次元姿勢の特定は、球体の回転特性と飛行特性を求めるに当たり撮影された球体映像毎に行っている。また、遺伝的アルゴリズムを用いて座標変換や移動変換する角度や位置の探索範囲を球体が物理的に回転あるいは/及び移動可能な範囲に限定するように設定すると共に、遺伝的アルゴリズムの最適化計算の終了条件を、所定の適合度の値を用いて規定している。
【0066】
以下、球体の回転特性と飛行特性の測定装置を用いた球体の回転特性と飛行特性の測定方法について更に詳しく説明する。
【0067】
先ず、測定対象の球体としてゴルフボールを使用し、図3に示すようにゴルフボール20の表面に黒色のマーク21(全ては図示せず)を付けている。具体的には、ゴルフボール20の経度90°,270°の円周ラインC1(y=0)上にランダムに12点、経度0°,180°の円周ラインC2(x=0)上にランダムに12点、赤道(z=0)を45°傾けた方向の円周ラインC3上にランダムに6点、赤道C4上にランダムに12点マーク21を付すことになる。
また、360度を1で割った角度で、ゴルフボール20を回転軸Jを中心に回転させた時、回転の前後で一度だけ対称になるようにマーク21を付けている。即ち、回転操作に対して1回の回転対称性を有している。
【0068】
また、上記のようにマーク21を付したゴルフボール20に対し三次元測定器等を利用して、各マークの三次元における座標値を読みとる。この際、読み取りに用いる座標は、図4に示すように極座標(動径方向座標値r、子午線方向角度θ、方位角方向角度φ)を採用している。
【0069】
次に、図5に示すように、コンピュータ15内の姿勢認識プログラムにより、コンピュータ上の仮想三次元座標空間Sに、実際のゴルフボール20と同様の仮想ゴルフボール30を形成し、この仮想ゴルフボール30の表面にもゴルフボール20と同様となるように、上記読みとった極座標(r、θ、φ)の数値の位置にマーク31を付している。なお、上述した姿勢認識プログラムでは直交座標に変換して演算を行っている。また、このように形成された仮想ゴルフボール30の任意の姿勢を基準姿勢として設定する。
【0070】
次に、少なくとも1台の撮影手段を用いて、三次元座標と二次元座標の間の関係を予め導出して把握し、仮想球体のマーク位置からカメラのフィルム面(二次元)のマーク位置関係を求める方法について説明する。即ち、空間座標からカメラの座標に変換する。
【0071】
図6に三次元実空間上の座標と二次元的な画像上の座標の位置関係を示す。以下に変数の詳細な説明を示す。
実空間上に任意の座標軸を設定し、点P(X,Y,Z)、レンズ中心の座標O(X,Y,Z)とする。
点Pを含み光軸に垂直な面とレンズの中心との距離をL、ファイル面とレンズ中心との距離をFとする。
フィルム面上にも任意の座標軸を設定し、点Pの像であるQのフィルム面上での座標が(U,V)であるとし、光軸とフィルム面との交点の座標を(U,V)とする。
レンズ中心Oを原点とし、Z軸が光軸と平行で、かつX・Y軸がU・V軸と平行である座標系(X’Y’Z’)を考えた場合、実空間座標(XYZ座標)からX’Y’Z’への変換行列をM(mij:i=1〜3、j=1〜3)とする。ただし、この変換行列はオイラーの定理に従うとするので、Mは下記の数式1のようになる。
【0072】
【数1】

Figure 0004109094
【0073】
実空間上の点Pとその像Qとの関係を直接表すためには、両者の関係を同じ座標系で表さなければならない。そこで、上記で定義した実空間から光軸をZ軸とし、画像軸U及びV軸に平行であるX及びY軸をもつ座標系への変換行列Mを用いて、数式2が得られる。
【0074】
【数2】
Figure 0004109094
【0075】
OPとOQは互いに同一直線上にあり、その長さの比がL:Fであることから、数式3が得られる。
【0076】
【数3】
Figure 0004109094
【0077】
数式2を数式3へ代入することによって、3式のうちの1式からLを求め、そのLを他の2式に代入することにより、以下の数式4が得られる。
【0078】
【数4】
Figure 0004109094
【0079】
この数式4における変数をまとめ、U,V,X,Y,Zについて整理すれば、数式5が得られる。
【0080】
【数5】
Figure 0004109094
【0081】
11個の係数を求めるためには、カメラ2台では6組の(X,Y,Z)と(U,V)が得られれば数式5に代入することによって算出できるが、測定誤差の影響を抑えるために、6組以上の既知の実空間座標を測定することが望ましい。また、カメラ1台では12コ以上の(X,Y,Z)と(U,V)が必要である。カメラ3台では4コ以上となる。
【0082】
以上の方法によって、既知の実空間座標と二次元的な画像上の座標の関係を把握することができる。この関係を利用して、図7に示すように、コンピュータ上の仮想的な球体のマークの座標をカメラのフィルム面上の二次元的な座標を求めることができる。即ち、仮想ゴルフボール30の三次元空間座標上のマーク30の位置を、二次元的な画像上に変換することができる。
【0083】
次に、仮想的な三次元球体上のマークを二次元座標へ投影した場合、フィルム画像上にマークが存在するかしないか(マークが表に存在するか裏に存在するか)を判定する方法について説明する。
【0084】
図2に示すフローチャートで示したマークが表あるいは裏のどちらに存在するのかを判定する方法を以下に示す。上記数式5で定義した11個の係数を求めることができ、それらの係数を利用してカメラレンズの三次元座標を計算する。
【0085】
図8に示すように、レンズ中心O(X,Y,Z)とし、仮想球体重心P(G,G,G)とすると、ベクトルOPは、数式6のようになる。
【0086】
【数6】
Figure 0004109094
【0087】
ベクトルOPと球の径Rを用いて、レンズ中心から球体への接線長さlは、数式7で表される。
【0088】
【数7】
Figure 0004109094
【0089】
仮想的な球体の斜線部分を二次元に投影した場合、実際に撮影できるマーク(表側)と定義し、それ以外のマークを裏側と定義する。レンズ中心と仮想的な球体上のマークの長さをLとすると、Lは仮想的な球体の重心位置と既知である各マークの位置関係により決まる。
【0090】
L<l:球体上のマークは実際に測定できる画像の方向(表側)であり、GA計算に利用するマーク。
L≧l:球体上のマークは実際に測定できない画像の方向(裏側)であり、GA計算に利用しないマーク。
【0091】
以上の方法により、仮想的な球体上の全てのマークでGAの計算に用いることができるマークであるか否かを判定することができる。しかし、レンズの中心位置O(X,Y,Z)を求める必要がある。そこで、上記数式4と数式5を用いてレンズの中心位置を決定する。これらの式を比較すると、以下のような関係式(数式8)が成り立つ。
【0092】
【数8】
Figure 0004109094
【0093】
数式8は変数が12個存在するが、11式しかないので、このままでは、X,Y,Zを計算できない。そこで、変換行列Mの行列式を計算し、数式9の関係式を追加することによって、12式から12個の変数を求めることができ、X,Y,Zを求めることができる。
【0094】
【数9】
Figure 0004109094
【0095】
次に、実物のゴルフボール20が回転する状態を撮影できる位置にCCDカメラ11を配置しており、ゴルフボール20との距離やカメラレンズの倍率等を適宜調整している。
【0096】
上記配置状態で、CCDカメラ11の前をゴルフボール20が通過する際に、マイクロフラッシュを所要の時間間隔で2回発光させ、一枚の二次元映像にゴルフボール20が二個写った静止映像を画像メモリ11bに得ている。ここで得られた二次元映像を図9に示す。このように撮影した映像データを二値化処理用のプログラムで白と黒に二値化してから、ディスプレイ画面18上で、各マーク21毎に二次元の座標値を読み取ると共に、読みとった値をハードディスク15aに記録している。
【0097】
姿勢認識プログラムにより、上記方法で予め導出した三次元座標と二次元座標の間の関係を用いて、仮想ゴルフボール30の三次元空間座標上のマーク位置を、二次元的な画像上に変換することで求めた二次元の仮想マーク座標値と、上記撮影により得られた映像上に存在する実物のゴルフボール20の二次元の映像マーク座標値とが一致するように、各々移動操作、回転操作を行っている。
これにより、仮想ゴルフボール30の基準姿勢及び基準位置に対する姿勢及び位置を特定している。この移動操作、回転操作を行う量を、最適化手法の一種である遺伝的アルゴリズムを用いて演算している。
姿勢変位操作において操作範囲を限定しており、遺伝的アルゴリズムを用いて座標変換や移動変換する角度や位置の探索範囲を球体が物理的に回転可能な範囲に限定している。具体的には、0°〜360°の全ての範囲を探索していたものを回転可能な範囲に限定している。さらに、ボールが飛行する全空間ではなく位置を限定している。具体的な、限定範囲は上述の通りである。
【0098】
以下に、本実施形態の遺伝的アルゴリズム(GA)を用いた最適化の条件を示す。
任意に設定した三次元直行座標の各軸周りの回転角度(α、β、γ)、三次元空間での仮想ゴルフボール30の重心座標(X、Y、Z)の計6項目を設計変数としている。この6項目の数値を六変数としている。GAによる最適化では、設計変数をコード化しておく必要があるが、α、β、γ、X、Y、Zの各変数(実数値)を10ビットの2進法に変換したものをコードとして使用している。
【0099】
また、本実施形態のGAによる最適化の基本設定値を以下に示す。
個体数:50
染色体長:60ビット
設計変数の数:6変数(1変数あたり10ビット)
終了条件(適合度の最大値が−0.002以上であれば終了)
マークの数:42
【0100】
コンピュータにより上記操作を行って得られた二次元投影図と、撮影した二次元投影図をパターンマッチングする。この時のパターンの類似度を下記の数式10で定義し、これを目的関数として、その最大値を遺伝的アルゴリズムによって探索する。
【0101】
【数10】
Figure 0004109094
【0102】
上記数式10において、Xiは撮影した投影図のマークの二次元座標(原点は球体(ボール)の中心座標)、Yiは遺伝的アルゴリズムで得た値によって回転させた後のボールの三次元空間での重心位置から、既知の実空間座標と二次元的な画像上の座標の関係を利用して求めた投影図のマークの二次元座標(原点は球体の中心座標)である。
また、distance(a,b)は2つの点a、bの距離を示し、minはj(j=1からn、nはマークの個数)に関して最小値を表し、Σはi(i=1からn、nはマークの個数)に関して和をとることを意味する。ただし、Nはマーク数である。それぞれの画像について、マーク間距離の最小値を全てのマークについて計算し、その総和を適合度とする。
【0103】
上記目的関数の演算は揃えられた各個体全てに対して行われ、これら演算より各個体毎の適合度が求められる。
遺伝的アルゴリズムの最適化計算の終了条件は、事前の測定結果から、球体の回転角度あるいは位置が正しく計算できる適合度の値を予め導出しておき、その適合度の値を用いている。上記のように、適合度が−0.002以上であれば、最適化計算を終了する。適合度が−0.002以上となる個体が有している六変数の値が、仮想ゴルフボールの姿勢変位の最適解であると判断し、この個体によりゴルフボール20の三次元姿勢及び位置を特定している。なお、遺伝的アルゴリズムの世代交代シミュレーションを終了させる方法は、上記以外の方法でも良い。
【0104】
三次元座標上の点の回転は3×3の回転行列を点の座標にかければ良い。この回転行列は上記α、β、γの値が決まれば決定する。よって、この回転行列を求めることにより、各画像での基準となる位置からのゴルフボールの回転量を決定することができる。最適化計算では、α、β、γを変量させることによりゴルフボールを回転させ、撮影映像とのずれが最小になるようにα、β、γを決定している。
また、上記手法で各々の映像における回転行列を求めることができるが、2つの映像間でどれだけ回転しているかと求めるためには、1つの映像の回転行列に、もう1つの映像の回転行列の逆行列をかければ良い。ここで求められた回転行列をもとに、回転軸ベクトルと回転角度を算出する。
【0105】
具体的には、適合度の終了条件を満たす個体が有する三次元座標空間のX軸、Y軸、Z軸回りの回転角度(α、β、γ)の数値より、三行三列の回転行列を求め、この回転行列が、ゴルフボール20の姿勢を定める行列となっている。即ち、X軸、Y軸、Z軸の各軸回りに回転させる回転行列Rx、Ry、Rzは、下記のように表記される。
【0106】
【数11】
Figure 0004109094
【0107】
一方、上記仮想ゴルフボールの基準姿勢及び基準位置から、姿勢認識プログラムで特定されるゴルフボール20の姿勢及び位置を特定する行列である回転行列Rは、各軸回りの回転行列Rx、Ry、Rzより下記のように表記される。
【0108】
【数12】
Figure 0004109094
【0109】
また、他のゴルフボール20の映像に対しても上記と同様の演算および適合度の評価を行い、ゴルフボール20の姿勢及び位置を特定する回転角度(α’、β’、γ’)より回転行列を求めている。
【0110】
以上より、上記数式12で特定されるある時間のゴルフボール20の姿勢を特定する回転行列をR1、他の時間のゴルフボール20の姿勢を特定する回転行列をR2として、ある時間のゴルフボール20の姿勢を他の時間のゴルフボール20の姿勢へと一致させる回転行列をR12とすると、回転行列R12は下式で求められる。
【0111】
【数13】
Figure 0004109094
【0112】
上式で求められる回転行列R12に伴う、図10に示す座標変換される際の回転軸(座標軸)の方向(u1、u2、u3)と回転角度Ψは、下記の数式14、15で求められる。
【0113】
【数14】
Figure 0004109094
【0114】
【数15】
Figure 0004109094
【0115】
上記求めた回転角度Ψと二つの映像間の撮影された時間間隔から、ある時間から他の時間にわたるゴルフボール20の回転量と回転軸方法を求めている。
なお、二つ以上の映像間の回転量等を求めるには、各連続する前後の映像から上記同様にして各映像間の回転量等を求めて球体の回転量等を連続的に求めるようにしている。
【0116】
また、上記手法で各々の映像におけるゴルフボール重心位置の3成分の移動速度を求めることによって、打出角や振れ角等の飛行経路を含む飛行特性を算出できる。具体的には、ある時刻でのボールの重心位置Gx(t)、Gy(t)、Gz(t)とすると、3成分の移動速度Vx、Vy、Vzとボール速度Vは、下記の数式16により求められる。
【0117】
【数16】
Figure 0004109094
【0118】
また、打出角及び振れ角は、下記の数式17により求められる。ただし、ボールの進行方向をX軸、左右方向をY軸、高さ方向をZ軸とする。
【0119】
【数17】
Figure 0004109094
【0120】
以下、本発明の実施例について詳述する。
(実験1)
赤道・経度0°,180°方向が正面に向くようにゴルフボール40をティーアップし、図3と同様にゴルフボール40にマーク41を付して、図11に示すように、ヘッドスピード(HS)を測定する2つのHS測定センサ42(42A、42B)によりドライバーのHSを測定すると共に、第1カメラ43A及び第2カメラ43Bで外力を受けずに回転飛行するゴルフボール40を3ms間隔で撮影した。第1カメラ43Aは第2センサ42Bをトリガ信号としてインパクトから3.2ms後にストロボが発光し撮影した。第2カメラ43Bは第2センサ42Bをトリガ信号としてインパクトから6.2ms後にストロボが発光し撮影した。屋内の条件を異ならせた。
【0121】
ゴルフボールのバックスピン(1000rpm〜4000rpm)、サイドスピン(−3000rpm〜3000rpm)、軸スピン(−500rpm〜500rpm)について、飛行方向をY軸、左右方向をX軸、これら2軸に垂直な方向をZ軸と定義した場合、X軸周り、Y軸周り、Z軸周りの各回転角度を第1カメラ、第2カメラで測定した。結果を表1に示す。
ヘッドスピード40m/sでドライバー打撃時においてスピン量は上記バックスピン量、サイドスピン量、軸スピン量になることが試験的に判明しており、そのデータを参照した。例えば、1000rpmでボール打撃から(3.2−1.75)=1.45ms後のゴルフボールの回転角度(X軸回り)では、
1000rpm×2π/60(rad/s)×360/2π(deg/s)×1.45×10−3(s)=8.7degとなる。他も同様に計算した。
【0122】
【表1】
Figure 0004109094
【0123】
表1に示すように、第1カメラで撮影されるゴルフボールの回転角度範囲、第2カメラで撮影される回転角度範囲を限定できることが確認できた。即ち、ゴルフボールが物理的に回転可能な範囲は、ゴルフボールの任意の基準位置に対してY軸回りに−90〜90[deg]、X軸回りに5〜120[deg]、Z軸回りに−15〜15[deg]の範囲となることが確認できた。
【0124】
(実験2)
ドライバーによる実打テストを10球行い、実施例1と比較例1の2種類の測定方法で計算時間の比較を検証した。なお、計算時間に関する部分以外はどちらの方法を用いても同じ結果となるような条件で測定を行った。結果を表2に示す。
使用したパソコンはPentium(R) IV 1.5GHz メモリ2G相当のPCを使用した。
【0125】
【表2】
Figure 0004109094
【0126】
(実施例1)
上記実施形態と同様の方法により、本発明の測定方法でバックスピン及びサイドスピンの回転量、振れ角、打出角、ボール速度を算出した。即ち、遺伝的アルゴリズムの探索範囲の限定とその範囲内にのみマークを付加して測定を行った。
【0127】
(比較例1)
遺伝的アルゴリズムを用いた最適化手法で計算したが、遺伝的アルゴリズムの探索範囲の限定とマークを付加位置の限定を行わなかった。
【0128】
表2に示すように、10種類の様々な打球パターンのいずれにおいても実施例1は、比較例1に比べて計算時間が大幅に短縮され、瞬時に測定結果が得られることが確認できた。
【0129】
【発明の効果】
以上の説明より明らかなように、本発明によれば、球体の回転量を予測可能な状態で該球体の複数の二次元映像を得ると共に、基準姿勢及び基準位置に対して操作範囲を限定して姿勢変位操作している。このため、姿勢変位操作における回転角度や位置等の探索範囲を限定することができ、回転角度、振れ角、打出角等の演算量を飛躍的に低減することができる。よって、大幅に計算時間を短縮することができ、短時間で瞬時に球体の回転特性や飛行特性を測定することができる。
【0130】
また、球体の三次元姿勢及び位置を特定しているため、ある時間の三次元姿勢及び位置と、他の時間の三次元姿勢及び位置との関係から球体の回転数と回転軸方向等の回転特性、飛行経路や飛行速度等の飛行特性を容易かつ高精度で測定することができる。よって、外力を受けず回転している球体であるゴルフボールのスピン量や、打球の打出角や振れ角の測定に最適であり、特に振れ角の測定の精度を向上することができる。
【0131】
また、対象となる球体を適宜撮影すれば、球体の映像を基にコンピュータ内のプログラムに従って演算され、自動的に球体の回転特性や飛行特性を測定できるので、測定にかかる手間を大幅に削減することができる。
【0132】
さらに、遺伝的アルゴリズムの最適化計算の終了条件を、所定の適合度の値を用いて規定している。このように、最適化計算を適合度で規定し計算を終了することで、計算時間の短縮を図ることができる。
【図面の簡単な説明】
【図1】 (A)は、本発明の球体の回転特性と飛行特性の測定装置の構成を示す図、(B)は概略斜視図である。
【図2】 本発明の球体の回転特性と飛行特性の測定方法のフローチャートである。
【図3】 球体にマークを付した位置を説明する図である。
【図4】 球体の極座標を説明する図である。
【図5】 マークを付した仮想球体の概略図である。
【図6】 三次元空間上の座標と二次元的な画像上の座標の位置関係を示す図である。
【図7】 仮想球体の三次元空間座標上のマーク位置を、二次元的な画像上に変換する方法を示す図である。
【図8】 レンズ中心と球体との関係を示す図である。
【図9】 球体の二次元映像を示す図である。
【図10】 回転軸方向および回転角度を説明する図である。
【図11】 実験1のゴルフボールの撮影状況を説明する図である。
【図12】 (A)(B)は従来の測定方法による二次元ボール画像である。
【図13】 (A)は別の従来の測定装置の概略図、(B)は(A)の装置によるボール画像である。
【図14】 (A)は他の別の従来の測定装置の斜視図、(B)は測定領域を通過したゴルフボールを示す三次元領域の斜視図である。
【符号の説明】
10 測定装置
15 コンピュータ
20 ゴルフボール
21 マーク
30 仮想ゴルフボール[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for measuring the rotation characteristics and flight characteristics of a sphere, and more specifically, specifies the three-dimensional posture and position of a sphere such as a golf ball, and determines the rotation speed, rotation axis direction, flight path, flight speed, and the like of the sphere. It measures accurately in a short time.
[0002]
[Prior art]
Conventionally, various measuring methods and apparatuses have been proposed for measuring the amount of rotation of various spheres such as golf balls.
For example, light is projected onto a sphere with a reflective tape on the surface or a sphere with a black painted area that does not reflect light on the surface, and the amount of rotation of the sphere is measured from the change in the amount of reflected light obtained by the rotation of the sphere. There is a way to do it. However, in this method, only the amount of light is measured and the contour of the sphere, the posture displacement, and the like are not measured, so the direction of the rotation axis of the sphere cannot be specified. Therefore, a plurality of rotating spheres with a mark on the surface are photographed at predetermined time intervals, and the rotation amount and rotation axis angle of the sphere are often obtained from the displacement state of the marks in each photographed image. .
[0003]
Specific examples of an apparatus and method for determining the amount of rotation of a sphere from a photographed image with such a mark include a sphere rotation amount measuring device disclosed in Japanese Patent No. 2810320 and a golf ball motion measuring method disclosed in Japanese Patent Application Laid-Open No. 10-186474. Patent No. 2950450 includes a device for measuring the flight characteristics of a moving sports object.
[0004]
As shown in FIGS. 12 (A) and 12 (B), the measuring device proposed by the present applicant in Japanese Patent No. 2810320 takes a picture of a sphere T having a center point C with marks P and Q twice. Two two-dimensional images G1 and G2 are obtained, the spherical radius in each image is defined as a unit radius, and the spherical marks P, Q, P ′, Q ′ and the center points C, C ′ are defined for each image. Three-dimensional coordinates are calculated from two-dimensional coordinates on the image. Using the calculated three-dimensional coordinates as a three-dimensional vector, the vector movement amount is obtained between the two images G1 and G2, and the rotation amount and the rotation axis direction are calculated and measured.
[0005]
In addition, as shown in FIG. 13A, the measuring method disclosed in Japanese Patent Laid-Open No. 10-186474 determines the shooting time with a sensor 2 that detects the movement of a club at the time of hitting, and the first and second cameras 1A, 1B. The ball image G3 showing the two balls B1 and B1 ′ shown in FIG. 13B is obtained by taking a picture of the ball B1 with a long time. The two-dimensional ball image G3 is processed in the same manner as described above, and the rotation amount of the ball is calculated and measured.
[0006]
Furthermore, the measuring apparatus 4 of Japanese Patent No. 2950450 in FIG. 14A is an image in which two balls B2 and B2 ′ with a mark Ba attached to one image are captured by two synchronized cameras 5A and 5B. The three-dimensional coordinates are derived based on the principle approximated to triangulation in association with the relationship of the visual field between the cameras 5A and 5B. Thus, a three-dimensional region diagram of the ball B2 and the like shown in FIG. 14B is obtained, and various characteristics of the ball are measured. A method for deriving three-dimensional coordinates in this way is known as a DLT (Direct Liner Transformation) method.
[0007]
Furthermore, Japanese Patent No. 3185850 proposes a monitor device that measures and displays the flight characteristics of sports objects. Specifically, one image is shot using at least one camera using shutter means or the like, and at least one camera has a known coordinate set in advance in a target space. It is necessary to calibrate using a predetermined number of points or more. Using the relationship between the known three-dimensional spatial coordinates and the two-dimensional coordinates projected on the film surface of the camera, six variables (three mass center of gravity coordinates of the sphere and three rotations from the reference coordinates) are represented by Taylor's theorem. The linearization can be solved by iterative calculation of 8 degrees, and the three-dimensional coordinates of the points (marks) fixed on the ball are obtained based on the length in the real space without using the radius of the ball image as a reference. be able to. Therefore, it is no longer necessary to accurately capture the contour of the ball image, and problems such as insufficient brightness due to the high-speed shutter means for obtaining a still image of the ball moving at high speed are alleviated. It has been made.
[0008]
[Patent Document 1]
Japanese Patent No. 2810320
[Patent Document 2]
Japanese Patent Laid-Open No. 10-186474
[Patent Document 3]
Japanese Patent No. 2950450 [0011]
[Patent Document 4]
Japanese Patent No. 3185850 [0012]
[Problems to be solved by the invention]
However, in the measurement apparatus of FIGS. 12A and 12B and the measurement method of FIGS. 13A and 13B, the radius of the ball image is used for the calculation related to the measurement. The accuracy of the calculated three-dimensional vector is affected, and it is necessary to obtain a spherical radius with high accuracy from the captured image, in addition to taking an image as a measurement base with high accuracy. However, in order to obtain a still image of a ball image flying at high speed, for example, a high-speed camera equipped with a high-speed shutter is used. Hard to get.
[0013]
Therefore, in the captured image, a relatively clear image can be obtained near the center of the ball, which is the position facing the camera, but it is difficult to capture the outline of the ball, which is a sphere. Even if you devise, it is difficult to improve. As a result, the ball outline of the photographed image becomes unclear, the dimensional accuracy of the radius read from the ball image is deteriorated, and the measurement accuracy with respect to the amount of rotation of the ball has to be naturally reduced.
[0014]
On the other hand, in the measurements shown in FIGS. 14A and 14B, the three-dimensional coordinates for the mark on the ball surface are obtained with reference to the length of the real space without using the radius of the ball image. There is an advantage that there is no need to take a picture and the problem of insufficient light intensity does not occur. However, in order to obtain the three-dimensional coordinates of the marks on the ball surface with high accuracy, it is necessary to photograph the ball relatively large in the image so that each mark can be read accurately. In order to take a large image of the ball in this way, it is necessary to shorten the time interval for photographing the two ball images, and the amount of rotation between the two ball images is naturally reduced.
[0015]
On the other hand, in order to increase the measurement accuracy of the amount of rotation of the ball, the displacement of the mark position is increased by increasing the movement distance of the mark, that is, the amount of rotation of the ball between the two photographed ball images is increased. There is a need for a condition that conflicts with enlarging the ball image.
[0016]
Therefore, if the ball image is enlarged, even if the three-dimensional coordinates of the mark can be measured with high accuracy, there is a problem that the accuracy of the measurement of the amount of rotation of the ball is reduced because the positional change between the images is small . On the other hand, if shooting is performed so as to increase the amount of rotation of the ball, two ball images must be captured at a time interval, and the measurement accuracy for the amount of rotation of the ball increases, but the ball image becomes smaller. The measurement accuracy of the three-dimensional coordinates of the mark is lowered, and in any case, there is a problem that both the three-dimensional coordinates of the mark and the rotation amount of the ball cannot be measured with high accuracy.
[0017]
To solve the above problem, prepare two sets of devices required for measurement, take a picture of one ball with the first set of devices, and take another ball image with the second set of devices at a time interval. It may be assumed that both the three-dimensional coordinates of the mark and the ball rotation amount are measured with high accuracy. However, in the measurement, it is necessary to calibrate a total of four high-speed cameras between the two sets, and the configuration of the device becomes very complicated and the cost is greatly increased. It is actually difficult to use two sets.
[0018]
Furthermore, when calculating and measuring the amount of rotation of the ball from the amount of movement of the mark on the photographed ball surface, the specific mark in the first ball image corresponds to any mark in the second ball image. It is necessary to find out. However, when the direction of the rotation axis of the ball can be predicted and there is little change in the rotation of the ball between images, the above identification is relatively easy, but the reason is that the direction of the rotation axis changes greatly from measurement to measurement. When the direction of the rotation axis cannot be predicted or when the amount of rotation of the ball is large, the above-mentioned determination becomes very difficult, and there is a possibility that measurement of the amount of rotation of the ball or the like may be impossible by automatic recognition by a computer or the like. Further, even if a human makes the above-mentioned squeezing, there is a possibility that it takes time or mistaking the snooping.
[0019]
In addition, if the mark in the first ball image turns to the back side due to the rotation of the ball in the second ball image and does not appear on the ball surface on the image, the measurement itself is not possible. Since it becomes possible, there are limitations on the measurement direction of the camera, the rotation direction of the ball to be measured, and the like.
[0020]
Furthermore, in Japanese Patent No. 3185850, the mark that was visible on the first ball image is not reflected on the second ball image due to the rotation of the ball. That is, when the mark on the first ball image turns around on the back side of the ball, there is a problem that measurement is impossible. Therefore, there is a problem in that the shooting direction with the camera and the rotation direction of the ball to be measured are limited and lack of portability.
[0021]
The present invention has been made in view of the above-described various problems, and the computer shortens the rotational characteristics such as the rotational speed and the rotational axis direction of the flying rotating sphere and the flight characteristics such as the flight path and the flight speed. The task is to measure accurately in time.
[0022]
[Means for Solving the Problems]
In order to solve the above problem, the present invention captures a plurality of two-dimensional images of the sphere by photographing a rotating sphere with a plurality of marks on the surface a plurality of times at predetermined time intervals, Similarly, a virtual sphere with a mark on the surface is created on the three-dimensional space coordinates of the computer, and the arbitrary posture and arbitrary position of the virtual sphere are set as the reference posture and reference position of the virtual sphere,
Using at least one imaging means, the relationship between the three-dimensional coordinates and the two-dimensional coordinates is derived in advance,
Using the above relationship, the mark position on the three-dimensional space coordinate of the virtual sphere is converted to a two-dimensional image to obtain a two-dimensional virtual mark coordinate value, and the sphere existing on the video is Find the 2D image mark coordinate value,
And the virtual mark coordinate values, as the video marked coordinates and matches, the virtual sphere, with respect to the reference posture and the reference position, predict the photographing time interval of the moving speed and the image of the rotating spheres When the rotation direction of the rotating sphere is defined as the Y axis, the left and right direction is defined as the X axis, and the direction perpendicular to these two axes is defined as the Z axis, to the rotatable range, -90~90 [deg] to the Y axis with respect to the reference posture, 5-120 to X-axis [deg], the range of -15~15 [deg] to the Z axis Limited to the above-mentioned virtual sphere posture displacement operation, and by the amount of the posture displacement operation, for each two-dimensional image of the sphere, specify the three-dimensional posture and position of the sphere,
A sphere characterized in that the rotation characteristics and flight characteristics of the sphere are calculated from the three-dimensional attitude and position at a certain time and the three-dimensional attitude and position at another time specified for each of the two-dimensional images. Provides a method for measuring the rotation characteristics and flight characteristics of the aircraft.
[0023]
In the present invention, since the three-dimensional posture and position of the sphere are specified by the method as described above, the rotation of the sphere is determined from the relationship between the three-dimensional posture and position at a certain time and the three-dimensional posture and position at another time. Rotational characteristics such as number and rotational axis direction, flight characteristics such as flight path and flight speed can be easily measured with high accuracy in a short time. Therefore, it is most suitable for the measurement of the spin amount of a golf ball that is rotating without receiving external force, the launch angle and the deflection angle of a hit ball, and particularly to improve the measurement accuracy of the left and right deflection angles at the time of hitting a ball. Can do.
[0024]
Specifically, a plurality of two-dimensional images of the sphere are obtained, and the rotation amount range and the flight range that can be predicted from the moving speed of the rotating sphere and the shooting time interval of the image with respect to the reference posture and the reference position are limited. In addition, the posture displacement operation is performed within an angular range in which the rotating sphere can be physically rotated . For this reason, the search range such as the rotation angle and the flight path in the posture displacement operation can be limited, and the calculation amount such as the rotation angle, the swing angle, and the launch angle can be drastically reduced. Therefore, the calculation time can be greatly shortened, and the rotation characteristics and flight characteristics of the sphere can be measured instantaneously in a short time. The predictable range of rotation amount and flight range refer to a search range that limits the magnitude of external force and shooting time when external force is applied to the sphere, and specifically, the golf club that hit the golf ball. The search range is limited in consideration of the count, head speed, and the flash time of the strobe attached to the camera.
[0025]
The amount of posture displacement operation with respect to the reference posture and the reference position is obtained by calculation according to an optimization method called a genetic algorithm, and the search range of the angle and position for coordinate conversion and movement conversion using the genetic algorithm is determined as described above. It is preferable that the sphere is limited to a range in which the sphere can be physically rotated or moved. As a result, the amount of calculation can be reduced without reducing the calculation accuracy, and more accurate measurement can be performed in a shorter time. The range in which the sphere can be physically rotated or moved refers to a search range in which the magnitude of the external force and the shooting time when the external force is applied to the sphere as described above are limited. That is, taking as an example the case where the sphere is a golf ball, when the spin amount of the golf ball is measured, it is a range that can be rotated from the reference posture and a range that can be translated from the reference position. .
[0026]
Further, it is preferable that a plurality of marks are provided on the surface of the sphere only in a range where the sphere can be physically rotated. In addition, more efficient measurement can be performed. It should be noted that the mark may be attached outside the range in which the sphere can be physically rotated to such an extent that the calculation time does not become long.
The surface of the sphere is preferably marked with 10 or more and 100 or less, and more preferably 30 or more and 50 or less. If the number is less than 10, the number of marks that can be read from the observation direction becomes too small, and the posture may not be specified. This is because it becomes longer and the efficiency deteriorates.
[0027]
It is preferable that the limited range of the rotation amount and the movement amount with respect to the reference posture and the reference position is determined according to the moving speed of the sphere and the shooting time interval of the video. As a result, the measurement time for the rotation characteristics and the flight characteristics can be further shortened.
It is suitable for measuring the flight characteristics of a sphere that moves at a moving speed of 40 m / s to 90 m / s, and further 50 m / s to 80 m / s.
In addition, when two or more shots are taken with two cameras, the first camera takes a picture of 0.5 ms to 4.0 ms after the sphere moves from the reference position, and the second camera takes the sphere at the reference position. It is preferable to take a video of 1.5 ms to 8.0 ms after the movement. The time interval for shooting multiple times is preferably 1.0 ms to 4.0 ms.
[0029]
In order to search for the rotation angle using the genetic algorithm, it has been conventionally considered that it is unknown how much the sphere rotates from the initial state of the sphere, so that the sphere in the virtual space is 0 to 360 [deg] around the XYZ axis. The rotation angle was searched in all the ranges. However, if the purpose of use is clear to some extent, for example, when measuring the amount of rotation of a golf ball, the calculation of the amount of rotation using a genetic algorithm is greatly reduced by limiting the rotation angle search range. can do.
[0030]
The reason why −90 to 90 [deg] around the Y axis with respect to an arbitrary reference position of the sphere is that when the head speed is 40 m / s and W # 1 is used, the spin is 1000 rpm to 4000 rpm. . The reason why the angle is set to 5 to 120 [deg] around the X axis is that when the head speed is 40 m / s and W # 1 is used, the spin becomes −3000 rpm to 3000 rpm. Further, the reason why the speed is set to -15 to 15 [deg] around the Z axis is that when the head speed is 40 m / s and W # 1 is used, the spin becomes -500 rpm to 500 rpm. This condition is particularly useful for analyzing the rotational characteristics and flight characteristics of a golf ball measured by a measuring apparatus for spherical characteristics and flight characteristics described later. In order to include the range of both the first camera and the second camera, it is necessary to consider the above conditions.
[0031]
When the flight direction of the sphere is defined as the Y-axis, the left-right direction is defined as the X-axis, and the direction perpendicular to these two axes is defined as the Z-axis, the range in which the sphere is physically movable is relative to the reference position of the sphere. In the case of an image taken with the first camera, the Y-axis direction is in the range of 50 mm to 100 mm, the X-axis direction is in the range of -100 mm to 100 mm, the Z-axis direction is in the range of 0 mm to 100 mm, and in the case of the image taken with the second camera Are preferably in the range of 150 mm to 300 mm, the X axis direction in the range of −300 mm to 300 mm, and the Z axis direction in the range of 0 mm to 300 mm.
[0032]
For example, when the head speed at the time of hitting a golf ball is 40 m / s, the ball speed is estimated to be 40 to 60 m / s in consideration of the ball speed being about 1 to 1.5 times the head speed. If the shutter of the first camera is made to emit light after 1.45 ms after the ball impact, the distance can be obtained from (ball speed) × (shutter time) (about 58 to 87 mm). Similarly, if the shutter of the second camera emits light after 4.45 ms after the ball impact, the distance is about 178 to 267 mm when the tee is used as a reference. The range in the Y-axis direction is determined so as to include these two ranges. Next, the X axis determines the above range by limiting the left and right ball deflection angles to −45 to 45 deg, and the Z axis also determines the above range by limiting the ball launch angle to 0 to 45 deg. That is, the above range is particularly suitable for the shooting interval when the golf ball is hit at the head speed.
[0033]
It is preferable that the termination condition of the optimization calculation of the genetic algorithm is defined using a predetermined fitness value. Thus, the calculation time can be shortened by defining the optimization calculation with the fitness and ending the calculation.
Specifically, from the previous measurement result, a fitness value that can correctly calculate the rotation angle or position of the sphere is derived in advance, and the optimization calculation is completed using the fitness value. Time has been shortened. For example, in the measurement of the rotation amount of a golf ball, the conformity that is less than 2 deg with respect to the solution (with a back spin within ± 50 rpm) and within 0.1 deg with respect to the launch angle / vibration angle is −0.00299 or more ( 0 is the most optimal). Therefore, if the degree of conformity is −0.002 or more, by adding a convergence condition for ending the optimization calculation, the calculation can be completed with only one trial, and the calculation time can be greatly shortened.
[0034]
Specifically, a case where a golf ball is used as a sphere will be described. By teeing up the marked golf ball in the same direction, the image taken by the first camera of the two cameras is backspin if the measured golf ball is hit by the driver, The range in which side spin and axial spin are physically generated can be limited. In general, the amount of rotation of a golf ball struck by a driver is 1000 rpm to 4000 rpm for a back spin, −3000 rpm to 3000 rpm for a side spin, and −500 to 500 rpm for an axial spin. If the shooting time, a certain initial ball speed and the number of clubs used are known, the rotation angle and movement range can be limited. Therefore, the rotation angle range of the golf ball photographed with the first camera and the rotation angle photographed with the second camera can be limited.
[0035]
In addition, if the number of clubs that hit the golf ball position search range is known, the position range can be limited to some extent from the initial ball speed. As described above, the calculation time can be greatly shortened by considerably limiting the search range.
[0036]
The posture displacement operation is a virtual sphere movement operation and a rotation operation, and it is preferable that the amount of the posture displacement operation with respect to the reference posture and the reference position is obtained by calculation according to an optimization method called a genetic algorithm.
[0037]
Since the virtual sphere formed on the computer arbitrarily sets the reference posture and the reference position, the reference posture and the reference position are different in size, position, and posture from the photographed two-dimensional video sphere. ing. Therefore, in order to display the orientation and position of the sphere with the reference orientation of the virtual sphere in the virtual space and the relative coordinate value with respect to the reference position in the three-dimensional space obtained from the three-dimensional and two-dimensional relational expressions, two virtual spheres are displayed. An operation for displacing the posture is required so as to coincide with the posture and position of the sphere of the three-dimensional image.
[0038]
This posture displacement is performed by moving and rotating the virtual sphere on the computer, such as parallel movement. By appropriately determining the amount of the displacement operation in the parallel movement, the virtual sphere is moved to the actual sphere posture and position. Accordingly, the posture and position of the sphere can be specified with high accuracy by the relative posture value with respect to the reference posture and the reference position in the three-dimensional space obtained from the three-dimensional and two-dimensional relational expressions. . In the present invention, it is preferable that the determination of the displacement manipulated variable is regarded as an optimization problem, and calculation is performed using a computer algorithm called a genetic algorithm, which is one of the solutions to the optimization problem.
[0039]
The calculation method using the above genetic algorithm has characteristics that are different from other optimization methods such as simulated annealing, gradient method, and other linear programming methods. In other words, it has features such as coding (coding) a character string, a vector, and the like, and setting a fitness for evaluating a calculation result based on an objective function.
[0040]
The genetic algorithm is a probabilistic solution that simultaneously searches for an optimal solution from a large number of individuals by an operation, and the calculated solution can be optimized. Therefore, it is useful to match the virtual sphere on the computer with the attitude and position of the sphere in the two-dimensional image while referring to a plurality of marks on the sphere.
[0041]
In the calculation according to the genetic algorithm, as the three independent variables related to the centroid position of the sphere, the amount of the rotation operation is set as three independent variables related to the three-dimensional rotation operation of the virtual sphere, The above operations are performed based on the numerical values of these six variables. The six variables determined in this way correspond to the relative coordinate values with respect to the reference position in the three-dimensional space for which the reference posture and the three-dimensional and two-dimensional relational expressions are obtained. Therefore, if the numerical values of these six variables are obtained, The posture and position can be specified.
[0042]
Note that the three variables related to the moving operation include the position of the center of gravity of the sphere (three (x, y, z)). Further, the three independent variables related to the three-dimensional rotation operation include rotation angles around the horizontal axis, the vertical axis, and the vertical axis, which are orthogonal coordinate axes in the virtual three-dimensional space.
[0043]
An image of a rotating sphere without receiving an external force is photographed using at least one photographing means, and the relationship between the three-dimensional coordinates and the two-dimensional coordinates is derived and grasped in advance. For this reason, the positional relationship between the marks on the two-dimensional image can be obtained from the positional relationship between the marks on the virtual sphere created on the computer. Therefore, by using the above relationship, the mark position on the three-dimensional space coordinate of the virtual sphere can be converted to a two-dimensional image to obtain a two-dimensional virtual mark coordinate value. Therefore, two-dimensional virtual marks and three-dimensional virtual marks, which were not possible in the past, can now be handled, and even two-dimensional virtual spheres can have three-dimensional information and grasp depth information. Can do. In the conventional method, the depth direction is not taken into consideration and the projection is merely performed, and all the two-dimensional images are on a plane. Conventionally, the projection direction is one direction, but in the present invention, the projection direction differs depending on the position of the virtual sphere.
Therefore, even when the edge of the sphere is not clearly seen, or even when the sphere image is photographed at the edge of the screen or is photographed small, it can be measured with high accuracy.
[0044]
In addition, by associating the posture and position of the virtual sphere and the actual sphere with the virtual mark coordinate value and the video mark coordinate value as described above, the posture and position of the actual sphere can be used as a reference in the virtual three-dimensional space. It can be expressed by a relative coordinate value with respect to the posture and the reference position. Along with this, it becomes possible to use relative coordinate values for the reference posture and reference position of the virtual space for the analysis of the rotation characteristics and flight characteristics of the sphere, making it easy to analyze the rotation characteristics and flight characteristics of the sphere on the computer. Automatic calculation can be performed. The reference position means the origin of the three-dimensional coordinate system defined when the relationship between the three-dimensional space and the two-dimensional image is obtained. Specifically, it refers to the center of gravity of the ball placed at the tee.
[0045]
In the present invention, the posture and position of the sphere are specified from a plurality of marks of the sphere of each captured two-dimensional image without using the sphere outline data. For this reason, as long as even the mark attached to the sphere can be clearly confirmed in each image, even if the outline of the sphere is unclear, it is possible to measure the attitude and position of the sphere with high accuracy. In order to have the computer automatically recognize the spherical mark from the captured two-dimensional image, it is conceivable to perform binarization processing for displaying only the white and black on the captured image.
[0046]
In addition, the rotation characteristic of the sphere is obtained by calculating a rotation matrix related to the rotation operation when the three-dimensional posture and position at a certain time coincide with the three-dimensional posture and position at another time. The amount of rotation of the sphere is calculated by multiplying the rotation matrix of a sphere at a certain time whose time interval can be specified by the inverse matrix of the rotation matrix of the sphere at another time. If the numerical value of the rotation matrix from the sphere posture at a certain time obtained by calculating in this way to the sphere posture at another time is determined, the amount of rotation can also be determined, and the rotation axis vector, that is, the rotation axis The direction can also be easily determined.
[0047]
Further, the flight characteristics of the sphere are obtained by calculating the movement amount and the movement direction of the centroid coordinates of the sphere when the three-dimensional attitude and position at a certain time are matched with the three-dimensional attitude and position at another time.
[0048]
When deriving the relationship between the three-dimensional coordinates and the two-dimensional coordinates in advance, at least twelve or more three-dimensional coordinates are used when one camera is used, and at least six or more are used when two cameras are used. It is preferable to use the three-dimensional coordinates.
Thereby, the relationship between the three-dimensional space and the two-dimensional space can be obtained. That is, the relationship between the real space and the image on the camera can be clarified. This is because if the number of coordinates is smaller than the number of three-dimensional coordinates, the number of known numbers for the variables is small, so that simultaneous equations showing a three-dimensional and two-dimensional relationship cannot be solved.
[0049]
As a method for obtaining a two-dimensional virtual mark coordinate value by converting a mark position on a three-dimensional space coordinate of a virtual sphere into a two-dimensional image, a reference posture and a reference position sphere constructed on a computer are used. For example, the mark may be projected onto a two-dimensional image using the relationship between the known real space three-dimensional coordinates and the coordinates on the two-dimensional image.
[0050]
As design variables in the posture displacement operation, a total of six rotation angles of the sphere around each of the horizontal axis, the vertical axis, and the vertical axis, which are orthogonal coordinate axes in the virtual three-dimensional space, and the three-dimensional center of gravity position of the sphere are used. Preferably it is.
Thereby, since the depth information of the sphere can be calculated, the rotation characteristic and the flight characteristic can be calculated simultaneously.
[0051]
Examples of the sphere to be measured include various ball games such as golf balls and tennis balls. This is useful for analysis of rotation characteristics, flight characteristics, etc. when these balls are used.
[0052]
In addition, since it is fundamentally difficult to clearly photograph the contour of the ball image, it is preferable to measure the rotation characteristics without using the contour data of the ball image. In particular, when the ball is photographed at the end of the photographed image, the right or left portion of the ball is shaded by the effect of the strobe, so it is preferable to measure the rotational characteristics without using the contour portion as much as possible.
[0053]
In addition, the following devices may be mentioned as the optimal device for measuring the rotational characteristics and flight characteristics of the sphere of the present invention.
An imaging means capable of imaging the sphere from each direction, a recording means for recording a two-dimensional image of the sphere obtained by the imaging, a virtual sphere similar to the sphere is created in a three-dimensional coordinate space, and the virtual sphere Based on the two-dimensional image of the sphere, the three-dimensional posture and position of the sphere is specified, and calculating means for calculating the rotation characteristics and flight characteristics of the sphere,
The arithmetic means has a coordinate conversion program capable of deriving a relationship between three-dimensional coordinates and two-dimensional coordinates in advance using at least one photographing means,
And, the two-dimensional video mark coordinate value of the sphere on the two-dimensional video matches the two-dimensional virtual mark coordinate value obtained by converting the mark position on the three-dimensional coordinate of the virtual sphere, There is provided a posture recognition program for performing a posture displacement operation on the virtual sphere and specifying the three-dimensional posture and position of the sphere by the amount of the posture displacement operation with respect to the reference posture and the reference position of the virtual sphere. Thereby, the attitude | position of a sphere, a rotation characteristic, and a flight characteristic can be calculated | required accurately. In particular, it is possible to take an image in which the amount of rotation of the sphere can be predicted to some extent.
[0054]
The calculation means preferably has an optimization program for calculating the reference posture and the amount of posture displacement operation with respect to the reference position according to a genetic algorithm. Thereby, the calculation by the above-described measurement method can be easily performed, and the calculation accuracy can be improved.
[0055]
It is preferable that the photographing unit is configured to be able to photograph a rotating or moving sphere without receiving an external force or the like a plurality of times at predetermined time intervals.
Specifically, in order to capture a two-dimensional image of a real sphere, an image capturing means for capturing images such as a still camera and a CCD camera and a recording means for recording images such as a film and an image memory are required. It is. In addition, a micro flash is also used to obtain an instantaneous still state ball image using a short-time luminance difference. Even if a sphere that moves at a high speed of 10 m / s or more is an object to be measured, a still image without blur can be obtained by using a high-speed shutter or a micro flash.
[0056]
It is preferable to use two cameras as the photographing means. It is preferable that the interval be easily variable without calibration. By making the interval between the two cameras and the shooting time interval relatively long, the angle change can be increased and the measurement accuracy of the rotational speed can be increased. In addition, it is easy to recognize which mark position on the first ball image corresponds to which mark position on the second ball image, and automation can be facilitated. Note that one or a plurality of two-dimensional image capturing means can be applied.
[0057]
In order to obtain multiple images, it is necessary to capture the image of the sphere at least twice. However, a single camera can be used to capture multiple spheres on a single image, such as by flashing the microflash multiple times. Alternatively, one sphere may be projected on each of a plurality of images with one camera. Further, a two-dimensional image may be taken for each camera at a required time interval using a plurality of cameras. However, when shooting with a plurality of cameras, it is necessary to specify a common coordinate axis for each image by calibration or the like.
[0058]
In addition, when film is used as the recording means as a means for obtaining the position of the mark attached to the sphere from the photographed image, a primitive method for directly measuring the developed photograph with a ruler or the like, film, There is also a method in which a measurement cursor is placed on a computer screen and measured using an image input device such as a scanner that can capture a photographic image into the computer. Further, when an image memory is used as the recording means, there is a method of reading data in the image memory on a computer screen and measuring with a measurement cursor as described above. That is, the measuring means is not particularly limited as long as the two-dimensional position of each mark in the spherical image is obtained, and any of the above methods may be used.
[0059]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1A shows the configuration of a sphere rotation characteristic and flight characteristic measuring apparatus 10 for executing the method for measuring the rotation characteristic and flight characteristic of a sphere of the present invention.
The measuring device 10 creates a virtual sphere similar to a sphere in a three-dimensional coordinate space, a photographing means that can photograph the sphere from each direction, a recording means that records a two-dimensional image of the sphere obtained by photographing, Based on the virtual sphere and the two-dimensional image of the sphere, a three-dimensional posture and position of the sphere are specified, and calculation means for obtaining the rotation characteristics and flight characteristics of the sphere are provided.
[0060]
Further, the calculation means has a coordinate conversion program capable of deriving a relationship between the three-dimensional coordinates and the two-dimensional coordinates in advance using at least one photographing means, and two-dimensional of the sphere on the two-dimensional image The virtual sphere is displaced so that the video mark coordinate value matches the two-dimensional virtual mark coordinate value obtained by converting the mark position on the three-dimensional coordinate of the virtual sphere, and the reference posture of the virtual sphere And a posture recognition program for specifying the three-dimensional posture and position of the sphere based on the amount of posture displacement operation with respect to the reference position.
[0061]
As shown in FIG. 1B, the measuring apparatus 10 uses a CCD camera 11 as a photographing means and also uses two micro flashes 12-1 and 12-2. A sphere to be measured is photographed by the CCD camera 11, and sequentially obtained images are stored in the image memory 15b as recording means. The image memory 15b is installed in the computer 15 which is a calculation means.
[0062]
At the time of video shooting, the microflashes 12-1 and 12-2 are emitted one by one at a required time interval, and then the accumulation in the image memory 15b is terminated, whereby two spheres are formed in one two-dimensional video. Individual images are obtained in the image memory 15b. In addition, the trigger signal by photoelectric tube switch 16-1, 16-2 and the retarder 17 is utilized for the timing which light-emits microflash 12-1, 12-2.
[0063]
In addition to the image memory 15b described above, the computer 15 included in the measuring apparatus 10 includes a central processing unit (CPU), a memory, a hard disk 15a that is a storage device, and the like. It has a posture recognition program and an optimization program for calculating the reference posture and the amount of posture displacement operation with respect to the reference position according to the genetic algorithm.
[0064]
The posture recognition program, the coordinate conversion program, and the optimization program are basically assembled based on the flowchart of FIG.
That is, a virtual sphere is formed in a virtual three-dimensional space based on the sphere to be measured, and the virtual sphere is marked in the same manner as the real measurement symmetry, and the arbitrary posture and position of the formed virtual sphere are set as a reference posture. And set as a reference position.
Converting a mark position on a three-dimensional space coordinate of a virtual sphere into a two-dimensional image using a relationship between three-dimensional coordinates and two-dimensional coordinates derived in advance using at least one photographing means. To obtain a two-dimensional virtual mark coordinate value. Further, a two-dimensional video mark coordinate value of a sphere existing on the video is obtained.
Posture displacement operation (movement, rotation, etc.) is limited to the rotation amount and flight range of the virtual sphere that can be predicted with respect to the reference posture and the reference position so that the virtual mark coordinate value matches the video mark coordinate value. Then, the three-dimensional posture and position of the sphere are specified for each two-dimensional image of the sphere based on the amount of the posture displacement operation. The two-dimensional image of the sphere is subjected to a posture displacement operation (movement, rotation, etc.) limited to a predictable range, and the rotation amount and position of the sphere are obtained from the rotational movement amount of the posture displacement operation.
Based on the three-dimensional posture and position at a certain time specified for each two-dimensional image and the three-dimensional posture and position at another time, the rotation characteristics and flight characteristics of the sphere are calculated.
In addition to the processing described above, binarization processing for converting a captured two-dimensional image into a white and black display is also included. In the present invention, the measurement is performed with the details limited within a certain range of the three-dimensional space.
[0065]
The displacement amount associated with the virtual sphere posture displacement operation as described above is programmed in an optimization program that calculates according to the genetic algorithm so as to be specified using the calculation based on the genetic algorithm. The identification of the three-dimensional posture is performed for each spherical image photographed in obtaining the rotation characteristics and flight characteristics of the sphere. In addition, the search range of the angle and position for coordinate transformation and movement transformation using a genetic algorithm is set so that the sphere can be physically rotated or / and moved, and optimization calculation of the genetic algorithm is performed. Is defined using a value of a predetermined fitness.
[0066]
Hereinafter, a method for measuring the rotation characteristics and flight characteristics of a sphere using the measurement apparatus for the rotation characteristics and flight characteristics of the sphere will be described in more detail.
[0067]
First, a golf ball is used as a sphere to be measured, and black marks 21 (all not shown) are attached to the surface of the golf ball 20 as shown in FIG. Specifically, 12 points are randomly placed on the circumferential line C1 (y = 0) of the longitude 90 ° and 270 ° of the golf ball 20 and on the circumferential line C2 (x = 0) of the longitude 0 ° and 180 °. 12 points are randomly added, 6 points are randomly added on the circumferential line C3 in a direction in which the equator (z = 0) is inclined by 45 °, and 12 points marks 21 are randomly assigned on the equator C4.
Further, when the golf ball 20 is rotated about the rotation axis J at an angle obtained by dividing 360 degrees by 1, the mark 21 is attached so as to be symmetric only once before and after the rotation. That is, it has one-time rotational symmetry with respect to the rotation operation.
[0068]
Further, the three-dimensional coordinate value of each mark is read by using a three-dimensional measuring device or the like for the golf ball 20 with the mark 21 as described above. At this time, polar coordinates (radial direction coordinate value r, meridian direction angle θ, azimuth direction angle φ) are adopted as coordinates used for reading, as shown in FIG.
[0069]
Next, as shown in FIG. 5, the virtual golf ball 30 similar to the actual golf ball 20 is formed in the virtual three-dimensional coordinate space S on the computer by the posture recognition program in the computer 15, and this virtual golf ball A mark 31 is attached to the numerical position of the polar coordinates (r, θ, φ) read as described above so that the surface of 30 is similar to the golf ball 20. In the posture recognition program described above, the calculation is performed by converting into orthogonal coordinates. In addition, an arbitrary posture of the virtual golf ball 30 formed in this way is set as a reference posture.
[0070]
Next, using at least one photographing means, the relationship between the three-dimensional coordinates and the two-dimensional coordinates is derived and grasped in advance, and the mark position relationship between the virtual sphere mark position and the camera film surface (two-dimensional) A method for obtaining the value will be described. That is, the coordinates are converted from space coordinates to camera coordinates.
[0071]
FIG. 6 shows the positional relationship between the coordinates on the three-dimensional real space and the coordinates on the two-dimensional image. Below is a detailed explanation of the variables.
Arbitrary coordinate axes are set in the real space, and point P (X, Y, Z) and lens center coordinate O (X 0 , Y 0 , Z 0 ) are set.
The distance between the surface including the point P and perpendicular to the optical axis and the center of the lens is L, and the distance between the file surface and the lens center is F.
Arbitrary coordinate axes are also set on the film surface, and the coordinates of Q, which is an image of the point P, on the film surface are (U, V), and the coordinates of the intersection of the optical axis and the film surface are (U 0). , V 0 ).
Considering a coordinate system (X'Y'Z ') with the lens center O as the origin, the Z axis parallel to the optical axis, and the X / Y axes parallel to the U / V axes, the real space coordinates (XYZ A conversion matrix from coordinates) to X′Y′Z ′ is M (m ij : i = 1 to 3, j = 1 to 3). However, since this transformation matrix obeys Euler's theorem, M is as shown in Equation 1 below.
[0072]
[Expression 1]
Figure 0004109094
[0073]
In order to directly represent the relationship between the point P in the real space and the image Q, the relationship between the two must be represented in the same coordinate system. Therefore, Formula 2 is obtained from the real space defined above using a transformation matrix M into a coordinate system having the X axis and the Y axis parallel to the image axis U and V axis, with the optical axis as the Z axis.
[0074]
[Expression 2]
Figure 0004109094
[0075]
Since OP and OQ are collinear with each other and the length ratio is L: F, Equation 3 is obtained.
[0076]
[Equation 3]
Figure 0004109094
[0077]
By substituting Equation 2 into Equation 3, L is obtained from one of the three equations, and by substituting L into the other two equations, the following Equation 4 is obtained.
[0078]
[Expression 4]
Figure 0004109094
[0079]
By summarizing the variables in Equation 4 and organizing U, V, X, Y, and Z, Equation 5 is obtained.
[0080]
[Equation 5]
Figure 0004109094
[0081]
In order to obtain 11 coefficients, two sets of (X, Y, Z) and (U, V) can be calculated by substituting into Equation 5 for two cameras. In order to suppress, it is desirable to measure six or more sets of known real space coordinates. In addition, one camera requires 12 or more (X, Y, Z) and (U, V). With 3 cameras, the number is 4 or more.
[0082]
By the above method, the relationship between the known real space coordinates and the coordinates on the two-dimensional image can be grasped. Using this relationship, as shown in FIG. 7, the coordinates of the virtual sphere mark on the computer can be obtained as the two-dimensional coordinates on the film surface of the camera. That is, the position of the mark 30 on the three-dimensional space coordinates of the virtual golf ball 30 can be converted into a two-dimensional image.
[0083]
Next, when a mark on a virtual three-dimensional sphere is projected onto two-dimensional coordinates, a method for determining whether or not the mark exists on the film image (whether the mark exists on the front side or the back side) Will be described.
[0084]
A method for determining whether the mark shown in the flowchart shown in FIG. The eleven coefficients defined by Equation 5 can be obtained, and the three-dimensional coordinates of the camera lens are calculated using these coefficients.
[0085]
As shown in FIG. 8, assuming that the lens center O (X 0 , Y 0 , Z 0 ) and the virtual sphere center of gravity P (G X , G Y , G Z ), the vector OP is as shown in Equation 6.
[0086]
[Formula 6]
Figure 0004109094
[0087]
Using the vector OP and the diameter R of the sphere, the tangent length l from the lens center to the sphere is expressed by Equation 7.
[0088]
[Expression 7]
Figure 0004109094
[0089]
When the hatched portion of the virtual sphere is projected two-dimensionally, it is defined as a mark that can actually be photographed (front side), and the other marks are defined as the back side. Assuming that the length of the center of the lens and the mark on the virtual sphere is L, L is determined by the position of the center of gravity of the virtual sphere and the known positional relationship of each mark.
[0090]
L <l: The mark on the sphere is the image direction (front side) that can actually be measured, and is used for GA calculation.
L ≧ l: A mark on the sphere is a direction of the image that cannot actually be measured (back side) and is not used for GA calculation.
[0091]
By the above method, it is possible to determine whether or not all marks on a virtual sphere are marks that can be used for GA calculation. However, it is necessary to obtain the lens center position O (X 0 , Y 0 , Z 0 ). Therefore, the center position of the lens is determined using Equation 4 and Equation 5 above. When these expressions are compared, the following relational expression (Formula 8) is established.
[0092]
[Equation 8]
Figure 0004109094
[0093]
Equation 8 has 12 variables, but there are only 11 equations, so X 0 , Y 0 and Z 0 cannot be calculated as they are. Therefore, by calculating the determinant of the transformation matrix M and adding the relational expression of Equation 9, 12 variables can be obtained from Equation 12, and X 0 , Y 0 , and Z 0 can be obtained.
[0094]
[Equation 9]
Figure 0004109094
[0095]
Next, the CCD camera 11 is disposed at a position where the actual golf ball 20 can be imaged in a rotating state, and the distance from the golf ball 20 and the magnification of the camera lens are adjusted as appropriate.
[0096]
When the golf ball 20 passes in front of the CCD camera 11 in the above arrangement state, the microflash is emitted twice at a predetermined time interval, and a still image in which two golf balls 20 are captured in one two-dimensional image. Is obtained in the image memory 11b. The two-dimensional image obtained here is shown in FIG. The video data thus photographed is binarized into white and black by a binarization processing program, and then a two-dimensional coordinate value is read for each mark 21 on the display screen 18 and the read value is obtained. It is recorded on the hard disk 15a.
[0097]
Using the posture recognition program, the mark position on the three-dimensional spatial coordinates of the virtual golf ball 30 is converted into a two-dimensional image using the relationship between the three-dimensional coordinates and the two-dimensional coordinates derived in advance by the above method. The two-dimensional virtual mark coordinate value obtained in this way and the two-dimensional video mark coordinate value of the actual golf ball 20 existing on the image obtained by the above photographing are respectively moved and rotated. It is carried out.
Thereby, the attitude | position and position with respect to the reference | standard attitude | position of the virtual golf ball 30 and a reference | standard position are specified. The amount of the movement operation and the rotation operation is calculated using a genetic algorithm which is a kind of optimization method.
The operation range is limited in the posture displacement operation, and the search range of the angle and position for coordinate conversion and movement conversion using a genetic algorithm is limited to a range in which the sphere can be physically rotated. Specifically, the search for the entire range from 0 ° to 360 ° is limited to a rotatable range. Furthermore, the position is limited rather than the entire space in which the ball flies. The specific limited range is as described above.
[0098]
The conditions for optimization using the genetic algorithm (GA) of this embodiment are shown below.
A total of six items including rotation angles (α, β, γ) around each axis of three-dimensional orthogonal coordinates set arbitrarily, and barycentric coordinates (X 0 , Y 0 , Z 0 ) of the virtual golf ball 30 in a three-dimensional space. Design variables. These six items are six variables. In the optimization by GA, it is necessary to code the design variables, but each variable (real value) of α, β, γ, X 0 , Y 0 , Z 0 is converted to a 10-bit binary system. Is used as code.
[0099]
In addition, basic setting values for optimization by GA according to the present embodiment are shown below.
Number of individuals: 50
Chromosome length: 60 bits Number of design variables: 6 variables (10 bits per variable)
Termination condition (termination if the maximum value of fitness is -0.002 or more)
Number of marks: 42
[0100]
The pattern matching is performed between the two-dimensional projection obtained by performing the above operation using a computer and the photographed two-dimensional projection. The similarity of the pattern at this time is defined by the following formula 10, and the maximum value is searched by a genetic algorithm using this as an objective function.
[0101]
[Expression 10]
Figure 0004109094
[0102]
In Equation 10, Xi is the two-dimensional coordinates of the mark of the photographed projection (the origin is the center coordinate of the sphere (ball)), and Yi is the three-dimensional space of the ball after being rotated by the value obtained by the genetic algorithm. Are the two-dimensional coordinates (the origin is the center coordinates of the sphere) of the mark of the projected view obtained from the position of the center of gravity using the relationship between the known real space coordinates and the coordinates on the two-dimensional image.
Further, distance (a, b) represents the distance between the two points a and b, min j represents the minimum value with respect to j (j = 1 to n, n is the number of marks), and Σ is i (i = 1). N, n means the sum of the number of marks). N is the number of marks. For each image, the minimum value of the distance between the marks is calculated for all the marks, and the sum is used as the fitness.
[0103]
The calculation of the objective function is performed for all the individual individuals arranged, and the fitness for each individual is obtained from these calculations.
As an end condition for the optimization calculation of the genetic algorithm, a fitness value that can correctly calculate the rotation angle or position of the sphere is derived in advance from the measurement result in advance, and the fitness value is used. As described above, if the fitness is −0.002 or more, the optimization calculation is terminated. It is judged that the value of the six variables possessed by the individual whose fitness is −0.002 or more is the optimum solution for the posture displacement of the virtual golf ball, and the three-dimensional posture and position of the golf ball 20 are determined by this individual. I have identified. Note that a method other than the above may be used as a method for terminating the generational change simulation of the genetic algorithm.
[0104]
The rotation of the point on the three-dimensional coordinate may be performed by applying a 3 × 3 rotation matrix to the point coordinate. This rotation matrix is determined when the values of α, β, and γ are determined. Therefore, by obtaining this rotation matrix, it is possible to determine the amount of rotation of the golf ball from the reference position in each image. In the optimization calculation, the golf ball is rotated by varying α, β, and γ, and α, β, and γ are determined so that the deviation from the captured image is minimized.
In addition, the rotation matrix in each video can be obtained by the above method, but in order to obtain how much rotation between two videos, the rotation matrix of one video is added to the rotation matrix of one video. The inverse matrix of Based on the rotation matrix determined here, the rotation axis vector and the rotation angle are calculated.
[0105]
Specifically, a rotation matrix of three rows and three columns is calculated from numerical values of rotation angles (α, β, γ) around the X axis, Y axis, and Z axis of the three-dimensional coordinate space possessed by individuals satisfying the end condition of the fitness. This rotation matrix is a matrix that determines the posture of the golf ball 20. That is, the rotation matrices Rx, Ry, and Rz that are rotated around the X-axis, Y-axis, and Z-axis are expressed as follows.
[0106]
[Expression 11]
Figure 0004109094
[0107]
On the other hand, a rotation matrix R that is a matrix that specifies the posture and position of the golf ball 20 specified by the posture recognition program from the reference posture and reference position of the virtual golf ball is a rotation matrix Rx, Ry, Rz around each axis. It is expressed as follows.
[0108]
[Expression 12]
Figure 0004109094
[0109]
In addition, the same calculation and fitness evaluation as described above are performed for the other golf ball 20 images, and the golf ball 20 is rotated from rotation angles (α ′, β ′, γ ′) that specify the posture and position of the golf ball 20. I'm looking for a matrix.
[0110]
As described above, R1 is a rotation matrix that specifies the posture of the golf ball 20 at a certain time specified by Formula 12, and R2 is a rotation matrix that specifies the posture of the golf ball 20 at another time. Is a rotation matrix that matches the posture of the golf ball 20 at other times with R12, the rotation matrix R12 is obtained by the following equation.
[0111]
[Formula 13]
Figure 0004109094
[0112]
The direction (u1, u2, u3) of the rotation axis (coordinate axis) and the rotation angle Ψ at the time of coordinate conversion shown in FIG. 10 according to the rotation matrix R12 obtained by the above equation are obtained by the following equations 14 and 15. .
[0113]
[Expression 14]
Figure 0004109094
[0114]
[Expression 15]
Figure 0004109094
[0115]
The amount of rotation of the golf ball 20 and the rotation axis method from one time to another are obtained from the obtained rotation angle Ψ and the time interval between the two images.
In order to obtain the amount of rotation between two or more images, the amount of rotation between the images is obtained from the images before and after each successive image, and the amount of rotation of the sphere is continuously obtained. ing.
[0116]
Further, by obtaining the three component moving speeds of the center of gravity of the golf ball in each image by the above method, the flight characteristics including the flight path such as the launch angle and the swing angle can be calculated. Specifically, assuming that the gravity center positions Gx (t), Gy (t), and Gz (t) of the ball at a certain time, the three component moving speeds Vx, Vy, Vz, and the ball speed V Is required.
[0117]
[Expression 16]
Figure 0004109094
[0118]
Further, the launch angle and the deflection angle are obtained by the following Expression 17. However, the advancing direction of the ball is the X axis, the left and right direction is the Y axis, and the height direction is the Z axis.
[0119]
[Expression 17]
Figure 0004109094
[0120]
Examples of the present invention will be described in detail below.
(Experiment 1)
The golf ball 40 is teeed up so that the equator / longitude 0 ° and 180 ° directions face the front, and a mark 41 is attached to the golf ball 40 in the same manner as in FIG. 3, and as shown in FIG. ) Is measured by the two HS measurement sensors 42 (42A, 42B), and the golf ball 40 that rotates and receives an external force with the first camera 43A and the second camera 43B is photographed at intervals of 3 ms. did. The first camera 43A took a picture with the strobe emitting 3.2 ms after the impact using the second sensor 42B as a trigger signal. In the second camera 43B, the second sensor 42B was used as a trigger signal, and the strobe light was emitted 6.2 ms after the impact. Different indoor conditions.
[0121]
For golf ball back spin (1000 rpm to 4000 rpm), side spin (-3000 rpm to 3000 rpm), and axial spin (-500 rpm to 500 rpm), the flight direction is the Y axis, the left and right direction is the X axis, and the direction perpendicular to these two axes is When it was defined as the Z axis, the rotation angles around the X axis, the Y axis, and the Z axis were measured with the first camera and the second camera. The results are shown in Table 1.
It has been experimentally found that the spin amount when hitting a driver at a head speed of 40 m / s becomes the above-mentioned back spin amount, side spin amount, and axial spin amount, and the data was referred to. For example, at the rotation angle (around the X axis) of the golf ball after hitting the ball at 1000 rpm (3.2-1.75) = 1.45 ms,
1000 rpm × 2π / 60 (rad / s) × 360 / 2π (deg / s) × 1.45 × 10 −3 (s) = 8.7 deg. Others were calculated similarly.
[0122]
[Table 1]
Figure 0004109094
[0123]
As shown in Table 1, it was confirmed that the rotation angle range of the golf ball photographed by the first camera and the rotation angle range photographed by the second camera can be limited. That is, the range in which the golf ball can physically rotate is −90 to 90 [deg] around the Y axis, 5 to 120 [deg] around the X axis, and around the Z axis with respect to an arbitrary reference position of the golf ball. It was confirmed that it was in the range of -15 to 15 [deg].
[0124]
(Experiment 2)
Ten ball hit tests were performed by a driver, and comparison of calculation time was verified by the two measurement methods of Example 1 and Comparative Example 1. The measurement was performed under the condition that the same result was obtained using either method except for the portion related to the calculation time. The results are shown in Table 2.
The personal computer used was a PC equivalent to Pentium (R) IV 1.5 GHz memory 2G.
[0125]
[Table 2]
Figure 0004109094
[0126]
(Example 1)
By the same method as in the above embodiment, the rotation amount, swing angle, launch angle, and ball speed of back spin and side spin were calculated by the measurement method of the present invention. That is, the measurement was performed by limiting the search range of the genetic algorithm and adding marks only within that range.
[0127]
(Comparative Example 1)
Although the calculation was performed by an optimization method using a genetic algorithm, the search range of the genetic algorithm was not limited and the mark addition position was not limited.
[0128]
As shown in Table 2, it was confirmed that the calculation time of Example 1 was significantly shortened compared to Comparative Example 1 in any of the 10 different hitting ball patterns, and the measurement result could be obtained instantaneously.
[0129]
【The invention's effect】
As is clear from the above description, according to the present invention, a plurality of two-dimensional images of the sphere are obtained in a state where the amount of rotation of the sphere can be predicted, and the operation range is limited with respect to the reference posture and the reference position. The posture displacement is operated. Therefore, the search range such as the rotation angle and position in the posture displacement operation can be limited, and the amount of calculation such as the rotation angle, the swing angle, and the launch angle can be drastically reduced. Therefore, the calculation time can be greatly shortened, and the rotation characteristics and flight characteristics of the sphere can be measured instantaneously in a short time.
[0130]
Also, since the 3D posture and position of the sphere are specified, the rotation speed of the sphere and the rotation axis direction, etc. can be determined from the relationship between the 3D posture and position at a certain time and the 3D posture and position at another time. Flight characteristics such as characteristics, flight path and flight speed can be measured easily and with high accuracy. Therefore, it is most suitable for the measurement of the spin amount of a golf ball that is a rotating sphere without receiving an external force, the launch angle and the deflection angle of a hit ball, and in particular, the accuracy of the measurement of the deflection angle can be improved.
[0131]
In addition, if the target sphere is properly photographed, it is calculated according to the program in the computer based on the image of the sphere, and the rotation characteristics and flight characteristics of the sphere can be measured automatically, greatly reducing the measurement effort. be able to.
[0132]
Furthermore, the termination condition for the optimization calculation of the genetic algorithm is defined using a predetermined fitness value. As described above, the calculation time can be shortened by defining the optimization calculation based on the fitness and ending the calculation.
[Brief description of the drawings]
FIG. 1A is a diagram showing a configuration of a measuring apparatus for rotational characteristics and flight characteristics of a sphere of the present invention, and FIG. 1B is a schematic perspective view.
FIG. 2 is a flowchart of a method for measuring the rotational characteristics and flight characteristics of a sphere according to the present invention.
FIG. 3 is a diagram illustrating a position where a mark is attached to a sphere.
FIG. 4 is a diagram illustrating polar coordinates of a sphere.
FIG. 5 is a schematic view of a virtual sphere with marks.
FIG. 6 is a diagram illustrating a positional relationship between coordinates on a three-dimensional space and coordinates on a two-dimensional image.
FIG. 7 is a diagram illustrating a method for converting a mark position on a three-dimensional space coordinate of a virtual sphere onto a two-dimensional image.
FIG. 8 is a diagram illustrating a relationship between a lens center and a sphere.
FIG. 9 is a diagram showing a two-dimensional image of a sphere.
FIG. 10 is a diagram illustrating a rotation axis direction and a rotation angle.
FIG. 11 is a diagram for explaining a shooting situation of a golf ball in Experiment 1;
12A and 12B are two-dimensional ball images obtained by a conventional measuring method.
13A is a schematic diagram of another conventional measuring apparatus, and FIG. 13B is a ball image by the apparatus of FIG.
14A is a perspective view of another conventional measuring apparatus, and FIG. 14B is a perspective view of a three-dimensional region showing a golf ball that has passed through the measurement region.
[Explanation of symbols]
10 Measuring Device 15 Computer 20 Golf Ball 21 Mark 30 Virtual Golf Ball

Claims (5)

表面に複数のマークを付した回転球体を所定の時間間隔をあけて複数回撮影して、上記球体の複数の二次元映像を得る一方、該球体と同様に表面にマークを付した仮想球体をコンピュータの三次元空間座標上に作成し、該仮想球体の任意姿勢及び任意位置を仮想球体の基準姿勢及び基準位置として設定すると共に、
少なくとも1台の撮影手段を用いて、三次元座標と二次元座標の間の関係を予め導出しておき、
上記関係を用いて、上記仮想球体の三次元空間座標上のマーク位置を、二次元的な画像上に変換することにより二次元の仮想マーク座標値を求めると共に、上記映像上に存在する球体の二次元の映像マーク座標値を求め、
上記仮想マーク座標値と、上記映像マーク座標値とが一致するように、上記仮想球体を、上記基準姿勢及び基準位置に対して、上記回転球体の移動速度および上記映像の撮影時間間隔から予測可能な回転量の範囲および飛行範囲に限定すると共に、該回転球体の飛行方向をY軸、左右方向をX軸、これら2軸に垂直な方向をZ軸と定義した場合、上記回転球体が物理的に回転可能な範囲は、上記基準姿勢に対してY軸回りに−90〜90[deg]、X軸回りに5〜120[deg]、Z軸回りに−15〜15 [ deg ] の範囲に限定して、上記仮想球体の姿勢変位操作し、該姿勢変位操作の量により、球体の各二次元映像毎に、球体の三次元姿勢及び位置を特定し、
上記二次元映像毎に特定された、ある時間の三次元姿勢及び位置と、他の時間の三次元姿勢及び位置とにより、球体の回転特性と飛行特性を演算していることを特徴とする球体の回転特性と飛行特性の測定方法。
A rotating sphere with a plurality of marks on the surface is photographed a plurality of times with a predetermined time interval to obtain a plurality of two-dimensional images of the sphere, while a virtual sphere with a mark on the surface as with the sphere is obtained. Created on the three-dimensional space coordinates of the computer, set the arbitrary posture and arbitrary position of the virtual sphere as the reference posture and reference position of the virtual sphere,
Using at least one imaging means, the relationship between the three-dimensional coordinates and the two-dimensional coordinates is derived in advance,
Using the above relationship, the mark position on the three-dimensional space coordinate of the virtual sphere is converted to a two-dimensional image to obtain a two-dimensional virtual mark coordinate value, and the sphere existing on the video is Find the 2D image mark coordinate value,
And the virtual mark coordinate values, as the video marked coordinates and matches, the virtual sphere, with respect to the reference posture and the reference position, predict the photographing time interval of the moving speed and the image of the rotating spheres When the rotation direction of the rotating sphere is defined as the Y axis, the left and right direction is defined as the X axis, and the direction perpendicular to these two axes is defined as the Z axis, to the rotatable range, -90~90 [deg] to the Y axis with respect to the reference posture, 5-120 to X-axis [deg], the range of -15~15 [deg] to the Z axis Limited to the above-mentioned virtual sphere posture displacement operation, and by the amount of the posture displacement operation, for each two-dimensional image of the sphere, specify the three-dimensional posture and position of the sphere,
A sphere characterized in that the rotation characteristics and flight characteristics of the sphere are calculated from the three-dimensional attitude and position at a certain time and the three-dimensional attitude and position at another time specified for each of the two-dimensional images. Of measuring the rotation characteristics and flight characteristics of the aircraft.
上記基準姿勢及び基準位置に対する姿勢変位操作の量を遺伝的アルゴリズムという最適化手法に応じた演算で求めており、
上記遺伝的アルゴリズムを用いて座標変換や移動変換する角度や位置の探索範囲を上記球体が物理的に回転あるいは移動可能な範囲に限定している請求項1に記載の球体の回転特性と飛行特性の測定方法。
The amount of posture displacement operation with respect to the reference posture and the reference position is obtained by calculation according to an optimization method called a genetic algorithm,
2. The rotation characteristics and flight characteristics of a sphere according to claim 1, wherein a search range of angles and positions for coordinate conversion and movement conversion using the genetic algorithm is limited to a range in which the sphere can be physically rotated or moved. Measuring method.
第1カメラと第2カメラを備え、これら第1、第2カメラは移動速度が40m/s〜90m/sで移動する球体が撮影出来る機能を有すると共に、上記第1カメラは上記球体が基準位置から移動後0.5ms〜4.0msの映像を撮影し、第2カメラは上記球体が基準位置から移動後1.5ms〜8.0msの撮影するものとし、
上記球体が物理的に移動可能な範囲は、上記球体の基準位置に対して第1カメラで撮影した画像の場合、Y軸方向を50mm〜100mm、X軸方向を−100mm〜100mm、Z軸方向を0mm〜100mmの範囲、第2カメラで撮影した画像の場合、Y軸方向を150mm〜300mm、X軸方向を−300mm〜300mm、Z軸方向を0mm〜300mmの範囲としている請求項1または請求項2に記載の球体の回転特性と飛行特性の測定方法。
A first camera and a second camera are provided. These first and second cameras have a function of photographing a moving sphere with a moving speed of 40 m / s to 90 m / s, and the first camera has a reference position for the sphere. The second camera shall shoot from 1.5 ms to 8.0 ms after the sphere moves from the reference position.
The range in which the sphere is physically movable is 50 mm to 100 mm in the Y-axis direction, −100 mm to 100 mm in the X-axis direction, and Z-axis direction in the case of an image taken by the first camera with respect to the reference position of the sphere. In the case of an image taken by the second camera, the Y-axis direction is 150 mm to 300 mm, the X-axis direction is -300 mm to 300 mm, and the Z-axis direction is 0 mm to 300 mm. Item 3. A method for measuring rotational characteristics and flight characteristics of a sphere according to Item 2.
上記遺伝的アルゴリズムの最適化計算の終了条件を、予め取得した測定結果から球体の回転角度あるいは位置が計算できる適合度を予め導出しておき、該適合度の値を用いて規定している請求項2または請求項3に記載の球体の回転特性と飛行特性の測定方法。 The end condition of the optimization calculation of the genetic algorithm is defined using a value of the degree of fitness that has been derived in advance from a measurement result obtained in advance and a degree of fitness that can calculate the rotation angle or position of the sphere. 4. A method for measuring the rotational characteristics and flight characteristics of a sphere according to claim 2 or claim 3 . 上記球体をゴルフボールとしている請求項1乃至請求項4のいずれか1項に記載の球体の回転特性と飛行特性の測定方法。 The method for measuring rotational characteristics and flight characteristics of a sphere according to any one of claims 1 to 4, wherein the sphere is a golf ball .
JP2002351709A 2002-12-03 2002-12-03 Method for measuring the rotational and flight characteristics of a sphere Expired - Fee Related JP4109094B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002351709A JP4109094B2 (en) 2002-12-03 2002-12-03 Method for measuring the rotational and flight characteristics of a sphere

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002351709A JP4109094B2 (en) 2002-12-03 2002-12-03 Method for measuring the rotational and flight characteristics of a sphere

Publications (2)

Publication Number Publication Date
JP2004184236A JP2004184236A (en) 2004-07-02
JP4109094B2 true JP4109094B2 (en) 2008-06-25

Family

ID=32753543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002351709A Expired - Fee Related JP4109094B2 (en) 2002-12-03 2002-12-03 Method for measuring the rotational and flight characteristics of a sphere

Country Status (1)

Country Link
JP (1) JP4109094B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI639848B (en) * 2018-02-08 2018-11-01 麥家祥 Sphere state tracking system and its sphere

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006327353B2 (en) * 2005-12-23 2011-11-24 Gcoder Systems Ab Positioning pattern
EP1870719A1 (en) * 2006-06-23 2007-12-26 The Swatch Group Research and Development Ltd. Optical recognition system for determining position and motion of an object on a positioning device
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
JP4726844B2 (en) * 2007-03-27 2011-07-20 株式会社コナミデジタルエンタテインメント Program, data collection apparatus, and control method
JP5214234B2 (en) * 2007-12-27 2013-06-19 株式会社東芝 Apparatus and method for determining the attitude of a rotationally driven sphere
JP5256453B2 (en) * 2008-07-23 2013-08-07 独立行政法人 宇宙航空研究開発機構 Non-contact three-axis angular velocity measurement method of a sphere
JP6043974B2 (en) * 2012-05-07 2016-12-14 株式会社ミツトヨ Three-dimensional position measuring device, three-dimensional measuring device, and three-dimensional position measuring program
KR101394271B1 (en) * 2013-01-08 2014-05-13 (주) 골프존 Device for sensing moving ball and method for the same
KR101472274B1 (en) * 2013-01-08 2014-12-12 (주) 골프존 Device for sensing moving ball and method for the same
KR101551685B1 (en) * 2014-10-28 2015-09-21 주식회사 골프존 Device for sensing moving ball and method for the same
KR101723432B1 (en) * 2015-06-12 2017-04-18 주식회사 골프존 Device for sensing moving ball and method for the same
KR20180002408A (en) * 2016-06-29 2018-01-08 주식회사 크리에이츠 Method, system and non-transitory computer-readable recording medium for measuring ball spin
JP6236600B1 (en) 2017-06-02 2017-11-29 株式会社Gpro Flight parameter measuring apparatus and flight parameter measuring method
CN108921778B (en) * 2018-07-06 2022-12-30 成都品果科技有限公司 Method for generating star effect map
KR102451261B1 (en) * 2020-04-10 2022-10-07 주식회사 소프트오션 Golf simulation appratus and golf simulation method
CN111598954A (en) * 2020-04-21 2020-08-28 哈尔滨拓博科技有限公司 Rapid high-precision camera parameter calculation method
CN115278194B (en) * 2022-09-22 2022-12-23 山东省青东智能科技有限公司 Image data processing method based on 3D industrial camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI639848B (en) * 2018-02-08 2018-11-01 麥家祥 Sphere state tracking system and its sphere

Also Published As

Publication number Publication date
JP2004184236A (en) 2004-07-02

Similar Documents

Publication Publication Date Title
JP4109094B2 (en) Method for measuring the rotational and flight characteristics of a sphere
JP3535476B2 (en) Method for measuring three-dimensional attitude of sphere and method for measuring rotation amount and rotation axis direction of sphere using the method
JP4109075B2 (en) Method for measuring the rotation characteristics and flight characteristics of a sphere, and a device for measuring the rotation characteristics and flight characteristics of a sphere
US7300356B2 (en) Apparatus and method of measuring the flying behavior of a flying body
JP5719170B2 (en) Object position and motion detection system and method
US8016688B2 (en) Method and apparatus for measuring ball launch conditions
JP3235987B2 (en) Golf ball rotation measurement method
JP5365486B2 (en) Golf swing classification method and chart
JP7051315B2 (en) Methods, systems, and non-temporary computer-readable recording media for measuring ball rotation.
JP3778427B2 (en) Hitting ball diagnostic system
JP5584961B2 (en) Golf club trial hitting system and golf club trial hitting method
JP2013009771A (en) System, method, and program for measurement and analysis of behavior of golf club head in golf swing
JP2015512660A (en) Golf club head measuring device
JP4028771B2 (en) Method for measuring impact state of golf swing
JP7076955B2 (en) Methods, systems, and non-temporary computer-readable recording media for correcting the brightness of the ball&#39;s image.
JP4109076B2 (en) Measuring method of rotation amount and rotation axis direction of curved surface body, and measurement device of rotation amount and rotation axis direction of curved surface body
JP2002126147A (en) Method of measuring movement in tennis
JP4104384B2 (en) Moving parameter measuring device for moving body
JP2013009789A (en) Camera system, photographing system, and photographing method
JP6710961B2 (en) Golf swing analysis method
KR102584540B1 (en) Subject movement information generation device using artificial intelligence and method thereof
TW202305664A (en) Method for analyzing image for sensing moving ball and sensing device using the same
KR20220136560A (en) Golf Simulation Method and System Using the Rotational Information of Balls Measured by Two Cameras
JP2024513328A (en) Method for calculating the spin of a golf ball moving after being hit and a spin calculating device using the same

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050817

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120411

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140411

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees