JP7214007B2 - ゴルフボールオントップ式検出方法、システム及び記憶媒体 - Google Patents

Description

本発明は、ゴルフシミュレーション技術の分野に関し、特に、ゴルフボールオントップ式検出方法、システム及び記憶媒体に関する。

ゴルフシステムは、ショットエリア、センサ、計算ユニット及び表示画面を含む。ゴルフシステムは、室内ゴルフ又は室外ゴルフスポーツに使用できる。

ユーザがショットエリアでゴルフボールを打つと、センサがゴルフボールの打ち情報及び移動情報を収集し、計算ユニットがこれらの情報に基づいてゴルフボールの移動軌跡をシミュレートして表示画面に表示する。センサは、画像センサ又は光センサなどであり得る。画像センサを使用する場合、ゴルフボールの移動変化情報を得てその移動軌跡をシミュレートするために、画像情報を分析処理する必要がある。

しかしながら、現在のゴルフシステムは、画像センサによって収集されたピクチャーを処理する際に、各フレームピクチャーの全体、即ち各フレームのピクチャー全体内にある要素特徴を処理し、続いて、画素点の位置決めを行う方法でゴルフボールの座標情報を取得し、即ち現在の位置決め方法は全体的な位置決め方法である。各フレームピクチャーは、いずれにも大面積の内容があるために反復処理を必要とし、システム資源を占有するから、このような全体的な位置決め方法は、ゴルフシステムの位置決め中の反応速度を遅くし、システムの効率に影響を与え、使用体験に影響を与える。

したがって、従来技術に対するさらなる開発を必要とする。

本発明は、上記の従来技術の欠点に鑑み、本発明、ゴルフボールオントップ式検出方法、システム及び記憶媒体を提供することを目的とし、ゴルフシステムの位置決め中の反応速度を向上させ、ユーザの使用体験を向上させることを意図している。

上記の目的を実現するために、本発明は、以下の技術的解決手段を採用する。

第１態様では、本発明は、頂面にウェブカメラが配置されたゴルフシステムによる、マークが設けられているゴルフボールの検出に適用されるゴルフボールオントップ式検出方法を提案し、前記方法は、
ウェブカメラのキャリブレーション：ウェブカメラの画像座標系をワールド座標系に変換するステップＳ１０と、
ゴルフボールの位置決め：グロバール測位を用いて、ボールを打出した後にウェブカメラによって収集された第１フレームのピクチャー全体からゴルフボールの座標データを取得するステップＳ２０と、
ボールを打出した後にウェブカメラによって収集された後続フレームピクチャーに対して、先に、ゴルフボールの落ち範囲を予測し、当該落ち範囲で当該フレームピクチャーの部分ピクチャーを取得し、続いて、当該部分ピクチャーにグロバール測位を用いてゴルフボールの座標データを取得し、
パラメータ計算：位置決めによって得られたゴルフボールの座標データをワールド座標系に代入してゴルフボールの移動パラメータを計算するステップＳ３０と、
ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得するステップＳ４０と、を含む。

第２態様では、本発明は、ゴルフシミュレーションシステムを提案し、前記システムは、メモリと、プロセッサと、前記メモリに記憶され、かつ、前記プロセッサによって実行されるように構成されたコンピュータプログラムと、を含み、前記コンピュータプログラムが前記プロセッサによって実行されると、前述の方法が実施される。

第３態様では、本発明は、コンピュータ可読記憶媒体を提案し、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムが実行されると、前述の方法が実施される。

本発明のゴルフボールオントップ式検出方法は、ゴルフボールの位置決めを行うとき、ボールを打出した後の第１フレームピクチャーに対して、全体的な位置決め方法を用いてゴルフボールの第１フレームピクチャーにおける座標データを取得し、後続の位置決めでは、落ち範囲の予測及び部分的な位置決めの方法を用いてゴルフボールの座標データを取得する。即ちグロバール測位と部分的な位置決めとを結合する方法を用いて、ピクチャー内でゴルフボールに対して位置決め処理を行う際に、全体的な位置決めを行うために各ピクチャーをピクチャーごとに全体的に処理する必要がなく、ゴルフシステムの位置決め処理時の反応速度を大幅に向上させ、ゴルフシステムの効率及びユーザ体験を向上させる。

本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例または従来技術の説明に必要な図面について簡単に説明するが、以下の説明における図面は、本発明の一部の実施例にすぎず、当業者であれば、創造的な働きなしにこれらの図面に示された構造に基づいて他の図面を取得できることは明らかである。
本発明に係るゴルフボールオントップ式検出方法の第１実施例の概略フローチャートである。 本発明に係る画像座標系とワールド座標系との変換過程の概略図である。 本発明に係るゴルフボールの移動パラメータ計算の概略図である。 本発明に係るゴルフボールのグロバール測位の第１実施例の概略フローチャートである。 本発明に係るグロバール測位時のスケーリング及び補間処理前後のコントラストの概略図である。 本発明に係るターゲット輪郭面積、アスペクト比のスクリーニングを行うプロセスの第１概略図である。 本発明に係るターゲット輪郭面積、アスペクト比のスクリーニングを行うプロセスの第２概略図である。 本発明に係るターゲット輪郭をウィンドウスライディングで統計スクリーニングする第１概略図である。 本発明に係るターゲット輪郭をウィンドウスライディングで統計、スクリーニングする第２概略図である。 本発明に係るターゲットをスクリーニングした後のピクチャーにおけるボール輪郭の変換、補正プロセスの概略図である。 本発明に係るゴルフボールの部分的な位置決めの第１実施例の概略フローチャートである。 本発明に係るゴルフボールの部分的な位置決めにおける複数のフレームピクチャーの落ち範囲予測の概略図である。 本発明に係るゴルフボールの回転速度を取得する第１実施例の概略フローチャートである。 本発明に係るゴルフボールの回転速度の検出における光照射分布のシミュレーション及び調整の概略図である。 本発明に係るゴルフボールの回転速度の検出におけるｍａｒｋ図を取得するプロセスの概略図である。

以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確で、完全に説明するが、説明された実施例は、本発明の一部の実施例にすぎず、全ての実施例ではないことは明らかである。本発明における実施例に基づいて、当業者が創造的な働きなしに得た他の実施例は、いずれの本発明の保護範囲に属すべきである。

本発明は、頂面にウェブカメラが配置されたゴルフシステムによる、マーク（ｍａｒｋ）が設けられているゴルフボールの移動状態の検出に適用されるゴルフボールオントップ式検出方法を提案する。

頂面にウェブカメラが配置されたゴルフシステムは、それによって収集されたピクチャーは頂面が下方を向く視野角であり、背景光源が比較的安定しており、人の体もゴルフボールとほぼ重ならず、以下の方法に適用されてゴルフボールの移動を検出してシステムの反応速度を向上させる。

図１に示すように、本発明のゴルフボールオントップ式検出方法のフローであり、ステップＳ１０～Ｓ４０を含む。

Ｓ１０、ウェブカメラのキャリブレーション：ウェブカメラの画像座標系をワールド座標系に変換する。

画像処理の過程において、空間物体の表面のある点の３次元幾何学的位置と、画像中のそれに対応する点との相互関係を決定するために、カメラ撮像の幾何学的モデルを確立しなければならず、ほとんどの条件では、これらのパラメータは、実験と計算を通じて得なければならなく、このパラメータを求めるプロセスをカメラのキャリブレーション（又はウェブカメラのキャリブレーション）と呼ぶ。カメラのキャリブレーションは、リアル画像の数学的な意味を計算可能で操作可能なデジタル化に変換する実装プロセスである。

ウェブカメラのキャリブレーションは、後続の計算精度に影響を与えることができ、アルゴリズムでエラーが徐々に蓄積されて大きくなることを回避する。それは、オブジェクトを効果的に計算する鍵である。

本発明は、キャリブレーションプロセスにおいて、高低差がなく均一に分布した、数が固定で固定位置にあるキャリブレーションブロックを用いて、キャリブレーションブロックの分布は実験に基づいて最も効率的に設計され、設置後にキャリブレーションブロックには高さの情報が含まれるため、キャリブレーションを１回するだけでよい。

本発明のウェブカメラとして、単眼ウェブカメラ又は双眼ウェブカメラを用いることができ、双眼ウェブカメラを用いた場合、各ウェブカメラに対して個別にキャリブレーションを行う。

図２に示すように、本発明の画像座標系をワールド座標系に変換するプロセスは、先に、画像座標系を画像平面座標系に変換し、続いて画像平面座標系をカメラ座標系に変換してから、カメラ座標系をワールド座標系に変換するプロセスである。

好ましくは、本発明は、下記変換式を用いて前記ウェブカメラの画像座標系をワールド座標系に変換する。

ここで、

はウェブカメラの内部パラメータ行列であり、

はウェブカメラの外部パラメータ行列であり、

はマッピング行列である。

本発明のウェブカメラが双眼ウェブカメラである場合、双眼ウェブカメラのそれぞれをキャリブレーションしてマッピング行列

を取得し、双眼ウェブカメラの座標及び行列を連立方程式に代入してワールド座標を求める。

Ｓ２０、ゴルフボールの位置決め：グロバール測位を用いて、ボールを打出した後にウェブカメラによって収集された第１フレームのピクチャー全体からゴルフボールの座標データを取得し、ボールを打出した後にウェブカメラによって収集された後続フレームピクチャーに対して、先に、ゴルフボールの落ち範囲を予測し、当該落ち範囲で当該フレームピクチャーの部分ピクチャーを取得し、続いて、当該部分ピクチャーにグロバール測位を用いてゴルフボールの座標データを取得する。

即ち、ゴルフボールの位置決め過程において、ボールを打出した後の第１フレームピクチャーの位置決めには全体的な位置決めを用い、後続の位置決めには落ち範囲を予測して部分的に位置決めする方法を用いる。従来技術において、各フレームピクチャーに対して、ピクチャー全体の位置決めを行って各フレームピクチャーにおけるゴルフボールの座標データを取得し、全体的な位置決めにおいて、特徴処理をピクチャー全体における全領域に対して行う必要があり、例えば、ターゲットを認識して、輪郭エッジに対して鮮明化処理を行い、輪郭の完全性を補正して、ボールの中心を取得し、ボール中心座標などを計算することなどを行い、ピクチャーに対する処理面積が大きく、画素点が多く、処理速度が遅い。

本発明は、ボールを打出した後、初めて位置決めするときに、第１フレームピクチャーに対して全体的な位置決めを１回行うだけでよく、後続で位置決めするときには、ピクチャー内の大部分の領域を削除して、落ち範囲内の部分領域のピクチャーを残し、残された部分ピクチャーのみに対して位置決めを行い、こうすると、ピクチャーのフレームごとに全体的な位置決めのフローを実施する必要がなく、部分ピクチャーは、元の全体図よりかなり小さいため、ゴルフシステムの位置決め中の処理速度を大幅に向上させることができ、また、元のピクチャーの処理する範囲を縮小したため、部分領域内に対してのみ位置決め処理を行い、干渉を効果的に除去でき、処理の効率及び精度を向上させる。

好ましくは、本発明は、ゴルフボールの位置決めステップＳ２０の前に、さらに、位置決めのトリガーを含み、具体的には、
ボールを打出する前に、先に、ゴルフボールの打出位置の座標を取得し、ゴルフボールの打出位置の座標を取得した後、ゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、当該位置での画素変化値が閾値を超えると、位置決めをトリガーしてボールを打出した後のピクチャーにおけるゴルフボールの位置決めを行う。

位置決めのトリガーを判断することで、ボールを打出する前の各フレームピクチャー全部に対して位置決め処理を行うことを回避でき、それによりシステムのピクチャー処理量を低下させ、システムの反応処理速度を向上させる。

ボールを打出する前に、ウェブカメラで先にピクチャーを収集し、予備位置決めを行ってピクチャーからゴルフボールの打出位置の座標を取得する。本発明は、ゴルフボールの打出位置の座標を取得した後、ボールを打出する前にゴルフボールの座標位置の変化に対してさらなるモニタリングを行わず、代わりにゴルフボールの打出位置での画素変化値に対するリアルタイムモニタリングし、これは、ゴルフボールの座標位置の変化のモニタリングは、図全体に対してグロバール測位を行う必要があるが、画素のモニタリングはゴルフボールの打出位置の部分ピクチャーを処理するだけでよく、ピクチャーの処理面積及び内容が減少したからである。こうすると、ボールを打出する前に、座標の位置決めの代わりに画素のモニタリングを使用することで、ゴルフシステムの反応速度を向上させることができる。

Ｓ３０、パラメータ計算：位置決めによって得られたゴルフボールの座標データをワールド座標系に代入してゴルフボールの移動パラメータを計算する。

図３に示すように、ステップＳ２０の位置決めによって得られた座標をワールド座標に変換すると、球速、サイドフライ角、打出角などのパラメータを含む移動パラメータを計算することができ、θはサイドフライ角で、γは打出角で、Ｖは空間球速である。

Ｓ４０、ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得する。

本発明は、ゴルフボールにマーク（ｍａｒｋ）が予め設けられ、こうすると、ピクチャーにおけるマーク（ｍａｒｋ）の角度変化に基づいて回転速度を計算することができる。

前景の輝度分布が不均一でかつ１フレームごとの輝度変化が大きいので、解像度が低いピクチャーからゴルフボール上のｍａｒｋを抽出することは、相当に困難であり、階調値の分割に適さない。本発明の勾配に基づく動的分割法は、解像度が低いピクチャーからゴルフボール上のｍａｒｋを正確に抽出することができ、後続の回転検出を保証する。

パラメータ計算ステップＳ３０を利用して位置決めによって得られた座標をワールド座標に変換すると、球速、サイドフライ角、打出角などのパラメータを計算することができ、続いて、ステップＳ４０と結合して、ゴルフボールの回転速度を取得すると、ショット後のゴルフボールの完全な移動軌跡と、軌跡でのゴルフボールの回転状態とをシミュレーション計算することができる。本発明の検出とシミュレーションは、一般に別々に行われ、シミュレーションは、一般にクライアントによって行われる。

具体的には、図４に示すように、本発明は、グロバール測位を用いてゴルフボールの座標データを取得し、具体的にはステップＳ２０１１～Ｓ２０１５を含む。

Ｓ２０１１、位置決めすべきピクチャーを取得し、前記ピクチャーに対してスケーリング及び補間処理を行う。

位置決めすべきピクチャーは、ボールを打出した後の第１フレームピクチャーでは当該フレームのピクチャー全体であるが、後続フレームピクチャーでは部分ピクチャーである。

ウェブカメラによって収集されたピクチャーには大量の無駄な情報が含まれているため、全部処理するとシステムの速度に影響を与えるから、先にピクチャーに対してスケーリング及び補間処理を行い、原図から大量の無駄な情報を削除してから原図の大きさに復元し、大量の無駄な情報を削除すると、システムの演算量を減らして速度を向上させる。また、当該ステップは、さらに、ゴルフクラブヘッドの反射光などの比較的小さい干渉を除去することができる。

図５に示すように、左側は原図で、大量の無駄な情報及びクラブヘッドが光を反射し、当該ピクチャーに対してスケーリング及び補間処理を行って右側の図５を取得し、このとき、ピクチャー内の大量の無駄な情報が削除されるとともに、クラブヘッドの反射光も削除される。

Ｓ２０１２、スケーリング及び補間処理後のピクチャーのハイライト領域をＲＯＩとして設定し、原図にマッピングして戻させ、全ての候補ターゲットを有するピクチャーを取得し、最大クラス間分散法を用いて前記候補ターゲットのピクチャーを２値化して、鮮明なターゲット輪郭を取得する。

当該ステップは、ピクチャー内で前記オブジェクトの輪郭を鮮明化するために用いられる。本発明の実施例では、後続のスクリーニングを容易にするために、最大クラス間分散法（ＯＴＳＵ）を用いてピクチャー中の全ての候補ターゲットを２値化して、鮮明な輪郭を取得する。図６のＡに示すように、最大クラス間分散法で２値化した後に鮮明なターゲット輪郭を有するピクチャーである。

Ｓ２０１３、当該ターゲット輪郭に対して面積、アスペクト比、ウィンドウスライディング・統計スクリーニングを行った後、ゴルフボールではないターゲットを削除し、ゴルフボールターゲットを残して、ゴルフボールターゲットのピクチャーを得る。

当該ステップは、ピクチャーに存在する、ゴルフボールではないターゲットである異物、例えばピクチャー中のクラブなどの形状を削除するために用いられる。

図６～図７に示すように、図６のＡは、最大クラス間分散法で２値化処理した後のピクチャーであり、当該ピクチャーには異物が存在し、続いて、面積、アスペクト比のスクリーニングを順番に行って、図７のＤピクチャーを取得し、Ａピクチャーと比べて、このとき、ゴルフボールではないターゲットはすでにＤピクチャーから削除された。

さらに、ターゲットに対して面積、アスペクト比のスクリーニングを行ってからウィンドウスライディング・統計スクリーニングを行って、ゴルフボール輪郭を得る。輪郭に対するウィンドウスライディング・統計スクリーニングにより、ボール輪郭のスクリーニングの精度を向上させ、一部のピクチャーから不規則なゴルフボール輪郭を削除することにより過度なスクリーニングが引き起こされ、ボール輪郭が欠落することを回避できる。

図８に示すように、ＡＢはピクチャー中の前景輪郭の２つの点であり、当該２つの点を繋いた線を幅として長方形を描き、ＡＢ両点間の距離を調整することで長方形の幅を制御し、経験値で長方形の高さを調整し、輪郭点ＡＢの中央点が長方形内に位置し、かつ、前景輪郭の重心が経験値と一致する場合、ＡＢ間の輪郭が円輪郭と一致する。図９に示すように、当該輪郭は不規則であるが、図８のウィンドウスライディング・統計スクリーニング条件と一致すると、図９のターゲット輪郭がゴルフボールの円輪郭であると考えられ、過度に削除されることを防止できる。

Ｓ２０１４、スクリーニングして得られたゴルフボールターゲットのピクチャー中のゴルフボール輪郭をＨｏｕｇｈ変換で補正して、完全なゴルフボール輪郭を得る。

図１０の左側の部分に示すように、陰影などの要因に影響され、ゴルフボールターゲットのピクチャーにおけるゴルフボール輪郭は完全な円形ではなく、こうなるとピクチャー内でゴルフボールの中心を位置決めすることができない。したがって、ターゲットピクチャー中のボール輪郭を変換補正する必要がある。本発明の実施例は、Ｈｏｕｇｈ変換で補正してゴルフボールの完全な円形輪郭を取得し、図１０の右側の部分に示すように、補正後の完全なボール輪郭のピクチャーである。

Ｓ２０１５、前記完全なゴルフボール輪郭にしたがってピクチャーにおけるゴルフボールのボール中心座標を取得する。

完全なゴルフボール輪郭のピクチャーでは、ボールの中心を正確に位置決めしてから、画素点座標によりゴルフボールのボール中心座標を取得することができる。

具体的には、図１１に示すように、本発明の、ボールを打出した後にウェブカメラによって収集された後続フレームピクチャーに対して、先に、ゴルフボールの落ち範囲を予測し、当該落ち範囲で当該フレームピクチャーの部分ピクチャーを取得し、続いて、当該部分ピクチャーにグロバール測位を用いてゴルフボールの座標データを取得する前記ステップは、具体的には、ステップＳ２０２１～Ｓ２０２４を含む。

Ｓ２０２１、ボールを打出した後の第１フレームピクチャーにおけるボール中心座標と、ゴルフボールが表示画面のエッジに到達する経験軌跡と、球速のワールド記録とに基づいて、第２フレームピクチャーでのゴルフボールの落ち範囲を予測する。

ゴルフボールが表示画面のエッジに到達する軌跡の数は有限であり、この有限の軌跡を取り出して、球速のワールド記録と結合して、落ち範囲の長さと幅の境界を取得してから、第１フレームピクチャーにおけるボール中心座標と結合して、ゴルフボールの第２フレームピクチャーにおける落ち範囲を予測できる。

Ｓ２０２２、前記予測した第２フレームピクチャーにおけるゴルフボールの落ち範囲にしたがって、第２フレームピクチャーに対してトリミングと縮小を行って、当該フレームピクチャーの部分ピクチャーを取得し、当該部分ピクチャーは前記落ち範囲内にゴルフボール輪郭が含まれているピクチャーであり、当該部分ピクチャーを直接第２次位置決めピクチャーとする。

第２フレームピクチャーにおける落ち範囲の予測が完了した後、当該落ち範囲を用いて第２フレームピクチャーに対してトリミングと縮小処理を行って、範囲の縮小処理後の部分ピクチャーを取得し、従来技術は、第１フレームピクチャーの後の各フレームに対してピクチャー全体の画像を処理する必要があり、本発明は、当該フレームピクチャーの落ち範囲内の部分領域のみを処理するため、１ピクチャーあたりの処理量を減らし、ゴルフシステムの位置決め過程における処理速度を向上させる。

本発明の実施例は、第２フレームピクチャーに対してトリミングと縮小を行って、当該フレームピクチャーの部分ピクチャーを取得し、ゴルフボールの軌跡は必ず当該落ち範囲内にあるから、当該部分ピクチャー内には、必ずゴルフボールの輪郭がある。図１２に示すように、ゴルフボールの輪郭は、予備作成する度に、いつも当該フレームピクチャーにおける予測落ち範囲内に位置する。

Ｓ２０２３、２回目位置決めのピクチャーにおける落ち範囲をＲＯＩとして設定し、ＲＯＩにも同様にグロバール測位を使用して当該部分ピクチャーにおけるゴルフボールのボール中心座標を取得する。

さらに、トリミングと縮小によって得られた部分ピクチャーは、原図の全体的な位置決めではなく、落ち範囲をＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、関心領域）に設定してから、ＲＯＩを位置決め領域として、ステップＳ２０１１～Ｓ２０１５のグロバール測位などの方法を使用してゴルフボールのボール中心座標を取得し、即ち、ＲＯＩを用いてピクチャーの領域に対して位置決めを行い、これはピクチャー全体に対する全体的な位置決めに比べて、非常に小さい一部分のピクチャー領域に対して部分的な位置決めを行うため、当該部分ピクチャーにおけるゴルフボールのボール中心座標を迅速に取得することができる。全体的な位置決めでは、ピクチャー全体の全ての領域を処理する必要があることに比べて、部分的な位置決めでは、ゴルフシステムの位置決め処理中の処理速度、反応速度を大幅に向上させる。

Ｓ２０２４、前の２回の位置決めによって得られたボール中心座標を使用して、第３フレームピクチャーにおけるゴルフボールの落ち範囲を予測し、当該落ち範囲にしたがって第３フレームピクチャーに対してトリミングと縮小を行って、３回目位置決めのピクチャーを取得し、３回目位置決めのピクチャーにおける落ち範囲をＲＯＩとして設定し、ＲＯＩに対してグロバール測位を行って当該部分ピクチャーにおけるゴルフボールのボール中心座標を取得し、同様に類推する。図１２に示すように、毎回の位置決め落ち範囲の予測、トリミングと縮小、及び部分ピクチャーの位置決めを順番に行って、次回の位置決めプロセスにおけるボール中心座標を迅速に取得することができる。

本発明の実施例は、予測により落ち範囲を直接位置決めし、さらにピクチャーのトリミングと縮小により部分ピクチャーを取得して位置決めを行い、ピクチャーの処理領域を縮小し、位置決め時のピクチャー内の特徴の処理量を減らすことにより、システムの処理速度が大幅に向上し、ユーザの使用体験を向上させ、システムの遅延、フリーズなどの悪い体験を回避した。

具体的には、図１３に示すように、本発明は、位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得し、具体的には、ステップＳ４０１～Ｓ４０４を含む。

Ｓ４０１、ウェブカメラからの赤外平行光を基にボール表面の光照射分布をシミュレートして光照射分布シミュレーション図を取得し、後続で位置決めによって得られたピクチャーにおけるボール表面の光照射分布を当該光照射分布シミュレーション図に追加して光照射分布を調整し、光照射分布調整図を取得する。

図１５の左側の図に示すように、本発明は、ゴルフボール上にマーク（ｍａｒｋ）が予め設けられており、こうすると、ピクチャー中のマーク（ｍａｒｋ）に基づいてマーク図を取得できる。

図１４の左側に示すように、先に、ボール表面の光照射の分布をシミュレートし、当該シミュレーション分布は、適用範囲は広いが、その分布効果が悪いため、後続で位置決めによって得られたボール表面光照射分布を追加してから調整して、右側の光照射分布調整図を取得し、当該環境での最適光照射分布効果を達成することができる。

Ｓ４０２、輝度変化による影響を除去するために、位置決めによって得られた原図と当該光照射分布調整図とを差分して熱エネルギーマップを取得し、前記熱エネルギーマップ上でｘ、ｙ軸方向の勾配を求め、さらに重畳して部分的な変化が最も顕著なマーク図を取得する。

前景の輝度分布が不均一であるとともに、１フレームピクチャーごとの輝度変化が大きく、得られたピクチャーの解像度が低く、このとき、階調値分割を用いると、ゴルフボール上のマーク（ｍａｒｋ）を明瞭かつ正確に得ることが難しい。本発明は、勾配に基づく動的分割法を用い、
図１５に示すように、先に、左側の原図と光照射分布調整図とを差分した後、中間の熱エネルギーマップを取得し、輝度変化による影響は当該熱エネルギーマップによって除去される。続いて、当該熱エネルギーマップ上でｘ、ｙ軸方向における勾配を求めて重畳すると、右側の部分的な変化が最も顕著なマーク図を取得する。

Ｓ４０３、ベクトル特異値分解方法を用いて前記マーク図からマークの角度特徴を抽出し、事前に作成した角度サンプル特徴ライブラリを対照して、角度サンプル特徴ライブラリ内で当該角度特徴にマッチングする３次元座標情報を取得する。

特異値分解（ＳＶＤ）を用いて、マーク図からマーク（ｍａｒｋ）の角度特徴を抽出する。角度サンプル特徴ライブラリには、ゴルフボール上のマーク（ｍａｒｋ）の様々な角度、及び様々な角度に対応する３次元座標情報が格納されている。ゴルフボール上のマーク（ｍａｒｋ）のピクチャーにおける角度特徴を抽出した後、角度サンプル特徴ライブラリにマッチングさせて、対応する３次元座標情報を取得する。

本発明の実施例の特異値分解（ＳＶＤ）方法によるマークの角度特徴の抽出は、ゴルフボール上のマーク（ｍａｒｋ）が固定された状況で行われる。他の実施例では、ゴルフボール上のマーク（ｍａｒｋ）が固定されていない場合には、マーク（ｍａｒｋ）の重心を見つけ出してターゲット点とする方法を用いて、ターゲット点のボール表面に対応する３次元座標に基づいて回転速度を計算することができる。

Ｓ４０４、連続する２つのフレームのピクチャーにおけるマークで取得した３次元座標情報でゴルフボールの回転速度を計算する。

ゴルフボールの回転速度を取得した後、位置決めによって得られた座標情報と結合して、軌跡の各点でのゴルフボールの回転状態をシミュレートすることができ、システムシミュレーションのリアル感を向上させる。

本発明の実施例にて提案されるゴルフボールオントップ式検出方法は、ゴルフボールの位置決めを行うとき、ボールを打出した後の第１フレームピクチャーに対して、全体的な位置決め方法を用いてゴルフボールの第１フレームピクチャーにおける座標データを取得し、後続の位置決めでは、落ち範囲の予測及び部分的な位置決めの方法を用いてゴルフボールの座標データを取得する。本発明は、グロバール測位と部分的な位置決めとを結合する方法を用いて、ピクチャー内でゴルフボールに対して位置決め処理を行う際に、全体的な位置決めを行うために各ピクチャーをピクチャーごとに全体的に処理する必要がなく、ゴルフシステムの位置決め中の処理速度を大幅に向上させ、ゴルフシステムの効率及びユーザ体験を向上させる。

本発明は、ゴルフシミュレーションシステムをさらに提供し、前記システムは、メモリと、プロセッサと、前記メモリに記憶されており、かつ、前記プロセッサによって実行されるように構成されたコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されると、上記の方法が実施される。

例示的に、前記コンピュータプログラムは、１つ以上のモジュール／ユニットに分割されてもよく、前記１つ以上のモジュール／ユニットは、前記メモリに格納されて、前記プロセッサによって実行されて本発明を完了する。前記１つ以上のモジュール／ユニットは、特定の機能を実現できる一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、前記非同期メッセージ処理端末装置における前記コンピュータプログラムの実行プロセスを記述するために用いられる。

前記主制御モジュールは、プロセッサと、メモリとを含むが、これらに限定されない。当業者であれば、上記部材は、システムに基づく例示にすぎず、主制御モジュールを限定するものではなく、上記よりも多い又は少ない部材を含んでも、一部の部材を組み合わせても、又は異なる部材を含んでもよく、例えば、主制御モジュールは、さらに、入出力装置、ネットワークアクセス装置、バスなどを含み得ることを理解できる。

いわゆるプロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、当該プロセッサは、いずれのレギューラプロセッサなどであってもよく、前記プロセッサは、前記装置の制御センタであり、様々なインターフェース及び回線で主制御モジュール全体の各部分を接続する。

前記メモリは、前記コンピュータプログラム及び／又はモジュールを格納するために用いられ、前記プロセッサは、前記メモリ内に格納されているコンピュータプログラム及び／又はモジュールを稼働又は実行すること、及びメモリ内に格納されているデータを呼び出すことにより、前記装置の様々な機能を実現する。前記メモリは、主に、プログラム格納領域及びデータ格納領域を含み得、ここで、プログラム格納領域は、オペレーティングシステムと、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを格納することができ、データ格納領域は、使用に応じて作成されたデータ（例えばオーディオデータ、電話帳など）などを格納することができる。さらに、メモリは、速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えばハードディスク、内部ストレージ、プラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の不揮発性固体メモリデバイスを含んでもよい。

本発明は、コンピュータ可読記憶媒体をさらに提案し、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムが実行されると、上記の方法が実施される。

本発明のゴルフボールオントップ式検出方法が集積されたモジュール／ユニットは、ソフトウェア機能ユニットの形態で実装されるとともに、独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に格納されてもよい。本発明のコンピュータ可読記憶媒体の具体的な実施形態は、上記のゴルフボールオントップ式検出方法に用いられる各実施例と基本的に同じであるため、ここでは詳細な説明を省略する。

なお、上述した実施例は例示的なものにすぎず、ここで、分離されている部品として説明した前記ユニットは、物理的に分離されたものであってもなくてもよいし、ユニットとして表示された部材は、物理的なユニットであってもなくてもよく、すなわち、同一の場所に位置しても、複数のネットワークユニットに分散されていてもよい。実際の必要性に応じて、モジュールの一部又は全部を選択して本実施例の技術的解決手段を達成することができる。また、本発明にて提供される実施例の図面において、モジュール間の接続関係は、モジュール間に通信接続が存在することを示し、具体的には、１本以上の通信バス又は信号線として実装され得る。当業者は、創造的な働きなしに理解し、実施することができる。

上記は、本発明に挙げられた例を明確に説明するためのものにすぎず、本発明の特許請求の範囲を制限するものではなく、ここで、全ての実施形態を一一列挙することができず、本発明の構想の下で、本発明の技術的解決手段の内容を利用して行われた等価の構造変換、又は他の関連技術分野における直接的／間接的適用は、いずれも本発明の特許請求の保護範囲内に含まれる。

Claims (8)

1. 頂面にウェブカメラが配置されたゴルフシステムによる、マークが設けられているゴルフボールの検出に適用されるゴルフボールオントップ式検出方法であって、
   ウェブカメラのキャリブレーション：ウェブカメラの画像座標系をワールド座標系に変換するステップＳ１０と、
   ゴルフボールの位置決め：グロバール測位を用いて、ボールを打出した後にウェブカメラによって収集された第１フレームのピクチャー全体からゴルフボールの座標データを取得するステップＳ２０と、
   ボールを打出した後にウェブカメラによって収集された後続フレームピクチャーに対して、先に、ゴルフボールの落ち範囲を予測し、当該落ち範囲で当該フレームピクチャーの部分ピクチャーを取得し、続いて、当該部分ピクチャーにグロバール測位を用いてゴルフボールの座標データを取得し、
   パラメータ計算：位置決めによって得られたゴルフボールの座標データをワールド座標系に代入してゴルフボールの移動パラメータを計算するステップＳ３０と、
   ゴルフボールの回転速度の検出：位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得するステップＳ４０と、を含む、
   ことを特徴とするゴルフボールオントップ式検出方法。
2. 前記ウェブカメラの画像座標系を以下の変換式を用いてワールド座標系に変換し、
   

   

   ここで、
   

   

   はウェブカメラの内部パラメータ行列であり、
   

   

   はウェブカメラの外部パラメータ行列であり、
   

   

   はマッピング行列である、
   ことを特徴とする請求項１に記載の方法。
3. ゴルフボールの位置決めステップＳ２０の前に、さらに、位置決めのトリガーを含み、具体的には、
   ボールを打出する前に、先に、ゴルフボールの打出位置の座標を取得し、ゴルフボールの打出位置の座標を取得した後、ゴルフボールの打出位置での画素変化値をリアルタイムでモニタリングし、当該位置での画素変化値が閾値を超えると、位置決めをトリガーしてボールを打出した後のピクチャーにおけるゴルフボールの位置決めを行う、
   ことを特徴とする請求項１に記載の方法。
4. グロバール測位を用いてゴルフボールの座標データを取得する前記ステップは、具体的には、
   位置決めすべきピクチャーを取得し、前記ピクチャーに対してスケーリング及び補間処理を行うＳ２０１１と、
   スケーリング及び補間処理後のピクチャーのハイライト領域をＲＯＩとして設定し、原図にマッピングして戻させ、全ての候補ターゲットを有するピクチャーを取得し、最大クラス間分散法を用いて前記候補ターゲットのピクチャーを２値化して、鮮明なターゲット輪郭を取得するＳ２０１２と、
   当該ターゲット輪郭に対して面積、アスペクト比、ウィンドウスライディング・統計スクリーニングを行った後、ゴルフボールではないターゲットを削除し、ゴルフボールターゲットを残して、ゴルフボールターゲットのピクチャーを得るＳ２０１３と、
   スクリーニングして得られたゴルフボールターゲットのピクチャー中のゴルフボール輪郭をＨｏｕｇｈ変換で補正して、完全なゴルフボール輪郭を得るＳ２０１４と、
   前記完全なゴルフボール輪郭にしたがってピクチャーにおけるゴルフボールのボール中心座標を取得するＳ２０１５と、を含む、
   ことを特徴とする請求項１に記載の方法。
5. ボールを打出した後にウェブカメラによって収集された後続フレームピクチャーに対して、先に、ゴルフボールの落ち範囲を予測し、当該落ち範囲で当該フレームピクチャーの部分ピクチャーを取得し、続いて、当該部分ピクチャーにグロバール測位を用いてゴルフボールの座標データを取得する前記ステップは、具体的には、
   ボールを打出した後の第１フレームピクチャーにおけるボール中心座標と、ゴルフボールが表示画面のエッジに到達する経験軌跡と、球速のワールド記録とに基づいて、第２フレームピクチャーでのゴルフボールの落ち範囲を予測するＳ２０２１と、
   前記予測した第２フレームピクチャーにおけるゴルフボールの落ち範囲にしたがって、第２フレームピクチャーに対してトリミングと縮小を行って、当該フレームピクチャーの部分ピクチャーを取得し、当該部分ピクチャーは前記落ち範囲内にゴルフボール輪郭が含まれているピクチャーであり、当該部分ピクチャーを直接第２次位置決めピクチャーとするＳ２０２２と、
   ２回目位置決めのピクチャーにおける落ち範囲をＲＯＩとして設定し、ＲＯＩにも同様にグロバール測位を使用して当該部分ピクチャーにおけるゴルフボールのボール中心座標を取得するＳ２０２３と、
   前の２回の位置決めによって得られたボール中心座標を使用して、第３フレームピクチャーにおけるゴルフボールの落ち範囲を予測し、当該落ち範囲にしたがって第３フレームピクチャーに対してトリミングと縮小を行って、３回目位置決めのピクチャーを取得し、３回目位置決めのピクチャーにおける落ち範囲をＲＯＩとして設定し、ＲＯＩに対してグロバール測位を行って当該部分ピクチャーにおけるゴルフボールのボール中心座標を取得し、同様に類推するＳ２０２４と、を含む、
   ことを特徴とする請求項４に記載の方法。
6. 位置決めに使用されるピクチャーにおけるゴルフボール上のマークを勾配に基づく動的分割法で抽出し、前記抽出されたマークのピクチャーにおける角度変化によって回転速度を取得するステップは、具体的には、
   ウェブカメラからの赤外平行光を基にボール表面の光照射分布をシミュレートして光照射分布シミュレーション図を取得し、後続で位置決めによって得られたピクチャーにおけるボール表面の光照射分布を当該光照射分布シミュレーション図に追加して光照射分布を調整し、光照射分布調整図を取得するＳ４０１と、
   輝度変化による影響を除去するために、位置決めによって得られた原図と当該光照射分布調整図とを差分して熱エネルギーマップを取得し、前記熱エネルギーマップ上でｘ、ｙ軸方向の勾配を求め、さらに重畳して部分的な変化が最も顕著なマーク図を取得するＳ４０２と、
   ベクトル特異値分解方法を用いて前記マーク図からマークの角度特徴を抽出し、事前に作成した角度サンプル特徴ライブラリを対照して、角度サンプル特徴ライブラリ内で当該角度特徴にマッチングする３次元座標情報を取得するＳ４０３と、
   連続する２つのフレームのピクチャーにおけるマークで取得した３次元座標情報でゴルフボールの回転速度を計算するＳ４０４と、を含む、
   ことを特徴とする請求項１に記載の方法。
7. メモリと、プロセッサと、前記メモリに記憶され、かつ、前記プロセッサによって実行されるように構成されたコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～請求項６のいずれか１項に記載の方法が実施される、
   ことを特徴とするゴルフシミュレーションシステム。
8. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムが実行されると、請求項１～請求項６のいずれか１項に記載の方法が実施される、
   ことを特徴とするコンピュータ可読記憶媒体。

Images