JP5811264B2 - 仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法 - Google Patents

Description

本発明は、仮想ゴルフシミュレーション装置及びその方法と、これに用いられるセンシング装置及びセンシング方法に係り、特に、仮想のゴルフコースがイメージとしてシミュレーションされ、使用者が打撃したゴルフボールの軌跡がセンシング装置によりセンシングされて上記仮想のゴルフコースでシミュレーションされる仮想ゴルフシミュレーション装置及びその方法と、これに用いられるセンシング装置及びセンシング方法に関する。

近年、野球、サッカー、バスケットボール、そしてゴルフのような人気スポーツを室内や特定の場所でシミュレーションを通じてインタラクティブスポーツゲーム（Ｉｎｔｅｒａｃｔｉｖｅ Ｓｐｏｒｔｓ Ｇａｍｅ）の形態で楽しめるようにする多種多様な装置の開発が活発に行われている。

特に、最近では、いわばスクリーンゴルフシステムが登場し、使用者がゴルフクラブを持ってスイングをして打撃マット上のボールを打撃すると、センシング装置がそれをセンシングし、移動するゴルフボールの物理的特性を抽出し、これに基づいて仮想のゴルフコースでボールの軌跡がシミュレーションされるようにすることによって、使用者が仮想の現実上でゴルフを楽しめるようになった。

このようなインタラクティブスポーツゲームにおいてゴルフボールのような球を使用するスポーツに対するシミュレーションでは、運動するボールの動きに関する物理的情報を正確にセンシングする必要があり、そのための各種センシングシステムの研究開発が活発に行われている。

例えば、赤外線センサーを用いたセンシング装置、レーザーセンサーを用いたセンシング装置、音響センサーを用いたセンシング装置、そしてカメラセンサーを用いたセンシング装置などを含め、種々のセンシング方式が登場している。

本発明は、使用者が打撃マット上のいかなる位置にボールを載せておいてもこれを認識し、スイングプレートに傾斜が具現されて所定角度で傾いてもボールの位置を迅速で正確に見つけることができ、使用者がボールを打撃する正確な時点をセンシングするために別途のトリガーセンサーを備えなくてすみ、且つ比較的安価なセンシング装置を用いても正確に打撃を感知可能にすることによって、コストの低減とセンシングの正確性及び信頼性の向上を図ることができる仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法を提供することを目的とする。

本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、打撃がなされる一定撮影範囲のイメージを連続して取得する少なくとも一つのセンサー部と、前記センサー部からイメージを入手して保存するグラバーと、前記グラバーからイメージを受信して処理することによって、打撃準備が完了したか否か、及び使用者による打撃がなされたか否かを感知するショットディテクタと、前記ショットディテクタにより打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出するイメージ処理部と、を備える。

一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、打撃がなされる一定撮影範囲のイメージを連続して取得するカメラユニットと、前記カメラユニットからイメージを入手して保存するグラバー、該グラバーからイメージを受信して処理することによって、打撃準備が完了したか否か及び使用者による打撃がなされたか否かを感知するショットディテクタ、及び該ショットディテクタにより打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出するイメージ処理部を有するセンシング処理ユニットと、を備えるセンシング装置と；該センシング処理ユニットで抽出された情報に基づいてボールの軌跡に対するシミュレーション映像を具現する映像具現ユニットと；を備える。

一方、本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法は、打撃がなされる一定撮影範囲のイメージを連続して取得する段階と、前記連続して取得されるイメージを受信して保存する段階と、前記保存されたイメージを受信してイメージ処理をすることによって打撃準備が完了したか否かを感知する段階と、前記打撃準備が完了した場合に、使用者による打撃がなされたか否かを感知する段階と、前記打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出する段階と、を含む。

一方、本発明の他の実施例に係る仮想ゴルフシミュレーションのためのセンシング方法は、ボールの基準イメージとしてあらかじめ設定されるボールテンプレートを保存する段階と、打撃がなされる一定撮影範囲のイメージを連続して取得する段階と、前記取得されたイメージからボール候補を抽出し、前記ボールテンプレートを前記ボール候補と比較することによってボールを検索して認識する段階と、前記認識されたボールがあらかじめ設定された条件を満たすか否かを判断することによって打撃準備が完了したか否かを感知する段階と、前記打撃準備が完了した場合に、前記取得されたイメージにおいてボールの位置する座標を中心にしてあらかじめ設定された大きさの領域を関心領域として設定し、該関心領域内のイメージと前記ボールテンプレートの実質的に半分に該当する部分として設定されるハーフテンプレートとを比較し、前記関心領域内にボールが存在するか否かを判断することによって打撃がなされたか否かを感知する段階と、前記打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出する段階と、を含む。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法は、使用者が打撃マット上のいかなる位置にボールを載せておいてもこれを認識し、スイングプレートに傾斜が具現されて所定角度で傾いてもボールの位置を迅速で正確に見つけることができ、使用者がボールを打撃する正確な時点をセンシングするために別途のトリガーセンサーを備えなくてすみ、且つ比較的安価なセンシング装置を用いても正確に打撃を感知可能にすることによって、コストの低減且つセンシングの正確性及び信頼性の向上を図るという効果を奏する。

本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図である。 本発明の一実施例に係る仮想ゴルフシミュレーション装置の構成を示すブロック図である。 図２に示したセンシング装置のより具体的な構成、及び各構成要素の機能を示す概略図である。 （ａ）は、ソースイメージにおいて打撃領域が設定された状態を示す図であり、（ｂ）は、打撃領域設定手段による打撃領域設定の原理を説明するための図である。 （ａ）は、図４（ａ）から分離された打撃領域を示す図であり、（ｂ）は、図５（ａ）のイメージに前処理過程を行ったイメージを示す図であり、（ｃ）及び（ｄ）は、それぞれ、ボールテンプレート及びハーフテンプレートを示す図である。 ボール感知手段によるボール検索過程を示すフローチャートである。 ボールレディー手段による打撃準備感知過程を示すフローチャートである。 （ａ）は、打撃感知のための関心領域を表示したイメージであり、（ｂ）は、図８（ａ）の状態で関心領域内にボールが存在しなくなった状態のイメージである。 打撃感知手段による打撃感知過程を示すフローチャートである。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法の実施例を、図面を参照して詳しく説明する。

まず、図１及び図２を参照して、本発明の一実施例に係る仮想ゴルフシミュレーション装置及びこれに用いられるセンシング装置について説明する。

図１は、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図であり、図２は、図１に示したスクリーンゴルフシステムに適用された仮想ゴルフシミュレーション装置の構成を示すブロック図である。

図１及び図２に示すように、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、使用者がボールＢを打撃することをセンシングするためのセンシング装置Ｓと、仮想のゴルフコースに関する映像を具現し、センシング装置Ｓのセンシング結果に基づいて、仮想のゴルフコースでボールの軌跡に対するシミュレーション映像を提供するようにして仮想ゴルフシミュレーションを進行するシミュレータ１と、を備えている。

図１に示すように、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムは、所定大きさの空間を提供するゴルフブース２の床面に設けられたスイングプレート１００上に使用者がゴルフスイングをするための打席１１０が設けられ、該打席１１０の一側には打撃マット１２０が設けられており、使用者が打席１１０で打撃マット１２０上のボールＢをゴルフスイングにより打撃でき、且つ前方にはスクリーン３が設けられており、シミュレータ１から伝達された映像情報を映像として出力するための装置（図２の映像出力部３０に相当し、例えばビームプロジェクトなどがある。）がスクリーン３上に仮想ゴルフシミュレーションに関する映像を投影できるようになっている。

ここで、打席１１０及び打撃マット１２０は、ゴルフブース２の床面に設けられてもよいが、図１に示すように、スイングプレート１００上に設けられてもよい。

スイングプレート１００は、前後左右方向に所定角度で傾斜可能に設けられており、シミュレータ１に接続して、現在具現されている仮想のゴルフコースの地形に対応して勾配を形成するようになっている。

打撃マット１２０は、人工芝で作られており、図１に示すように、実際ゴルフ場のフェアウェイ、ラフ及びバンカーにそれぞれ対応するようにフェアウェイゾーン１２１、ラフゾーン１２２及びバンカーゾーン１２３が別々に設けられている。ここで、好ましくは、フェアウェイゾーン１２１、ラフゾーン１２２及びバンカーゾーン１２３のそれぞれについて、人工芝の長さを別々にしたり、異なる材質にしたりすることで、実際と略同様にすればよい。図１では、打撃マット１２０がフェアウェイゾーン１２１、ラフゾーン１２２及びバンカーゾーン１２３を有する構成を示しているが、これに限定されず、フェアウェイゾーン１２１のみを有する構成であってもよく、フェアウェイゾーン１２１に加えてラフゾーン１２２又はバンカーゾーン１２３のいずれかを有する構成であってもよい。図面番号１２４は、ティー（Ｔｅｅ）を表す。

一方、ゴルフブース２内にはセンシング装置Ｓが設けられており、使用者がボールＢを打撃することがセンシングされるが、図１及び図２に示すように、本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置Ｓは、カメラユニット５０及びセンシング処理ユニット６０を備えている。

カメラユニット５０は、一つのイメージセンシングのためのセンサー部で構成されてもよく、２つ以上のセンサー部で構成されてもよいが、移動するボールＢのイメージを取得して３次元空間におけるボールの座標を抽出するには、図１に示すように、２以上のセンサー部５１，５２によりステレオ（Ｓｔｅｒｅｏ）方式のカメラユニットとすることが好ましい。

一方、図２に示すように、センシング装置Ｓは、複数個のセンサー部５１，５２で構成されるカメラユニット５０と、該カメラユニット５０で取得したイメージを処理することによって、移動するボールの物理的特性を抽出するセンシング処理ユニット６０と、を備えている。ここで、移動するボールの物理的特性としては、ボールの速度、ボールの移動方向（水平方向の移動角度）、ボールの高さ角（垂直方向の移動角度）、ボールにかかるスピン（Ｓｐｉｎ）などが含まれる。

センシング処理ユニット６０は、カメラユニット５０で取得したソースイメージ（Ｓｏｕｒｃｅ Ｉｍａｇｅ）をフレーム単位で順次に入手して収集するグラバー７０と、グラバー７０から伝送されたイメージを処理することによって、打撃準備が完了したか否か、及び使用者による打撃がなされたか否かを感知するショットディテクタ８０と、ショットディテクタ８０で打撃が感知されると、ショットディテクタ８０から打撃に関連したイメージを受信して所定のイメージ処理をすることによって、移動するボールの物理的特性情報を抽出するイメージ処理部９０と、を備えている。

一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置を構成するシミュレータ１は、制御部Ｍ、データベース１０、映像処理部２０及び映像出力部３０などを備えることが好ましい。

データベース１０は、仮想ゴルフシミュレーションに必要な全てのデータを保存する。例えば、システム駆動に必要なデータ、仮想のゴルフコースの映像の具現に関するデータ、ボールの軌跡に対するシミュレーション映像の具現に関するデータなどを保存する。

映像処理部２０は、仮想のゴルフコースに関する映像や仮想のゴルフコースで展開されるボールの軌跡に対するシミュレーション映像などを具現するための所定の映像処理を行う。

映像出力部３０は、映像処理部２０から伝送された映像情報をスクリーン上に出力し、使用者が見ることができるようにする。

制御部Ｍは、センシング装置Ｓからセンシング結果に基づく情報を受信し、データベース１０、映像処理部２０及び映像出力部３０などの全ての構成要素の動作を制御する。すなわち、制御部Ｍ、データベース１０、映像処理部２０などは、センシング装置Ｓのセンシング結果に基づいてボールの軌跡に対するシミュレーション映像を具現する映像具現手段として機能する。

一方、図３を参照して、図２に示したセンシング装置Ｓのより具体的な構成、及び各構成要素の機能について説明する。

図３に示すように、本発明に係るセンシング装置において情報の流れは、カメラユニット５０→グラバー７０→ショットディテクタ８０→イメージ処理部９０→シミュレータ１の順となる。

カメラユニット５０は、打席と打撃マットが設けられている部分を含む一定範囲を撮影しながら１秒当たり数百フレームのイメージを取得する。

このように取得されたイメージはグラバー７０に伝達され、グラバー７０は、カメラユニット５０からのイメージを保存しながらショットディテクタ８０に伝達し、イメージ処理がなされるようにする。

ショットディテクタ８０は、グラバー７０から受信したイメージからボールを感知する、すなわち、イメージ上でボールを検索するボール感知手段８１と、ボール感知手段８１により感知されたボールが、あらかじめ設定された条件を満たすか否かを感知することによって、打撃準備が完了したか否かを決定するボールレディー手段８２と、上記打撃準備の完了した位置からボールが移動したか否かを判断することによって、使用者により打撃がなされたか否かを決定する打撃感知手段８３と、打撃感知手段８３により打撃が感知される場合に、使用者によりボールが打撃されることに対する複数のフレームのイメージを保存し、イメージ処理部９０に伝送するバッファリング手段８４と、を備えることが好ましい。

ここで、ボール感知手段８１は、グラバー７０から伝達されたイメージから、使用者により打撃がなされる所定大きさの打撃領域を設定する打撃領域設定手段８１ａと、該設定された打撃領域内でボール候補を抽出し、該候補からボールを見つけるボール認識手段８１ｂと、を備えることが好ましい。

ここで、スイングプレート上の打撃マットに該当する領域を打撃領域として設定することが好ましいが、これについては図４を参照して後述する。

そして、ボール認識手段８１ｂは、あらかじめ設定されて保存されたボールテンプレートまたはハーフテンプレートを基準にしてボールを見つけるが、これについては図５を参照して後述する。

一方、打撃感知手段８３は、ボールレディー手段８２によりボールがレディー状態にある位置座標を中心にしてあらかじめ設定された大きさの領域を関心領域として設定する関心領域設定手段８３ａと、該関心領域内に上記感知されたボールが存在するか否かを判断することによって、ボールに対する打撃がなされたか否かを決定する関心領域チェック手段８３ｂと、を備えることが好ましい。打撃感知に関する具体的な事項は後述する。

このショットディテクタ８０は、グラバー７０から伝達されたイメージを処理することで打撃準備が完了したか否かを感知し、打撃準備が完了した場合に、使用者がゴルフクラブで打撃マット上のボールを打撃したか否かを感知する。

仮に、打撃が行われたならば、ショットディテクタ８０は、打撃時点のイメージ、その前後の複数フレームのイメージをバッファリング手段８４に保存するが、これは、イメージ処理部９０に実時間伝送されてイメージ処理がなされるようにするためである。

イメージ処理部９０は、ショットディテクタ８０が打撃を感知した場合に伝送されるイメージを処理することによって、移動するボールの物理的特性を抽出してシミュレータ１に伝送する。

次に、図４から図６を参照して、本発明の一実施例に係るセンシング装置のショットディテクタがグラバーから受信したイメージからボールを見つける過程について説明する。

図４（ａ）は、グラバー７０（図３参照）からショットディテクタ８０（図３参照）に伝送される複数のフレームのソースイメージのうち一つを示している。

ショットディテクタ８０のボール感知手段８１（図３参照）は、打撃領域設定手段８１ａ（図３参照）でソースイメージから打撃領域を設定して分離した後、該領域からボール認識手段８１ｂ（図３参照）でボールを検索する。

まず、打撃領域設定手段８１ａでソースイメージ２００から打撃領域２２０を設定する。例えば、図４（ａ）に示すように、打撃マット１２０の一部または全部に該当する領域を打撃領域２２０として設定できる。すなわち、打撃マット１２０上にボールの置かれた位置を基準にして所定範囲の領域を打撃領域２２０として設定すればよい。

図４（ａ）のソースイメージ２００では、打撃マット１２０のフェアウェイゾーン１２１にボールが置かれており、打撃領域設定手段８１ａは、該フェアウェイゾーン１２１に該当する領域を打撃領域２２０として設定している。仮に、ボールがラフゾーン１２２に置かれていると、ラフゾーン１２２に該当する領域を打撃領域として設定してもよく、ボールがバンカーゾーン１２３に置かれていると、バンカーゾーン１２３に該当する領域を打撃領域として設定してもよい。

もし、打撃マット１２０が床面ではなくスイングプレート１００上に設けられており、且つスイングプレート１００が仮想のゴルフコースの地形情報に対応して所定の角度で傾斜するようになっていて位置が変化する場合にも、これを考慮して打撃領域設定手段８１ａはソースイメージ２００において打撃領域２２０を高正確度で設定することが可能である。

すなわち、打撃領域設定手段８１は、図４の（ｂ）に示すように、打撃マット１２０上に基準ポイントＰ０〜Ｐ８をあらかじめ設定し、各基準ポイントＰ０〜Ｐ８の座標を全て保存しておく。

ここで、スイングプレート１００が所定の角度に傾くと、基準ポイントＰ０〜Ｐ８の座標も変化し、スイングプレート１００の傾いた角度値に関する情報を受信し、該情報に基づいて基準ポイントＰ０〜Ｐ８の変化した座標を算出する。

すなわち、スイングプレート１００の角度の変化に対する所定単位ごとに基準ポイントＰ０〜Ｐ８の変化する座標値をデータベース化しておき、これに基づき、スイングプレートの勾配が変化した時にその基準ポイントＰ０〜Ｐ８の座標値が確認でき、これにより、打撃領域を正確に設定できるわけである。

一方、図４（ａ）のように打撃領域２２０が設定されると、図５（ａ）に示すように打撃領域２２０を分離し、該領域からボールを検索する作業を行う。したがって、ソースイメージ全体からボールを探す場合に比べて、より迅速で正確にボールを見つけることができる。

図５（ａ）に示した打撃領域２２０のイメージは種々のノイズが含まれた状態であるから、これらノイズを除去するためにガウスブラーなどの前処理過程を行い、これで、図５（ｂ）に示すような状態の打撃領域２２０のイメージを獲得する。

そして、図５（ｂ）に示したイメージからボール候補を探す。ボール候補は、ボールの幾何学的特性に基づいて探せばよい。すなわち、前処理されたイメージにおいて矩形の客体やボールとはいい難い形状を持つ客体を除き、ボールの形状に極力近い形状の客体を探してボール候補として選定する。すなわち、図５（ｂ）に示すように、ボールの形状に近い客体をボール候補２３０として選定する。ボール候補２３０は一つにしてもよいが、ノイズの度合によっては複数個にしてもよい。

このようにして抽出されたボール候補２３０については、ボールテンプレート２４１またはハーフテンプレート２４２と比較して類似度を抽出する。

ここで、ボールテンプレート２４１は、図５（ｃ）に示すように、ボールの基準イメージとしてあらかじめ設定されて保存されている。そして、ハーフテンプレート２４２は、図５（ｄ）に示すように、ボールの部分イメージであって、基準イメージとしてあらかじめ設定されて保存されている。ハーフテンプレート２４２は、ボールテンプレート２４１の略半分に該当する部分として設定することが好ましい。

したがって、ボールテンプレート２４１またはハーフテンプレート２４２をボール候補２３０と比較することによって、その形状、ピクセル値、ピクセル個数などにおいて相互類似している度合、すなわち類似度を数値として計算することができる。

ボール候補がボールとして認識されるためには、類似度があらかじめ設定された基準値以上でなければならない。

そして、打撃準備が完了したか否かを感知するためにボールを認識する過程では、ボールテンプレート２４１とボール候補とを比較することによって類似度を抽出することが好ましい。

もちろん、ハーフテンプレート２４２を用いてボール候補の一部分との類似度を抽出してボールを認識してもよいが、ゴルフクラブのヘッドにボールの一部が隠されたり、ボールのイメージを完全に取得し難い状況ではないため、正確なハーフテンプレート２４２を用いてボールを探すよりは、ボールテンプレート２４１を用いてボールを探す方が好ましい。

一方、図６及び図７を参照して、ボール感知手段によりボールを見つける過程、及びボールを見つけた後、打撃準備ができたか否かを感知する過程について説明する。

図６に示すように、ボール感知手段８１は、グラバー７０からイメージを入手すると（Ｓ１０）、スイングプレートの勾配が基準位置から変化したか否かを判断する（Ｓ１１：この場合、スイングプレートの角度値を判断することが好ましい）。

勾配の変化がないと、イメージから打撃領域を設定して分離すればよく（Ｓ１３）、勾配の変化があると、スイングプレートの変化角度によって変更された基準ポイントの座標値を抽出することによって（Ｓ１２）、設定される打撃領域の座標を算出し、イメージから打撃領域を設定及び分離すればよい（Ｓ１３）。

分離された打撃領域イメージについて前処理過程を行い（Ｓ１４）、ボール候補を抽出する（Ｓ１５）。

そして、上述したように、抽出されたボール候補とボールテンプレートとを比較して類似度を抽出し（Ｓ１６）、類似度が基準値以上であれば、該ボール候補をボールとして認識し（Ｓ１７）、これでボール検索が完了する。

続いて、図７に示すように、ボール検索が完了すると（Ｓ２０）、ボールレディー手段８２（図３参照）は、イメージ上におけるボールの位置がわかり、あらかじめ設定された設定時間の間にボールが停止状態にあるか否かを判断できる（Ｓ２１）。

もし、上記設定時間内にボールが動くことが感知されると、図６に示したボール検索過程が再び行われ、設定時間の間にボールが動かないで停止していると判断された場合は、ボールレディー状態となる（Ｓ２２）。

ボールレディー状態でボールレディー手段８２は継続してイメージを検査し、ボールに変化があるか否か判断する。すなわち、ボールが動くことはなかったが、使用者がゴルフクラブでボールを隠したり、使用者の身体の一部がボールを隠したりするボール隠しが発生することがある。ボールレディー手段８２は、ボール隠しが発生したか否かを感知し（Ｓ２３）、ボール隠しが発生していないとレディー状態のボール位置座標を保存し（Ｓ２５）、打撃準備を完了する。

もしボール隠しが発生したならば、現在のボール位置が最後のボールレディー位置と同一であるか否かを判断し（すなわち、現在のボール座標と最後のボールレディー状態におけるボール座標とが同一であるか否かを判断し）、同一ならば、現在ボールレディー状態のボール位置座標を保存し（Ｓ２５）、打撃準備を完了し、同一でなければ、図６に示したボール検索過程を再び行う。

上記のように、ボール感知手段８１によるボールの感知、及びボールレディー手段８２による打撃準備の完了後には、図８及び図９に示すように、打撃感知手段８３（図３参照）により打撃感知が行われる。

まず、図９に示す打撃感知フローを説明しながら、図８に示す事項について説明する。

上記のように、打撃準備が完了すると（Ｓ３０）、打撃感知手段８３（図３参照）の関心領域設定手段８３ａにより保存されたボールの位置座標を中心にして関心領域が設定される（Ｓ３１）。

すなわち、図８（ａ）に示すように、打撃領域２２０のイメージにおいてボールを中心にして所定大きさの関心領域Ｒが設定される。この関心領域Ｒは、１個のボールが充分に収まる程度の小さい大きさに設定されると好ましく、使用者が打撃をしたか否かは、該関心領域Ｒ内にボールが存在するか否かを調べるだけで容易く感知できる。

例えば、図８（ａ）の状態から図８の（ｂ）の状態のように関心領域Ｒ内にボールが存在しなくなったことを感知することで、打撃を感知できる。

すなわち、関心領域チェック手段８３ｂ（図３参照）は、関心領域Ｒ内のイメージとハーフテンプレート２４２（図５（ｄ）参照）とを比較して類似度を抽出することによって、関心領域Ｒ内にボールが存在するか否かがわかる（Ｓ３２）。

ここで、関心領域Ｒ内のイメージを、ボールテンプレート２４１と比較してもよく、ハーフテンプレート２４２と比較してもよいが、ボールテンプレート２４１よりはハーフテンプレート２４２で類似度を計算する方がより正確であるだろう。使用者がボールを打撃する際にゴルフクラブのヘッドはボールと接触する状態であり、この状態のイメージではボール部分とクラブヘッド部分とが若干重なって現れるため、ボールテンプレート２４１をそのまま適用すると、類似度において正確な値が計算されないことがあり、よって、この場合にはハーフテンプレート２４２を用いて類似度を計算する方がより正確な値を算出できるからである。

図８の（ｂ）に示すイメージにおいて関心領域Ｒ中の客体はハーフテンプレートと完全に異なっているため、類似度は極めて低く現れるだろう。すなわち、Ｓ３２過程で抽出された類似度が基準値未満であれば、ボールと判断できず、関心領域内にはボールが存在しないと判断すればよく、これは、打撃がなされたということを意味する（Ｓ３４）。

このように打撃が感知されると、打撃感知手段８３は、感知された時点以前に入手した複数フレームのイメージを調べて、ボールが動き出した正確な時点を把握し（Ｓ３５）、ボールが動き出した時点のイメージフレームをトリガーフレーム（Ｔｒｉｇｇｅｒ Ｆｒａｍｅ）と指定する（Ｓ３６）。

そして、該トリガーフレームを基準に、それ以前の複数フレームのイメージを保存し（Ｓ３７）、これらをイメージ処理部９０（図３参照）に伝送してイメージ処理がなされるようにすることによって、移動するボールの物理的特性（ここで、トリガーフレームを基準にそれ以前のイメージを分析することは、主として、ゴルフクラブヘッドの運動軌跡を分析してボールのスピンを類推するためである）を抽出できるようにする。

そして、ショットディテクタ８０（図３参照）のバッファリング手段８４（図３参照）は、トリガーフレームのイメージ及びそれ以降の複数フレームのイメージを順次に入手して保存しながら実時間でイメージ処理部９０（図３参照）に伝送してイメージ処理がなされるようにすることによって、移動するボールの物理的特性（ここで、トリガーフレーム及びそれ以降のイメージを分析することは、主として、ボールの速度、方向、高さ角などを算出するためである）を抽出できるようにする。

以上、発明の実施のための最良の形態を具体的に記載した。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法は、仮想現実基盤のゴルフシミュレーションがなされるようにすることによって使用者が仮想のゴルフを楽しめるようにするゴルフゲームや謂わばスクリーンゴルフ産業分野などに利用可能である。

Claims (12)

1. 仮想ゴルフシミュレーション装置に用いられるセンシング装置であって、
   打撃がなされる一定撮影範囲のイメージを連続して取得する少なくとも一つのセンサー部と、
   前記センサー部から前記イメージを入手して保存するグラバーと、
   前記グラバーから前記イメージを受信して処理することによって、打撃準備が完了したか否か、及び使用者による打撃がなされたか否かを感知するショットディテクタと、
   前記ショットディテクタにより打撃が感知された場合に、それに対する前記イメージを処理することによって、移動するボールの物理的特性情報を抽出するイメージ処理部と、
   を含み、
   前記ショットディテクタは、
   前記グラバーから受信した前記イメージからボールを感知するボール感知手段を含み、
   前記ボール感知手段は、
   前記グラバーから受信したイメージにおいて前記使用者により打撃がなされる所定の大きさの打撃領域を設定する打撃領域設定手段と、
   前記設定された打撃領域内でボール候補を抽出し、該ボール候補からボールを見つけるボール認識手段とを含み、
   前記ボール認識手段は、
   ボールの一部分の基準イメージとしてあらかじめ設定されて保存されるハーフテンプレートと前記ボール候補の一部分とを比較し、類似度を算出することで、前記類似度に応じて前記ボール候補がボールかどうかを判断することを特徴とするセンシング装置。
2. 前記ショットディテクタは、
   前記ボール感知手段により前記感知されたボールが、あらかじめ設定された条件を満たすか否かを感知することによって、前記打撃準備が完了したか否かを決定するボールレディー手段を備えることを特徴とする、請求項１に記載のセンシング装置。
3. 前記ショットディテクタは、
   前記ボール感知手段により前記感知されたボールが移動したか否かを判断することによって、前記使用者により打撃がなされたか否かを決定する打撃感知手段をさらに備えることを特徴とする、請求項２に記載のセンシング装置。
4. 前記ショットディテクタは、
   前記使用者による打撃が感知された場合に、前記使用者によりボールが打撃されることに関する複数のフレームのイメージを保存して前記イメージ処理部に伝送するバッファリング手段をさらに備えることを特徴とする、請求項１から３のいずれか一項に記載のセンシング装置。
5. 前記打撃感知手段は、
   前記ボール感知手段により前記感知されたボールの座標を中心にしてあらかじめ設定された大きさの領域を関心領域として設定する関心領域設定手段と、
   前記関心領域内に前記感知されたボールが存在するか否かを判断することによって、前記ボールに対する打撃がなされたか否かを決定する関心領域チェック手段と、
   を備えることを特徴とする、請求項３に記載のセンシング装置。
6. 仮想ゴルフシミュレーション装置に用いられるセンシング装置であって、
   打撃がなされる一定撮影範囲のイメージを連続して取得する少なくとも一つのセンサー部と、
   前記センサー部から前記イメージを入手して保存するグラバーと、
   前記グラバーから前記イメージを受信して処理することによって、打撃準備が完了したか否か、及び使用者による打撃がなされたか否かを感知するショットディテクタと、
   前記ショットディテクタにより打撃が感知された場合に、それに対する前記イメージを処理することによって、移動するボールの物理的特性情報を抽出するイメージ処理部と、
   を含み、
   前記ショットディテクタは、
   前記グラバーから受信した前記イメージからボールを感知するボール感知手段と、
   前記ボール感知手段により前記感知されたボールが移動したか否かを判断することによって、前記使用者により打撃がなされたか否かを決定する打撃感知手段と、を含み、
   前記打撃感知手段は、
   前記ボール感知手段により前記感知されたボールの座標を中心にしてあらかじめ設定された大きさの領域を関心領域として設定する関心領域設定手段と、
   前記関心領域内に前記感知されたボールが存在するか否かを判断することによって、前記ボールに対する打撃がなされたか否かを決定する関心領域チェック手段と、を含み、
   前記関心領域チェック手段は、
   ボールの一部分の基準イメージとしてあらかじめ設定されて保存されるハーフテンプレートと前記関心領域内に存在するイメージとを比較して類似度を算出し、あらかじめ設定された基準値よりも低い類似度が算出される場合を打撃がなされた場合と判断するように構成されたことを特徴とするセンシング装置。
7. 打撃がなされる一定撮影範囲のイメージを連続して取得するカメラユニットと、前記カメラユニットからイメージを入手して保存するグラバー、該グラバーからイメージを受信して処理することによって、打撃準備が完了したか否か及び使用者による打撃がなされたか否かを感知するショットディテクタ、及び該ショットディテクタにより打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出するイメージ処理部を有するセンシング処理ユニットと、を備えるセンシング装置と、
   該センシング処理ユニットで抽出された前記物理的特性情報に基づいてボールの軌跡に対するシミュレーション映像を具現する映像具現ユニットと、
   を含み、
   前記ショットディテクタは、
   前記グラバーから受信した前記イメージからボールを感知するボール感知手段を含み、
   前記ボール感知手段は、
   前記グラバーから受信したイメージにおいて前記使用者により打撃がなされる所定の大きさの打撃領域を設定する打撃領域設定手段と、
   前記設定された打撃領域内でボール候補を抽出し、該ボール候補からボールを見つけるボール認識手段とを含み、
   前記ボール認識手段は、
   ボールの一部分の基準イメージとしてあらかじめ設定されて保存されるハーフテンプレートと前記ボール候補の一部分とを比較して、類似度を算出することで、前記類似度に応じて前記ボール候補がボールかどうかを判断することを特徴とする仮想ゴルフシミュレーション装置。
8. 仮想ゴルフシミュレーションのためのセンシング方法であって、
   打撃がなされる一定撮影範囲のイメージを連続して取得する段階と、
   前記連続して取得されるイメージを受信して保存する段階と、
   前記受信したイメージにおいて、使用者により打撃がなされる所定大きさの打撃領域を設定する段階と、
   前記設定された打撃領域からボールの幾何学的特性に基づいてボール候補を抽出する段階と、
   ボールの一部分の基準イメージとしてあらかじめ設定されて保存されるハーフテンプレートと前記ボール候補とを比較して類似度を算出して、前記類似度に応じて前記ボール候補がボールかどうかを判断してボールを認識する段階と、
   前記ボールとして認識された部分が、あらかじめ設定された条件を満たすか否かを感知することによって、打撃準備が完了したか否かを決定する段階と、
   前記打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出する段階と、
   を含むセンシング方法。
9. 前記打撃がなされたか否かを感知する段階は、
   前記受信したイメージにおいてボールが位置する座標を中心にしてあらかじめ設定された大きさの領域を関心領域として設定する段階と、
   前記関心領域内にボールが存在するか否かを判断することによって、ボールに対する打撃がなされたか否かを決定する段階と、
   を含むことを特徴とする、請求項８に記載のセンシング方法。
10. 仮想ゴルフシミュレーションのためのセンシング方法であって、
    打撃がなされる一定撮影範囲のイメージを連続して取得する段階と、
    前記連続して取得されるイメージを受信して保存する段階と、
    前記保存されたイメージを受信してイメージ処理をすることによって打撃準備が完了したか否かを感知する段階と、
    前記打撃準備が完了した場合に、使用者による打撃がなされたか否かを感知する段階と、
    ボールの一部分の基準イメージとしてあらかじめ設定されて保存されるハーフテンプレートと関心領域内に存在するイメージとを比較して類似度を算出する段階と、
    前記算出された類似度があらかじめ設定された基準値よりも低い値を有するか否かを判断し、前記基準値よりも低い類似度を有すると、打撃がなされたと判断する段階と、
    前記打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出する段階と、
    を含むことを特徴とするセンシング方法。
11. 前記移動するボールの物理的特性情報を抽出する段階は、
    前記関心領域内にボールが存在しない場合に、以前の複数フレームのイメージを調べることによってボールが動き出した時点を判断する段階と、
    前記ボールが動き出した時点のイメージフレームをトリガーフレームとして指定する段階と、
    前記トリガーフレーム及びそれ以前の複数フレームのイメージとそれ以降の複数フレームのイメージを保存し、イメージ処理がなされるようにする段階と、
    を含むことを特徴とする、請求項１０に記載のセンシング方法。
12. 仮想ゴルフシミュレーションのためのセンシング方法であって、
    ボールの基準イメージとしてあらかじめ設定されるボールテンプレートを保存する段階と、
    打撃がなされる一定撮影範囲のイメージを連続して取得する段階と、
    前記取得されたイメージからボール候補を抽出し、前記ボールテンプレートを前記ボール候補と比較することによってボールを検索して認識する段階と、
    前記認識されたボールがあらかじめ設定された条件を満たすか否かを判断することによって打撃準備が完了したか否かを感知する段階と、
    前記打撃準備が完了した場合に、前記取得されたイメージにおいてボールの位置する座標を中心にしてあらかじめ設定された大きさの領域を関心領域として設定し、該関心領域内のイメージと前記ボールテンプレートの実質的に半分に該当する部分として設定されるハーフテンプレートとを比較し、前記関心領域内にボールが存在するか否かを判断することによって打撃がなされたか否かを感知する段階と、
    前記打撃が感知された場合に、それに対するイメージを処理することによって、移動するボールの物理的特性情報を抽出する段階と、
    を含むセンシング方法。

Images