JP5572853B2 - 運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置 - Google Patents

Description

本発明は、センシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置に係り、より詳細には、ゴルフボールなどのような運動するオブジェクトのイメージを取得してこれを分析することにより、その物理的情報を算出できるようにする運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置に関する。

最近、野球、サッカー、バスケットボール、そしてゴルフなどのような人気スポーツ競技を、室内や特定の場所でシミュレーションを通じてインタラクティブスポーツゲーム（Ｉｎｔｅｒａｃｔｉｖｅ Ｓｐｏｒｔｓ Ｇａｍｅ）の形態で楽しめるようにする様々な装置に関する開発が活発になされている。

このようなインタラクティブスポーツゲームにおいて、野球ボール、サッカーボール、バスケットボール及びゴルフボールなどのボールを利用するスポーツに対するシミュレーションがなされるようにするために、運動するオブジェクト、すなわち、ボールの動きに対する物理的情報を正確にセンシングするための各種センシングシステムに関する研究開発が非常に活発に進んでいる実情である。

例えば、赤外線センサを用いたセンシングシステム、レーザーセンサを用いたセンシングシステム、音響センサを用いたセンシングシステム、そしてカメラセンサを用いたセンシングシステムなどの様々なセンシングシステムが登場している。

本発明は、運動するオブジェクトに対する多重露出イメージを低い解像度の低速カメラ装置とストロボ装置により取得するにもかかわらず、その取得されたイメージ上のオブジェクトのイメージを正確に抽出し、特に、低速で運動するオブジェクトに対する多重露出イメージを取得することにより、複数のオブジェクトイメージが重畳して示される場合にも、正確に、重畳されたオブジェクトのイメージを抽出して中心点の座標が抽出されるようにすることで、低コストで、高いセンシング処理能力及びセンシングの正確性を実現できるようにする、運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置を提供するためのものである。

本発明の一実施例に係る運動するオブジェクトに対するセンシング装置は、ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するセンサ部と；前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出する第１処理手段と、前記抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成し、前記中心点候補の位置を調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出する第２処理手段とを含むセンシング処理部と；を含む。

また、本発明の他の一実施例に係るセンシング装置は、ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するセンサ部と；初期オブジェクトの位置情報を通じてオブジェクトの運動方向を推定する第１運動方向推定手段と、前記多重露出イメージ上の各イメージ領域のピクセル値からオブジェクトの運動方向を推定する第２運動方向推定手段と、前記第１運動方向推定手段及び第２運動方向推定手段のうち少なくとも一つによって推定された運動方向上のイメージから、オブジェクトに対するイメージを抽出するオブジェクト抽出手段とを含むセンシング処理部と；を含む。

また、本発明の更に他の一実施例に係るセンシング装置は、ストロボ照明下で運動するボールに対する多重露出イメージを取得するセンサ部と；前記多重露出イメージから、運動するボールに対する互いに重畳されたボールイメージ領域を抽出するオブジェクト抽出手段と、前記抽出されたボールイメージ領域の両側端部上に予め設定された直径の半円カーブがそれぞれ形成されるようにフィッティングするフィッティング手段と、前記フィッティングされたボールイメージ領域に対する少なくとも２つの中心点の座標を抽出する座標抽出手段とを含むセンシング処理部と；を含む。

一方、本発明の一実施例に係るセンシング処理方法は、ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するステップと；前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出するステップと；前記抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成するステップと；前記中心点候補の位置を所定の条件によって調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出するステップと；を含む。

また、本発明の他の一実施例に係るセンシング処理方法は、ストロボ照明下で運動するオブジェクトに対する複数のフレームの多重露出イメージを取得するステップと；前記多重露出イメージ上のオブジェクトの初期位置を認識するステップと；前記多重露出イメージ上の各イメージ領域を貫通するラインをそれぞれ生成するステップと；前記生成されたラインのうち、前記初期位置に最も近い距離のラインの方向を前記オブジェクトの運動方向として推定するステップと；前記推定された運動方向上の各イメージから、前記オブジェクトに関するイメージを抽出して分析するステップと；を含む。

また、本発明の更に他の一実施例に係るセンシング処理方法は、ストロボ照明下で運動するオブジェクトに対する複数のフレームの多重露出イメージを取得するステップと；前記多重露出イメージ上のオブジェクトの初期位置を認識するステップと；少なくとも２以上のフレームの多重露出イメージを一つにまとめるステップと；前記まとめられたイメージにおいて、前記初期位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値に基づいた所定の関数値を算出するステップと；前記算出された関数値のうち最大値を有するスキャンラインの方向を前記オブジェクトの運動方向として推定するステップと；前記推定された運動方向上の各イメージから、前記オブジェクトに関するイメージを抽出して分析するステップと；を含む。

また、本発明の更に他の一実施例に係るセンシング処理方法は、ストロボ照明下で運動するボールに対する多重露出イメージを取得するステップと；前記多重露出イメージから、多重露出により運動するボールのイメージが互いに重畳して示されるボールイメージ領域を抽出するステップと；前記抽出されたボールイメージ領域の両側端部上に予め設定された直径の半円カーブが形成されるようにフィッティングするステップと；前記フィッティングされたボールイメージ領域に対する少なくとも２つの中心点の座標を抽出するステップと；を含む。

一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するセンサ部と；前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出する第１処理手段と、前記抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成し、前記中心点候補の位置を調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出する第２処理手段とを含むセンシング処理部と；前記中心点の座標の変化を計算することにより、運動するゴルフボールに関する物理情報を算出してゴルフボールの軌跡をシミュレーションするシミュレータと；を含む。

本発明に係る運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置は、運動するオブジェクトに対する多重露出イメージを低い解像度の低速カメラ装置とストロボ装置により取得するにもかかわらず、その取得されたイメージ上のオブジェクトのイメージを正確に抽出し、特に、低速で運動するオブジェクトに対する多重露出イメージを取得することにより、複数のオブジェクトイメージが重畳して示される場合にも、重畳されたオブジェクトのイメージを正確に抽出して中心点の座標が抽出されるようにすることで、低コストで、高いセンシング処理能力及びセンシングの正確性を実現できるようにする効果がある。

本発明の一実施例に係るセンシング装置または仮想ゴルフシミュレーション装置を示すブロック図である。 図１に示されたセンシング装置または仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図である。 本発明の一実施例に係るセンシング装置のカメラ装置及びストロボ装置の作動信号体系を示す図である。 （ａ）及び（ｂ）は図２に示されたシステムによって取得したオブジェクトのイメージパターンをそれぞれ示す図である。 図５（ａ）は、図４（ａ）に示されたパターンのイメージの実際に取得されたイメージの一例を示す図で、図５（ｂ）は、図５（ａ）に示されたイメージに対する前処理されたイメージを示す図である。 本発明の一実施例に係るセンシング装置によるボールの運動方向を推定する過程の一例を示す図である。 図６のＡ領域を拡大して示す図である。 本発明の一実施例に係るセンシング装置によるボールの運動方向を推定する過程の他の一例を示す図である。 本発明の一実施例に係るセンシング装置によるボールの運動方向を推定する過程の他の一例を示す図である。 本発明の一実施例に係るセンシング装置によるボールの運動方向を推定する過程の他の一例を示す図である。 図１１（ａ）は、互いに重畳して示されるボールイメージ領域の一例を示し、図１１（ｂ）は、図１１（ａ）に示されたイメージに対する運動方向の軸に沿ってチェックされたピクセル値の分布を示すグラフである。 図１２（ａ）は、運動方向の軸に沿ってボールのイメージ領域に対してフィッティングする過程を示し、図１２（ｂ）は、図１２（ａ）において運動方向の軸に沿って移動しながら、半円上のピクセル値を合算して示すグラフである。 図１２（ａ）及び（ｂ）に示された方式によりボールイメージ領域に対する半円フィッティング、及び中心点候補が生成された状態を示すイメージである。 （ａ）及び（ｂ）は推定されたボールの運動方向の軸の位置を、フィッティングされたボールイメージ領域の中心を貫通するように調整する過程を説明するための図である。 図１５（ａ）は、フィッティングされたボールイメージ領域に対して生成された中心点候補の位置を調整する過程を示す図で、図１５（ｂ）は、図１５（ａ）に示された過程により中心点が調整されたことを示す図である。 ボールイメージの中心点に対してストロボ照明の間隔比率に対応するように中心点を補正する過程を説明するための図である。 本発明に係るセンシング処理方法の処理過程を示すフローチャートである。 本発明に係るセンシング処理方法の処理過程を示すフローチャートである。

本発明に係る運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置に関する実施例を、図面を参照してより具体的に説明する。

本発明に係るセンシング装置は、運動するオブジェクトに対するイメージを取得して分析することにより、その物理的情報を得るためのもので、ここで、運動するオブジェクトは、ゴルフのようなボールを利用するスポーツなどにおいて、ゴルファーにより打撃されて運動するボールをセンシングするなどの場合に適用可能であり、その一例として、仮想ゴルフシミュレーション装置が適用される、いわゆるスクリーンゴルフシステムなどに適用可能である。

図１及び図２では、このような本発明に係るセンシング装置及びそれを用いた仮想ゴルフシミュレーション装置の概略的な構成について示している。

まず、図１及び図２を参照して、本発明の一実施例に係るセンシング装置、及びそれを用いる仮想ゴルフシミュレーション装置について説明する。

図１に示すように、本発明の一実施例に係る運動するオブジェクトに対するセンシング装置は、カメラ装置３１０，３２０、ストロボ装置３３０及び信号発生部２１０などを含むセンサ部と、センサ部で取得されたイメージを処理することにより、運動するオブジェクトに対するイメージを処理して、中心点の座標を抽出するセンシング処理部２２０とを含んで構成される。

図１では、２台のカメラ装置３１０，３２０を備える場合について示しているが、これに限定されず、１台またはそれ以上のカメラ装置を備える全ての場合を含むことができる。

前記カメラ装置３１０，３２０は、オブジェクトの初期位置からオブジェクトが運動方向に沿って運動する状態に関して複数個のフレームのイメージを取得するように備えられる。

前記ストロボ装置３３０は、ＬＥＤなどを用いた照明装置であって、前記カメラ装置の撮影用光源として用いられ、所定の時間間隔でストロボ照明（所定の時間間隔で複数回の照明フラッシュが作動される方式である）が発生して、前記カメラ装置３１０，３２０により多重露出イメージが取得されるようにする。

すなわち、カメラ装置により撮影される一つのフレームのイメージに、前記ストロボ装置３３０によるフラッシュの回数だけオブジェクトが撮影されて現れる多重露出イメージを取得するようになる。

カメラ装置３１０，３２０及びストロボ装置３３０の作動に関する具体的な事項については後述する。

一方、前記カメラ装置３１０，３２０及びストロボ装置３３０の作動のためのトリガ（ｔｒｉｇｇｅｒ）信号は、信号発生部２１０により発生し、前記カメラ装置３１０，３２０及びストロボ装置３３０による多重露出イメージは、センシング処理部２２０で処理されて、シミュレータ１００に伝達される。

前記センシング処理部２２０は、前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出する第１処理手段２３０と、前記抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成して調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点を抽出する第２処理手段２４０と、を含む。

前記第１処理手段２３０は、前記多重露出イメージにおいて背景及びノイズを除去する前処理手段２３１と、前記多重露出イメージにおいて前記オブジェクトの運動方向を推定する運動方向推定手段２３２と、前記推定された運動方向上のイメージから、互いに重畳されたオブジェクトに対するオブジェクトイメージ領域を抽出するオブジェクト抽出手段２３３と、を含むようにすることが好ましい。

前記運動方向推定手段２３２は、初期オブジェクトの位置情報に基づいてオブジェクトの運動方向を推定する第１運動方向推定手段と、前記多重露出イメージ上の各イメージ領域のピクセル値からオブジェクトの運動方向を推定する第２運動方向推定手段とを含むように構成される。前記運動方向推定手段２３２は、前記第１運動方向推定手段と第２運動方向推定手段のいずれか一方のみを備えてもよく、両方とも備えてもよい。前記第１運動方向推定手段と第２運動方向推定手段両方とも備える場合には、まず、第１運動方向推定手段を適用してオブジェクトの運動方向を推定し、仮に前記第１運動方向推定手段により推定された運動方向が好ましくない結果をもたらす時には、第２運動方向推定手段を適用して運動方向を推定することができる。

前記オブジェクト抽出手段２３３は、前記重畳されたオブジェクトに対するオブジェクトイメージ領域を効果的に抽出するために、前記推定された運動方向上の各イメージのパターンを分析して、前記オブジェクトイメージ領域を抽出できるようにするパターン分析手段や、前記推定された運動方向上の各イメージに対して前記運動方向に沿ってピクセル値をチェックし、前記チェックされたピクセル値に対するパターンを分析することにより、前記オブジェクトイメージ領域を抽出できるようにする手段などを含むように構成することができる。

一方、前記第２処理手段２４０は、前記抽出されたオブジェクトイメージ領域に対して、前記オブジェクトのサイズとして予め設定された値によってフィッティングし、前記フィッティングされたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成するフィッティング手段２４１と、前記生成された中心点候補の位置を所定の条件によって調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点を抽出する座標抽出手段２４２とを含むようにすることが好ましい。

前記第１処理手段２３０及び第２処理手段２４０に関するより具体的な事項については後述する。

一方、前記シミュレータ１００は、制御部Ｍ、データベース１１０、映像処理部１２０及び映像出力部１３０などを含んで構成されることが好ましい。

前記制御部Ｍは、前記センシング部２２０でイメージ処理して獲得されたオブジェクトの座標情報の伝達を受け、これを３次元座標情報に変換して、オブジェクトの運動軌跡シミュレーションのための所定の物理的情報を算出して、映像処理部１２０に伝達する。

このとき、オブジェクトの運動軌跡のシミュレーションのための所定のデータは、データベース１１０から抽出して用い、前記映像処理部１２０でのオブジェクトの運動軌跡に関するシミュレーション映像処理は、前記データベース１１０に格納された映像データが抽出されることによってなされ得る。

ここで、前記センシング処理部２２０から伝達されたオブジェクトの座標情報を３次元座標情報に変換する変換（ｃｏｎｖｅｒｔｉｎｇ）手段を、前記制御部Ｍとは別途に備えることも可能である。

そして、前記第１処理手段２３０及び第２処理手段２４０などは、ハードウェアの面において、前記各手段の機能を行うように設けられる一つのコントローラとして具現してもよく、前記各手段別にそれぞれ別途のコントローラにより該当の機能が具現されるようにしてもよい。また、ソフトウェアの面において、前記各手段の機能を行う一つのプログラムとして具現してもよく、前記各手段別にそれぞれ別途のプログラムにより該当の機能が具現されるようにしてもよい。

上記したような装置構成を有するセンシング装置、または仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例について、図２で示している。

図２に示すように、ゴルフブースＢの一側にゴルフボール１０が置かれるゴルフティーと、グラウンド（フェアウェイマット、ラフマット及びバンカーマットのうち少なくとも一つを含むようにすることが好ましい）が備えられる打撃マット３０と、ゴルファーがゴルフスイングをするように備えられるスイングプレート２０とが備えられる。

ゴルフブースＢの前方には、映像出力部１３０により実現される仮想ゴルフシミュレーション映像が表示されるスクリーン４０が備えられ、天井には、カメラ装置３１０，３２０とストロボ装置３３０がそれぞれ備えられる。

図２では、前記カメラ装置３１０，３２０を、それぞれ天井と壁に備える場合について示しているが、これに限定されず、ゴルフボール１０の運動状態に関するイメージを効果的に取得できながら、ゴルファーによるスイングに妨害されずに、ゴルファーにより打撃されたゴルフボールにより衝突するおそれのない予め設定された位置であれば、どの位置でも設置が可能である。

また、図２では、ストロボ装置３３０が天井に取り付けられ、打撃地点に対して実質的に垂直方向にストロボ照明を提供するように設置されている場合について示しているが、これに限定されず、効果的なストロボ照明を提供できる位置であれば、どの位置でも可能である。

上記したようなシステムにおいて、ゴルファーが、スイングプレート２０で打撃マット３０上のゴルフボール１０をスクリーン４０に向かって打撃すると、図２に示すように、打撃がなされる所定の領域を撮影しているカメラ装置３１０，３２０が、それぞれ複数のフレームのイメージを取得し、このとき、ストロボ装置３３０は、１フレーム当たり複数回のフラッシュを焚いて、運動するゴルフボールに対する多重露出イメージを取得する。

図３では、信号発生部２１０（図１参照）によるカメラ装置及びストロボ装置のトリガ信号発生体系について示している。

図３に示すように、カメラ装置に対するトリガ信号は、ｔｃ時間間隔でなされる。すなわち、１フレーム当たりｔｃ時間間隔でトリガ信号が発生する。このとき、１フレーム当たり露出される時間は、ｔｅ時間であり（このとき、ｔｃ＞ｔｅとなるようにすることが好ましい）、ｔｃ−ｔｅ時間の間に取得されたイメージに対するデータがセンシング処理部２２０（図１参照）に伝送されるようにすることが好ましい。

すなわち、図３に示すように、カメラ装置の１フレーム当たりトリガ信号発生時間間隔の間にカメラ装置の露出がなされ、取得された多重露出イメージに対するデータがセンシング処理部に伝送される。

そして、カメラ装置の露出時間（ｔｅ時間）の間にストロボ装置によるストロボ照明は複数回発生し、図３では、ストロボ照明のトリガ信号がｔｓ_１の時間間隔で３回発生する場合について示している。

すなわち、カメラ装置の露出時間（ｔｅ時間）の間にストロボ照明は等時間間隔であるｔｓ_１時間間隔で３回発生する。このとき、信号発生部２１０（図１参照）により、カメラ装置とストロボ装置は、最初のトリガ信号が同時に発生するように同期化されることが好ましい。

また、図３に示すように、３回のストロボ照明のうち、最後のストロボ照明のトリガ信号から次のフレームの１番目のストロボ照明のトリガ信号までの時間は、ｔｓ_２時間間隔になるようにすることが好ましい。前記ｔｓ_１とｔｓ_２時間間隔が互いに同一になるように設定してもよいが、図３に示すように、ｔｓ_１時間とｔｓ_２時間が互いに異なるように設定することが好ましく、より好ましくは、ｔｓ_２時間がｔｓ_１時間より長くなるように設定することが好ましい。

上記したように、カメラ装置とストロボ装置のそれぞれのトリガ信号の間隔が一定になるように固定されているので、取得される多重露出イメージ上のオブジェクトイメージの間隔も一定にならざるを得ない。

したがって、センシング処理部で多重露出イメージを処理する際に、前記多重露出イメージ上に存在するオブジェクトイメージ及び様々なノイズから、正確なオブジェクトイメージを、上記したトリガ信号の一定に固定された間隔に関する特徴に基づいて効果的に分離することができる。

また、カメラ装置の各フレーム当たりストロボ照明の間隔が一定に固定されているので、多重露出イメージにおいて、オブジェクトの運動速度によって様々なパターンのイメージが発生し得る。

以下では、運動するオブジェクトを、ゴルフクラブにより打撃されて運動するボール（ゴルフボール）を例として説明する。

図４では、図３に示された信号発生体系によるカメラ装置及びストロボ装置により取得される多重露出イメージの２つのパターンを（ａ）及び（ｂ）でそれぞれ示している。

すなわち、図４では、ボールがゴルフクラブにより打撃されることによって運動する状態に関して、図３に示されたトリガ信号体系によって取得された２つのパターンのイメージを用いて示している（Ｉ１及びＩ２）。

図４の（ａ）に示されたイメージ（Ｉ１）では、ゴルフクラブイメージＣ１，Ｃ２，Ｃ３とボールイメージ１１ａ，１１ｂ，１１ｃが多重露出により取得された場合で、ボールイメージ１１ａ，１１ｂ，１１ｃが互いに所定の間隔で分離されて示された場合である。

また、図４の（ｂ）に示されたイメージ１２は、ボールが互いに重畳して所定の大きさのイメージ領域１２として示される場合について示している。

すなわち、図４の（ａ）に示されたイメージは、ボールが高速で運動するので、それぞれのストロボ照明がトリガされる時に、所定の距離だけ離れた状態でイメージが形成された場合であり、図４の（ｂ）に示されたイメージは、ボールが低速で運動するので、ボールが遠く進む前にストロボ照明がそれぞれトリガされて互いに重畳して示される場合である。

本発明に係るセンシング装置及びセンシング処理方法は、図４の（ｂ）に示されたように、ボールが、ストロボ照明の固定された周期による所定速度以下の低速で運動することにより、多重露出イメージ上にボールが互いに重畳した状態で示される場合、重畳されたボールイメージにおける中心点の座標を正確に取得するためのものである。

以下、図５から図１８を参照して、本発明に係る運動するオブジェクトに対するセンシング装置による、上記図４の（ｂ）に示されたような互いに重畳されたボールイメージの処理について説明する。

図５の（ａ）は、互いに重畳されたボールに関するイメージを含む多重露出イメージの原本を示しており、３２０Ｘ２４０の低い解像度の７５ｆｐｓの低速で動作するカメラ装置及び３３０Ｈｚのストロボ装置を用いて取得したイメージである。

図５の（ａ）に示したような原本イメージに対して、第１処理手段の前処理手段２３１（図１参照）は、引き算（Ｓｕｂｔｒａｃｔｉｏｎ）などを通じて停止しているイメージ、すなわち、背景イメージなどを除去し、ガウスぼかし（Ｇａｕｓｓｉａｎ Ｂｌｕｒ）などの所定の前処理過程を行う。前処理過程を経たイメージについて図５の（ｂ）で示している。

しかし、ボールが互いに重畳しており、カメラ装置の解像度が低いため、すなわち、ボールが互いに重畳していることを明確に区分できる程度の解像度を有するイメージではないため、重畳されたボールに関するイメージは、所定の大きさのイメージ領域の形状で示される。これは、ゴルファーのボディーの一部に対する所定の大きさのイメージ領域や、ゴルフクラブに対する所定の大きさのイメージ領域などの様々なノイズと混同されて示されるので、そのような様々なノイズが存在する状態で、重畳されたボールに関するイメージ領域のみを抽出することが非常に難しい。

このように、重畳されたボールイメージを抽出するための一つの方法として、本発明に係るセンシング装置は、運動方向推定手段２３２（図１参照）を用いてボールが運動する方向を推定し、その推定された運動方向上のイメージを１次的に抽出し、その抽出されたイメージからボールイメージ領域を抽出するようにすることができる。

図６から図１０は、本発明の一実施例に係るセンシング装置及びセンシング処理方法によるボールの運動方向推定過程をそれぞれ示す図で、まず、図６及び図７を参照して、第１運動方向推定手段によるボールの運動方向推定過程を説明する。

まず、最初に取得された全てのフレームの多重露出イメージから背景及びノイズを適切に除去した状態のイメージに存在する全てのイメージ領域Ｒを貫通するラインＬを生成する。

すなわち、全てのイメージ領域Ｒの少なくとも２つのポイントを選定し、これを互いに連結するラインを、図６に示されたように生成する。

このとき、ボールの初期位置Ｂ１に関する情報は予め設定されていなければならない。すなわち、カメラ装置は、ボールが運動する前にボールの初期位置を感知して、これに対する情報から多重露出イメージ上にボールの初期位置Ｂ１を設定する。

上述したように生成された全てのラインＬに対して、ボールの初期位置Ｂ１との距離を測定する。

すなわち、図６のＡ領域を拡大して示した図７を参照すると、Ｒ１領域を通る複数のラインとＲ２領域を通る複数のラインに対してボールの初期位置Ｂ１に対する直線距離を測定する。

図７では、Ｒ１領域を通るＬ１ラインと、Ｒ１領域及びＲ２領域を通るＬ２ラインがボールの初期位置Ｂ１に最も近い。そのため、２つのラインのうち、Ｌ１ラインがボールの初期位置Ｂ１に最も近いので、一応、Ｌ１ラインをボールの運動方向の軸として推定する。

ここで、ボールの初期位置Ｂ１とＬ１ラインの直線距離をＤ_Ｌとするとき、前記Ｄ_Ｌが所定の設定範囲を逸脱する程度に長い距離であれば、上記した方法により推定された運動方向は誤って推定された運動方向である可能性が高いため、上記したような第１運動方向推定手段により推定された結果は無視し、第２運動方向推定手段により再び運動方向を推定することが好ましい。

図８から図１０では、第２運動方向推定手段により運動方向を推定する過程について示している。

まず、図８に示したように、複数のフレームのイメージを一つにまとめて、一つのイメージにボールイメージ領域が時間の経過によって示されるようにする。すなわち、図８では、各フレーム別ボールイメージ領域１２−１，１２−２，１２−３が一枚のイメージに全て示されるようにした場合を示している。

そして、図８に示したように、一つにまとめたイメージに基づいて第２運動方向推定手段による運動方向の推定が行われる。これについては、図９で示している。

前記第２運動方向推定手段は、少なくとも２以上のフレームの多重露出イメージを一つにまとめるイメージ結合手段と、初期オブジェクトの位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値をチェックするラインスキャン手段と、前記ラインスキャン手段によるスキャンラインのうち、最も大きいピクセル値を有する場合の該当のスキャンラインを、オブジェクトの運動方向の軸として抽出する軸抽出手段と、を含むように構成されることが好ましい。

すなわち、第２運動方向推定手段の前記イメージ結合手段により、図８に示されたように複数のフレームのイメージが一つにまとめられ、前記ラインスキャン手段及び軸抽出手段により、図９に示されたようにボールの運動方向の軸が抽出され得る。

図９に示されたように、ボールの初期位置Ｂ１を基準に所定の角度のスキャン領域ＳＲを指定して、該当のスキャン領域ＳＲにおいて、ボールの初期位置Ｂ１を基準にそれぞれのスキャンラインＸ１，Ｘ２，Ｘ３，…Ｘｉ…Ｘｎ上のイメージに対するピクセル値をチェックする。

このとき、スキャン領域ＳＲを形成するスキャン領域ラインｓ１及びｓ２は、予め設定された角度をなすように形成することが好ましい。３６０゜になるように設定してもよいが、図９に示されたように、前方１２０゜程度に設定することが好ましい。

前記各スキャンラインＸ１，Ｘ２，Ｘ３，…Ｘｉ…Ｘｎ上のイメージに対するピクセル値は、図１０に示したようにチェックできる。

図１０に示したように、ボールの半径値Ｒｓとして予め設定された値（ボールの半径値を予め知って設定しておいた場合、及びボールのイメージから半径値を予め測定して設定しておいた場合などを全て含む）によってスキャンラインＸｉを中心に一側と他側にそれぞれ第１サブスキャンラインＵＬと第２サブスキャンラインＬＬを生成させ、スキャンラインＸｉ上のイメージのピクセル値の和（Ｓｕｍ１）、第１サブスキャンラインＵＬ上のイメージのピクセル値の和（Ｓｕｍ２）、そして第２サブスキャンラインＬＬ上のイメージのピクセル値の和（Ｓｕｍ３）をそれぞれ計算する。

その後、次のようなコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）値を算出する。

ｖ＝Ｓｕｍ１−Ｓｕｍ２−Ｓｕｍ３

上記したような関数値を各スキャンラインに対して全て求め、最大値を有するスキャンラインをボールの運動方向の軸として推定する。

このように、各スキャンラインと、該当のスキャンラインに対するボールの半径によるサブスキャンラインとのコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）値を算出することにより、ボールのイメージ領域としては小さすぎたり、大きすぎるイメージ領域を効果的に除外させることができ、ボールイメージ領域を正確に含めることができるので、ボールイメージ領域を貫通する運動方向の軸を正確に抽出することが可能になる。

したがって、図９では、Ｘｉスキャンラインを運動方向の軸として推定することができる。

一方、上記したような方法によりボールの運動方向の軸が抽出されると、その抽出された運動方向の軸を用いて、オブジェクト抽出手段２３３（図１参照）が重畳されたボールイメージ領域を抽出する。

すなわち、前記抽出された運動方向の軸が貫通する全てのイメージ（抽出しようとするボールイメージ領域だけでなくノイズも共に含まれていることがある）に対して、図１１に示したようにピクセル値をチェックすることにより、ノイズを効果的に除去し、ボールイメージ領域のみを抽出できるようになる。

図１１の（ａ）及び（ｂ）では、運動方向の軸上に存在するイメージからボールイメージのみを効果的に抽出する方法の一例について示している。

図１１の（ａ）は、運動方向の軸上に存在し得る特定パターンのイメージについて示しており、図１１の（ｂ）は、図１１の（ａ）に示したイメージに対する運動方向の軸１３に沿ってチェックされたピクセル値の分布について示している。

図１１の（ａ）に示されたように、運動方向の軸１３が、重畳されたボールに関するイメージ領域１２とその周辺のノイズＮ１を貫通し、運動方向の軸１３に沿ってイメージのピクセル値の分布を見ると、図１１の（ｂ）のようなパターンを有する。

重畳されたボールのイメージ領域は、所定の臨界値以上にピクセル値が維持される区間が、少なくとも２つのボールの直径を加算した区間程度はならなければならず、図１１の（ｂ）に示されたように、ピクセル値の分布において所定の臨界値以上に維持される区間は、ａ１〜ａ２区間とａ３〜ａ４区間とに分けられる。

ここで、ピクセル値が臨界値以上に維持される区間が、ａ３〜ａ４区間を示すイメージ、すなわち、図１１の（ａ）で１２と称されるイメージの場合、ボールが重畳されたイメージ領域と推定することができ、ａ１〜ａ２区間を示すイメージ、すなわち、図１１の（ａ）でＮ１と称されるイメージの場合、ノイズ（ゴルフクラブに関するイメージなど）と推定することができる。

したがって、Ｎ１イメージは除外し、１２と称されるイメージを重畳されたボールのイメージ領域として抽出することができる。

一方、上記したように、運動方向の軸上に存在するイメージから重畳されたボールに関するイメージ領域を抽出した後には、フィッティング手段２４１（図１参照）により前記抽出されたイメージ領域に対して適切なフィッティング（Ｆｉｔｔｉｎｇ）を行って中心点を抽出する過程が進行する。

重畳されたボールイメージ領域に対するフィッティング（Ｆｉｔｔｉｎｇ）の一方法として、図１２及び図１３では、ボールが互いに重畳して示されるボールイメージ領域１２に対して、一側端部に片方の半円をフィッティングし、他側端部に反対側の半円をフィッティングする半円フィッティング（Ｈａｌｆ−Ｃｉｒｃｌｅ Ｆｉｔｔｉｎｇ）方法を用いることができる。

図１２の（ａ）に示したように、ボールイメージ領域１２は、周辺領域に比べて輝度値が高い（ここで、取得されたイメージがグレースケールである場合、それぞれのピクセルは明るさ値、すなわち、輝度値を有する）。

そして、ボールイメージ領域１２の縁部は、輝度値が次第に変化する部分であって、輝度値の変化が終わる部分がボールイメージ領域の外郭であるので、その部分においてフィッティングが行われることが好ましい。

したがって、適切なフィッティングのために、図１２の（ａ）に示されたように、運動方向の軸１３に沿ってボールイメージ領域１２の中心部から両側方向に第１半円ＣＣ１と第２半円ＣＣ２をそれぞれ移動させながら、前記第１半円ＣＣ１上のイメージのピクセル値の和と前記第２半円ＣＣ２上のイメージのピクセル値の和をそれぞれ計算する。

上記したように計算されたピクセル値の和は、図１２の（ｂ）に示すグラフのような分布を有する。図１２の（ｂ）は、片方の半円上のピクセル値の和の分布を示すグラフである。

図１２の（ｂ）に示されたグラフにおいて、ピクセル値が突然変化し始める地点であるＶ１地点またはＶ２地点から輝度値が完全に変化した地点であるＶ３地点までがピクセル値が急激に変化した部分である。

上記したＶ１地点〜Ｖ３地点のいずれか一地点に半円カーブＨＣ１，ＨＣ２（図１３参照）を形成させることにより、半円フィッティングが行われるようにすることが好ましい。

すなわち、前記Ｖ１地点〜Ｖ３地点間の特定の値をピクセル値の和に対する設定値として予め設定し、前記それぞれの半円ＣＣ１，ＣＣ２上のピクセル値の和が前記設定値以下に変化する位置にそれぞれ前記半円カーブＨＣ１，ＨＣ２を形成させることにより、フィッティングが行われるようにすることが好ましい。

したがって、Ｖ１地点の値を前記設定値として予め設定してもよく、Ｖ２またはＶ３地点の値を前記設定値として予め設定してもよく、Ｖ１地点〜Ｖ３地点間の任意の値を前記設定値として予め設定してもよい。このような設定値の設定は、どの値を設定値として予め設定する場合に、最も正確な結果を得ることができるのかを、実験などを通じて導出可能である。

ここで、上記した半円ＣＣ１，ＣＣ２または半円カーブＨＣ１，ＨＣ２の直径は、ボールの直径として予め設定された値を用いてもよく、ボールイメージからボールの直径を測定して用いてもよい。

すなわち、ボールの直径を予め測定してこれを予め入力しておいた値であってもよく、カメラ装置がボールを初期位置で感知して、イメージ上でその直径を予め測定して設定しておいた値であってもよい。

また、図４の（ａ）に示されたように、ボールが互いに分離されて示されるイメージにおいて、ボールの直径を測定して、これを重畳されたボールのイメージに対するフィッティングに用いることもできる。

一方、図１３では、運動方向の軸１３に沿って、半円ＣＣ１，ＣＣ２上のピクセル値の和の分布においてＶ１地点〜Ｖ３地点のいずれか一地点を選択して、予め設定されたボールの直径、または測定されたボールの直径に基づく半円カーブＨＣ１，ＨＣ２をそれぞれイメージ領域１２の両側端部に形成させることによりフィッティングすることを示している。

すなわち、ボールイメージ領域１２の一側端部には第１半円カーブＨＣ１が形成されてフィッティングされ、ボールイメージ領域１２の他側端部には第２半円カーブＨＣ２が形成されてフィッティングされることが好ましい。

上記したのような半円フィッティングを一つの処理手段により行うことができる。ピクセルチェック手段により、前記第１半円ＣＣ１及び第２半円ＣＣ２がボールイメージ領域の両側端部にそれぞれ移動しながら、ピクセル値のチェックが行われ、フィッティング処理手段により、ボールイメージ領域の両側端部にそれぞれ半円カーブが形成されるようにフィッティング処理を行うことができる。

また、一方の半円に対する半円フィッティングと他方の半円に対する半円フィッティングを、それぞれ別の処理手段により行ってもよい。

すなわち、前記第１半円ＣＣ１の移動及び前記第１半円ＣＣ１上のピクセル値のチェックは第１ピクセルチェック手段によって行われ、第２半円ＣＣ２の移動及び前記第２半円ＣＣ２上のピクセル値のチェックは第２ピクセルチェック手段によって行われてもよい。前記第１ピクセルチェック手段によるピクセルチェックの結果によって、第１フィッティング処理手段がボールイメージ領域の一側端部に第１半円カーブＨＣ１を形成させるようにフィッティングし、前記第２ピクセルチェック手段によるピクセルチェックの結果によって、第２フィッティング処理手段がボールイメージ領域の他側端部に第２半円カーブＨＣ２を形成させるようにフィッティングすることができる。

一方、図１２の（ｂ）に示されたグラフにおいて、仮に、Ｖ３地点にフィッティングのための半円カーブＨＣ１、ＨＣ２を形成させた場合は、Ｖ１地点やＶ２地点に中心点候補ＥＰ１，ＥＰ２が生成されるようにすることができる。

すなわち、第１半円カーブＨＣ１が形成された側に第１中心点候補ＥＰ１が生成され、第２半円カーブＨＣ２が形成された側に第２中心点候補ＥＰ２が生成されるようにすることが好ましい。そして、前記中心点候補ＥＰ１，ＥＰ２は、運動方向の軸１３上に生成されることが好ましい。

もちろん、前記中心点候補ＥＰ１，ＥＰ２は、それぞれの半円フィッティングされた側において任意の点として選択されてもよい。

上記したように生成された中心点候補ＥＰ１，ＥＰ２は、座標抽出手段２４２（図１参照）によって正確な中心点の位置に調整される必要がある。また、運動方向の軸の位置もさらに正確な位置に調整されることが好ましい。

まず、運動方向の軸の位置を調整する場合について、図１４を参照して説明する。

運動方向の軸は、ボールイメージ領域の中心部を通ることが好ましいが、運動方向の軸は、正確に抽出されたものというよりは、推定されたものであるため、推定された運動方向の軸がボールイメージ領域の中心部を正確に貫通しないことがある。

このような場合には、推定された運動方向の軸がボールイメージ領域の中心部を正確に貫通できるように運動方向の軸の位置を調整することが好ましい。

図１４の（ａ）に示したように、運動方向の軸１３がボールイメージ領域１２を貫通する上下の厚さは、互いに実質的に同一でなければならないので、図１４の（ａ）に示された運動方向の軸１３の下方の厚さｔ１と上方の厚さｔ２との差に該当する分だけ運動方向の軸１３の位置を移動（Ｓｈｉｆｔ）させることが好ましい。

上記したような方式により、運動方向の軸が、ボールイメージ領域１２の中心を通る中心線ＣＬに移動した状態を、図１４の（ｂ）で示している。

一方、図１５の（ａ）では、図１２及び図１３に示された方法により生成された中心点候補ＥＰ１，ＥＰ２を調整する過程について示している。

図１５の（ａ）に示したように、フィッティングされた半円カーブＨＣ１，ＨＣ２が半円の形状であるので、これに対する幾何条件に基づいて、それぞれの中心点候補ＥＰ１，ＥＰ２を正確な中心点に調整することが可能である。

すなわち、第１中心点候補ＥＰ１に対して、３方向のラインｒ１，ｒ２，ｒ３の長さが互いに同一になるようにし、第２中心点候補ＥＰ２に対して、３方向のラインｒ４，ｒ５，ｒ６の長さが互いに同一になるようにすることで、中心点候補ＥＰ１，ＥＰ２の位置がそれぞれ正確な位置に形成されるように調整する。

すなわち、上記したような方法により、中心点候補ＥＰ１，ＥＰ２が、それぞれフィッティングされた半円カーブＨＣ１，ＨＣ２に対する円の中心に位置できるように調整する。

このとき、３方向のラインｒ１，ｒ２，ｒ３またはｒ４，ｒ５，ｒ６の長さは、ボールの直径として予め設定された値にマッチングされてもよく、ボールイメージを通じて測定された直径にマッチングされてもよい。

上記したような方式により、図１５の（ｂ）に示されたように、ボールイメージ領域１２の２つの中心点座標ＣＰ１，ＣＰ２がそれぞれ抽出される。

一方、上記したような方式により抽出されたイメージ領域において、実際のボールに関するイメージ領域以外のイメージが含まれ得る。

このような誤りを未然に防止するために、図１６に示されたように、各フレーム当たりストロボ照明の周期などから、抽出された中心点が正確なものか否かを検査し、誤って抽出された中心点である場合、その結果が補正されるようにすることも可能である。

すなわち、図３に示されたように、１フレームにおいてストロボ照明の時間間隔はｔｓ_１であり、１フレームの最後のストロボ照明と次のフレームの最初のストロボ照明との間の時間間隔はｔｓ_２であり、図１１の各フレームのボールイメージ領域１２−１，１２−２，１２−３間の距離間隔と所定の比率で対応しなければならない。

すなわち、２ｔｓ_１に対するｔｓ_２の比率は、ａに対するｂの比率、またはｃに対するｄの比率などと互いに対応しなければならない。

仮に、抽出された中心点に対する間隔が前記ストロボ照明の周期の特徴に対応しないと、これに対応するように結果を補正することができる。

例えば、ストロボ照明の周期の特徴によって、位置しなければならない位置に中心点がない場合、該当の位置に中心点が生成されるように補正することができ、ストロボ照明の周期の特徴によって、中心点が存在してはならない位置に中心点が位置する場合には、該当の中心点を削除することができる。

上記したように、中心点が抽出されて補正された後、重畳されたボールイメージ領域に対する最終的な中心点の座標を確定することができる。

したがって、低い解像度の低速カメラ装置及びストロボ装置により取得された低い品質のイメージを利用するため、ボールが互いに重畳された所定の大きさのイメージ領域として示される場合でも、運動するボールに対する中心点の座標を非常に正確に抽出することができる。

このように、最終的に確定されたそれぞれのボールの中心点の座標は、変換（ｃｏｎｖｅｒｔｉｎｇ）手段により３次元座標に変換され、これに基づいて、シミュレーションされるボールの運動軌跡の物理的情報が算出される。

一方、図１７を参照して、本発明に係るセンシング処理方法について説明する。

図１７に示されたように、まず、信号発生部によってトリガ信号が印加されて、カメラ装置及びストロボ装置がそれぞれ所定の周期でオブジェクトの運動状態に関して多重露出イメージを取得する（Ｓ１０）。

このとき、ボールの初期位置を感知して認識する（Ｓ２０）。その後、取得された多重露出イメージから背景イメージ及び各種ノイズを除去するための様々なイメージ前処理ステップが進行する（Ｓ３０）。

上記したように前処理されたイメージ上の各イメージ領域を貫通する複数個のラインを生成し（Ｓ４０）、ボールの初期位置から各生成されたラインまでの直線距離が最も短いラインを抽出することにより（Ｓ５０）、ボールの運動方向の軸を推定する。

このとき、ボールの初期位置から最短距離をなすラインまでの距離が設定距離よりも小さい場合には、該当のラインを運動方向の軸として抽出する（Ｓ６１）。

仮に、ボールの初期位置から最短距離をなすラインまでの距離が設定距離よりも大きい場合、前記ステップＳ４０及びＳ５０により推定された運動方向の軸は誤って推定されたものと見なし、第２運動方向推定に関するプロセスが進行する。

すなわち、前記前処理されたイメージのうち２以上のフレームに対するイメージをまとめて（Ｓ６２）、ボールの初期位置を中心に所定の角度でラインスキャンを行う（Ｓ６３）。

このとき、各スキャンライン上の各イメージ領域のピクセル値に対するコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）（図１０参照）を算出し（Ｓ６４）、算出されたコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）のうち最大値を有するスキャンラインを運動方向の軸として抽出する（Ｓ６５）。

上記したように抽出された運動方向の軸上のイメージ領域からボールに関するイメージを抽出して分析することにより、最終的にボールの中心点の座標を獲得することができる（Ｓ７０）。

一方、図１８を参照して、図１７のステップＳ７０についてより具体的に説明する。

上記したように、運動方向推定手段によりボールが運動する運動方向に対する軸が抽出され、その抽出された運動方向の軸が貫通するイメージからボールイメージ領域が抽出され、前記抽出されたボールイメージ領域に対して予め設定された直径、または測定された直径に基づく半円を、ボールイメージ領域の中心部から両側方向へ運動方向の軸に沿ってそれぞれ移動させながら、それぞれの半円上のピクセル値の和を計算する（Ｓ７１）。

その後、前記計算されたピクセル値の和が設定値以下に変化した位置に半円カーブを形成して、ボールイメージ領域に対するフィッティングを行う（Ｓ７２）。

ボールイメージ領域を貫通する運動方向の軸上にボールイメージ領域に対する少なくとも２つの中心点候補を生成し（Ｓ７３）、前記生成された中心点候補を、フィッティングされた半円カーブに対する円の中心に位置できるように調整する（Ｓ７４）。

また、上記したように調整された中心点に対して、ストロボ照明の周期に関する特徴に対応するように中心点の位置を補正することにより（Ｓ７５）、最終的にボールイメージ領域に対する２つの中心点の座標を獲得できるようになる（Ｓ７６）。

このように獲得された中心点の座標の３次元空間上での変化が計算されることにより、運動するボールの物理的特性情報を計算することができる。
［項目１］
ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するセンサ部と、
前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出する第１処理手段、及び前記抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成し、前記中心点候補の位置を調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出する第２処理手段を含むセンシング処理部と、を含む、センシング装置。
［項目２］
前記第１処理手段は、
前記多重露出イメージにおいて前記オブジェクトの運動方向を推定する運動方向推定手段と、
前記推定された運動方向上のイメージから、互いに重畳されたオブジェクトに対するオブジェクトイメージ領域を抽出するオブジェクト抽出手段と、を含むことを特徴とする、項目１に記載のセンシング装置。
［項目３］
前記第２処理手段は、
前記抽出されたオブジェクトイメージ領域に対してフィッティングして、前記フィッティングされたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成するフィッティング手段と、
前記生成された中心点候補の位置を所定の条件によって調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出する座標抽出手段と、を含むことを特徴とする、項目１または２に記載のセンシング装置。
［項目４］
ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するセンサ部と、
初期オブジェクトの位置情報を通じてオブジェクトの運動方向を推定する第１運動方向推定手段、前記多重露出イメージ上の各イメージ領域のピクセル値からオブジェクトの運動方向を推定する第２運動方向推定手段、及び前記第１運動方向推定手段及び第２運動方向推定手段のうち少なくとも一つによって推定された運動方向上のイメージから、オブジェクトに対するイメージを抽出するオブジェクト抽出手段を含むセンシング処理部と、を含む、センシング装置。
［項目５］
前記第１運動方向推定手段は、
前記多重露出イメージ上の各イメージ領域の少なくとも２つのポイントを選定して互いに連結するラインを生成するライン生成手段と、
前記生成されたラインのうち、初期オブジェクトの位置との距離が最も短いラインを、オブジェクトの運動方向の軸として抽出するライン抽出手段と、を含むことを項目とし、
前記第２運動方向推定手段は、
少なくとも２以上のフレームの多重露出イメージを一つにまとめるイメージ結合手段と、
初期オブジェクトの位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値をチェックするラインスキャン手段と、
前記ラインスキャン手段によるスキャンラインのうち、最も大きいピクセル値を有する場合の該当のスキャンラインを、オブジェクトの運動方向の軸として抽出する軸抽出手段と、を含むことを特徴とする、項目４に記載のセンシング装置。
［項目６］
ストロボ照明下で運動するボールに対する多重露出イメージを取得するセンサ部と、
前記多重露出イメージから、運動するボールに対する互いに重畳されたボールイメージ領域を抽出するオブジェクト抽出手段、前記抽出されたボールイメージ領域の両側端部上に予め設定された直径の半円カーブがそれぞれ形成されるようにフィッティングするフィッティング手段、及び前記フィッティングされたボールイメージ領域に対する少なくとも２つの中心点の座標を抽出する座標抽出手段を含むセンシング処理部と、を含む、センシング装置。
［項目７］
前記フィッティング手段は、
前記重畳されたボールイメージ領域の中心部から両側端部の方向に移動しながら、それぞれ予め設定された直径の半円上のピクセルをチェックするピクセルチェック手段と、
前記ピクセルチェックの結果によって、前記ボールイメージ領域の両側端部上に、それぞれ前記設定された直径の半円カーブが形成されるようにするフィッティング処理手段と、を含むことを特徴とする、項目６に記載のセンシング装置。
［項目８］
ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するステップと、
前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出するステップと、
前記抽出するステップにおいて抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成するステップと、
前記中心点候補の位置を所定の条件によって調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出するステップと、を含む、センシング処理方法。
［項目９］
前記オブジェクトイメージ領域を抽出するステップは、
前記多重露出イメージにおいて前記オブジェクトの運動方向を推定するステップと、
前記多重露出イメージから、前記推定された運動方向上のイメージを抽出するステップと、
前記推定するステップにおいて推定された運動方向上の各イメージから、前記オブジェクトイメージ領域を抽出するステップと、を含むことを特徴とする、項目８に記載のセンシング処理方法。
［項目１０］
前記中心点候補を生成するステップは、
前記抽出するステップにおいて抽出されたオブジェクトイメージ領域の両側端部上に、それぞれ予め設定された直径の半円カーブが形成されるようにフィッティングするステップと、
前記フィッティングするステップにおいてフィッティングされたオブジェクトイメージ領域に対する少なくとも２つの中心点を前記中心点候補として生成するステップと、を含むことを特徴とする、項目８または９に記載のセンシング処理方法。
［項目１１］
ストロボ照明下で運動するオブジェクトに対する複数のフレームの多重露出イメージを取得するステップと、
前記多重露出イメージ上のオブジェクトの初期位置を認識するステップと、
前記多重露出イメージ上の各イメージ領域を貫通するラインをそれぞれ生成するステップと、
前記生成するステップにおいて生成されたラインのうち、前記初期位置に最も近い距離のラインの方向を前記オブジェクトの運動方向として推定するステップと、
前記推定するステップにおいて推定された運動方向上の各イメージから、前記オブジェクトに関するイメージを抽出して分析するステップと、を含む、センシング処理方法。
［項目１２］
前記運動方向として推定するステップは、
前記生成されたラインのうち、前記初期位置に最も近い距離のラインの前記初期位置との距離が予め設定された設定値よりも大きい場合、
少なくとも２以上のフレームの多重露出イメージを一つにまとめるステップと、
前記初期位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値の和をチェックするステップと、
前記各スキャンライン上のイメージのピクセル値の和のうち、最も大きい値を有する場合の該当のスキャンラインの方向を、前記オブジェクトの運動方向として推定するステップと、を含むことを特徴とする、項目１１に記載のセンシング処理方法。
［項目１３］
ストロボ照明下で運動するオブジェクトに対する複数のフレームの多重露出イメージを取得するステップと、
前記多重露出イメージ上のオブジェクトの初期位置を認識するステップと、
少なくとも２以上のフレームの多重露出イメージを一つにまとめるステップと、
前記まとめるステップにおいてまとめられたイメージにおいて、前記初期位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値に基づいた所定の関数値を算出するステップと、
前記算出するステップにおいて算出された関数値のうち最大値を有するスキャンラインの方向を、前記オブジェクトの運動方向として推定するステップと、
前記推定するステップにおいて推定された運動方向上の各イメージから、前記オブジェクトに関するイメージを抽出して分析するステップと、を含む、センシング処理方法。
［項目１４］
前記関数値を算出するステップは、
前記各スキャンラインに沿って、該当のスキャンライン上のイメージのピクセル値の和に関する第１値が計算されるステップと、
予め設定された間隔で、前記スキャンラインの一側に生成されるラインに沿って、該当のライン上のイメージのピクセル値の和に関する第２値が計算されるステップと、
予め設定された間隔で、前記スキャンラインの他側に生成されるラインに沿って、該当のライン上のイメージのピクセル値の和に関する第３値が計算されるステップと、
前記第１値から前記第２値及び第３値を引いた値を計算するステップと、を含むことを特徴とする、項目１３に記載のセンシング処理方法。
［項目１５］
ストロボ照明下で運動するボールに対する多重露出イメージを取得するステップと、
前記多重露出イメージから、多重露出により運動するボールのイメージが互いに重畳して示されるボールイメージ領域を抽出するステップと、
前記抽出するステップにおいて抽出されたボールイメージ領域の両側端部上に予め設定された直径の半円カーブが形成されるようにフィッティングするステップと、
前記フィッティングするステップにおいてフィッティングされたボールイメージ領域に対する少なくとも２つの中心点の座標を抽出するステップと、を含む、センシング処理方法。
［項目１６］
前記フィッティングするステップは、
前記抽出するステップにおいて抽出されたボールイメージ領域を貫通する前記ボールの運動方向の軸に沿って、前記ボールイメージ領域の中心部から両側端部に向かって前記設定された直径の半円を移動させながら、前記半円上のピクセル値の和を計算するステップと、
前記計算するステップにおいて計算されたピクセル値の和が予め設定された設定値以下に変化する位置に、それぞれ前記設定された直径の半円カーブが形成されるようにフィッティングするステップと、を含むことを特徴とする、項目１５に記載のセンシング処理方法。
［項目１７］
ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するセンサ部と、
前記多重露出イメージから、多重露出により運動するオブジェクトのイメージが互いに重畳して示されるオブジェクトイメージ領域を抽出する第１処理手段、及び前記抽出されたオブジェクトイメージ領域に対する少なくとも２つの中心点候補を生成し、前記中心点候補の位置を調整することにより、前記オブジェクトイメージ領域に対する少なくとも２つの中心点の座標を抽出する第２処理手段を含むセンシング処理部と、
前記中心点の座標の変化を計算することにより、運動するゴルフボールに関する物理情報を算出してゴルフボールの軌跡をシミュレーションするシミュレータと、を含む、仮想ゴルフシミュレーション装置。
［項目１８］
前記抽出された中心点の座標を前記ストロボ照明の周期に対応するように補正する補正手段をさらに含むことを特徴とするセンシング装置。
［項目１９］
前記オブジェクト抽出手段は、
前記第１運動方向推定手段により抽出されたオブジェクトの運動方向の軸と前記初期オブジェクト位置との距離が設定値よりも大きい場合に、前記第２運動方向推定手段により推定された運動方向を適用して、前記オブジェクトに対するイメージを抽出するように構成されることを特徴とするセンシング装置。
［項目２０］
前記フィッティング手段は、
前記重畳されたボールイメージ領域の一側端部上に予め設定された直径の第１半円カーブが形成されるようにフィッティングする第１半円フィッティング手段と、
前記重畳されたボールイメージ領域の他側端部上に前記設定された直径の第２半円カーブが形成されるようにフィッティングする第２半円フィッティング手段と、を含むことを特徴とするセンシング装置。
［項目２１］
前記第１半円フィッティング手段は、
前記重畳されたボールイメージ領域の中心部から一側端部の方向に移動しながら、前記設定された直径の第１半円上のピクセル値の和を計算する第１ピクセルチェック手段と、前記計算されたピクセル値の和が予め設定された設定値以下に変化する位置に前記第１半円カーブが形成されるようにフィッティングする第１フィッティング処理手段とを含み、
前記第２半円フィッティング手段は、
前記重畳されたボールイメージ領域の中心部から他側端部の方向に移動しながら、前記設定された直径の第２半円上のピクセル値の和を計算する第２ピクセルチェック手段と、前記計算されたピクセル値の和が予め設定された設定値以下に変化する位置に前記第２半円カーブが形成されるようにフィッティングする第２フィッティング処理手段とを含むことを特徴とするセンシング装置。

Claims (13)

1. 運動するオブジェクトに対する運動解析の基準となる中心点座標情報を、イメージ分析を通じて抽出するセンシング装置であって、
   あらかじめ設定された時間間隔でストロボ照明を発生させるストロボ装置と、
   前記ストロボ装置によって発生するストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するカメラ装置と、
   前記多重露出イメージから、多重露出により運動するオブジェクトの複数のイメージが互いに重畳して一つの領域で示されるオブジェクトイメージ領域を抽出するオブジェクト抽出手段、前記抽出されたオブジェクトイメージ領域の両側端部上にあらかじめ設定された直径の半円カーブがそれぞれ形成されるようにフィッティングするフィッティング手段、及び前記半円カーブによってフィッティングされた前記オブジェクトイメージ領域に対する二つの中心点座標を抽出する座標抽出手段を含むセンシング処理部と、を含む、センシング装置。
2. 前記多重露出イメージ上に存在する各オブジェクトイメージ領域の少なくとも二つのポイントを選定して、相互に連結するラインを生成して、前記生成されたラインのうち前記オブジェクトの初期位置との距離が最も短いラインをオブジェクトの運動方向軸として抽出することにより前記オブジェクトの運動方向を推定する運動方向推定手段をさらに含み、
   前記オブジェクト抽出手段は、前記運動方向推定手段によって推定された運動方向上のイメージから、前記オブジェクトイメージ領域を抽出するように構成されることを特徴とする、請求項１に記載のセンシング装置。
3. 少なくとも２以上のフレームの多重露出イメージを一つにまとめて、まとめられたイメージ上で前記オブジェクトの初期位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値をチェックして、前記スキャンラインのうち、最も大きいピクセル値を有する場合の該当のスキャンラインを、オブジェクトの運動方向の軸として抽出することにより前記オブジェクトの運動方向を推定する運動方向推定手段をさらに含めて、
   前記オブジェクト抽出手段は、前記運動方向推定手段によって推定された運動方向上のイメージから、前記オブジェクトイメージ領域を抽出するように構成されることを特徴とする、請求項１に記載のセンシング装置。
4. 前記フィッティング手段は、前記運動方向に推定手段によって抽出された運動方向軸に沿って前記半円カーブを移動させて前記オブジェクトイメージ領域の両側端部上にそれぞれ位置させるように構成され、
   前記座標抽出手段は、前記運動方向軸上の任意の二点を中心点候補として抽出し、前記抽出された２つの中心点候補を前記フィッティングされた半円カーブの中心にそれぞれ位置を調整することにより、前記オブジェクトイメージ領域に対する二つの中心点座標を抽出するように構成されることを特徴とする、請求項１または２に記載のセンシング装置。
5. あらかじめ設定された直径を持つ二つの半円カーブを前記オブジェクトイメージ領域の中心部から両側端部の方向に移動しながら、それぞれの前記半円カーブ上のピクセルをチェックするピクセルチェック手段と、
   前記ピクセルチェック手段によるピクセルチェックの結果、ピクセル値があらかじめ設定された値以下へと変化し始めた位置にそれぞれ前記半円カーブを位置させることにより、前記オブジェクトイメージ領域の両側端部についてフィッティングが行われているフィッティング処理手段と、を含むことを特徴とする、請求項１に記載のセンシング装置。
6. 運動するオブジェクトに対する運動解析の基準となる中心点座標情報を、イメージ分析を通じて抽出するセンシング装置のセンシング処理方法であって、
   ストロボ照明下で運動するオブジェクトに対する多重露出イメージを取得するステップと、
   前記多重露出イメージから、多重露出により運動するオブジェクトの複数のイメージが互いに重畳して一つの領域で示されるオブジェクトイメージ領域を抽出するステップと、
   前記抽出するステップにおいて抽出されたオブジェクトイメージ領域の両側端部上にあらかじめ設定された直径の半円カーブがそれぞれ形成されるようにフィッティングするステップと、
   前記半円カーブによってフィッティングされた前記オブジェクトイメージ領域に対する二つの中心点座標を抽出するステップと、を含む、センシング処理方法。
7. 前記オブジェクトイメージ領域を抽出するステップは、
   前記多重露出イメージ上に存在する各オブジェクトイメージ領域の少なくとも二つのポイントを選定して、相互に連結するラインを生成するステップと、
   前記生成されたラインのうち前記オブジェクトの初期位置との距離が最も近いラインをオブジェクトの運動方向軸として抽出するステップと、
   前記抽出された運動方向軸上のイメージの中で前記オブジェクトイメージ領域を抽出するステップと、を含むことを特徴とする、請求項６に記載のセンシング処理方法。
8. 前記オブジェクトイメージ領域を抽出するステップは、
   少なくとも２以上のフレームの多重露出イメージを一つにまとめるステップと、
   前記オブジェクトの初期位置を中心に所定の角度ラインスキャンを行って、各スキャンライン上のイメージのピクセル値の和をチェックするステップと、
   前記各スキャンライン上のイメージのピクセル値の和のうち最も大きい値を持つ場合の当該スキャンラインを前記オブジェクトの運動方向軸として抽出するステップと、
   前記抽出された運動方向軸上のイメージの中で前記オブジェクトイメージ領域を抽出するステップと、を含むことを特徴とする、請求項６または７に記載のセンシング処理方法。
9. 前記オブジェクトイメージ領域を抽出するステップは、
   前記多重露出イメージ上に存在する各オブジェクトイメージ領域の少なくとも二つのポイントを選定して、相互に連結するラインを生成するステップと、
   前記生成されたラインのうち、前記オブジェクトの初期位置に最も近い距離のラインの前記初期位置との距離が予め設定された設定値よりも大きい場合、
   少なくとも２以上のフレームの多重露出イメージを一つにまとめるステップと、
   前記初期位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値の和をチェックするステップと、
   前記各スキャンライン上のイメージのピクセル値の和のうち、最も大きい値を有する場合の該当のスキャンラインを、前記オブジェクトの運動方向軸として抽出するステップと、を含むことを特徴とする、請求項６に記載のセンシング処理方法。
10. 前記オブジェクトイメージ領域を抽出するステップは、
    前記多重露出イメージ上のオブジェクトの初期位置を認識するステップと、
    少なくとも２以上のフレームの多重露出イメージを一つにまとめるステップと、
    前記一つにまとめるステップにおいてまとめられたイメージにおいて、前記初期位置を中心に所定の角度でラインスキャンを行って、各スキャンライン上のイメージのピクセル値に基づいた所定の関数値を算出するステップと、
    前記算出するステップにおいて算出された関数値のうち最大値を有するスキャンラインの方向を、前記オブジェクトの運動方向軸として抽出するステップと、
    前記抽出された運動方向軸上の各イメージから、前記オブジェクトイメージ領域を抽出するステップと、を含むことを特徴とする、請求項６に記載のセンシング処理方法。
11. 前記関数値を算出するステップは、
    前記各スキャンラインに沿って、該当のスキャンライン上のイメージのピクセル値の和に関する第１値が計算されるステップと、
    予め設定された間隔で、前記スキャンラインの一側に生成されるラインに沿って、該当のライン上のイメージのピクセル値の和に関する第２値が計算されるステップと、
    予め設定された間隔で、前記スキャンラインの他側に生成されるラインに沿って、該当のライン上のイメージのピクセル値の和に関する第３値が計算されるステップと、
    前記第１値から前記第２値及び前記第３値を引いた値を計算するステップと、を含むことを特徴とする、請求項１０に記載のセンシング処理方法。
12. 前記フィッティングするステップは、
    前記抽出するステップにおいて抽出されたオブジェクトイメージ領域を貫通する前記運動方向の軸に沿って、前記オブジェクトイメージ領域の中心部から両側端部に向かってあらかじめ設定された直径の半円カーブを移動させながら、前記半円カーブ上のピクセル値の和を計算するステップと、
    前記計算するステップにおいて計算されたピクセル値の和が予め設定された設定値以下に変化する位置に、それぞれ前記半円カーブが形成されるようにフィッティングするステップと、を含むことを特徴とする、請求項７から１０のいずれか一項に記載のセンシング処理方法。
13. 使用者の打撃によって運動するボールに対する運動解析の基準となる中心点座標情報を、イメージ分析を通じて抽出するセンシング装置を利用した仮想ゴルフシミュレーション装置であって、
    あらかじめ設定された時間間隔でストロボ照明を発生させるストロボ装置と、
    前記ストロボ装置によって発生するストロボ照明下で運動するボールに対する多重露出イメージを取得するカメラ装置と、
    前記多重露出イメージから、多重露出により運動するボールの複数のイメージが互いに重畳して一つの領域で示されるボールイメージ領域を抽出するオブジェクト抽出手段、前記抽出されたボールイメージ領域の両側端部上にあらかじめ設定された直径の半円カーブがそれぞれ形成されるようにフィッティングするフィッティング手段、及び前記半円カーブによってフィッティングされた前記ボールイメージ領域に対する二つの中心点座標を抽出する座標抽出手段を含むセンシング処理部と、
    前記中心点の座標の変化を計算することにより、運動するボールに関する物理情報を算出してボールの軌跡をシミュレーションするシミュレータと、を含む、仮想ゴルフシミュレーション装置。