JP7111433B2 - ボールの運動に対するセンシング装置及びそのセンシング方法 - Google Patents

Description

本発明は、テニス、スカッシュ、バドミントン、卓球などのように、ネットを挟んで両プレーヤーがお互いにボールをやり取りする形のネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、多様な方向へ速く移動するボールの運動をセンシングするセンシング装置及びそのセンシング方法に関するものである。

最近スポーツを手軽に楽しめるようにする仮想スポーツシミュレーションシステムに登場し、例えばゴルフと野球ではフィールドで直接スポーツを楽しむことが非常に限られているスポーツに対する仮想シミュレーションシステムが広く普及している。

さらに、テニス、スカッシュ、バドミントンなどのようなネットを挟んで両プレーヤーが互いにボールをやり取りする形式のネットスポーツに対する仮想スポーツシミュレーションシステムも登場し、ユーザーが多様なスポーツを大衆的文化空間で手軽に楽しめるようにする傾向が形成されている。

代表的なネットスポーツであるテニスに対する仮想テニスのシミュレーションシステムに係る先行技術文献として、韓国特許出願第10-2015-0010077号、韓国特許出願第10-2015-0138876号、米国登録特許第6,776,732号、米国登録特許第3,989,246号などが公開されている。

さて、ゴルフ、野球といったスポーツシミュレーションシステムに用いられるボール検知のためのセンシング装置と、テニスなどのネットスポーツに対するシミュレーションシステムに用いられるセンシング装置は、共通してボールという媒体を撮影された映像の分析により検知するという特性により、同一のセンシング方式によりボールの運動に対するセンシングが行われている。

ゴルフや野球のように、使用者が決められた位置でボールを打撃するスポーツは、ボールが移動する経路が比較的単純で、テニスのラリーのようにボールを素早くやり取りする状況を考慮する必要がないため、センシング装置がカメラにより撮影された映像の分析によりボールの運動特性をセンシングすることが比較的容易で、また実際に使用されるボールの弾性が低いため、使用者がスポーツを楽しむスペース内で、すでに打撃されたボールが継続的に移動したりバウンドして運動することがほとんどないので、センシング装置がカメラによって撮影された映像から次映像によりボールを抽出することが非常に容易である。

しかし、テニスなどのネットスポーツの場合、ラリーのようにボールを素早くやり取りする状況を必須として考慮するだけでなく、プレーヤーがダイナミックに移動しながら予測できない様々な位置でボールを打撃するため、ボールの運動特性をセンシングすることは難しい。

また、実際に使用されるテニスボールの弾性が高いため、プレーヤーがスポーツを楽しむスペース内で既に打撃を受けている多数のボールが移動し続けたり、バウンドして運動したりしているため、次映像によりボールを取り出すことができないという問題点があった。

本発明は、テニスなどのネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、ボールマシンとプレーヤーが素早くボールをやり取りし、プレーヤーがダイナミックに動きながら予測できない様々な位置でボールを打撃し、プレースペース内に既に打撃されて失効したボールが不特定に移動するなどのプレー環境においても迅速で安定的なボールの運動に対するセンシングが行えるようにするセンシング装置及びそのセンシング方法を提供するためである。

本発明の一実施例によるボールの運動に対するセンシング装置のセンシング方法は、ネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、ボールの運動に対するセンシング装置のセンシング方法として、ステレオ方式の複数個のカメラのうちのいずれかのカメラによって、その撮影範囲に対する2次元映像が撮影されて収集される段階と、ボールマシンからボールが発射され、前記2次元映像において前記ボールマシンから発射されるボールであるマシンボールを特定することにより、プレーヤーによって打撃されたボールである打撃ボールを特定する打撃ボールプロセスが開始される段階と、前記打撃ボールプロセスの開始に伴い、前記2次元映像において前記打撃ボールを特定することにより、3次元空間で打撃されて運動するボールに対するボール運動モデルを算出するボールモデルプロセスが開始される段階と、前記ボールモデルプロセスの開始に伴い、前記複数個のカメラそれぞれが取得する2次元映像を用いて前記打撃ボールに対する3次元座標情報を算出し、前記算出されたボールの3次元座標情報を用いて前記ボール運動モデルを算出する段階とを含む。

一方、本発明の一実施例によるボールの運動に対するセンシング装置は、ネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、ボールの運動に対するセンシング装置として、ステレオ方式の複数個のカメラのうちのいずれかのカメラにより、その撮影範囲に対する2次元映像を撮影するカメラユニットと、ボールマシンから発射されるボールであるマシンボールを特定するためのマシンボールプロセスを開始することにより、前記2次元映像から前記マシンボールを特定し、前記マシンボールプロセスの完了に従って、プレイヤーによって打撃されたボールである打撃ボールを特定するための打撃ボールプロセスを開始し、前記2次元映像から前記打撃ボールを特定し、前記打撃ボールプロセスの完了に伴い、3次元空間で打撃されて運動するボールに対するボール運動モデルを算出するボールモデルプロセスを開始し、前記複数個のカメラそれぞれが取得する2次元映像を用いて前記打撃ボールに対する3次元座標情報を算出し、前記算出されたボールの3次元座標情報を用いて前記ボール運動モデルを算出するセンシング処理ユニットを含む。

本発明によるボールの運動に対するセンシング装置及びそのセンシング方法は、テニスなどのネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、ボールマシンとプレーヤーが素早くボールをやり取りし、プレーヤーがダイナミックに動き予測できない様々な位置でボールを打撃し、プレースペース内に既に打撃され失効したボールが不特定に移動するなどのプレー環境においても迅速かつ安定したボールの運動に対するセンシングが行われるようにする効果がある。

本発明の一実施例によるセンシング装置が適用された仮想テニスシミュレーションシステムとしてスクリーンテニスシステムが実装された例を示す図面である。 図1に図示されたような仮想テニスシミュレーションシステムを構成する各構成要素の制御系統に関して示したブロック図である。 ネットスポーツに基づく仮想シミュレーションシステムにおいて、上から下に見下ろす画角で映像を取得し分析するセンシング装置の位置から眺めるプレーヤー空間部の状況の一例を示した図面である。 本発明の一実施例によるセンシング装置のセンシング方法について示したフローチャートである。 図4においてマシンボールプロセスに関してより具体的に示したフローチャートである。 図5 に従ったマシンボールプロセスを説明するための図面である。 図5 に従ったマシンボールプロセスを説明するための図面である。 図4で打撃ボールプロセスに関してより具体的に示したフローチャートである。 図8の打撃ボールプロセスを説明するための図面だ。

本発明によるボールの運動に対するセンシング装置及びそのセンシング方法に関する具体的な内容を図面を参照して説明する。

本発明によるセンシング装置及びそのセンシング方法は、二人のプレーヤーが互いにボールをやり取りする形のネットスポーツに関する仮想シミュレーションシステム（仮想シミュレーション環境では、映像上の仮想プレーヤーと実際プレーヤーがボールをやり取りする形で、実際にはボールをプレーヤー側に発射するボールマシンとプレーヤーとの間でボールをやり取りする形で行われる。）に用いられるものである。

このようなネットスポーツの代表的な例がテニスであり、図1では、本発明の一実施例によるセンシング装置が適用された仮想テニスシミュレーションシステムとしてスクリーンテニスシステムが実装された例を示している。

そして、図2では図1に図示された仮想テニスシミュレーションシステムの構成をブロック図として示している。

図1及び図2では、仮想テニスシミュレーションシステムに本発明によるセンシング装置が適用された例を示しているが、本発明によるセンシング装置及びそのセンシング方法は、テニスだけでなく、スカッシュ、バドミントン、卓球などのネットスポーツに対する仮想シミュレーションシステムにはすべて適用できる。 ここで、バドミントンに使用されるシャトルコックは、他のネットスポーツにおけるボールと形状が異なるが、本発明によるセンシング装置及びそのセンシング方法が同様に適用されることがあり、以下において「ボール」とは、テニスボール、スカッシュボール、ピンポンドールなどはもちろん、シャトルコックのように形状が球体と異なる場合もすべて含むものと定義される。

図1に示されるように、本発明の一実施例に従ったセンシング装置が適用される仮想テニスシミュレーションシステムは、所定の空間にプレーヤ空間部(30)（ここでネット(32)は設置されることもあれば設置されないこともあり）、そしてプレーヤー(P)の前方にスクリーン（20）を具備し、スクリーン（20）の後方には、ラケットを持ってテニスプレーをするプレーヤー（P）にボールを提供するボールマシン（100）が設置され、空間の一側にスクリーン（20）に映像を投影する映像出力部（420）と、プレーヤー（P）が打撃するボールに対するセンシングデータを収集するセンシング装置（200）が設置され構成され得る。

ボールマシン（100）、センシング装置（200）及び映像出力部（420）等の装置は制御装置（300）と連結され、制御装置（300）はセンシング装置（200）のセンシングデータを受けて処理し、ユーザの仮想テニスの練習及び競技のための映像コンテンツを生成して映像出力部（420）に伝達し、映像出力部（420）は受け取った映像コンテンツをスクリーン（20）に投影し、 ボールマシン（100）のボール発射及び発射されるボールの方向、速度等のボール発射パラメータの制御を行う。

ボールマシン（100）は、スクリーン（20）の後部に設けられ、スクリーン（20）に形成されたボール発射穴（22）を介してコート底部（30）上の予め計算された位置にボール（1）を発射するように構成され、図1に示されるようにボールマシン（100）は、多様な位置に多様な速度のボール（1）を発射できるように発射角制御及び発射速度制御が可能に構成されることが望ましい。

そして、ボールマシン（100）から発射されるボールは、スクリーン（20）上に形成されるボール発射穴（22）を介してプレーヤー（P）側に供給されるが、ボール発射穴（22）は、スクリーン（20）上の概ね中程度の位置に備えられる。 もちろん、スクリーン（20）上のどの位置にでも設置できるが、多様な軌跡のボールに対する（相手プレーヤーの）レシーブを具現するに当たっては、大体中程度又は中程度よりはやや低い位置が望ましい。

スクリーン（20）に投影される映像には、プレーヤー（P）がその映像を介して仮想のテニスプレーを楽しめるようにするコンテンツを含み、使用者がプレーするプレー空間部の反対側の部分に対する仮想環境が具現され、仮想の相手プレーヤー等に対するコンテンツ映像が含まれ得る。

スクリーンに投影される仮想シミュレーション映像では、まるで実際のテニスマッチで相手がプレーするように、仮想の相手プレーヤーが予め設定された人工知能に従って仮想のボールを打撃し、その打撃された仮想のボールは映像上で移動しながらボール発射穴（22）につながり、仮想のボールの移動に対する映像が終了すると共にボールマシン（100）がボール発射穴（22）からプレーヤー（P）側に実際のボール（1）を発射する。

プレーヤー（P）がその発射されるボール（1）をスクリーン（20）に向けて打撃すると、センシング装置（200）がその打撃されたボールに対するボール運動モデルを算出して制御装置（300）に伝達し、制御装置（300）はそのボール運動モデルに基づいて映像上で仮想のボールが仮想のプレーヤーの方に移動するシミュレーション映像が具現されるものである。

仮想のプレーヤーがその仮想のボールを打撃すると、再び映像上で仮想のボールの移動に対する映像が具現され、ボールマシン（100）によってボール発射穴（22）を介してボール（1）がプレーヤー（P）の方に再び供給され、このような方式でプレーヤーと映像上の仮想のプレーヤーが互いにボールをやり取りできる（実際にはプレーヤーとボールマシンがボールをやり取りすることである）。

一方、図2を参照して、図1に示されるような仮想テニスシミュレーションシステムを構成する各構成要素の制御系統について説明する。

図2に示されるように、仮想テニスシミュレーションシステムは、ボールマシン（100）、制御装置（300）、映像出力部（420）、そして本発明の一実施例によるセンシング装置（200）を含めて構成され得る。

制御装置（300）は、データ保存部（320）、映像処理部（330）、制御部（310）等を含んで備えられ、映像出力部（420）は、映像処理部（330）によって処理された映像がスクリーン（20）上に投影されるようにするプロジェクション装置等によって具現され得る。

データ保存部（320）は、仮想テニスシミュレーションシステムにおいて行われるテニスの練習または試合に関する背景映像、仮想のプレーヤーに対する映像、打撃されたボール等に対するシミュレーション映像等の処理のためのデータが格納される部分である。データ保存部（320）は、サーバ（未図示）から送信されたデータを一時的に保存するリポジトリの役割を果たすことで構成され得る。

映像処理部（330）は、仮想のテニス場に関する映像、選手と審判、観客などに関する映像などのバックグラウンド映像や、仮想の相手プレーヤーがボールを打撃する映像、プレーヤーが打撃したボールの軌跡に対するシミュレーション映像など、各種シミュレーション関連映像を生成する。

一方、本発明の一実施例によるセンシング装置（200）は、予め定められた範囲の撮影範囲（FOV）に対する映像を連続的に撮影して収集し、その収集される映像をそれぞれ分析することにより、打撃されたボールの運動情報はもちろん、その打撃されたボールがスクリーン上のどの部分に達するか正確にセンシングするように構成され得る。

本発明の一実施例によるセンシング装置（300）は、カメラユニット（210）及びセンシング処理ユニット（220）を含んで構成されるが、カメラユニット（210）は、予め設定された領域を含む一定の撮影範囲に対する映像を連続的に取得し、センシング処理ユニット（220）は、カメラユニット（210）から画像を受け、予め設定された事項に応じた映像分析を行い、仮想テニスシミュレーションによるテニス練習又はテニス競技に必要な情報を算出する。

センシング装置（200）のカメラユニット（210）は、異なる位置から同一の撮影範囲にそれぞれ撮影し、撮影された映像上のオブジェクトに対する3次元位置情報を算出できるように第1カメラ（211）及び第2カメラ（212）を含めてステレオ方式（Stereoscopic）で構成することにより、センシング処理ユニット（220）がカメラユニット（210）が撮影した映像の分析によりボールに対する3次元下表の好ましい。

センシング処理ユニット（220）は、ボールマシン（100）から発射されるボール（マシンボール）を特定するためのマシンボールプロセスを開始することに応じて、ステレオ方式の複数個のカメラ（211、212）のうちのいずれかのカメラによって撮影範囲内の2次元映像を取得し、その2次元映像からマシンボールを探して特定し、マシンボールプロセスの完了に応じてプレイヤーによって打撃されたボール（打撃ボール）を特定するための打撃ボールプロセスを開始し、上記のような一つのカメラにより取得される2次元映像から打撃ボールを探して特定し、打撃ボールプロセスの完了に応じて3次元空間で打撃されて運動するボールに対するボール運動モデルを算出するボールモデルプロセスを開始し、複数個のカメラ（211，212）それぞれが取得する2次元映像を用いて打撃ボールに対する3次元座標情報を算出し、算出されたボールの3次元座標情報を用いてボール運動モデルを算出するように構成される。

具体的には、センシング処理ユニット（220）は、物理的又は機能的に3 つの構成要素を含むことができるが、図2 に示されるように、マシンボールプロセス処理部（221）、打撃ボールプロセス処理部（222）及びボールモデルプロセス処理部（223）を含むことができる。

マシンボールプロセス処理部（221）は、カメラにより収集される2次元映像から上記したマシンボールプロセスを処理することによりマシンボールを特定し、打撃ボールプロセス処理部（222）は、2次元映像から上記した打撃ボールプロセスを処理することにより打撃ボールを特定し、ボールモデルプロセス処理部（223）は、複数個のカメラそれぞれの2次元映像を用いて打撃ボールの3次元座標情報を算出し、これに基づいてボール運動モデルを算出する。

ここで、ボールの運動モデルは、打撃されて運動するボールの3次元空間上での軌跡に関する運動方程式で表現されるものを意味し、図1に示されるように、本発明によるシステムによるテニスの練習又は競技が行われる空間に対して x軸、y軸 及び z軸の3次元座標系と定義し、その定義された座標系によってボールの運動モデルが決定され得る。

すなわち、ボールの運動モデルは、x軸方向の運動方程式、y軸方向の運動方程式及び z軸方向の運動方程式で定義できる。

上記のようなボールの運動モデルの算出は、従来のスクリーンゴルフシステム等でセンサーがゴルフクラブに打撃されたボールの運動をセンシングしてセンシングデータを算出するのとは全く異なるものである。

従来のスクリーンゴルフシステム等においても、カメラ方式のセンシング装置が広く用いられているが、そのセンシング装置は、ボールが打撃されたときの出発速度、出発方向角及び高さ角等の初期運動条件を算出し、仮想の空間、すなわち仮想のゴルフコースで上記のように算出した初期運動条件によりボールがスタートしたときに物理エンジンによりシミュレーションされるボールの軌跡を算出する方式であった。

しかし、本発明の一実施例によるセンシング装置が算出するボールの運動モデルは、ボールが打撃されたときの初期の運動条件を算出するのではなく、実際のプレーヤーがプレーする空間、すなわち実際の3次元空間上での各座標軸方向の運動方程式に基づいて算出するボールの運動モデルとして、実際のボールが移動するモデルを求めるものである。

このようなボールの運動モデルを算出することにより、単にボールの初期運動条件をセンシングして算出する場合よりも多様で多くの情報の提供が可能であり、特に仮想テニスシミュレーションのように現実と仮想の世界が頻繁に交差し、より緊密に結びつく必要がある場合においては、より適したセンシング方式である。

例えば、ボールの運動モデルが実際にプレイする3次元空間上でのボール運動モデルであるため、ボールが実際にスクリーンに到達する位置等を容易に算出でき（ボールが実際にスクリーンに到達することを検知するのではなく、実際のボールがスクリーンに到達しなくてもボール運動モデルが算出されれば、これを用いてスクリーン到達位置を算出できる）、スクリーン到達位置の算出により実際のボールがスクリーンに到達した後、その位置から仮想のボールをシミュレーションできるようにする。

もちろん、別の装置で運動するボールがスクリーンに到達する位置を感知することもできるが、本発明はボールの運動を感知するセンシング装置だけでもそうできる。

一方、図3では、ネットスポーツに基づく仮想のシミュレーションシステムにおいて、上から下に見下ろす画角で映像を取得し分析するセンシング装置の位置から眺めるプレーヤー空間部の状況の一例を示している。

図3 に示されるように、ボールマシン（100）はスクリーン（20）のボール発射穴（22）を介して非常に多様な方向に、また様々な速度でボール（1）を発射することができ、これは仮想のシミュレーション映像上での状況を反映したものである。

映像上の仮想のプレーヤーが打撃したボールの特性により、ボールマシン（100）はb1、b2、b3、b4、b5などの様々な位置にボールを発射でき、その都度プレーヤー（P）はpo1、po2、po3、po4、po5などの位置にダイナミックに移動しながらボールを打撃するが、一度打撃されたボールはスクリーン（20）に当たって床を転がるか、床にバウンドして移動し、ネットスポーツの特性上、ボールが供給される周期が短いため、プレーヤー（P）がボール（1）を打撃している間も、すなわちセンシング装置によるセンシングが行われている状態でも、既に打撃されて失効したボール（br）は移動し続け、動いたりバウンドしている状態にある。

失効したボール、つまり一度打撃されたボールは別のボール回収構造が整っていても上記のような現象自体を遮断することはできない。

このような状態では、ボールマシン(100)から現在発射されているボールを撮影映像上から抽出するために、次映像(Difference Image)技法を用いることができない。 なぜなら、車の映像をする場合、動くボールは全て抽出されるので、次映像をする場合としない場合とでは大きな違いがないからだ。

このような場合でも、本発明によるセンシング装置は、速やかかつ正確にマシンボールと打撃ボールをそれぞれ特定してボール運動モデルを算出することができ、その方法に関して図4から図9を参照してより具体的に説明する。

図4、図5及び図8は、本発明の一実施例に従ったセンシング装置のセンシング方法に関して示したフローチャートとして、図4は全フローチャートを、図5はマシンボールプロセスに応じたフローチャートを、そして図8は打撃ボールプロセスに応じたフローチャートをそれぞれ示している。

図6及び図7 は図5 に沿ったマシンボールプロセスを説明するための図面であり、図9は図8の打撃ボールプロセスを説明するための図面である。

まず、図4を見ると、センシング装置が作動を始めながらセンシング装置のカメラユニットに含まれる複数個のカメラのいずれかによってその撮影範囲内の映像が撮影され、収集され（S100）、上記したそれぞれのカメラは2次元映像を取得するように構成される。

マシンボールプロセスの開始とともに（S110）、センシング処理ユニットのマシンボールプロセス処理部は、一つのカメラによって取得される2次元映像から予め設定された大きさの領域であるボールチェック領域を抽出する（S120）。 ボールチェック領域はボールを飛行状態で観察できる領域として予め設定された領域である。

ボールマシンによって発射されるボールは、ある程度の速度を持って発射されるので、発射されたボールの速度が小さくてもボールマシンのボール発射穴から一定以上の距離までは飛行状態で運動して床にバウンドすることもあり、プレーヤーの位置までバウンドなしで飛行することもできる。

したがって、ボールマシンから発射されるボールが床にバウンドする前の一定領域を適切に設定できる。

ボールが飛行状態には上から見下ろす画角で、ボールを感知する時、その大きさの変化がほとんどないのでボールを抽出しやすい反面、ボールがバウンドする場合はその大きさが変化するため、ボールを簡単に取り出すことができないことがある。

また、ボールマシンから発射されるボールがかなり多様な方向に発射されるため、ボールマシンがどの方向にボールを発射してもボールを感知できるようにボールチェック領域の幅（図6から x軸方向の長さ）は画角範囲内で最大幅を持つようにし、ボールチェック領域の長さ（図6から y軸方向の長さ）はボールが飛行状態を維持する区間としてボールの速度と移動距離を算出できるようにしながら演算に負担をかけない程度の長さに予め設定するようにする。

例えば、図6に示されたように画角（FOV）の範囲の内でボールチェック領域（230）を設定することができる。

一方、センシング処理ユニットのマシンボールプロセス処理部は、上記のようなボールチェック領域を抽出して、その抽出されたボールチェック領域内でボールを検出し、検出されたボールに対して予め設定された事項である第1ボールチェック要件に応じたボール特徴をチェックし、また、ボールの方向性をチェックする（S130）。

ボールの検出は、ボールチェック領域内で検出されるオブジェクトの大きさ(Blob Size)、縦横比率(Aspect Ratio)、丸み(Roundness)などの事項によって検出できる。

Blob Size、Aspect Ratio、Roundnessなどの事項によって検出されるボールはかなり多く見られ、これらは次映像でもフィルタリングされない部分なので、次映像などを通さずに正確に感知しようとする対象のマシンボールを特定するために第1ボールチェック要件によるボール特徴チェックを行うが、これはボールのワーキングディスタンス(Working Distance)、ボールの速度、ボールが移動されるものである。 これについて、より具体的な事項については後述する。

上記のように第1ボールチェック要件に従ったボール特徴チェックによって一つまたは二つ以上のボールが検出されたとしたら、これに対してボールの方向性をチェックすることによって最終的にマシンボールを特定できる。

すなわち、マシンボールはボールマシンからプレーヤー側に出るボールなので、ボール特徴チェックに従って検出される各ボールの移動方向がボールマシンから出る方向であるかどうかをチェックし、それに合致するボールを最終的にマシンボールとして特定できるのである。

このようにマシンボールの特定が行われるようになると（S140）、これを基点に打撃ボールプロセスが開始される（S210）。すなわち、マシンボールプロセスの完了が次に行われる打撃ボールプロセスの開始をトリガリングすることになるのである。

打撃ボールプロセスの開始に伴い、センシング処理ユニットの打撃ボールプロセス処理部は、複数個のカメラのうちいずれかのカメラから取得される2次元映像から上記のようなボールチェック領域を抽出する（S220）。

つまり、一つのボールチェック領域を予め設定しておき、センシング処理ユニットはマシンボールを特定する際及び打撃ボールを特定する際の両方のボールチェック領域を抽出して分析するものである。

もちろん、マシンボールプロセスと打撃ボールプロセスで同一のボールチェック領域を用いずに、それぞれのプロセスで互いに異なる大きさや位置のボールチェック領域を設定して利用することもできる。

マシンボールプロセスで用いられるものを第1 ボールチェック領域とし、打撃ボールプロセスで用いられるものを第2 ボールチェック領域とすれば、第1 ボールチェック領域と第2 ボールチェック領域は同一の大きさと位置に設定されているかもしれないが、異なる大きさと位置に（互いに重複する部分なく、または重なり合う部分があるように設定されることもできる）それぞれ設定されることもできる。

ボールチェック領域を2次元映像から抽出して分析することによりボールを検出し（ボール検出方法はS130と同じ）、その検出されたボールについて第2ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックを行うことにより打撃ボールを特定することになる（S230）。

前述したように、ボールチェック領域内のオブジェクトに対するBlob Size、Aspect Ratio、Roundnessなどの事項によって検出されるボールはかなり多く見られ、これらは次映像でもフィルタリングされない部分なので、次映像などを介さずに正確に感知しようとする対象である打撃ボールを特定するために、第2ボールチェック要件に応じたボールの特徴チェックを行うが、これはボールのワーキングディスタンス（Working Distance）、 ボールの速度、ボールが移動距離などの事項によってチェックされる。 これについて、より具体的な事項については後述する。

上記のように第2ボールチェック要件に従ったボールの特徴チェックにより、一つまたは二つ以上のボールが検出されたとしたら、これに対してボールの方向性をチェックすることによって最終的に打撃ボールを特定できる。

つまり、打撃ボールはプレーヤーからスクリーンの方へ向かうボールなので、ボールの特徴チェックによって検出される各ボールの移動方向がプレーヤーから離れる方向であるかどうかをチェックし、それに合致するボールを最終的に打撃ボールとして特定できるのである。

このように打撃ボールが特定されると（S240）、これを基点にボールモデルプロセスが開始される（S310）。すなわち、打撃ボールプロセスの完了が次に行われるボールモデルプロセスの開始をトリガリングすることになるのである。

ボールモデルプロセスの開始に伴い、センシング処理ユニットのボールモデルプロセス処理部は、カメラユニットの複数個のカメラそれぞれが取得する2次元映像から打撃ボールを特定し、二つのカメラ映像で現れる打撃ボールの位置座標情報を3次元座標情報に変換することにより、打撃ボールに対する3次元座標情報を算出し（S320）、その算出された打撃ボールの3次元座標情報を用いてボール運動モデルを決定する（S330）。

ボールモデルプロセスの開始に伴い、上記した個々のカメラが取得する映像（2次元映像）から検出されるオブジェクトの速度を判別し、オブジェクトの速度が予め設定された速度値より低いオブジェクトをノイズとして除去する段階が打撃ボールの3次元座標情報を算出する前に先行することが望ましい。

上記のようなボールの運動モデルの決定には、RANSAC アルゴリズムが利用できる。

例えば、3次元ボール座標の中から二つをサンプリングして仮想モデルをtrialしながら最も多くのデータから支持されるモデルを選択する方式で最終的なボールの運動モデルを選択することができる。

抽出した仮想モデルとボールの座標値が特定しきい値未満でモデルに隣接するデータの個数を数える。 このとき、しきい値を外れるデータは Outlier(noise)となる。

ここで、Inlier (true data) と Outlier を区分するしきい値を設定する際、しきい値が大きいほどモデルを抽出する確率は高くなるが、正しくないモデルを抽出する確率も共に増加する。 逆に、しきい値が小さくなるとモデル抽出に失敗する確率が高くなるが、正しいモデルを抽出する確率は高くなる。

ボールの座標データがあるにもかかわらずモデル抽出に失敗する場合は、カメラやレンズの歪みからくる誤差や、ステレオカメラ手法で抽出した3次元座標のデータの精度が低いことがあるためである。

したがって、適切なしきい値を与えることが重要であるが、例えば、RANSAC を厳格なしきい値（小さいしきい値）で1 回、失敗した場合、広い範囲のしきい値（大きなしきい値）で2 回行うことで、正しいモデルを選ぶ確率を高め、モデル抽出に失敗する確率を高めることが可能である。

一方、ボールの運動モデル決定における各3軸方向の関数は、下記の通りである。

[x、y軸方向の関数]
x = a_x*t+b_x
ここで、t は時間値、xは x方向座標値、a_xは時間に対する x方向座標の増加量（関数の傾き）、b_xは tが 0のときの x方向座標値（切片）を意味する。
y = a_y*t+b_y
ここで、tは時間値、yは y方向座標値、a_yは時間に対する y方向座標の増加量（関数の傾き）、b_yは tが 0のときの y方向座標値（切片）を意味する。

運動するボールの x、y軸方向運動は等速運動と仮定できるので、一次関数で表現できる。

[z軸方向の関数]
z = a_z*t + b_z - 0.5*g*t²
ここで、gは重力加速度、tは時間値、zは z方向座標値、a_zは tが 0のときの z方向速度、b_zは tが 0のときの z方向座標値（切片）を意味する。

算出されたボール運動モデルの時間 tと x、y、z座標値情報から、期待する時間 tの区間でボール運動モデルに近接した一定距離内にボールがあるか確認後、当該運動モデルから外れたボールが多い場合（予め設定された個数を超える場合）正しくないモデルと判定する。

これは、一般的にボールを打撃するモデルと、その他の反射によって不規則に抽出されるモデルとを区別するのに容易である。

一方、図5から図7を参照し、図4で説明したマシンボールプロセスについて、より具体的に説明する。

図5に示されるように、マシンボールプロセスの開始に伴い（S110）、一つのカメラから取得された2次元映像から第1ボールチェック領域を抽出する（S120）。 ここで、第1ボールチェック領域は打撃ボールプロセスで用いられる第2ボールチェック領域と区分して命名したものであり、第1ボールチェック領域と第2ボールチェック領域は互いに同じ領域である可能性もあり、互いに異なって設定された領域である可能性もある。

図6に示されるように、カメラにより撮影される画角（FOV）内の映像は、上から下に見下ろす画角の2次元映像であり、その画角（FOV）内において第1ボールチェック領域（230）が予め設定された例を示している。 ここで実際のマシンボールをMBで表示している。

更に図5において、抽出された第1ボールチェック領域からボールを検出し（S131）、その検出されたボールに対するワーキングディスタンス（WD）、ボールの速度及びボールの移動距離等を算出することができる（S132）。

上記のようなワーキングディスタンス、速度、移動距離をそれぞれの検出されるボール毎にすべて算出し、これらすべての要素からそれぞれの検出されたボールについて第1ボールチェック要件を満たしているかどうかをチェックさせることもできるが、ワーキングディスタンス、速度、移動距離それぞれについて優先順位を設定し、優先順位に従って必要な一部の項目のみを算出し、第1 ボールチェック要件を満たしているかどうかをチェックすることもできる。

例えば、ワーキングディスタンスを優先順位とし、ボールの速度および移動距離を後順位でチェックするように設定することができるが、第1ボールチェック領域で検出されたボールのワーキングディスタンスを算出し（このときボールのワーキングディスタンス値の代わりにボールの大きさ値を用いることもできる）、検出されたボールの中でワーキングディスタンスが最も小さいボール（またはボールの大きさが最も大きいボール）が存在するかどうかによって、第1ボールチェック要件を満たすかどうかを判断し、ワーキングディスタンスが最も小さいボール（ボールの大きさが最も大きいボール）を特定できない場合、またはそれだけで第1ボールチェック要件を満たしているかどうかを判断できない場合、当該ボールの速度を算出し、その算出されたボールの速度が最も速いと判断されるボールが存在するかどうかによって、第1ボールチェック要件を満たしているかどうかを判断できる。

もしボールの速度が最も速いボールを特定できなかったり、それだけで第1ボールチェック要件を満たしているかどうかを判断できない場合、当該ボールの移動距離を算出し、その算出されたボールの移動距離が最も長いと判断されるボールが存在するかどうかによって、第1ボールチェック要件を満たしているかどうかを判断させることができる。

上記の方法で検出されたボールに対するワーキングディスタンス、速度等を算出する過程で、例えば、最初の2つのフレームを分析した結果、ワーキングディスタンスが設定された値より小さかったり、ボールの大きさが大きい場合、またはボールの速度が設定された値よりも速い場合などにおいて、大きさが定められた第1ボールチェック領域内でボール特徴に対するチェック等が十分に行われないことがあるので、この場合、第1ボールチェック領域の大きさを拡張する等の変更を行うことができる（S133）。

例えば、ボールのワーキングディスタンスが短すぎると、すなわちボールの大きさが大きすぎると、またはボールの速度が速すぎると第1ボールチェック領域内で当該ボールの動きを十分に感知できないので、この場合、センシング処理ユニットは第1ボールチェック領域の大きさを予め設定された大きさだけ拡張させたり、上記のように算出されたワーキングディスタンスやボールの速度を利用して、これに対応するようにボールチェック領域の大きさを計算し直したりするように、その計算された大きさによってボールチェック領域の大きさによってボールを計算し直した。

図6 では、第1 ボールチェック領域（230）がサイズ変更（231）される場合について示している。

第1ボールチェック領域の大きさが変更された場合、その変更された大きさのボールチェック領域を抽出してボール検出及びその検出されたボールに対するワーキングディスタンス、速度、移動距離等の算出が継続して行われるようになり（S134）、もし第1ボールチェック領域の大きさが変更されなければ、元の大きさのボールチェック領域を抽出して上記の事項の算出が継続して行われる。

前述のとおり、ワーキングディスタンス、速度、移動距離のうち少なくとも一つを用いて第1ボールチェック要件を満たしているか判断し（S135）、もし、ある検出されたボールが第1ボールチェック要件を満たしている場合、当該ボールに対して方向性要件を満たしているか否かを判断できる（S136）。

ここで、ワーキングディスタンス（WD）は、次のような式によって求めることができる。

ここで AFOVは Angular Field Of View[°]、hは CCDイメージセンサのサイズ[mm]であり、fは焦点距離[mm]、そして FOVは Field Of View[mm]をそれぞれ示す。

すなわち、ワーキングディスタンス（WD）は、カメラのイメージセンサーの大きさやレンズの焦点距離、FOVの大きさが分かれば手に入る。

ボールチェック領域から抽出されるボールの大きさが大きすぎたり小さすぎたりする場合を除き、実際のボールの大きさをベースに映像に出力されるしきい値を予め設定しておき、ボールチェック領域から抽出されるボールの大きさがしきい値を外れる場合は除外させることにより演算負担を軽減させることも望ましい。

一方、図7は、図6におけるボールチェック領域(230)を毎フレーム毎に抽出したものの一例を示すが、fn → fn+1 → fn+2 になるほど複数のオブジェクト(ob)のうち ob1、ob2、ob3、ob4 などが移動したり大きさが変化することを示している(移動するのは飛行するか転がるか、大きさが変化するのはボールがバウンドしている場合がある)。

このように対象となるオブジェクトは一つであるが、ボールチェック領域内で動くオブジェクトは多数が検出されると次映像が何の効果もなく、前述したようにワーキングディスタンス、ボールの速度、ボールの移動距離のうち少なくとも一つを利用してマシンボールを特定するのが早くて効果的な方法である。

ボールの方向性チェックは、マシンボールがボールマシンから出る方向のボールなので、図面上の座標系の場合ボールの移動方向に -yの方向成分を含んでいればボールの方向性チェックは満たされる。

図7に示された例で、上記の第1ボールチェック要件及びボールの方向性要件のいずれも満たすob1がマシンボールであることを容易に特定できる。

上記のように、ボール特徴チェックとボールの方向性チェックにより、第1ボールチェック要件及びボール方向性要件の両方を満たす一つのボールをマシンボールとして特定でき（S141）、マシンボールの特定に応じて打撃ボールプロセスの開始がトリガリングされる（S210）。

打撃ボールプロセスについては図8および図9で説明している。

図8に示されるように、打撃ボールプロセスの開始に伴い（S210）、一つのカメラから取得された2次元映像から第2ボールチェック領域を抽出する（S220）。 ここで、第2ボールチェック領域はマシンボールプロセスで用いられる第1ボールチェック領域と区分して命名したものであり、第1ボールチェック領域と第2ボールチェック領域は互いに同じボールチェック領域であることもあり、互いに異なって設定された領域であることもあり得る。

図9において、カメラにより撮影される画角（FOV）内の映像は、上から下に見下ろす画角の2次元映像であり、その画角（FOV）内において第2ボールチェック領域（240）が予め設定された例を示している。 ここで実際の打撃ボールを HBで表示している。

更に図8において、抽出された第2ボールチェック領域からボールを検出し（S231）、その検出されたボールに対するワーキングディスタンス（WD）、ボールの速度及びボールの移動距離等を算出することができる（S232）。

上記のようなワーキングディスタンス、速度、移動距離をそれぞれの検出されるボール毎にすべて算出し、これらすべての要素からそれぞれの検出されたボールについて第2 ボールチェック要件を満たしているかどうかをチェックさせることもできるが、ワーキングディスタンス、速度、移動距離それぞれについて優先順位を設定し、優先順位に応じて必要な一部の項目のみを算出し、第2 ボールチェック要件を満たしているかどうかをチェックすることもできる。

ここで、先のマシンボールプロセス過程での第1ボールチェック要件と打撃ボールプロセス過程での第2ボールチェック要件が同一であることもあり、互いに異なることもあり得る。

例えば、第1 ボールチェック要件ではワーキングディスタンスを優先順位に置き、速度を後順位に設定したなら、第2 ボールチェック要件ではボールの速度や移動距離を優先順位に置き、ワーキングディスタンスは後順位に設定できる。

設定された優先順位によるか、優先順位なしで必要な項目をすべて算出したり、検出されたボールが第2ボールチェック要件に該当するかどうかの判断方法は、前述の第1ボールチェック要件に該当するかどうかの判断方法と実質的に同一であり、項目において差異があり得る。

ボールのワーキングディスタンス等の算出に関する事項については、前述したようなので、これ以上の説明は省略する。

一方、図9に示された第2ボールチェック領域(240)も同様に、ボールの速度等によってそのサイズをさらに拡張または縮小させることができるのはもちろん、これは前述のマシンボールプロセスにおける第1ボールチェック領域のサイズ変更と実質的に同一のメカニズムによって行われ得る。

前述のとおり、ワーキングディスタンス、速度、移動距離の少なくとも一つを用いて、第2ボールチェック要件を満たしているか判断し（S233）、もし、ある検出されたボールが第2ボールチェック要件を満たしている場合、そのボールに対して方向性要件を満たしているかどうかを判断できる（S234）。

S234のボール方向性要件の場合、図9に示されるように打撃ボールがプレーヤー（P）側からスクリーン（20）方向に移動するものであるので、例えば図面上の座標系の場合ボールの移動方向に +y方向の成分が含まれていればボールの方向性要件は満たされる。

上記のように、ボール特徴チェックとボールの方向性チェックにより、第2ボールチェック要件及びボール方向性要件の両方を満たす一つのボールを打撃ボールとして特定でき（S241）、打撃ボールの特定に応じてボールモデルプロセスの開始がトリガリングされる（S310）。

ボールモデルプロセスに関しては先に説明したことがあるので、これ以上の具体的な説明は省略するようにする。

以上説明したように、本発明によるセンシング装置およびそのセンシング方法は、マシンボールプロセスによって次映像なしに様々なノイズをフィルタリングしながらマシンボールを素早く正確に特定でき、これによって打撃ボールプロセスが進むにつれ、同様に様々なノイズをフィルタリングしながら打撃ボールを素早く正確に特定することができ、これらマシンボールプロセスと打撃ボールプロセスが一つの2次元映像を利用してすべて行われるという点で、特に、より演算速度を向上させることができるため、ネットスポーツに関する仮想スポーツシミュレーションシステムでボールマシンとプレーヤーが素早くボールをやり取りし、プレーヤーがダイナミックに動きながら予測できない様々な位置でボールを打撃しながら、プレースペース内に既に打撃され失効したボールが不特定に移動するなどのプレー環境においても迅速で安定したボールの運動に対するセンシングが行えるようにする特徴がある。

本発明によるボールの運動に対するセンシング装置及びそのセンシング方法は、所定サイズの室内空間においてボールマシンが提供するボールを使用者がテニスラケットで打撃し、これをセンシング装置がセンシングし、前方のスクリーンを介してシミュレーション映像を具現することにより、使用者のテニス練習又は仮想のテニス競技を可能とする技術分野において産業上利用可能性を有する。

Claims (12)

1. ネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、ボールの運動に対するセンシング装置のセンシング方法として、
   ステレオ方式の複数個のカメラのうちのいずれかのカメラによって、その撮影範囲に対する2次元映像が撮影されて収集される段階と、
   ボールマシンからボールが発射され、前記2次元映像において前記ボールマシンから発射されるボールであるマシンボールを特定することにより、プレーヤーによって打撃されたボールである打撃ボールを特定する打撃ボールプロセスが開始される段階と、
   前記打撃ボールプロセスの開始に伴い、前記2次元映像において前記打撃ボールを特定することにより、3次元空間で打撃されて運動するボールに対するボール運動モデルを算出するボールモデルプロセスが開始される段階と、
   前記ボールモデルプロセスの開始に伴い、前記複数個のカメラそれぞれが取得する2次元映像を用いて前記打撃ボールに対する3次元座標情報を算出し、前記算出されたボールの3次元座標情報を用いて前記ボール運動モデルを算出する段階とを含む、ボールの運動に対するセンシング装置のセンシング方法。
2. 前記打撃ボールプロセスが開始される段階で前記マシンボールを特定することは、
   前記2次元映像から、ボールを飛行状態で観察できる領域として設定されたボールチェック領域を抽出する段階と、
   前記抽出されたボールチェック領域でボールを検出する段階と、
   前記検出されたボールについて、前記マシンボールを特定するために予め設定された第1ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックを行うことにより、前記抽出されたボールチェック領域で検出されるボールの中から前記マシンボールを特定する段階を含む、請求項1項に記載のボールの運動に対するセンシング装置のセンシング方法。
3. 前記ボールモデルプロセスが開始される段階で前記打撃ボールを特定することは、
   前記2次元映像から前記ボールチェック領域を抽出する段階と、
   前記抽出されたボールチェック領域でボールを検出する段階と、
   前記検出されたボールについて、前記打撃ボールを特定するために予め設定された第2ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックを行うことにより、前記抽出されたボールチェック領域から検出されるボールの中から前記打撃ボールを特定する段階を含む、請求項2項に記載のボールの運動に対するセンシング装置のセンシング方法。
4. 前記ボール運動モデルを算出する段階では，
   前記ボールモデルプロセスの開始に伴い、前記複数個のカメラそれぞれが取得する2次元映像から検出されるオブジェクトの速度を判別する段階と、
   前記オブジェクトの速度が予め設定された速度値より低いオブジェクトをノイズとして除去する段階と、
   前記ノイズが除去される各カメラの2次元映像上で前記打撃ボールを検出し、前記打撃ボールに対する3次元座標情報を算出し、前記算出されたボールの3次元座標情報を用いて前記ボール運動モデルを算出する段階を含む、請求項3項に記載のボールの運動に対するセンシング装置のセンシング方法。
5. 前記マシンボールを特定する段階は、
   前記ボールチェック領域で検出されたボールに対するボールとカメラと間の距離であるワーキングディスタンス、ボールの速度、ボールの移動距離のうち少なくとも1つを用いて前記第1ボールチェック要件を満たしているかどうかを判断する段階と、
   前記第1ボールチェック要件を満たすボールの方向が前記ボールマシンから出る方向であるかどうかをチェックすることにより、ボールの方向性要件を満たしているかどうかを判断する段階と、
   前記ボールの方向性要件を満たす場合に、当該ボールを前記マシンボールとして特定する段階を含む、請求項2項に記載のボールの運動に対するセンシング装置のセンシング方法。
6. 前記打撃ボールを特定する段階は、
   前記ボールチェック領域で検出されたボールに対するボールとカメラと間の距離であるワーキングディスタンス、ボールの速度、ボールの移動距離のうち少なくとも一つを用いて前記第2ボールチェック要件を満たしているかどうかを判断する段階と、
   前記第2ボールチェック要件を満たすボールの方向が前記プレーヤーから離れる方向であるかどうかをチェックすることにより、ボールの方向性要件を満たしているかどうかを判断する段階と、
   前記ボールの方向性要件を満たす場合に、当該ボールを前記打撃ボールとして特定するステップを含む、請求項3項に記載のボールの運動に対するセンシング装置のセンシング方法。
7. 前記マシンボールを特定する段階は、
   前記ボールチェック領域で検出されたボールに対するボールとカメラと間の距離であるワーキングディスタンスまたはボールの大きさを算出する段階と、
   前記検出されたボールの中で前記ワーキングディスタンスが最も小さいか、前記ボールの大きさが最も大きいボールが存在するかによって前記第1ボールチェック要件を満たしているかを判断する段階と、
   前記ワーキングディスタンスが最も小さかったり、ボールの大きさが最も大きいボールを特定できない場合、そのボールの速度を算出する段階と、
   前記算出されたボールの速度が最も速いと判断されるボールが存在するかどうかで、前記第1ボールチェック要件を満たしているかどうかを判断する段階と、
   前記ボールの速度が最も速いボールを特定できない場合、当該ボールの移動距離を算出する段階と、
   前記算出されたボールの移動距離が最も長いと判断されるボールが存在するか否かによって、前記第1ボールチェック要件を満たしているか否かを判断するステップを含む、請求項2項に記載のボールの運動に対するセンシング装置のセンシング方法。
8. 前記マシンボールを特定する段階は、
   前記ボールチェック領域で検出されたボールに対するボールとカメラと間の距離であるワーキングディスタンス及びボールの速度を算出する段階と、
   前記算出されたワーキングディスタンス及びボールの速度のうち少なくとも一つを用いて前記ボールチェック領域の大きさを計算する段階と、
   前記計算されたサイズによって前記ボールチェック領域のサイズを変更する段階と、
   前記変更された大きさのボールチェック領域を抽出してボールを検出し、その検出されたボールについて前記第1ボールチェック要件に応じたボール特徴チェックを行うステップをさらに含む、請求項2項に記載のボールの運動に対するセンシング装置のセンシング方法。
9. 前記打撃ボールプロセスが開始される段階で前記マシンボールを特定することは、
   前記2次元映像から、ボールを飛行状態で観察できる領域として設定された第1ボールチェック領域を抽出する段階と、
   前記抽出された第1ボールチェック領域でボールを検出する段階と、
   前記検出されたボールに対して前記マシンボールを特定するために、予め設定された第1ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックを行うことにより、前記抽出されたボールチェック領域で検出されるボールの中から前記マシンボールを特定する段階を含み、
   前記ボールモデルプロセスが開始される段階で前記打撃ボールを特定することは、
   前記2次元映像から、前記第1ボールチェック領域と一部重複したり重複しない予め設定された領域として設定された第2ボールチェック領域を抽出する段階と、
   前記抽出された第2ボールチェック領域でボールを検出する段階と、
   前記検出されたボールについて、前記打撃ボールを特定するために予め設定された第2ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックを行うことにより、前記抽出されたボールチェック領域から検出されるボールの中から前記打撃ボールを特定する段階を含む、請求項1項に記載のボールの運動に対するセンシング装置のセンシング方法。
10. 前記第1ボールチェック領域及び第2ボールチェック領域の少なくとも一つは、当該領域で検出されるボールの大きさ及びボールの速度のうちの少なくとも一つの算出された値に応じて予め設定された大きさに拡張又は縮小される、又は、前記算出された値に応じて大きさを計算し、その計算された大きさに応じて拡張又は縮小される、請求項9項に記載のボールの運動に対するセンシング装置のセンシング方法。
11. ネットスポーツに対する仮想スポーツシミュレーションシステムにおいて、ボールの運動に対するセンシング装置として、
    ステレオ方式の複数個のカメラのうちのいずれかのカメラにより、その撮影範囲に対する2次元映像を撮影するカメラユニットと、
    ボールマシンから発射されるボールであるマシンボールを特定するためのマシンボールプロセスを開始することにより、前記2次元映像から前記マシンボールを特定し、
    前記マシンボールプロセスの完了に従って、プレイヤーによって打撃されたボールである打撃ボールを特定するための打撃ボールプロセスを開始し、前記2次元映像から前記打撃ボールを特定し、
    前記打撃ボールプロセスの完了に伴い、3次元空間で打撃されて運動するボールに対するボール運動モデルを算出するボールモデルプロセスを開始し、
    前記複数個のカメラそれぞれが取得する2次元映像を用いて前記打撃ボールに対する3次元座標情報を算出し、
    前記算出されたボールの3次元座標情報を用いて前記ボール運動モデルを算出するセンシング処理ユニットを含む、ボールの運動に対するセンシング装置。
12. 前記センシング処理ユニットは、
    前記マシンボールプロセスの開始に伴い、前記2次元映像からボールを飛行状態で観察できる領域として設定されたボールチェック領域を抽出し、前記抽出されたボールチェック領域でボールを検出し、前記検出されたボールに対して前記マシンボールを特定するために、予め設定された第1ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックをすることにより、前記抽出されたボールチェック領域で検出されるボールの中から前記マシンボールを特定するマシンボールプロセス処理部と、
    前記マシンボールプロセスの完了により前記打撃ボールプロセスを開始するに伴い、前記2次元映像から前記ボールチェック領域を抽出し、前記抽出されたボールチェック領域でボールを検出し、前記検出されたボールに対して前記打撃ボールを特定するために、予め設定された第2ボールチェック要件に応じたボール特徴チェック及びボールの方向性チェックをすることにより、前記抽出されたボールチェック領域から検出されるボールの中から前記打撃ボールを特定する打撃ボールプロセス処理部と、
    前記打撃ボールプロセスの完了により前記ボールモデルプロセスを開始することに伴い、前記複数個のカメラそれぞれの2次元映像上で前記打撃ボールを検出し、前記打撃ボールに対する3次元座標情報を算出し、前記算出されたボールの3次元座標情報を用いて前記ボール運動モデルを算出するボールモデルプロセス処理部を含む、請求項11項に記載のボールの運動に対するセンシング装置。

Images