JP6340049B2

JP6340049B2 - 野球ゲームシステム

Info

Publication number: JP6340049B2
Application number: JP2016180368A
Authority: JP
Inventors: ソンモクジャン
Original assignee: Cloudgate Corp
Current assignee: Cloudgate Corp
Priority date: 2016-06-15
Filing date: 2016-09-15
Publication date: 2018-06-06
Anticipated expiration: 2036-09-15
Also published as: JP2017221630A; KR101737892B1; US20170361188A1

Description

本発明は、野球ゲームシステムに関し、特に、一つのカメラでボールの位置を正確に判断することができる野球ゲームシステムに関する。

従来の野球システムは、複数のカメラを用いて様々な角度からボールを撮影することにより、判定領域でのボールの正確な位置を判断する。このように、従来の野球システムは、複数のカメラが必要であるので、システムの具現に多くの費用が必要とされる。

本発明は、前記のような問題点を解決するために案出されたものであって、１つのカメラでボールの位置を正確に判断することができる野球ゲームシステムを提供することにその目的がある。

前記のような目的を達成するための本発明に係る野球ゲームシステムは、ストライクゾーンを含む判定領域に向かってボールを投球するピッチング部と、判定領域とピッチング部との間の空間上に位置する撮影部と、撮影部からの複数の映像に基づいてボールの位置を検出する位置検出部と、を含み、位置検出部は、非打撃されたボールの位置を検出する非打撃処理部と打撃されたボールの位置を検出する打撃処理部と、を含み、非打撃処理部は、ストライクゾーンを定義する第１〜第４の直線を設定し、映像のボールが第１の直線と第２の直線の間を通過するときに、第１の直線と前記第２の直線との間に位置するボールの平均サイズを算出し、その平均サイズに基づいて判定領域でのボールの垂直位置を検出する。

第１〜第４の直線によって定義されたストライクゾーンは、台形形状を有する。

非打撃処理部は、平均サイズと予め設定された基準値を比較して、判定領域でのボールの垂直位置を検出する。

基準値は、ストライクゾーンの下端辺に位置するボールのサイズを定義する下限値と、ストライクゾーンの上端辺に位置するボールのサイズを定義する上限値と、を含む。

非打撃処理部は、平均サイズと基準値との比較に基づいて、第３の直線上でのボールの垂直位置を示す第１の点の座標を算出し、平均サイズと基準値との比較に基づいて、第４の直線上でのボールの垂直位置を示す第２の点の座標を算出し、第１の点と第２の点を通過する第５の直線を設定する。

非打撃処理部は、ボールの軌道に基づいて第６の直線を設定し、第６の直線と第５の直線が交差する点の座標に基づいて、判定領域でのボールの水平位置を算出する。

映像のボールが第１の直線と第２の直線の間を通過していないとき、非打撃処理部は、第１の直線に最も近接したボールのサイズを前記平均サイズに設定する。

非打撃処理部は、第１の直線に近接するボールのサイズ変化量及び最も近接したボールと第１の直線との間の距離の少なくとも一つに基づいて、第１の直線と第２の直線の間でボールの平均サイズを推定する。

非打撃処理部は、打者の身長に基づいて上限値、下限値、及びストライクゾーンの高さを調節する。

本発明の野球ゲームシステムは、打者の身長が入力される身長入力部をさらに含む。

非打撃処理部は、身長入力部に入力された身長に基づいて上限値、下限値、及びストライクゾーンの高さを調節する。

本発明の野球ゲームシステムは、判定領域を定義する打席上に位置して打者の存在可否を判断し、打者の身長を検出する人体感知部をさらに含む。

打撃処理部は、複数の映像のうち一つの映像から、撮影部の最大の透視角によって定義された最大の透視角領域の基準面の座標に基づいて決められたボールのサイズ、映像に表示されたボールのサイズ、映像に表示されたボールのＸＹ座標、及び撮影部の最大の透視角を用いて、ボールの３次元座標を演算する打撃座標変換部を含む。

座標変換部は、映像に表示されたボールのサイズを最大の透視角の領域の基準面の座標に基づいて決められたボールのサイズに分けて座標変換率を演算する割合演算部を含む。

座標変換部は、座標変換率と最大の透視角の領域の基準面のいずれか一辺の長さを乗じた値を、撮影部の最大の透視角に応じたＴａｎの値で割ってボールのＺ座標を演算する座標演算部をさらに含む。

座標演算部は、座標変換率と映像に表示されたボールのＸＹ座標を乗じてボールのＸＹ座標を演算する。

打撃処理部は、複数の映像を分析して、ボールの最終的な位置を演算する軌道演算部を含む。

軌道演算部は、ボールの３次元座標と複数の映像の時間差を用いて一定時間の間、ボールの移動距離を計算し、時間差と移動した距離を用いてボールの速度を計算する。

軌道演算部は、ボールの３次元座標とボールの速度を用いて打撃されたボールのファウル、アウト、ヒット、２塁打、３塁打、及びホームランなどの結果値を判定する。

本発明の野球ゲームシステムは、撮影部からの映像に基づいて、ストライクゾーンの両側に位置する打席のいずれかに位置するユーザーの野球のバットのスイング可否を判断するスイング判断部を含み、スイング判断部は、映像の変化程度に基づいて打者が位置した打席を検出し、検出された打席及び野球のバットの端部の軌道に基づいて野球のバットのスイング可否を判断する。

スイング判断部は、時間的に隣接する２つの端部を連結する第１のベクトルを設定し、第１のベクトルに垂直な第２のベクトルを設定し、第２のベクトルの中で検出された打席に向かう第２のベクトルの数が第１の基準範囲に位置するかを判断し、第２のベクトルの平均の長さが第２の基準範囲に位置するかを判断して野球のバットのスイング可否を判断する。

スイング判断部は、第２のベクトルの中で検出された打席に向かう第２のベクトルの数が第１の基準範囲に位置し、第２のベクトルの平均の長さが第２の基準範囲に位置するとき、野球のバットがスイングされたものと判断する。

スイング判断部は、第１のベクトルの長さの合計が第３の基準範囲に位置するかをさらに判断する。

スイング判断部は、第２のベクトルの中で前記検出された打席に向かう第２のベクトルの数が第１の基準範囲に位置し、第２のベクトルの平均の長さが第２の基準範囲に位置して、第１のベクトルの長さの合計が第３の基準範囲に位置するとき、野球のバットがスイングされたものと判断する。

野球のバットは、標識パターンをさらに含む。

標識パターンは、野球のバットの端部に位置する。

標識パターンは、端部を囲む。

標識パターンは、野球のバットよりも明るい色を有する。

スイング判断部からの判断結果と非打撃処理部からの検出結果に基づいてボール及びストライクを判定する判定部をさらに含む。

本発明に係る野球ゲームシステムは、次のような効果を提供する。

第一に、本発明の野球ゲームシステムは、ボールのサイズでボールの高さを判断するため、１つのカメラでボールの位置を正確に判断することができる。

第二に、本発明の野球ゲームシステムは、カメラの撮影角度を考慮して、台形状でストライクゾーンを設定するので、ストライク可否を正確に判断することができる。

第三に、本発明の野球ゲームシステムは、打撃されたボールに対してもその打撃前のボールの軌道を介して判定領域でのそのボールの位置を予測することができる。

第四に、本発明の野球ゲームシステムは、打撃前のボールのサイズの変化量及びそのボールのサイズの変化の趨勢の少なくとも一つに基づいて平均サイズを補正することにより、判定領域でのボールの位置をより正確に算出することができる。

第五に、本発明の野球ゲームシステムは、カメラの最大の透視角を考慮してボールの位置を判断するため、ボールの位置を正確に判断することができる。

第六に、本発明の野球ゲームシステムは、打者の位置、野球のバットのスイング軌道及び速度などを考慮して野球のバットのスイング可否を正確に判定することができる。

第七に、本発明の野球ゲームシステムは、スイング軌道の長さに基づいてチェックスイング可否を判断するため、より正確にスイング可否を判定することができる。

第八に、本発明の野球ゲームシステムは、表示パターンを有する野球のバットを含むため、それによって野球のバットの軌道をより正確に検出することができる。

本発明の一実施例に係る野球ゲームシステムの概略的な斜視図である。図１の側面図である。撮影部から撮影された映像を示す図である。非打撃処理部の動作を説明するための図である。非打撃処理部の動作を説明するための図である。非打撃処理部の動作を説明するための図である。図４ａ〜図４ｃにおける非打撃処理部の動作手順を示すフローチャートである。規格化されたストライクゾーンでのボールの位置を示す図である。非打撃処理部の動作を説明するための他の図である。非打撃処理部の動作を説明するための他の図である。非打撃処理部の動作を説明するための他の図である。非打撃処理部の動作を説明するためのさらに他の図である。非打撃処理部の動作を説明するためのさらに他の図である。非打撃処理部の動作を説明するためのさらに他の図である。身長入力部を示す図である。人体感知部の動作を説明するための図である。図１の他の側面図である。撮影部の最大の透視角によってボールを撮影する場面を示す斜視図である。座標変換部の動作を示す図である。座標変換部の動作を示す図である。座標変換部の動作を示す図である。軌道演算部の動作を示す図である。軌道演算部の動作を示す図である。軌道演算部の動作を示す図である。軌道演算部の動作を示す図である。打撃処理部の動作手順を示すフローチャートである。図１の他の側面図である。撮影部から撮影された映像を示す図である。図２２の映像によるスイング判断部の動作を説明するための図である。図２２の映像によるスイング判断部の動作を説明するための図である。図２３ａ及び図２３ｂにおけるスイング判断部の動作順序を示すフローチャートである。チェックスイング時の野球のバットの軌道を示す図である。図１の野球ゲームシステムに使用される野球のバットの斜視図である。図１のＩ−Ｉ’に沿って切った断面図である。非打撃処理部に適用されたアルゴリズムを示す図である。打撃処理部に適用されたアルゴリズムを示す図である。スイング判断部に適用されたアルゴリズムを示す図である。

本発明の利点及び特徴、そしてそれらを達成する方法は，添付する図面と一緒に詳細に後述する実施例を参照すると、明確になるであろう。しかしながら、本発明は、以下に開示する実施例に限定されるものではなく、互いに異なる多様な形態で具現されるものであり、ただ本実施例は、本発明の開示を完全なものとし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであり、本発明は、請求項の範疇によって定義されるだけである。したがって、いくつかの実施例において、周知の工程ステップ、周知の素子構造及び周知の技術について、本発明が曖昧に解釈されることを避けるために具体的に説明されない。明細書の全体にわたって同一の参照符号は、同一の構成要素を示す。

図面において、複数の層及び領域を明確に表現するために厚さを拡大して示した。明細書の全体を通じて類似した部分については同一の符号を付けた。層、膜、領域、板なある部分が他の部分の「上に」あるとするとき、これは他の部分の「真上に」ある場合だけでなく、その中間に他の部分がある場合も含む。逆に、ある部分が他の部分の「真上に」あるとするときは、中間に他の部分がないことを意味する。また、層、膜、領域、板なある部分が他の部分の「下に」あるとするとき、これは他の部分の「真下に」ある場合だけでなく、その中間に他の部分がある場合も含む。逆に、ある部分が他の部分の「真下に」あるとするときは、中間に他の部分がないことを意味する。

空間的に相対的な用語である「下(ｂｅｌｏｗ）」、「下(ｂｅｎｅａｔｈ）」、「下部(ｌｏｗｅｒ）」、「上(ａｂｏｖｅ）」、「上部(ｕｐｐｅｒ）」などは、図面に示されているように、一つの素子または構成要素ともう一つの素子または構成要素との相関関係を容易に記述するために使用することができる。空間的に相対的な用語は、図面に示す方向に加えて使用時または動作時、素子の互いに異なる方向を含む用語として理解されるべきである。例えば、図面に示す素子を逆さまにする場合、他の素子の「下(ｂｅｌｏｗ）」または「下(ｂｅｎｅａｔｈ）」と記述された素子は、もう一つの素子の「上(ａｂｏｖｅ）」に配設することができる。したがって、例示的な用語である「下」は、下と上の方向のいずれも含むことができる。素子は、他の方向にも配向することができ、これにより、空間的に相対的な用語は、配向によって解釈することができる。

本明細書では、ある部分が他の部分と連結されているとしたとき、これは直接的に連結されている場合だけではなく、その真ん中に他の素子を間に置いて、電気的に連結されている場合も含む。また、ある部分がある構成要素を含むとしたとき、これは特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。

本明細書において、第１、第２、第３などの用語は、様々な構成要素を説明するために使用することができるが、これらの構成要素は、前記用語によって限定されるものではない。前記用語は、一つの構成要素を他の構成要素から区別するために使用される。例えば、本発明の権利範囲から逸脱することなく、第１の構成要素が、第２または第３の構成要素などと命名されることがあり、同様に、第２または第３の構成要素も交互に命名することができる。

他の定義がなければ、本明細書で使用されるすべての用語(技術及び科学的用語を含む）は、本発明が属する技術分野で通常の知識を有する者に共通して理解することができる意味で使用することができるだろう。また、一般に使用される辞典に定義されている用語は、明らかに特別に定義されていない以上、理想的にまたは過度に解釈されない。

空間的に相対的な用語である「下(ｂｅｌｏｗ）」、「下(ｂｅｎｅａｔｈ）」、「下部(ｌｏｗｅｒ）」、「上(ａｂｏｖｅ）」、「上部(ｕｐｐｅｒ）」などは、図面に示されているように、一つの素子または構成要素ともう一つの素子または構成要素との相関関係を容易に記述するために使用することができる。

以下、図１〜図３０を参照して本発明による野球ゲームシステムを詳細に説明すると、次の通りである。

図１は、本発明の一実施例に係る野球ゲームシステムの概略的な斜視図であり、図２は、図１の側面図である。

本発明に係る野球ゲームシステム１００は、図１及び図２に示すように、ピッチング部７００、撮影部４３０、プロジェクター５５５、位置検出部６６６、第１の打席２４１、第２の打席２４２、ホームプレート２３０、及びスイング判断部６４４を含む。

ピッチング部７００は、第１の打席２４１と第２の打席２４２との間に位置する判定領域３４０に向かってボール８８８を投げる。

判定領域３４０は、ストライクゾーン３３３を含む。つまり、判定領域３４０の一部は、ストライクゾーン３３３である。判定領域３４０は、例えば、第１の打席２４１と第２の打席２４２との間に位置することができる。

判定領域３４０の幅は、第１の打席２４１と第２の打席２４２との間の間隔として定義することができ、判定領域３４０の長さは、ホームプレート２３０とこれより上に位置する仮想の辺との間の間隔として定義することができる。ここで、仮想の辺は、ストライクゾーン３３３の上辺よりも高いところに位置する。

ピッチング部７００は、スクリーン７８０とピッチングマシン７６０とを含む。

スクリーン７８０は、判定領域３４０とピッチングマシン７６０との間に位置する。スクリーン７８０は、プロジェクター５５５から投影された映像を表示する。映像は、スクリーン７８０の表示面に表示される。図２に示すように、スクリーン７８０は、少なくとも一つのホール７６８を含む。

ピッチングマシン７６０は、スクリーン７８０の後方に位置する。つまり、ピッチングマシン７６０は、スクリーン７８０の表示面の反対側に位置する。ピッチングマシン７６０は、ボール８８８を投球する。ピッチングマシン７６０から投球されたボール８００は、スクリーン７８０のホール７６８を通過して判定領域３４０に向かって進行する。

撮影部４３０は、ピッチング部７００からのボール８８８が感知領域８０５に進入する瞬間に、これを感知して撮影を開始する。例えば、撮影部４６０は、ボール８８８が感知領域８０５に進入した瞬間からボール８８８を含むすべての動く物体に対する追跡(ｔｒａｃｋｉｎｇ）を開始する。そのために、撮影部４３０は、ボール８８８が感知領域８０５に進入した瞬間から毎秒数十ないし数百フレームの割合で連続的な撮影を行うことができる。撮影部４３０は、超高速カメラを含むことができる。

撮影部４３０は、判定領域３４０の上部に位置する。例えば、撮影部４３０は、図２に示すように、判定領域３４０の真上ではなく、その対角線方向に位置することができる。

位置検出部６６６は、撮影部４３０から撮影された映像に基づいてボール８８８の位置を検出する。撮影部４３０から提供された映像は、複数のフレーム映像を含む。位置検出部６６６は、フレーム映像を分析して判定領域３４０でのボール８８８の座標(ＸＹ座標）を検出することができる。このため、位置検出部６６６は、例えば、撮影部４３０からの各フレームの映像をこの撮影照度に基づいて２値化(ｂｉｎａｒｉｚａｔｉｏｎ）してブラック−ホワイト画像(ｂｌａｃｋ−ｗｈｉｔｅｉｍａｇｅ）を生成し、そのブラック− ホワイト画像を上下方向及び左右方向にスキャンして映像における被写体(例えば、ボール）の基本輪郭(例えば、ボールの輪郭）を抽出し、その輪郭線から被写体の中心位置を判別し、その中心位置及び被写体の軌道(例えば、ボールの軌道）に基づいて、被写体の位置(例えば、ボール）を検出することができる。

位置検出部６６６は、非打撃処理部６６６ａと打撃処理部６６６ｂを含む。

非打撃処理部６６６ａは、撮影部４３０から撮影された映像に基づいて、非打撃されたボール８８８の位置を検出し、打撃処理部は、撮影部４３０から撮影された映像に基づいて打撃されたボール８８８の位置を検出する。

非打撃処理部６６６ａから検出されたボールの座標情報は、判定部(図示せず）に送信される。判定部は、その検出されたボールの座標が判断領域でストライクゾーン３３３に位置するかを判断する。その判断結果、ボール８８８がストライクゾーン３３３の内部またはその境界に位置することが確認されたとき、判定部は、ストライクを宣言する。その反面、判断結果、ボールがストライクゾーン３００を外れた判定領域３４０に位置することが確認されたとき、判定部は、ボールを宣言する。一方、判定部は、後述するスイング判断部６７７からの判断結果及び非打撃処理部６６６ａからの検出結果に基づいて最終的なボール及びストライクを判定する。

図３は、撮影部４３０から撮影された映像を示す図である。図３のストライクゾーン３００は、前述した図１のストライクゾーン３３３の映像であり、図３の第１の打席２２１は、前述した図１の第１の打席２４１の映像であり、図３の第２の打席２２２は、前述した図１の第２の打席２４２の映像である。

非打撃処理部６６６ａは、撮影部４３０から撮影された映像に基づいて、ストライクゾーン３００を設定する。例えば、ストライクゾーン３００は、４つの仮想の直線(Ｌ１、Ｌ２、Ｌ３、Ｌ４）によって囲まれた領域として定義することができる。

第１の直線Ｌ１と第２の直線Ｌ２は、対向し、第３の直線Ｌ３は、第４の直線Ｌ４と対向する。第１の直線Ｌ１と第２の直線Ｌ２は、平行に配置することができる。

第１の直線Ｌ１は、ストライクゾーン３００の下辺Ｓ１を定義し、第２の直線Ｌ２は、ストライクゾーン３００の上辺Ｓ２を定義し、第３の直線Ｌ３は、ストライクゾーン３００の左辺Ｓ３を定義し、第４の直線Ｌ４は、ストライクゾーン３００の右辺Ｓ４を定義する。

撮影部４３０は、ストライクゾーン３００の真上ではなく、その対角線方向からそのストライクゾーン３００を撮影するところ、このような撮影角度による遠近現象が反映されるようにストライクゾーン３００は、台形形状に設定される。例えば、ストライクゾーン３００は、図３に示すように、台形形状を有することができる。ストライクゾーン３００の上辺Ｓ２は、これの下辺Ｓ１より撮影部４３０に相対的に近く位置するので、上辺Ｓ２は、下辺Ｓ１よりも長い長さを有する。

遠近現象によって映像におけるボールは、撮影部４３０に近いほど、より大きなサイズを有する。つまり、映像におけるボール(図４ａの８００）のサイズは、そのボール８００が地面(またはホームプレート２３０）からどれほど高いところに位置しているかを示してくれる。つまり、映像におけるボール８００のサイズからそのボール８００の垂直位置が把握されることができる。

非打撃処理部６６６ａは、予め設定された基準値を用いて、ボール８００のサイズを把握することができる。基準値は、下限値と上限値を含むことができる。

ストライクゾーン３００の下辺Ｓ１を定義する第１の直線Ｌ１は、そのストライクゾーン３００で最も低いボール８００の位置を示し、ストライクゾーン３００の上辺Ｓ２を定義第２の直線Ｌ２は、そのストライクゾーン３００で最も高いボール８００の位置を示す。

ボール８００が第１の直線Ｌ１上に位置するときのサイズ(以下、下限値）と第２の直線Ｌ２上に位置するときのサイズ(以下、上限値）は、予め知られている値に設定することができる。下限値は上限値よりも小さい。下限値と上限値は、外部から入力されることもできる。

以下、非打撃処理部６６６ａの動作を詳細に説明すると、次の通りである。

図４ａ〜図４ｃは、非打撃処理部６６６ａの動作を説明するための図であり、図５は、図４ａ〜図４ｃの非打撃処理部６６６ａの動作手順を示すフローチャートである。一方、図４ａのボール８００は、前述した図１のボール８８８の映像である。図４ａ〜図４ｃに、説明の便宜上、第１の打席２２１及び第２の打席２２２は、省略された。

まず、連続的に撮影された複数の映像におけるボール８００が、図４ａに示すような軌道で判定領域３４０を通過すると仮定する。

非打撃処理部６６６ａは、連続的に撮影された複数の映像から第１の直線Ｌ１と第２の直線Ｌ２との間に位置するボール８００を選択し、そのボール８００の平均サイズを算出する(５０１)。一例として、図４ａに示すように、第１の直線Ｌ１と第２の直線Ｌ２との間に４つのボール(８００；斜線で強調される）が位置するところ、４つのボール８００がすべて異なるサイズを有する。つまり、ボール８００は、第２の直線Ｌ２に近いほど、より小さなサイズを有する。非打撃処理部６６６ａは、この４つのボール８００のそれぞれの直径を個別に求めた後、その直径に対する平均サイズを算出する。一方、第１の直線Ｌ１と第２の直線Ｌ２との間のボールは、第１の直線Ｌ１または第２の直線Ｌ２と交差するボールを含むことができる。

以後、図４ｂに示すように、非打撃処理部６６６ａは、平均サイズに基づいて判定領域３４０におけるボール８００の垂直位置を検出する(５０２）。つまり、非打撃処理部６６６ａは、２次元の平面形状を有する判定領域３４０におけるボールのＹ座標を検出する。

このため、非打撃処理部６６６ａは、例えば、平均サイズと予め設定された基準値を比較することにより、ボール８００の垂直位置を検出することができる。基準値は、前述した下限値と上限値を含む。

図４ｂの図番１６は、下限値に対応するボールのサイズを意味し、図番１７は、上限値に対応するボールのサイズを意味し、図番１８は、前述したボールの平均サイズを意味するものであって、それらは、実際の映像に示されることもあり、そうでないこともある。

このように非打撃処理部６６６ａは、平均サイズ、上限値及び下限値を比較し、その比較結果に基づいて、第３の直線Ｌ３上におけるボール８００の垂直位置を示す点の座標を算出することができる。これを具体的に説明すると、次の通りである。

例えば、非打撃処理部６６６ａは、下限値の位置と上限値の位置に基づいて、第３の直線Ｌ３を複数の区間に等分する。このとき、その区間の間の境界に位置する点のいずれかが前述した下限値の位置に対応され、その境界の点のうち、他の一つは、前述した上限値の位置に対応するように、第３の直線Ｌ３が複数の区間に等分されることができる。

各点に互いに異なる位置値が付与される。各位置値は、下限値と上限値の比によって決定される。位置値は、Ｙ軸に沿って増加する傾向を有する。

非打撃処理部６６６ａは、平均サイズと一致するか、これに最も近いサイズを有する位置値を探して、その位置値が付与された点(Ｐ１；以下、第１の点）を選択する。この選択された第１の点Ｐ１のＹ座標が第３の直線Ｌ３上におけるボール８００の垂直位置を意味する。

このような方式により非打撃処理部６６６ａは、第４の直線Ｌ４上におけるボールの垂直位置を示す点の座標を算出することができる。これを具体的に説明すると、次の通りである。

例えば、非打撃処理部６６６ａは、下限値の位置と上限値の位置に基づいて、第４の直線Ｌ４を複数の区間に等分する。このとき、その区間の間の境界に位置する点のいずれかが前述した下限値の位置に対応し、その境界の点のうち、他の一つは、前述した上限値の位置に対応するように、第４の直線Ｌ４が複数の区間に等分されることができる。

非打撃処理部６６６ａは、平均サイズと一致するか、これに最も近いサイズを有する位置値を探して、その位置値が付与された点(Ｐ２；以下、第２の点）を選択する。この選択された第２の点Ｐ２のＹ座標が第４の直線Ｌ４上におけるボール８００の垂直位置を意味する。

ボール８００の高さを示す第１の点Ｐ１のＹ座標値と第２の点Ｐ２のＹ座標値は、同一でありうる。

図４ｂに示された例のように、平均サイズが下限値よりも大きく、上限値よりも小さい場合、第１の点Ｐ１は、ストライクゾーン３００の左辺Ｓ３上に位置し、第２の点Ｐ２は、ストライクゾーン３００の右辺Ｓ４上に位置する。

次に、非打撃処理部６６６ａは、第１の点Ｐ１と第２の点Ｐ２を通過する第５の直線Ｌ５を設定する(５０３）。

次に、非打撃処理部６６６ａは、図４ｃに示すように、ボール８００の軌道に基づいて、第６の直線Ｌ６を設定する(５０４）。

以後、非打撃処理部６６６ａは、第６の直線Ｌ６と前記第５の直線Ｌ５が出会う点(Ｐ３；以下、第３の点）の座標に基づいて、判定領域３４０におけるボール８００の水平位置を算出する(５０５）。第３の点Ｐ３の座標は、第６の直線Ｌ６の方程式と第５の直線Ｌ５の方程式によって計算することができる。第３の点Ｐ３のＸＹ座標は、判定領域３４０におけるボール８００の位置である(５０６）。

図４ｃに示すように、第３の点Ｐ３がストライクゾーン３００内に位置するとき、判定部は、ボールのバットのスイング可否にかかわらず、これをストライクと判定する(５０７）。

一方、判定部の判定結果に基づいて、プロジェクター５５５は、規格化されたストライクゾーンにおけるボールの位置を画面に表示することができる。これを図６を参照して具体的に説明する。

図６は、規格化されたストライクゾーンでのボールの位置を示す図である。

プロジェクター５５５は、図６に示すような映像をスクリーン７８０に投射することができる。図６の映像は、ストライクゾーン４４４、打者６１８、及びボール８０３に対する映像を含む。図６におけるボール８０３の位置は、前述した第３の点Ｐ３のＸＹ座標に対応する。

図６に示されたストライクゾーン４４４は、長方形の形状を有する。図６のストライクゾーンの下辺(Ｓ１１）、上辺(Ｓ２２）、左辺(Ｓ３３）及び右辺(Ｓ４４）は、前述した図３のストライクゾーン３００の下辺Ｓ１、上辺Ｓ２、左辺(Ｓ３）、及び右辺Ｓ４にそれぞれ対応する。

一方、ストライクゾーン４４４は、互いに交差する水平グリッド線６１と垂直グリッド線６２を含むことができる。水平グリッド線６１と垂直グリッド線６１は、ストライクゾーン４４４を多数の領域に分割する。水平グリッド線６１と垂直グリッド線６２によってストライクゾーン４４４におけるボールの大まかな位置が容易に把握されることができる。

図７ａ〜図７ｃは、非打撃処理部６６６ａの動作を説明するための他の図である。一方、図７ａにおけるボール８００は、前述した図１のボール８８８の映像である。図７ａ〜図７ｃにおいて、説明の便宜上、第１の打席２２１と第２の打席２２２は、省略された。

まず、連続的に撮影された複数の映像におけるボール８００が、図７ａに示すような軌道で判定領域３４０を通過すると仮定する。

非打撃処理部６６６ａは、連続的に撮影された複数の映像から第１の直線Ｌ１と第２の直線Ｌ２との間に位置するボール８００を選択し、そのボール８００に対する平均サイズを算出する。一例として、図７ａに示すように、第１の直線Ｌ１と第２の直線Ｌ２との間に４つのボール(８００；斜線で強調される）が位置するところ、４つのボール８００がすべて異なるサイズを有する。つまり、ボール８００は、第２の直線Ｌ２に近いほど、より大きなサイズを有する。非打撃処理部６６６ａは、この４つのボール８００のそれぞれの直径を個別に求めた後、その直径に対する平均サイズを算出する。一方、第１の直線Ｌ１と第２の直線Ｌ２との間のボールは、第１の直線Ｌ１または第２の直線Ｌ２と交差するボールを含むことができる。

以後、図７ｂに示すように、非打撃処理部６６６ａは、平均サイズに基づいて判定領域３４０におけるボール８００の垂直位置を検出する。つまり、非打撃処理部６６６ａは、２次元の平面形状を有する判定領域３４０におけるボールのＹ座標を検出する。

図７ｂの図番１６は、下限値に対応するボールのサイズを意味し、図番１７は、上限値に対応するボールのサイズを意味し、図番１９は、前述したボールの平均サイズを意味するもので、これらは実際の映像に示されることもあり、そうでないこともある。

このように、非打撃処理部６６６ａは、平均サイズ、上限値及び下限値を比較し、その比較結果に基づいて、第３の直線Ｌ３上におけるボールの垂直位置を示す点の座標を算出することができる。これを具体的に説明すると、次の通りである。

例えば、非打撃処理部６６６ａは、下限値の位置と上限値の位置に基づいて、第３の直線Ｌ３を複数の区間に等分する。このとき、その区間の間の境界に位置する点のいずれかが前述した下限値の位置に対応し、その境界点のうち、もう一つは、前述した上限値の位置に対応するように、第３の直線Ｌ３が複数の区間に等分されることができる。

このような方式で第４の直線Ｌ４上におけるボールの垂直位置を示す点の座標を算出することができる。これを具体的に説明すると、次の通りである。

図７ｂに示された例のように、平均サイズが上限値よりも大きい場合、第１の点Ｐ１は、ストライクゾーン３００の上辺Ｓ２よりも高いところで第３の直線Ｌ３上に位置し、第２の点Ｐ２は、ストライクゾーン３００の上辺Ｓ２よりも高いところで第４の直線Ｌ４上に位置する。

次に、非打撃処理部６６６ａは、第１の点Ｐ１と第２の点Ｐ２を通過する第５の直線Ｌ５を設定する。

次に、非打撃処理部６６６ａは、図７ｃに示すように、ボール８００の軌道に基づいて、第６の直線Ｌ６を設定する。

以後、非打撃処理部６６６ａは、第６の直線Ｌ６と前記第５の直線Ｌ５が出会う点(Ｐ３；以下、第３の点）の座標に基づいて、判定領域３４０におけるボール８００の水平位置を算出する(５０５）。第３の点Ｐ３の座標は、第６の直線Ｌ６の方程式と第５の直線Ｌ５の方程式によって算出されることができる。第３の点Ｐ３のＸＹ座標は、判定領域３４０におけるボール８００の位置である。

図７ｃに示すように、第３の点Ｐ３がストライクゾーン３００の外部に位置し、野球のバットのスイングが行われていない場合、判定部は、これをボールと判定する。一方、図７ｃに示すように、第３の点Ｐ３がストライクゾーン３００の外部に位置し、野球のバットのスイングが行われたとき、判定部は、これをストライクと判定する。

図８ａ〜図８ｃは、非打撃処理部６６６ａの動作を説明するためのもう一つの図である。一方、図８ａのボール８００は、前述した図１のボール８８８の映像である。図８ａ〜図８ｃに、説明の便宜上、第１の打席２２１及び第２の打席２２２は、省略された。

まず、連続的に撮影された複数の映像におけるボールが、図８ａに示すような軌道で判定領域３４０に向かって進行し、打撃によってその進行方向が変更されたと仮定する。このような場合、ボールは、判定領域３４０を通過しない。つまり、第１の直線Ｌ１と第２の直線Ｌ２との間にボールが存在しない。

非打撃処理部６６６ａは、打撃されたボールに対してもその打撃前のボールの軌道を介して判定領域３４０におけるそのボールの位置を予測または推定することができる。このため、非打撃処理部６６６ａは、第１の直線Ｌ１に最も近いボールのサイズを、前述した平均サイズに設定する。例えば、非打撃処理部６６６ａは、図８ａにおいて斜線で強調されたボール８０１の直径をその平均サイズに設定することができる。これとは異なり、非打撃処理部６６６ａは、第１の直線Ｌ１に最も近いボール８０１及びこのボール８０１に近接して位置するいくつかのボール(８０２、８０３）の直径をその平均サイズに設定することもできる。例えば、非打撃処理部６６６ａは、図８ａに示された３つのボール８０１、８０２、８０３に対する平均サイズを、前述した平均サイズに設定することができる。

一方、より正確なサイズを算出するため、非打撃処理部６６６ａは、第１の直線Ｌ１に次第に近接するボール８０１、８０２、８０３のサイズ変化量及び第１の直線Ｌ１とこれに最も近いボールとの距離の少なくとも一つに基づいて平均サイズを推定することができる。つまり、非打撃処理部６６６ａは、第１の直線Ｌ１に次第に近接するボール８０１、８０２、８０３のサイズ変化量及び第１の直線Ｌ１とこれに最も近いボールとの距離の少なくとも一つに基づいて平均サイズを補正することができる。

例えば、ボール８０１、８０２、８０３のサイズ変化量が次第に増加する方向であるとき、非打撃処理部６６６ａは、平均サイズを補正するための補正値を増加させることができる。一方、ボール８０１、８０２、８０３のサイズ変化量が次第に減少する方向であるとき、非打撃処理部６６６ａは、平均サイズを補正するための補正値を減少させることができる。

また、例えば、第１の直線Ｌ１とこの第１の直線Ｌ１に最も近いボール８０１との距離が近いとき、非打撃処理部６６６ａは、平均サイズを補正するための補正値を減少させることができる。一方、第１の直線Ｌ１とこの第１の直線Ｌ１に最も近いボール８０１との距離が遠いとき、非打撃処理部６６６ａは、平均サイズを補正するための補正値を増加させることができる。

このような補正作業は、省略することもできる。

以後、図８ｂに示すように、非打撃処理部６６６ａは、平均サイズに基づいて判定領域３４０におけるボール８００の垂直位置を検出する。つまり、非打撃処理部６６６ａは、２次元の平面形状を有する判定領域３４０におけるボールのＹ座標を検出する。

図８ｂの図番１６は、下限値に対応するボールのサイズを意味し、図番１７は、上限値に対応するボールのサイズを意味し、図番２０は、前述したボールの平均サイズを意味するもので、これらは、実際の映像に図示されることもあり、そうでないこともある。

このように、非打撃処理部６６６ａは、平均サイズ、上限値、及び下限値を比較し、その比較結果に基づいて、第３の直線Ｌ３上におけるボールの垂直位置を示す点の座標を算出することができる。これを具体的に説明すると、次の通りである。

例えば、非打撃処理部６６６ａは、下限値の位置と上限値の位置に基づいて、第３の直線Ｌ３を複数の区間に等分する。このとき、その区間の間の境界に位置する点のいずれかが前述した下限値の位置に対応し、その境界の点のうち、他の一つは、前述した上限値の位置に対応するように、第３の直線Ｌ３が複数の区間に等分されることができる。

このような方式で非打撃処理部６６６ａは、第４の直線Ｌ４上におけるボールの垂直位置を示す点の座標を算出することができる。これを具体的に説明すると、次の通りである。

例えば、非打撃処理部６６６ａは、下限値の位置と上限値の位置に基づいて第４の直線Ｌ４を複数の区間に等分する。このとき、その区間の間の境界に位置する点のいずれかが前述した下限値の位置に対応し、その境界の点のうち、他の一つは、前述した上限値の位置に対応するように、第４の直線Ｌ４が複数の区間に等分されることができる。

ボール８００の高さを示す第１の点Ｐ１のＹ座標値と第２の点Ｐ２のＹ座標値は同一でありうる。

図８ｂに示された例のように、平均サイズが下限値よりも大きく、上限値よりも小さい場合、第１の点Ｐ１は、ストライクゾーン３００の左辺Ｓ３上に位置し、第２の点Ｐ２は、ストライクゾーン３００の右辺Ｓ４上に位置する。

次に、非打撃処理部６６６ａは、図８ｃに示すように、ボール８０１、８０２、８０３の軌道に基づいて、第６の直線Ｌ６を設定する。

以後、非打撃処理部６６６ａは、第６の直線Ｌ６と前記第５の直線Ｌ５が出会う点(Ｐ３；以下、第３の点）の座標に基づいて、判定領域３４０におけるボールの水平位置を算出する。第３の点Ｐ３の座標は、第６の直線Ｌ６の方程式と第５の直線Ｌ５の方程式によって計算することができる。第３の点Ｐ３のＸＹ座標は、判定領域３４０におけるボールの位置である(５０６）。

図９は、身長入力部を示す図である。

本発明の野球ゲームシステム１００は、図９に示すように、身長入力部９８７をさらに含むことができる。

身長入力部９８７に打者の身長が入力されるため、そのために、身長入力部９８７は、表示窓９１１と入力手段９１２を含むことができる。

入力手段９１２は、例えば、キーパッドでありうる。入力手段９１２によって入力された数値は、表示窓９１１に表示される。図９には、１７５.７ｃｍの身長が入力された例が示されている。

非打撃処理部６６６ａは、身長入力部９８７に入力された身長に基づいて上限値と下限値を調整し、この調整された上限値と下限値を持つストライクゾーン３００の高さを設定する。例えば、非打撃処理部６６６ａは、内部にルックアップテーブル(ｌｏｏｋｕｐｔａｂｌｅ）を含むことができるため、このルックアップテーブルに身長による上限値、下限値、及びストライクゾーン３００の高さが予め保存されることができる。非打撃処理部６６６ａは、入力された身長に対応する上限値、下限値、及びストライクゾーン３００の高さをルックアップテーブルから探し、その探した数値で上限値、下限値、及びストライクゾーン３００の高さを設定する。

図１０は、人体感知部の動作を説明するための図である。

本発明の野球ゲームシステム１００は、図１０に示すように、人体感知部１１１をさらに含むことができる。

人体感知部１１１は、第１の打席２２１及び第２の打席２２２のうちの少なくとも一つの打席上に位置することができる。人体感知部１１１は、第１の打席２２１及び第２の打席２２２にレーザーを照射して、ユーザー(６３３；以下、打者）の存在の有無を判断する。

人体感知部１１１は、第１の打席２２１及び第２の打席２２２に位置する打者６３３の身長を検出する動作をさらに行うことができる。このような場合、人体感知部１１１は、前述した身長入力部９８７を代わりにすることもできる。

非打撃処理部６６６ａは、人体感知部１１１から検出された打者６３３の身長に基づいて下限値、上限値、及びストライクゾーン３００の高さを調節する。このとき、非打撃処理部６６６ａは、前述したルックアップテーブルを含むことができる。

一方、非打撃処理部６６６ａは、ボール８００が第１の直線Ｌ１に最も近接したときの時間とボールが第２の直線Ｌ２に最も近接したときの時間をさらに検出することができる。非打撃処理部６６６ａは、この時間に基づいてボールの速度を算出することができる。

図１１は、図１の他の側面として、撮影部４３０の最大の透視角を説明するための図である。図１２は、撮影部の最大の透視角に基づいてボールを撮影する場面を示す斜視図である。図１３〜図１５は、座標変換部の動作を示す図である。

図１１〜図１３を参照すると、撮影部４３０は、最大の透視角の領域４３１を撮影して複数の映像を伝送する。図１２において撮影部４３０の最大の透視角は、２θである。つまり、撮影部４３０は、野球ゲームシステムが設けられる場所に応じて最大の透視角を自由に設定することができ、設定された最大の透視角に基づいて撮影部４３０が撮影できる最大の透視角の領域４３１が決まる。撮影部４３０は、最大の透視角の領域４３１内に進入したボール８８８を撮影することができる。

打撃処理部６６６ｂは、複数の映像に基づいてボール８８８の位置を検出する。打撃処理部６６６ｂは、座標変換部６６７と軌道演算部６６８を含む。

座標変換部６６７は、複数の映像のいずれかの映像から、最大の透視角の領域４３１の基準面１１０の座標に基づいて決められたボールのサイズ、映像に表示されたボールのサイズ、映像に表示されたボールのＸＹ座標、及び撮影部４３０の最大の透視角を用いてボールの３次元座標を演算する。

軌道演算部６６７は、複数の映像を分析して、ボールの最終的な位置を演算する。

まず、座標変換部６６７がボールの３次元座標を演算する過程を具体的に説明する。

座標変換部６６７は、比率演算部６６７ａと座標演算部６６７ｂを含む。

比率演算部６６７ａは、映像に表示されたボールのサイズを最大の透視角の領域４３１の基準面１１０の座標に基づいて決められたボールのサイズで除して座標変換率を演算する。

座標演算部６６７ｂは、座標変換率と最大の透視角の領域４３１の基準面１１０のいずれか一辺の長さを乗じた値を撮影部４３０の最大の透視角に応じたＴａｎの値で除してボールのＺ座標を演算する。また、座標演算部６６７ｂは、座標変換率と映像に表示されたボールのＸＹ座標を乗じて、ボールのＸＹ座標を演算する。

図１３を参照すると、まず、Ｚ座標の基準点０は、撮影部４３０と定義する。また、基準点０は、基準面１１０の中心と重畳する。これとは異なり、ボールの打撃が行われる実際の底面をＺ座標の基準点として設定することもできる。最大の透視角の領域４３１の基準面１１０は、実際の野球のシステムが適用された空間の底面であってもよい。これとは異なり、基準面１１０は、他の高さの仮想の面で設定することができる。ボール８８０の実際の３次元座標のうちＺ座標を基準に基準面１１０と平行に設定された面を撮影面１２０と定義する。したがって、撮影面１２０に位置するボール８８０の３次元座標が、実際に求めようとするボールの３次元座標である。

基準面１１０に位置する場合、ボールのＺ座標は、Ｚ１となり、撮影面１２０に位置する場合、ボールのＺ座標は、Ｚ２となる。撮影部４３０の最大の透視角は、２θである。基準面１１０は、実際の底面であるため、基準面１１０の一辺の長さｔ１を測定することができる。基準面１１０の一辺の半分に相当する長さｔ２も測定された一辺の長さｔ１を介して知ることができる。

したがって、Ｚ１は、三角関数の法則に基づいて、下式1のように決まる。

[式１]
Ｚ１＝基準面の一辺の長さ／２／Ｔａｎθ＝ｔ２／Ｔａｎθ

一方、撮影部４３０に撮影された映像のボール８８０、８９０のサイズは、実際に位置する高さに応じて変わる。つまり、撮影部４３０から遠く離れるほど映像に撮影されたボール８８０、８９０のサイズは、小さくなる。例えば、図１４に示された第１の映像１１は、図１３の基準面１１０に位置するボール８８０を示した映像である。図１５に示された第２の映像２１は、撮影面１２０に位置するボール８９０を示した映像である。基準面１１０に位置するボール８８０が撮影面１２０に位置するボールよりも撮影部４３０から離れて位置するので、基準面１１０に位置するボール８８０が第１の映像１１で第２の映像２１のボール８９０よりもサイズが小さい。

したがって、映像に撮影されたボール８８０、８９０のサイズに応じて、実際のボール８８０、８９０の高さ、すなわち、Ｚ座標を知ることができる。例えば、映像に現れたボールのサイズが、図１４の第１の映像１１に現れたボール８８０のサイズと同じであれば、映像に現れたボールのＺ座標は、第１の映像１１に現れたボール８８０のＺ座標と同じである。これにより、基準面１１の座標に基づいて、第１の映像１１に撮影されたボール８８０のサイズは基準値となり、撮影部４３０によって撮影されたボール８９０のサイズを基準値と比較して座標変換率を演算する。座標変換率は、下記の通りである。

座標変換率＝映像に表示されたボールのサイズ／基準値＝映像に表示されたボールのサイズ／基準面の座標に基づいて決められたボールのサイズ

例えば、図１４と図１５を参考すれば、座標変換率は、第２の映像のボールのサイズ／第１の映像のボールのサイズとなる。一方、ボールのサイズは、例えば、ボールの直径により判断することができる。

したがって、基準面１１の座標に基づいて決められたボール８８０のサイズと映像に表示されボール８９０のサイズを用いて、座標変換率を演算した後、式１に座標変換率を乗ずると、実際のボールのＺ座標を下記のように式２を用いて求めることができる。

[式２]
Ｚ２＝Ｚ１＊座標変換率
＝ｔ２／Ｔａｎθ＊座標変換率
＝ｔ２／Ｔａｎθ＊映像に表示されたボールのサイズ／基準面の座標に基づいて決められたボールのサイズ
＝ｔ２／Ｔａｎθ＊映像に表示されたボールの直径／基準面の座標に基づいて決められたボールの直径

このように、比率演算部６６７ａは、最大の透視角の領域４３１の基準面１１０の座標に基づいて決められたボールのサイズと映像に表示されたボールのサイズを用いて、座標変換率を演算する。そして、座標演算部６６７ｂは、座標変換率、撮影部４３０の最大の透視角、基準面１１０に位置する場合のボールのＺ座標Ｚ１、及び最大の透視角領域の基準面１１０の一辺の長さｔ１を用いて、ボールのＺ座標Ｚ２を演算する。一方、基準点０を底面に設定する場合、ボールのＺ座標は、Ｚ３を活用することもできる。

一方、ボール８９０のＸＹ座標は、第２の映像２１を用いて演算することができる。まず、第２の映像２１の中央を基準点０に設定する。設定された基準点０に基づいて、第２の映像２１に表示されたボール８９０のＸＹ座標をボール８９０の中心を基準に判断する。例えば、図１５に示すように、ボール８９０のＸＹ座標は(５、−５）となる。

このように、第２の映像２１を介して求められたボール８９０のＸＹ座標に、前述した座標変換率を下記のように適用すると、ボール８９０の実際のＸＹ座標を求めることができる。第２の映像２１に表示されたボール８９０のＸＹ座標は、実際との差があり、先に求めた座標変換率を適用する場合、第２の映像２１に表示されたボール８９０の実際のＸＹ座標を求めることができる。

実際のＸ座標＝Ｘ＊座標変換率＝Ｘ＊映像に表示されたボールのサイズ／基準面の座標に基づいて決められたボールのサイズ

実際のＹ座標＝Ｙ＊座標変換率＝Ｙ＊映像に表示されたボールのサイズ／基準面の座標に基づいて決められたボールのサイズ

このように、本発明は、撮影部４３０の最大の透視角と座標変換率を用いて、ボール８９０の３次元座標をより正確に演算することができる。本発明の３次元座標を求めるアルゴリズムは、下記の通りである。

[アルゴリズム]
float Tan= Mathf.Tan(arcOption.fieldOfview/2*Mathf.PI/180);
float w=imgWidth/2;
float h=imgHeight/2;
foreach(ARC_TARGET at in list）
{
float r=arcOption.balldiameter/at.size;
if(r>1）r=1; if(r<0）r＝0;
float d=r/tan
float x= (at.pos.x-w)*r;
float y= (at.pos.y-h)*r;
float z=-d*w;
at.pos3D= new Vector3(x、y、x);
}

以下、図１６〜図１９を参照して、軌道演算部の動作を説明する。

図１６〜図１９は、軌道演算部の動作を示す図である。

図１６〜図１９を参照すると、軌道演算部(６６８、図１２に図示）は、複数の映像を分析して、ボールの最終的な位置を演算する。例えば、図１６は、時間差をおいて撮影された計９つの映像を重畳させた図である。中心０に近いボール８９１が先に撮影されたボール８９１であり、中心０と遠く離れたボール８９２が時間的に後に撮影されたボール８９２である。先に撮影されたボール８９１よりも後に撮影されたボール８９２の直径がより大きい場合に軌道演算部６６８は、ボールが上昇していると判断する。一方、図１７に示すように、先に撮影されたボール８９３よりも後に撮影されたボール８９４の直径がより小さい場合に軌道演算部６６８は、ボールが下降していると判断する。

また、図１８及び図１９を参照すると、軌道演算部６６８は、ボールの３次元座標と複数の映像の時間差を用いて、一定時間の間、ボールが移動した距離を計算し、時間差と移動した距離を用いて、ボールの速度を計算する。

つまり、前述したように、座標変換部６６７は、それぞれのボール８９５、８９６、８９７、８９８の３次元座標を演算する。軌道演算部６６８は、演算されたボール８９５、８９６、８９７、８９８の３次元座標と各映像の時間差を用いて、一定時間の間、ボールが移動した距離ｄを計算する。そして、軌道演算部６６８は、各映像の時間差と移動した距離ｄを用いて、ボールの速度を計算する。また、軌道演算部６６８は、ボールの３次元座標とボールの速度を用いて、打撃されたボールのファウル、アウト、ヒット、２塁打、３塁打、及びホームランなどの結果値を判定する。

図２０は、打撃処理部６６６ｂの動作手順を示すフローチャートである。

図２０を参照すると、本発明の野球ゲームシステムは、映像に表示されたボールのサイズを検出する(５１１）。領域の基準面の座標に基づいて決められたボールのサイズと映像に表示されたボールのサイズを比較して、座標変換率を算出する(５１２）。座標変換率と撮影部の最大の透視角を用いて、ボールのＺ座標を検出する(５１４）。ボールの移動距離と速度を算出する(５１５）。ボールの最終位置と結果を判定する(５１６）。

図２１は、図１の他の側面図であって、スイング判断部６４４の動作を説明するための図である。

スイング判断部６７７は、撮影部４３０で撮影された映像に基づいて野球のバット７７７のスイング可否を判断する。撮影部４３０から提供された映像は、複数のフレーム映像を含む。スイング判断部６７７は、この複数のフレーム映像に基づいて映像の特定の部分での変化の程度を検出することができる。例えば、スイング判断部６７７は、映像の変化程度に基づいて打者６０８が位置した打席を検出し、その検出された打席と野球のバット７７７の端部の軌道に基づいて野球のバット７７７のスイング可否を判断する。このため、スイング判断部６７７は、例えば、撮影部４３０からの各フレームの映像をこれの撮影照度に基づいて２値化(ｂｉｎａｒｉｚａｔｉｏｎ）してブラック−ホワイト画像(Ｂｌａｃｋ−Ｗｈｉｔｅｉｍａｇｅ）を生成し、、そのブラック−ホワイト画像を上下方向と左右方向にスキャンして映像における被写体(例えば、打者６０８と野球のバット７７７）の基本的な輪郭線(例えば、打者６０８と野球のバット７７７の各輪郭線）を抽出し、その輪郭線から被写体の中心位置を判別し、その中心位置に基づいて、被写体の位置を検出することができる。また、スイング判断部６７７は、その被写体の中心位置の変化から被写体の動きや移動方向を検出することができ、これにより映像の変化程度を算出することができる。

図２２は、撮影部４３０で撮影された映像を示す図である。図２２のストライクゾーン３００は、前述した図１のストライクゾーン３３３の映像であり、図２２の第１の打席２２１は、前述した図１の第１の打席２４１の映像であり、図２２の第２の打席２２２は、前述した図１の第２の打席２４２の映像であり、図２２のボール８００は、図１のボール８８８の映像であり、図２２の打者６１８は、図１の打者６０８の映像であり、図２２の野球のバット３２１は、図１の野球のバット７７７の映像である

スイング判断部６７７は、撮影部４３０で撮影された映像に基づいてストライクゾーン３００を設定する。例えば、ストライクゾーン３００は、４つの辺(Ｓ１、Ｓ２、Ｓ３、Ｓ４）によって囲まれた領域として定義することができる。

下辺Ｓ１は、上辺Ｓ２と対向し、左辺Ｓ３は、右辺Ｓ４と対向する。下辺Ｓ１と上辺Ｓ２は、平行に配置することができる。

撮影部４３０は、ストライクゾーン３００の真上ではなく、その対角線方向でそのストライクゾーンを撮影するため、このような撮影角度に応じた遠近現象が反映されるようにストライクゾーン３００は、台形形状に設定される。例えば、ストライクゾーン３００は、図２２に示すような台形形状であってもよい。ストライクゾーン３００の上辺Ｓ２は、その下辺Ｓ１より撮影部４３０に相対的に近く位置するので、上辺Ｓ２は、下辺Ｓ１よりも長い長さを有する。

遠近現象によって映像でのボール８００は、撮影部４３０に近いほど、より大きなサイズを有する。つまり、映像でのボール８００のサイズは、そのボール８００が地面(またはホームプレート２３０）からどれだけ高いところに位置しているのかを示す。つまり、映像でのボール８００のサイズから、そのボール８００の垂直位置が把握されることができる。

打者６１８によって野球のバット３２１がスイングすると、図３に示すような曲線(例えば、弧(ａｒｃｈ))形状を有するスイング軌道が形成される。

図２２のような映像に基づいてスイング判断部６７７の動作を詳細に説明すると、次の通りである。

図２３ａ及び図２３ｂは、図２２の映像によるスイング判断部の動作を説明するための図であり、図２４は、図２３ａ及び図２３ｂでのスイング判断部の動作順序を示すフローチャートである。図２３ａ及び図２３ｂでは、説明の便宜上、第１の打席２２１及び第２の打席２２２は、省略された。

まず、スイング判断部６７７は、図２２の映像に基づいて打者６１８が位置した打席を検出する(５２１）。図２２のような映像で、第２の打席２２２に比べて、第１の打席２２１での映像の変化程度が大きい。これは、第１の打席２２１に打者６１８が位置するからである。このような映像の変化程度の差に基づいて、スイング判断部６７７は、打者６１８がどの打席に位置しているかを判断する。つまり、第１の打席２２１での映像変化程度が第２の打席２２２での映像変化程度に比べて、より大きいので、スイング判断部６７７は、第１の打席２２１に打者６１８が位置したものと判断する。これにより、スイング判断部６７７によって第１の打席２２１が検出される。

次に、図２３ａに示すように、スイング判断部６７７は、時間的に隣接する２つの端部(３２２；野球のバットの端部）を連結する第１のベクトルＶ１を設定する(５２２）。例えば、図２３ａに示すように、１４個の端部３２２が一つのスイング軌道をなしている場合、隣接する２つの端部３２２を結ぶ１３個の第１のベクトルＶ１が設定される。

第１のベクトルＶ１の長さは、隣接する端部３２２との間の距離に比例する。第１のベクトルＶ１の方向は、相対的に先に撮影された端部３２２から、その以後に撮影された端部３２２に向かう。例えば、図２３ａに示すように、時間順序上、ｎ−１番目に撮影された端部(以下、ｎ−１番目の端部）とｎ番目に撮影された端部(以下、ｎ番目の端部）が存在するとき、このｎ−１番目の端部とｎ番目の端部を結ぶ第１のベクトルＶ１は、ｎ−１番目の端部からｎ番目の端部に向かう矢印を有する。

次に、図２３ｂに示すように、スイング判断部６７７は、第１のベクトルＶ１と垂直に、この第１のベクトルＶ１の中心点から延長された第２のベクトルＶ２を設定する(５２３）。このとき、スイング判断部６７７は、スイング軌道をなす曲線状に基づいて、第２のベクトルＶ２の延長方向を設定することができる。例えば、スイング判断部６７７は、最初の端部と最後の端部を結ぶ線分を設定し、その線分と交差する方向に第２のベクトルＶ２を延長させることができる。さらに他の例として、スイング判断部６７７は、曲線の凸面から凹面方向に第２のベクトルＶ２を延長させることもできる。

次に、スイング判断部６７７は、第２のベクトルＶ２のうち検出された打席２２１を向けたり、またはその検出された打席２２１を通過する第２のベクトルＶ２の数が第１の基準範囲に位置するのかを判断する。

以後、スイング判断部６７７は、第２のベクトルＶ２の平均の長さが第２の基準範囲に位置するかを判断する。第２のベクトルＶ２の長さは、野球のバットの端部３２２の速度に関連したもので、その長さが長いほど端部３２２の速度が速いことを意味する。

スイング判断部６７７は、このような２つの判断に基づいて野球のバット７７７のスイング可否を判断する(５２４）。例えば、第２のベクトルＶ２のうち検出された打席２２１を向けたり、またはその検出された打席２２１を通過する第２のベクトルＶ２の数が第１の基準範囲に位置し、また、第２のベクトルＶ２の平均の長さが第２の基準範囲に位置するとき、スイング判断部６７７は、野球のバット３２１がスイングされたものと判断する。

もし、第２のベクトルＶ２のうち検出された打席２２１を向けたり、またはその検出された打席２２１を通過する第２のベクトルＶ２の数が第１の基準範囲を外れたり、または第２のベクトルＶ２の平均の長さが第２の基準範囲を外れた場合、スイング判断部６７７は、そのような軌道をなす端部３２２をノイズ(ｎｏｉｓｅ）と判断する。つまり、このような場合、スイング判断部６７７は、野球のバット３２１がスイングされないものと判断する。

このようにスイング判断部６７７は、端部３２２の軌道と速度に基づいて、野球のバット７７７のスイング可否を判断する。

一方、スイング判断部６７７は、チェックスイング(ｃｈｅｃｋｓｗｉｎｇ）を選別するため、第１のベクトルＶ１の長さをさらに判断することができる。例えば、スイング判断部６７７は、第１のベクトルＶ１の長さの合計が第３の基準範囲に位置するかをさらに判断することができる。このような場合、第２のベクトルＶ２のうち検出された打席２２１を向けたり、またはその検出された打席２２１を通過する第２のベクトルＶ２の数が第１の基準範囲に位置し、第２のベクトルＶ２の平均の長さが第２の基準範囲に位置し、また、第１のベクトルＶ１の長さの合計が第３の基準範囲に位置するとき、スイング判断部６７７は、野球のバット３２１がスイングされたものと判断する。

図２２、図２３ａ及び図２３ｂにおいて第１及び第２のベクトルＶ１、Ｖ２は、前述した第１〜第３の基準範囲に適合する特性を有するため、このような場合、スイング判断部６７７は、野球のバット３２１がスイングされたものと判断する。

図２５は、チェックスイング時の野球のバットの軌道を示す図である。

図２５に示すように、野球のバット３２１が正常にスイングされないとき、スイング判断部６７７は、これをチェックスイングと判断する。つまり、スイング判断部６７７は、これをスイングと判断しない。

図２５の第１のベクトルＶ１の長さの合計は、第３の基準範囲を外れる。例えば、第１のベクトルＶ１の長さの合計が予め設定されたしきい値よりも小さいとき、スイング判断部６７７は、これをチェックスイングと判断することができる。

図２６は、図１の野球ゲームシステムに使用される野球のバットの斜視図であり、図２７は、図１のＩ−Ｉ’に沿って切った断面図である。

ノイズによる影響を最小化するため、図２６及び図２７に示すように、野球のバット７７７は、標識パターン７８８をさらに含むことができる。

標識パターン７８８は、図２６に示すように、野球のバット７７７の端部に位置することができる。

図２７に示すように、標識パターン７８８は、その野球のバット７７７の端部を囲む形状を有することができる。

前述したブラック−ホワイト映像生成時、野球のバット７７７の端部が明確に表示されるように、標識パターン７８８は、明るい色を持つことができる。例えば、表示パターン７８８は、野球のバット７７７よりも明るい色を持つことができる。

図２８は、非打撃処理部に適用されたアルゴリズムを示す図であり、図２９は、打撃処理部に適用されたアルゴリズムを示す図であり、また、図３０はスイング判断部に適用されたアルゴリズムを示す図である。

非打撃処理部は、図２８のアルゴリズムを介して判定領域でのボールの座標を検出することができ、打撃処理部は、図２９または前述したアルゴリズム(３次元座標を求めるためのアルゴリズム）を介して打撃されたボールの座標を検出することができ、また、スイング判断部は、図３０のアルゴリズムを介してスイング可否を判断することができる。

以上で説明した本発明は、前述した実施例及び添付図面に限定されるものではなく、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であることが、本発明が属する技術分野で通常の知識を有する者にとって明らかであろう。

２２１：第１の打席
２２２：第２の打席
Ｌ１：第１の直線
Ｌ２：第２の直線
Ｌ３：第３の直線
Ｌ４：第４の直線
３００：ストライクゾーン
Ｓ１：下辺
Ｓ２：上辺
Ｓ３：左辺
Ｓ４：右辺

Claims

ストライクゾーンを含む判定領域に向かってボールを投球するピッチング部と、
前記判定領域と前記ピッチング部との間の空間上に位置する撮影部と、
前記撮影部からの複数の映像に基づいて、前記ボールの位置を検出する位置検出部と、を含み、
前記位置検出部は、非打撃されたボールの位置を検出する非打撃処理部及び打撃されたボールの位置を検出する打撃処理部を含み、
前記非打撃処理部は、前記ストライクゾーンを定義する第１〜第４の直線を設定し、前記映像のボールが第１の直線と第２の直線との間を通過するときに、前記第１の直線と前記第２の直線との間に位置するボールの平均サイズを算出し、前記平均サイズと予め設定された基準値を比較して、前記判定領域でのボールの垂直位置を検出し、
前記第１〜第４の直線によって定義されたストライクゾーンは、撮影角度による遠近現象が反映された台形形状を有する野球ゲームシステム。
前記基準値は、
前記ストライクゾーンの下端辺に位置するボールのサイズを定義する下限値と、
前記ストライクゾーンの上端辺に位置するボールのサイズを定義する上限値と、を含む請求項１に記載の野球ゲームシステム。
前記非打撃処理部は、
前記平均サイズと前記基準値との比較に基づいて、前記第３の直線上でのボールの垂直位置を示す第１の点の座標を算出し、
前記平均サイズと前記基準値との比較に基づいて、前記第４の直線上でのボールの垂直位置を示す第２の点の座標を算出し、
前記第１の点と第２の点を通過する第５の直線を設定する請求項１に記載の野球ゲームシステム。
前記非打撃処理部は、
前記ボールの軌道に基づいて第６の直線を設定し、
前記第６の直線と前記第５の直線が交差する点の座標に基づいて、前記判定領域でのボールの水平位置を算出する請求項３に記載の野球ゲームシステム。
前記映像のボールが前記第１の直線と第２の直線との間を通過しないとき、前記非打撃処理部は、前記第１の直線に最も近接するボールのサイズを前記平均サイズに設定する請求項１に記載の野球ゲームシステム。
前記非打撃処理部は、前記第１の直線に近接するボールのサイズ変化量及び前記最も近接するボールと前記第１の直線との間の距離のうち少なくとも一つに基づいて、前記第１の直線と前記第２の直線との間で前記ボールの平均サイズを推定する請求項５に記載の野球ゲームシステム。
前記非打撃処理部は、打者の身長に基づいて前記上限値、前記下限値、及び前記ストライクゾーンの高さを調節する請求項２に記載の野球ゲームシステム。
前記打者の身長が入力される身長入力部をさらに含む請求項７に記載の野球ゲームシステム。
前記非打撃処理部は、前記身長入力部に入力された身長に基づいて、前記上限値、前記下限値、及び前記ストライクゾーンの高さを調節する請求項８に記載の野球ゲームシステム。
前記判定領域を定義する打席上に位置して打者の存在可否を判断し、前記打者の身長を検出する人体感知部をさらに含む請求項７に記載の野球ゲームシステム。
前記打撃処理部は、
前記複数の映像のうち一つの映像から、前記撮影部の最大の透視角によって定義された最大の透視角領域の基準面の座標に基づいて決められたボールのサイズ、前記映像に表示されたボールのサイズ、前記映像に表示されたボールのＸＹ座標、及び前記撮影部の最大の透視角を用いて前記ボールの３次元座標を演算する打撃座標変換部を含む請求項１に記載の野球ゲームシステム。
前記座標変換部は、前記映像に表示されたボールのサイズを、前記最大の透視角の領域の基準面の座標に基づいて決められたボールのサイズで除して座標変換率を演算する割合演算部を含む請求項１１に記載の野球ゲームシステム。
前記座標変換部は、前記座標変換率と前記最大の透視角の領域の基準面のいずれか一辺の長さを乗じた値を、前記撮影部の最大の透視角によるＴａｎの値で除して前記ボールのＺ座標を演算する座標演算部をさらに含む請求項１２に記載の野球ゲームシステム。
前記座標演算部は、前記座標変換率と前記映像に表示されたボールのＸＹ座標を乗じて、前記ボールのＸＹ座標を演算する請求項１３に記載の野球ゲームシステム。
前記打撃処理部は、前記複数の映像を分析して前記ボールの最終位置を演算する軌道演算部をさらに含む請求項１１に記載の野球ゲームシステム。
前記軌道演算部は、前記ボールの３次元座標と前記複数の映像の時間差を用いて、一定時間の間、ボールの移動距離を計算し、前記時間差と前記移動した距離を用いて前記ボールの速度を計算する請求項１５に記載の野球ゲームシステム。
前記軌道演算部は、前記ボールの３次元座標と前記ボールの速度を用いて、打撃されたボールのファウル、アウト、ヒット、２塁打、３塁打、及びホームランなどの結果値を判定する請求項１６に記載の野球ゲームシステム。
前記撮影部からの映像に基づいて、前記ストライクゾーンの両側に位置する打席のいずれかに位置するユーザーの野球のバットのスイング可否を判断するスイング判断部を含み、
前記スイング判断部は、
映像の変化程度に基づいて打者が位置した打席を検出し、検出された打席及び野球のバットの端部の軌道に基づいて、前記野球のバットのスイング可否を判断する請求項１に記載の野球ゲームシステム。
前記スイング判断部は、
時間的に隣接する２つの端部を連結する第１のベクトルを設定し、前記第１のベクトルに垂直な第２のベクトルを設定し、
前記第２のベクトルのうち前記検出された打席に向かう第２のベクトルの数が第１の基準範囲に位置するかを判断し、
前記第２のベクトルの平均の長さが第２の基準範囲に位置するかを判断して、前記バットのスイング可否を判断する請求項１８に記載の野球ゲームシステム。
前記スイング判断部は、
前記第２のベクトルのうち前記検出された打席に向かう第２のベクトルの数が第１の基準範囲に位置し、前記第２のベクトルの平均の長さが第２の基準範囲に位置するとき、前記野球のバットがスイングされたものと判断する請求項１９に記載の野球ゲームシステム。
前記スイング判断部は、前記第１のベクトルの長さの合計が第３の基準範囲に位置するかをさらに判断する請求項１９に記載の野球ゲームシステム。
前記スイング判断部は、
前記第２のベクトルのうち前記検出された打席に向かう第２のベクトルの数が第１の基準範囲に位置し、前記第２のベクトルの平均の長さが第２の基準範囲に位置して、前記第１のベクトルの長さの合計が第３の基準範囲に位置するとき、前記野球のバットがスイングされたものと判断する請求項２１に記載の野球ゲームシステム。
前記野球のバットは、標識パターンをさらに含む請求項１８に記載の野球ゲームシステム。
前記標識パターンは、前記野球のバットの端部に位置する請求項２３に記載の野球ゲームシステム。
前記標識パターンは、前記端部を囲む請求項２４に記載の野球ゲームシステム。
前記標識パターンは、前記野球のバットよりも明るい色を有する請求項２３に記載の野球ゲームシステム。
前記スイング判断部からの判断結果及び前記非打撃処理部からの検出結果に基づいて、ボール及びストライクを判定する判定部をさらに含む請求項１８に記載の野球ゲームシステム。