JP6533073B2 - ボール個別位置判別装置 - Google Patents

Description

本発明は、ビリヤード台上の球の位置を検出するボール個別位置判別装置に関する。

特許文献１には、盤面の球をポケットに落下させる電子ビリヤード台が開示されている。図１２は、特許文献１に開示された電子ビリヤード台の一部を示す縦断面図である。また、図１３は、特許文献１に開示された電子ビリヤード台の平面図（上面図）である。図１２に示すように、この電子ビリヤード台１には、盤面２よりも下側に、盤面２上の球（ボール）Ｂに内蔵されたＲＦＩＤタグＴを検出するアンテナ部１５が配置されている。アンテナ部１５の平面形状は矩形である。図１３に示すように、アンテナ部１５は、クッションレール４上のポイント１６を縦横に結ぶ線により３２分割された領域毎に、それぞれ、設置されている。ＲＦＩＤタグＴを内蔵する盤面２上の球Ｂをどのアンテナ部１５が検出するかによって、当該球Ｂの盤面２上での動きや位置が検出される。

特許文献２には、エアホッケー、ピンボール、パチンコやビリヤード等のように、プレイヤーが移動体を遊戯盤上で運動させてプレイする遊戯盤装置が開示されている。この遊戯盤装置には、遊戯盤上のプレイフィールドを取り囲み、対向する壁面には、複数の赤外線ビームの軌跡がプレイフィールド上で格子状に交わるよう、複数対の赤外線ビームの発光部と受光部が等間隔で配置される。この発光部と受光部は、プレイフィールド上の移動体の位置を検出するためのセンサーである。なお、赤外線の発光部と受光部を用いた方式以外にも、感圧式や磁気、電波、超音波を利用したセンサーを用いる方式、又は、各球に異なった信号を発信する発信機を埋め込んで、各球の位置を検出する方式等が考えられる。

特開２００８−０７９６５７号公報（段落［００３２］、図２、図３） 特開２００１−３２１５５４号公報（段落［０００９］、［００１４］、［００１５］）

上記説明した特許文献１の電子ビリヤード台にしろ、特許文献２の遊戯盤装置にしろ、球又は移動体の位置を検出するためには、電磁波による信号等を検知するセンサーを電子ビリヤード台又は遊戯盤装置に設置する必要がある。しかし、当該センサーの設置はコストも手間もかかり、球又は移動体の位置の検出精度は、センサーの設置間隔等によって異なる。また、球又は移動体を個別に検出するためには、ＲＦＩＤタグ等の発信機が埋め込まれた専用の球又は移動体が用いられる必要がある。

本発明の目的は、センサーや専用の球、移動体等を用いることなく、ビリヤード台上の各ボールの位置と種別を個別に高い精度で識別可能なボール個別位置判別装置を提供することである。

本発明のボール個別位置判別装置は、ビリヤード台を上から撮影する撮影装置から得られた映像に写る、前記ビリヤード台上のボールの位置を検出する位置検出部と、前記位置検出部が検出した各ボールを個別に識別する個別識別部と、を備え、前記位置検出部は、前記映像を構成する一フレームの画像に含まれる円について、前記撮影装置が検出した色情報および深度情報に基づき、前記画像に写るボールに対応した前記画像中の円形領域を特定し、前記個別識別部は、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に識別する。

本発明の一態様として例えば、前記位置検出部は、前記画像においてボールとは関係のない要素を不要情報と判断し、当該不要情報をマスキングするマスキング処理部を有する。

本発明の一態様として例えば、前記深度情報に基づき算出される、前記画像中の前記要素の前記ビリヤード台からの高さ位置が、ボールのサイズより大きい場合、前記マスキング処理部は、当該要素が前記不要情報であると判断してマスキングするボール個別位置判別装置。

本発明の一態様として例えば、前記位置検出部は、前記マスキング処理部が前記不要情報をマスキングした前記画像から円の検出を行う円形検出部を有するボール個別位置判別装置。

本発明の一態様として例えば、前記円形検出部は、円の中心点についての前記深度情報を、円検出の補助情報として利用するボール個別位置判別装置。

本発明の一態様として例えば、前記位置検出部は、撮影時間が異なる複数の前記画像間において、前記円形検出部が検出した円の中心点のずれを考慮して円の抽出を行い、前記円形領域を特定する円形領域特定部を有するボール個別位置判別装置。

本発明の一態様として例えば、前記円形領域特定部は、円の中心点についての前記深度情報を、前記円形領域を特定する補助情報として利用するボール個別位置判別装置。

本発明の一態様として例えば、前記個別識別部は、前記円形領域内の白色領域のデータを除去する白色領域除去部と、一つの円の円形領域毎に、前記円形領域内の前記白色領域のデータが除去された部分が何色かを識別する円形内色識別部と、前記円形内色識別部によって識別された色に基づいて、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に判別するボール個別判別部と、を有する。

本発明の一態様として例えば、前記円形領域毎に前記個別識別部が識別した過去の結果に基づいて、前記個別識別部による直近の識別結果を補正する結果補正部を備える。

本発明に係るボール個別位置判別装置によれば、センサーや専用の球、移動体等を用いることなく、ビリヤード台上の各ボールの位置と種別を個別に高い精度で識別できる。

第１の実施形態のボール個別位置判別装置及びビリヤード台を含む全体構成を示す概念図 第１の実施形態のボール個別位置判別装置１００の内部構成を示すブロック図 マスキング処理部が行う平面内マスキング処理の概要図 マスキング処理部が行う高さ方向マスキング処理の概要図 （Ａ）はポケット・ビリヤードで用いられる１番のボールを示す図であり、（Ｂ）は９番のボールを示す図 第２の実施形態のボール個別位置判別装置２００の内部構成を示すブロック図 （Ａ）〜（Ｃ）はポケット・ビリヤードで用いられる９番のボールの向きが異なる図 第２の実施形態のボール個別位置判別装置２００が行うボール個別位置判別方法の各ステップを示すフローチャート図 モニター１４に表示される画面の一例を示す図 モニター１４に表示される、サポート情報を含む画面の一例を示す図 ファールと判定されたときのモニター１４に表示される画面の一例を示す図 特許文献１に開示された電子ビリヤード台の一部を示す縦断面図 特許文献１に開示された電子ビリヤード台の平面図（上面図）

本発明に係るボール個別位置判別装置は、ビリヤード台を上面から撮影した画像を処理して、ビリヤード台上の各ボールの位置を個別に検出する。以下、本発明に係るボール個別位置判別装置の実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態のボール個別位置判別装置及びビリヤード台を含む全体構成を示す概念図である。図１に示すように、ビリヤード台１０の上部には、ビリヤード台１０を真上から撮影する撮影装置１２が設置されている。撮影装置１２によって撮影された映像のデータは、有線又は無線でボール個別位置判別装置１００に送られる。さらに、ボール個別位置判別装置１００は、当該映像に対して所定の処理を行うことで得られたボール個別判別結果に係る情報をモニター１４に表示する。

本実施形態では、撮影装置１２は、光学カメラ１２ａおよび深度センサー１２ｂを含み、映像内の各画素について、光学カメラ１２ａがビリヤード台１０の平面内の位置（ｘｙ座標に相当）および当該位置での色情報を検出し、深度センサー１２ｂが深度情報（ｚ座標に相当）を検出することができる。

すなわち、実施形態の撮影装置１２は光学カメラと深度センサー（例えば赤外線照射器と赤外線センサーを含む）が一体化された一台の撮影装置である。ただし、光学カメラ１２ａおよび深度センサー１２ｂは個別に別体の装置として、分けて配置することもできる。また、複数台の撮影装置１２を使用してもよく、撮影装置１２、ひいては光学カメラ１２ａおよび深度センサー１２ｂの台数は特に限定はされない。また、ビリヤード台１０が撮影できるなら、これらの装置の配置位置も特に限定はされない。

光学カメラ１２ａが検出する色情報は、ＲＧＢ、ＨＳＶ、Ｌａｂ（Ｌ^＊ａ^＊ｂ^＊を含む）等、各種の表示系（色空間）における色成分データによって与えられるが、データの形式は特に限定されない。色情報は物体、特に円形の物体を画像から検出してその位置を特定する際に有用なデータであればよい。例えば色情報は基本的に明るさ情報しか表現しないグレースケールデータのようなものも含む（ただし円検出における概念）。このグレースケールデータは光学カメラ１２ａが直接検出してもよいし、光学カメラ１２ａが検出したＲＧＢ色空間のデータ等を変換する（後述する円形検出部１１３等が行う）ことにより生成してもよい。

深度センサー１２ｂが検出する深度情報とは、撮影装置１２から見た奥行き方向の位置（ｚ座標）に関する情報である。深度情報から、後述するようにビリヤード台１０の盤面２５（図３参照）からの高さ位置を算出することができる。実際の深度センサー１２ｂから得られる情報はノイズ及び誤差を含むため、後の処理にあたっては、Ｈ_Ｂ±δ（δは所定のマージン）の深度情報を考慮して処理する。

図２は、第１の実施形態のボール個別位置判別装置１００の内部構成を示すブロック図である。図２に示すように、第１の実施形態のボール個別位置判別装置１００は、映像合成部１０１と、位置検出部１０３と、個別識別部１０５と、色域データベース（色域ＤＢ）１０７とを備える。

映像合成部１０１は、撮影処理後に撮影装置１２から送られた画素ごとの色情報及び深度情報を合成（合成処理）して、１つの画像を生成する。映像合成部１０１は、光学カメラ１２ａおよび深度センサー１２ｂの数に拘わらず、得られた色情報及び深度情報から１つの画像を生成することができる。また、映像合成部１０１は、光学カメラ１２ａの画素数および深度センサー１２ｂの画素数の違いを考慮に入れながら、画像を生成することもできる。なお、生成された画像がいわゆる一つのフレームに該当し、映像は複数のフレーム（画像）から構成される。映像合成部１０１が生成した画像のデータは、位置検出部１０３及び個別識別部１０５に入力される。

位置検出部１０３は、映像合成部１０１から入力された映像を構成する一フレームの画像（以下「原画像」という）に写るボールの位置、特にボールに対応する円の中心点（中心位置）を検出する。図２に示すように、位置検出部１０３は、マスキング処理部１１１と、円形検出部１１３と、円形領域特定部１１５とを有する。

マスキング処理部１１１は、撮影装置１２が捉えた原画像のうち、ボールとは関係のない各種の不要要素（物体や影などを含む）の情報を不要情報として判断し、原画像から当該不要情報をマスキング処理する（削除する）。撮影装置１２は、キュー、ビリヤード台のポケット、人体の一部（衣服を含む）、その他の種々の物体や人の影など、ビリヤード台１０上のボール以外の種々の要素も撮影するため、マスキング処理部１１１はこれら不要要素の情報を取り除く。

マスキング処理部１１１が行う処理には、１）平面内マスキング処理（第１のマスキング処理）と、２）高さ方向マスキング処理（第２のマスキング処理）が含まれる。図３は、マスキング処理部１１１が行う平面内マスキング処理の概要図である。図３に示すように、ビリヤード台１０は、盤面２５、盤面２５の外周縁を構成するクッション２６、クッション２６の外側のレール２７、ボールが落ちるポケット２８を含む（図１では省略）。いずれのビリヤード台もクッション２６、レール２７を有し、これらの位置、サイズ等は基本的に共通規格の下で設定される固定された情報であるため、マスキング処理部１１１は、斜線で示すように、平面内のクッション２６およびレール２７（およびその外側領域）を不要情報として判断し、マスキング処理する。

図４は、マスキング処理部１１１が行う高さ方向マスキング処理の概要図である。図４に示すように、ビリヤード台１０の上の所定高さには、キュー、人体の一部（衣服を含む）等の要素Ｘが存在する場合があり、撮影装置１２はこれらの物体も撮影する。

撮影装置１２の深度センサー１２ｂは深度情報を検出することができ、特定の深度情報を持つ画素が表す要素の撮影装置１２からの距離、言い換えるとビリヤード台１０からの高さ位置を判断することができる。そして、図４に示したボール（球）Ｂのサイズ（頂点部分の高さ）Ｈ_Ｂは既知の情報であり、これより上にボールは存在し得ないと推定することができる。そこで、マスキング処理部１１１は、深度情報に基づき算出される、要素Ｘのビリヤード台１０（の盤面２５）からの高さ位置が、ボールのサイズより大きい場合、要素Ｘは不要情報として判断し、原画像のデータからマスキングする。尚、ビリヤード台１０（の盤面２５）と撮影装置１２の距離がＤ（既知の値）、要素Ｘのビリヤード台１０（の盤面２５）からの距離がＤ_Ｘ（撮影装置１２により検出）である場合、要素Ｘの高さ位置Ｈ_Ｘは、Ｈ_Ｘ＝Ｄ−Ｄ_Ｘの式より算出される。実際の深度センサー１２ｂから得られる情報はノイズ及び誤差を含むため、マスキング処理部１１１はＨ_Ｂ±δ（δは所定のマージン）の深度情報を考慮して処理する。

また、マスキング処理部１１１は、ポケット２８の内部の空間も原画像のデータからマスキングする。ポケット２８についても位置、サイズ等は基本的に共通規格の下で設定され、その内部空間は盤面２５より低い高さ位置にあることから、マスキング処理部１１１は内部空間を不要情報として判断することができる。

マスキング処理部１１１が行う平面内マスキング処理および高さ方向マスキング処理により、装置全体としての処理速度が向上する。もちろんマスキング処理部１１１は他の情報を用いたマスキング処理を行ってもよい。

円形検出部１１３は、画像毎に、色情報に基づくハフ変換（Hough変換）を用いた円（の外形を持つ要素）の検出である円検出処理を行う。ハフ変換は色情報から導かれる、画像中の特徴点の集合である物体等の輪郭を検出するデジタル画像処理の変換方法の一つであり、円検出にも適した方法であるが、円の検出が可能ならば、円形検出部１１３が行う具体的な検出方法はハフ変換である必要はない。例えば、円形検出部１１３は、基本的に明るさ情報しか表現しないグレースケールデータからも円検出処理を行うことができる。

本装置の目的はボールを検出することであり、ボールの円を検出することが必要となる。しかしながら、ビリヤード台１０の盤面２５には、ボール以外にもマーキング２９（図３参照）のように、外径が円に近似した要素が存在する。また、マスキング処理部１１１によりマスキング処理されなかった障害物（例えば人や人の衣服など）の光学的模様が円として多数検出されることもある。さらにハフ変換の特性により、ボール、クッション２６の影が円として検出されることがある。

また、一つのボールが複数の円の集合体として検出されることがある。一方で、ボールがクッション２６の近傍に存在する場合は、ボールの検出精度が低下する。特に青、紫、緑、黒といった色のボールについては影とボールの色が混ざり、円形形状の検出が困難となりやすい。

そこで本実施形態では、円形検出部１１３による円検出は、マスキング処理部１１１がマスキング処理した画像から、円と推定される要素（候補要素）をできるだけ多く検出することを基本方針としている。当然ながら、検出される要素にはノイズも多く、検出結果も安定しないが、円形検出部１１３は、多数検出される円の候補要素を、さらに種々のフィルタリング情報を用いてふるいにかけ、ボールとして判定し得る円を検出する。

円形検出部１１３は、基本的な円検出処理であるハフ変換処理のみならず、上述のフィルタリング情報を用いたフィルタリング処理を行う。このフィルタリング処理には、１）サイズによるフィルタリング処理、２）複数円の集合体の統合処理、３）中心点距離によるフィルタリング処理などが含まれる。

サイズによるフィルタリング処理に用いられる情報には、ボールのサイズ（直径や半径など）がある。この場合、円形検出部１１３は、既知のボールのサイズに等しいまたは略等しいサイズ持つ円を候補要素と判断し、検出すればよい。また、所定の最大値および最小値を設定し、これらの値の間の直径を持つ円を候補要素と判断し、検出してもよい。

また、深度情報が得られている円については、深度情報を補助情報として利用することができる。円形検出部１１３は、当該円の深度情報の頂点部分の高さがボールのサイズに等しいまたは略等しいと判断されれば、当該円はボールに相当するとより確実に判断することができ、検出の精度を高めることができる。尚、円形検出部が検出した円の中心点の画素の深度情報が得られていれば、当該深度情報はボールのサイズを示していると推定できるため、補助情報として利用することができる。なお、中心点の画素の深度情報は厳密に得られるとは限らないので、実際は、中心点付近の画素の深度情報から中心点の深度情報を算出することが多い。以下、中心点の画素の深度情報はすべてこのような方法で算出される。

複数円の集合体の統合処理に用いられる情報には、複数円の重なりの度合いの情報がある。複数の近接し広い領域で重なっている状態の円が検出された場合、円形検出部１１３は、当該複数円は、一つの要素から派生したものであるとして判断する。そして、円形検出部１１３は、複数の円を一つの集合体に統合し、集合体の中心点を一つの要素の中心点とみなす。また、深度情報が得られている円については、深度情報を補助情報として利用することができる。円形検出部１１３は、中心点の高さがボールのサイズに等しいまたは略等しいと判断されれば、当該円はボールに相当するとより確実に判断することができ、検出の精度を高めることができる。

中心点距離によるフィルタリング処理には、隣接する円の中心点間の距離がある。実際の中心間の距離は、ボールの直径より大きいはずであるが、誤差を考慮して、ボールの直径より若干小さい所定の値より、大きな中心点の距離を持つ二つの円をボールの候補要素として検出する。また、深度情報が得られている円については、深度情報を補助情報として利用することができる。円形検出部１１３は、二つの円の中心点の高さがボールのサイズに等しいまたは略等しいと判断されれば、当該円はボールに相当するとより確実に判断することができ、検出の精度を高めることができる。

円形検出部１１３は、上述した各種のフィルタリング情報の少なくともいずれかを採用することができる。また、円形検出部１１３が上述したすべてのフィルタリング情報を採用しない場合、深度情報のみを用いて、候補要素を検出することができる。また、円形検出部１１３は、上記以外の他のフィルタリング情報を用いることもできる。上述した各種のフィルタリング情報を構成する値（パラメータ）は可変であり、ユーザーが条件に応じて柔軟に変更して設定し得るし、ボール個別位置判別装置１００が条件に応じて自動的に設定することも可能である。

円形検出部１１３が行った画像に対する円検出の結果は、円形領域特定部１１５に入力される。円形領域特定部１１５は、画像に対する円検出の結果であるリストをマージして、原画像に写るボールに対応した原画像中の円形領域を特定する。

なお、円検出の結果であるリストとは、円形検出部１１３が検出した各円の中心点の平面内位置情報であるｘｙ座標（画素の位置に対応）と、深度情報であるｚ座標と、半径の値ｒから構成される。すなわち、（ｘ１，ｙ１，ｚ１，ｒ１）、（ｘ２，ｙ２，ｚ２，ｒ２）、…（ｘｎ，ｙｎ，ｚｎ，ｒｎ）と表された各円の位置及び大きさを示す情報が配列された情報が上記リストである。

尚、画像ごとに円の中心点を取る場合、ハフ変換等の円形検出処理の特性上、円形検出部１１３が検出した円について、その位置（特に中心点）が撮影時間の違いに応じてずれる（ゆれる）場合があり、正確に円を抽出することが難しくなる場合がある。そこで、本実施形態では、このような円の位置のずれをも考慮して、円形領域特定部１１５が上記リストを作成するにあたって、時間軸をも考慮した円の抽出を行うフレーム間処理も行っている。

撮影装置１２は、例えば３０フレーム＝１秒の速度（フレームレート）で画像の撮影を行い、映像を生成する。フレームレートは撮影装置１２や装置全体の処理を司る演算装置の処理能力に依存するが特に限定はされない。このように、時系列上、順次撮影された画像について、映像合成部１０１、マスキング処理部１１１、円形検出部１１３は上述した処理を、画像について順次行う。この結果、円形領域特定部１１５には、時系列上、順次処理済みの画像が送られてくる。

ここで円形領域特定部１１５は、現在対象としている特定の画像のｎフレ−ム（例えばｎ＝１０）だけ前まで遡り、各画像（フレーム）を比較し、円形検出部１１３が検出した画像中の円の中心点（中心位置）を比較する。ハフ変換の特性上、特定の円についてもその中心点がｎフレ−ムに渡ってずれていても、そのずれが所定の範囲内であると判断できれば、円形領域特定部１１５は当該円がボールであると判断して抽出し（フレーム間処理）、上述したリストに加えることにより、円形領域を特定する。

また、円形領域特定部１１５は上記のフレーム間処理において、各種のノイズの除去処理をも行う。例えば、上述したｎフレーム内において、円が検出されない画像や、極端に円の位置がずれている画像等は除去の対象となる。さらに円形領域特定部１１５は、深度情報が得られている円については、深度情報を補助情報として利用することができる。円形領域特定部１１５は、二つの円の中心点の高さがボールのサイズに等しいまたは略等しいと判断されれば、当該円はボールに相当するとより確実に判断することができ、抽出の精度を高めることができる。

また、円形領域特定部１１５は上記のフレーム間処理において、動き検出処理をも行う。すなわち、円形領域特定部１１５は、ｎフレームのうち、最新の画像（現在対象としている特定の画像）とｎフレームのうち最も古い画像を比較し、総移動距離を算出する。さらに円形領域特定部１１５は、ｎフレームのフレームごとの円の移動距離を積算して積算移動距離を算出する。総移動距離と積算移動距離が一致する場合、円形領域特定部１１５は当該円に該当するボールはショットなどにより移動していると判断し、最新のフレームのみに基づき、当該円を上述したリストに加える。このとき、深度情報があれば補助情報として利用することができる。

個別識別部１０５は、原画像中の各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に識別する。図２に示すように、個別識別部１０５は、白色領域除去部１２１と、円形内色識別部１２３と、ボール個別判別部１２５とを有する。白色領域除去部１２１は、原画像上の各円形領域内の白色領域のデータを除去する。白色領域除去部１２１は、円形領域から除去した白色領域の面積を示す情報（以下「白色領域除去情報」という）を、円形領域毎にボール個別判別部１２５に送る。円形内色識別部１２３は、一つの円の円形領域毎に、円形領域内の白色領域のデータが除去された部分（以下「色識別領域」という）が何色かを識別する。なお、円形内色識別部１２３は、色識別領域の色空間をＨＳＶ色空間に変換して、Ｈ成分（色相）のヒストグラムを用いて色を識別する。もちろん円形内色識別部１２３は、色識別領域の色空間をＨＳＶ色空間以外の他の色空間へ変換してもよい。円形内色識別部１２３は、色識別領域中の所定割合（例えば７０％）を占める色が何色かを識別することによって、色識別領域の色を識別する。また、色識別領域の色は、１６進数で表される色コード上の色系統（茶系、赤／ピンク系、オレンジ系、黄色系、緑系、水色系、青系、紫系、灰色系）によって識別される。円形内色識別部１２３は、識別した色を示す情報（色情報）を、円形領域毎にボール個別判別部１２５に送る。

尚、個別識別部１０５で利用される色情報は、いわゆる「色味」を必要とする。一方、位置検出部１０３で利用する色情報はグレースケールデータの様に明るさだけでも足りる。よって、位置検出部１０３における「色情報」と、個別識別部１０５における「色情報」は、意味合いが若干異なる。

ボール個別判別部１２５は、円形内色識別部１２３から得られた色情報を色域ＤＢ１０７に格納されている情報と比較して、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応し得るかを個別に判別する。例えば、エイトボールやナインボール等のポケット・ビリヤードでは、以下に示す１〜１５番のボール及び手球が用いられ得る。１〜８番のソリッドボールと呼ばれるボールには、番号毎に異なる色が割り当てられている。また、９〜１５番のストライプボールと呼ばれるボールは、白地に帯が色付けされたデザインであって、各ボールには番号毎に異なる色が割り当てられている。図５（Ａ）に１番のボールを示し、図５（Ｂ）に９番のボールを示す。

手球：白
１番：黄色
２番：青
３番：赤
４番：紫
５番：オレンジ
６番：緑
７番：茶色
８番：黒
９番：黄と白
１０番：青と白
１１番：赤と白
１２番：紫と白
１３番：オレンジと白
１４番：緑と白
１５番：茶色と白

１〜８番のボールに用いられる色と、９〜１５番のボールの帯の部分に用いられる色はそれぞれ重複する。例えば、１番のボールの色も、９番のボールの帯の部分の色も、どちらも同じ黄色である。したがって、円形内色識別部１２３から得られた円形領域の色情報が黄色を示す場合、ボール個別判別部１２５が判別するボールは１番と９番の２つである。このように２つのボールを判別した場合、ボール個別判別部１２５は、白色領域除去部１２１から得られた同じ円形領域の白色領域除去情報を参照する。白色領域除去情報が、円形領域の面積に対して所定割合未満の白色領域のデータを除去したことを示す場合、ボール個別判別部１２５は、当該円形領域に位置するボールは１番のボールであると判別する。逆に、白色領域除去情報が、円形領域の面積に対して所定割合以上の白色領域のデータを除去したことを示す場合、ボール個別判別部１２５は、当該円形領域に位置するボールは９番のボールであると判別する。図２に示すように、ボール個別判別部１２５によって判別された各ボールの種別及び位置を含む情報が、ボール個別判別結果として出力される。

色域ＤＢ１０７は、ビリヤードの各ボールで用いられる色が何色かを示す情報を記憶する。なお、９〜１５番のストライプボールで用いられる色とは、色付けされた帯の部分の色である。なお、色域ＤＢ１０７に各ボールの色情報を登録するとき、撮影装置１２が撮影した映像が暗すぎる又は明るすぎる等といった適切でない状況では色のヒストグラムが取れないため、撮影装置１２からの入力を最適化するための自動キャリブレーションを行う。この場合、色域ＤＢ１０７への情報の登録時だけでなく、この時以降の撮影装置１２からの入力の全てに自動キャリブレーションの結果を用いて、撮影装置１２からの入力を最適化する。

尚、個別識別部１０５において扱われる「円形領域」およびその「面積」は、実際はボールの表面の領域または面積に相当し、平面のみならず深度情報を考慮する必要がある。よって、厳密には３次元の球体に投影された面積の情報として捉える必要がある。ただし、ボールの個別判別が可能であるならば、面積を把握する方法は、特に限定されない。

以上説明したように、本実施形態によれば、撮影装置１２が撮影した映像をボール個別位置判別装置１００が、色情報と深度情報を用いて画像処理することによって、ビリヤード台上の各ボールの位置と種別を個別に識別できる。このためには、ビリヤード台の真上に撮影装置１２を設置し、かつ、ボール個別位置判別装置１００を設置する必要はあるが、センサー等の付属装置をビリヤード台に設ける必要がないため、既存のビリヤード台をそのまま利用することができる。また、ボール個別位置判別装置１００による画像処理では、各ボールに対応する円形領域から白色領域を除去した画像の色に基づいて候補を絞った上で、円形領域に占める白色領域の割合に応じて、当該候補の中から一つのボールを特定する。したがって、ビリヤード台上の各ボールの種別を高い精度で判別できる。
特に本実施形態では、位置検出部１０３が障害物の除去や円検出に深度情報を有効活用しているため、ボールの抽出精度を向上することができ、ひいては各ボールの位置と種別を個別に高い精度で識別できる。

（第２の実施形態）
図６は、第２の実施形態のボール個別位置判別装置２００の内部構成を示すブロック図である。第２の実施形態のボール個別位置判別装置２００は、図２に示した第１の実施形態のボール個別位置判別装置１００が備える構成要素に加え、判別結果履歴記憶部２０１及び結果補正部２０３をさらに備える。この点以外は第１の実施形態と同様であり、図６において、図２と共通する構成要素には同じ参照符号が付されている。以下、第１実施形態のボール個別位置判別装置１００が備える構成要素と同一又は同等部分の説明は簡略化又は省略する。

本実施形態のボール個別位置判別装置２００は、ビリヤード台上のボールは、大きなショットが行われた時以外、短時間では大きく位置が変わらないとの仮定の上、構成されている。この仮定に基づけば、ビリヤード台の映像の過去のフレームの画像に基づく高い確度のボール個別判別結果が得られている場合は、その直後にも、同じボールが同様の位置又は付近にあると考えられる。したがって、本実施形態では、当該高い確度のボール個別判別結果が示すボールの位置に近い円形領域に位置するボールは、前記高い確度のボール個別判別結果が示す同位置のボールの種別に等しいと判断する。また、本実施形態では、前記高い確度のボール個別判別結果には含まれているボールの位置に、実際にはボールがあるにもかかわらず、円形領域が特定されない場合、原画像のノイズ等が起因して位置検出部１０３の円形検出部１１３による円検出が失敗したとみなす。この場合、高い確度のボール個別判別結果に含まれるボールの種別及び位置が参考に用いられる。

以下、本実施形態のボール個別位置判別装置２００が備える判別結果履歴記憶部２０１及び結果補正部２０３について説明する。

判別結果履歴記憶部２０１には、位置検出部１０３が検出した円形領域毎に個別識別部１０５のボール個別判別部１２５が判別した結果（ボール個別判別結果）が格納される。また、判別結果履歴記憶部２０１には、位置検出部１０３が処理を行うフレーム毎のボール個別判別結果が時系列に格納される。ビリヤードでは、ショットの度にボールの位置が変わる。また、ショットの直後は、ビリヤード台上をボールが転がる。このため、判別結果履歴記憶部２０１に格納された時系列のボール個別判別結果からは、ビリヤード台上の各ボールの軌跡に関する情報が得られる。

結果補正部２０３は、ボール個別判別部１２５による直近のボール個別判別結果が、判別結果履歴記憶部２０１が記憶する確度の高いボール個別判別結果と異なる場合、当該確度の高いボール個別判別結果に基づいて、ボール個別判別部１２５による直近のボール個別判別結果を補正する。当該補正の内容は、上記説明した仮定の上で行われる処理である。結果補正部２０３は、補正したボール個別判別結果を、直近のボール個別判別最終結果として出力する。

以上説明したように、本実施形態によれば、個別識別部１０５によるボールの識別に誤りが生じたり、原画像のノイズ等によってボールの位置が検出されない場合であっても、過去のフレームの画像に基づくボール個別判別結果の確度が高ければ、直近のボール個別判別結果が補正される。例えば、図７（Ａ）〜（Ｃ）に示すように、９番のボールがビリヤード台上にあるとき、色付けされた帯の部分の見え方はボールの向きによって異なる。図７（Ａ）の状態では、色付けされた帯の部分の面積が円形領域の約半分を占めるため、個別識別部１０５によるボールの識別に誤りが生じる可能性は低い。一方、図７（Ｃ）の状態では、色付けされた帯の部分の面積が小さいため、個別識別部１０５によるボールの識別に誤りが生じる可能性が高い。しかし、図７（Ａ）の状態で識別された９番のボールの位置を含むボール個別判別結果を判別結果履歴記憶部２０１が記憶していれば、ボール個別判別部１２５によるボール個別判別結果に誤りが生じても、結果補正部２０３が当該ボール個別判別結果を補正する。

図８は、本実施形態のボール個別位置判別装置２００が行うボール個別位置判別方法の各ステップを示すフローチャート図である。まず、撮影装置１２が撮影処理を行い（ステップＳ１）、映像合成部１０１が、撮影装置１２が検出した色情報および深度情報を合成して画像を生成ずる合成処理を行う（ステップＳ２）。

次に、マスキング処理部１１１が、映像合成部１０１が生成した画像についてマスキング処理を行う（ステップＳ３）。マスキング処理には、平面内マスキング処理と高さ方向マスキング処理が含まれる。続いて、円形検出部１１３がマスキング処理部１１１によるマスキング処理済みの画像について、ハフ変換による円検出処理を行う（ステップＳ４）。さらに円形領域特定部１１５が、円検出がされた所定数の画像についてフレーム間処理を行い、ボールに相当する最終的な円のリストを作成する（ステップＳ５）。ステップＳ３〜Ｓ５は、位置検出部１０３での処理である。

さらに、個別識別部１０５がボールの個別識別処理を行い（ステップＳ６）、結果補正部２０３が結果補正処理を行う（ステップＳ７）。この後、結果補正部２０３は、生成したボール個別判別最終結果をモニター１４に送り、モニター１４が表示処理を行う。尚、第１実施形態のボール個別位置判別装置１００も、ステップＳ１〜Ｓ６と同じ処理を行い、ボール個別位置判別方法を実施する。

上記説明した第１の実施形態及び第２の実施形態では、撮影装置１２が撮影した映像をボール個別位置判別装置１００，２００が画像処理することによって、ビリヤード台上の各ボールの位置と種別が個別に識別される。モニター１４には、当該識別された情報が表示される。図９は、モニター１４に表示される画面の一例を示す図である。図９に示すように、モニター１４には、真上から見たビリヤード台上の各ボールの位置がボールの種別と共に表示される。したがって、プレーヤーは、モニター１４を見れば、各ボールの位置を正確に把握できる。

なお、ボール個別位置判別装置がネットワークに接続された通信手段を備える場合、モニター１４に表示される画面のデータが当該ネットワークを介して他の装置に伝送され、図９と同様の画面がモニターに表示されても良い。この場合、プロのプレーヤー等のプレイを会場以外の場所でも閲覧できる。なお、モニター１４に表示される画面のデータをボール個別位置判別装置又は外部のサーバ等が蓄積しておけば、当該データをライブ映像以外のサービスに活用することができる。ライブ映像以外のサービスは、スーパープレイの共有又は各プレイのランキング等である。

また、ボール個別位置判別装置は、各ボールの位置と種別を個別に識別した結果に基づくゲーム進行に関するサポート情報をモニター１４に表示しても良い。図１０は、モニター１４に表示される、サポート情報を含む画面の一例を示す図である。なお、図１０に示すように、次のショットで手球を所定の球に当てる候補が複数ある場合、各候補が異なる種類の線で表わされても良い。このように、ゲームの進行に応じたナビゲーションをプレーヤーに提供することができる。

また、ボール個別位置判別装置は、各ボールの位置と種別を個別に識別した結果の経時変化に基づいて、ファール等の判定を行っても良い。例えば、ナインボールでは、プレーヤーはショットの度、ビリヤード台上の最も若い番号のボールに手球を最初に当てなければならないが、最も若い番号以外のボールに手球を当てたプレイはファールである。上記説明した実施形態のボール個別位置判別装置は、ファールと判定したときはその旨をモニター１４に表示しても良い。図１１は、ファールと判定されたときのモニター１４に表示される画面の一例を示す図である。

尚、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数値、形態、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

１０ ビリヤード台
１２ 撮影装置
１４ モニター
１００，２００ ボール個別位置判別装置
１０１ 映像合成部
１０３ 位置検出部
１０５ 個別識別部
１０７ 色域データベース（色域ＤＢ）
１１１ マスキング処理部
１１３ 円形検出部
１１５ 円形領域特定部
１２１ 白色領域除去部
１２３ 円形内色識別部
１２５ ボール個別判別部
２０１ 判別結果履歴記憶部
２０３ 結果補正部

Claims (7)

1. ビリヤード台を上から撮影する撮影装置から得られた映像に写る、前記ビリヤード台上のボールの位置を検出する位置検出部と、
   前記位置検出部が検出した各ボールを個別に識別する個別識別部と、を備え、
   前記位置検出部は、前記映像を構成する一フレームの画像に含まれる円について、前記撮影装置が検出した色情報および深度情報に基づき、前記画像に写るボールに対応した前記画像中の円形領域を特定し、
   前記個別識別部は、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に識別し、
   前記位置検出部は、前記画像においてボールとは関係のない要素を不要情報と判断し、当該不要情報をマスキングするマスキング処理部を有し、
   前記マスキング処理部は、前記深度情報に基づき算出される、前記画像中の前記要素の前記ビリヤード台からの高さ位置が、ボールのサイズより大きい場合、当該要素が前記不要情報であると判断してマスキングするボール個別位置判別装置。
2. 請求項１に記載のボール個別位置判別装置であって、
   前記位置検出部は、前記マスキング処理部が前記不要情報をマスキングした前記画像から円の検出を行う円形検出部を有するボール個別位置判別装置。
3. 請求項２に記載のボール個別位置判別装置であって、
   前記円形検出部は、円の中心点についての前記深度情報を、円検出の補助情報として利用するボール個別位置判別装置。
4. 請求項２に記載のボール個別位置判別装置であって、
   前記位置検出部は、撮影時間が異なる複数の前記画像間において、前記円形検出部が検出した円の中心点のずれを考慮して円の抽出を行い、前記円形領域を特定する円形領域特定部を有するボール個別位置判別装置。
5. 請求項４に記載のボール個別位置判別装置であって、
   前記円形領域特定部は、円の中心点についての前記深度情報を、前記円形領域を特定する補助情報として利用するボール個別位置判別装置。
6. 請求項１に記載のボール個別位置判別装置であって、
   前記個別識別部は、
   前記円形領域内の白色領域のデータを除去する白色領域除去部と、
   一つの円の円形領域毎に、前記円形領域内の前記白色領域のデータが除去された部分が何色かを識別する円形内色識別部と、
   前記円形内色識別部によって識別された色に基づいて、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に判別するボール個別判別部と、
   を有するボール個別位置判別装置。
7. 請求項１から６のいずれか１項に記載のボール個別位置判別装置であって、
   前記円形領域毎に前記個別識別部が識別した過去の結果に基づいて、前記個別識別部による直近の識別結果を補正する結果補正部を備えたボール個別位置判別装置。

Images