JP5884798B2

JP5884798B2 - ボール個別位置判別装置

Info

Publication number: JP5884798B2
Application number: JP2013190162A
Authority: JP
Inventors: 秀典辻; 扶美彦高山; 秀忠楡木
Original assignee: ELM Inc
Current assignee: ELM Inc
Priority date: 2013-09-13
Filing date: 2013-09-13
Publication date: 2016-03-15
Anticipated expiration: 2033-09-13
Also published as: JP2015056099A

Description

本発明は、ビリヤード台上の球の位置を検出するボール個別位置判別装置に関する。

特許文献１には、盤面の球をポケットに落下させる電子ビリヤード台が開示されている。図９は、特許文献１に開示された電子ビリヤード台の一部を示す縦断面図である。また、図１０は、特許文献１に開示された電子ビリヤード台の平面図（上面図）である。図９に示すように、この電子ビリヤード台１には、盤面２よりも下側に、盤面２上の球Ｂに内蔵されたＲＦＩＤタグＴを検出するアンテナ部１５が配置されている。アンテナ部１５の平面形状は矩形である。図１０に示すように、アンテナ部１５は、クッションレール４上のポイント１６を縦横に結ぶ線により３２分割された領域毎に、それぞれ、設置されている。ＲＦＩＤタグＴを内蔵する盤面２上の球Ｂをどのアンテナ部１５が検出するかによって、当該球Ｂの盤面２上での動きや位置が検出される。

特許文献２には、エアホッケー、ピンボール、パチンコやビリヤード等のように、プレイヤーが移動体を遊戯盤上で運動させてプレイする遊戯盤装置が開示されている。この遊戯盤装置には、遊戯盤上のプレイフィールドを取り囲み、対向する壁面には、複数の赤外線ビームの軌跡がプレイフィールド上で格子状に交わるよう、複数対の赤外線ビームの発光部と受光部が等間隔で配置される。この発光部と受光部は、プレイフィールド上の移動体の位置を検出するためのセンサーである。なお、赤外線の発光部と受光部を用いた方式以外にも、感圧式や磁気、電波、超音波を利用したセンサーを用いる方式、又は、各球に異なった信号を発信する発信機を埋め込んで、各球の位置を検出する方式等が考えられる。

特開２００８−０７９６５７号公報（段落［００３２］、図２、図３）特開２００１−３２１５５４号公報（段落［０００９］、［００１４］、［００１５］）

上記説明した特許文献１の電子ビリヤード台にしろ、特許文献２の遊戯盤装置にしろ、球又は移動体の位置を検出するためには、電磁波による信号等を検知するセンサーを電子ビリヤード台又は遊戯盤装置に設置する必要がある。しかし、当該センサーの設置はコストも手間もかかり、球又は移動体の位置の検出精度は、センサーの設置間隔等によって異なる。また、球又は移動体を個別に検出するためには、ＲＦＩＤタグ等の発信機が埋め込まれた専用の球又は移動体が用いられる必要がある。

本発明の目的は、センサーや専用の球、移動体等を用いることなく、ビリヤード台上の各ボールの位置と種別を個別に高い精度で識別可能なボール個別位置判別装置を提供することである。

本発明は、ビリヤード台を上から撮影するカメラから得られた映像に写る、前記ビリヤード台上のボールの位置を検出する位置検出部と、前記位置検出部が検出した位置の各ボールを個別に識別する個別識別部と、を備え、前記位置検出部は、前記映像を構成する一フレームの画像に含まれ、最小半径及び最大半径が所定範囲の値であり、かつ中心点間の最小間隔が所定範囲の値となる円を検出する円形検出部と、前記円形検出部が検出した、各色成分データの画像に対する円検出の結果であり、各円の中心点の座標および半径の値から構成されるリストをマージして同じ円とみなされる重複分を省くことにより、前記画像中の円形領域を特定する円形領域特定部とを有し、前記個別識別部は、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に識別することを特徴とするボール個別位置判別装置を提供する。

上記ボール個別位置判別装置では、前記個別識別部は、前記円形領域内の白色領域のデータを除去する白色領域除去部と、一つの円の円形領域毎に、前記円形領域内の前記白色領域のデータが除去された部分が何色かを識別する円形内色識別部と、前記円形内色識別部によって識別された色に基づいて、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に判別するボール個別判別部と、を有する。
また、前記白色領域除去部は、前記円形領域から除去された前記白色領域の面積を示す白色領域除去情報を算出し、前記ボール個別判別部は、前記円形内色識別部によって識別された色に加えて、前記白色領域除去情報の前記円形領域の面積に対する割合に基づいて、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に判別する。

上記ボール個別位置判別装置では、前記位置検出部は、前記画像を三原色の成分毎のデータに分離する色分離部と、各色成分データの画像毎に、円の検出を行う円形検出部と、前記円形検出部が行った各色成分データの画像に対する円検出の結果に基づいて、前記画像に写るボールに対応した前記画像中の円形領域を特定する円形領域特定部と、を有する。

上記ボール個別位置判別装置は、前記円形領域毎に前記個別識別部が識別した過去の結果に基づいて、前記個別識別部による直近の識別結果を補正する結果補正部を備える。

本発明に係るボール個別位置判別装置によれば、センサーや専用の球、移動体等を用いることなく、ビリヤード台上の各ボールの位置と種別を個別に高い精度で識別できる。

第１の実施形態のボール個別位置判別装置及びビリヤード台を含む全体構成を示す概念図第１の実施形態のボール個別位置判別装置１００の内部構成を示すブロック図（Ａ）はポケット・ビリヤードで用いられる１番のボールを示す図であり、（Ｂ）は９番のボールを示す図第２の実施形態のボール個別位置判別装置２００の内部構成を示すブロック図（Ａ）〜（Ｃ）はポケット・ビリヤードで用いられる９番のボールの向きが異なる図モニター１４に表示される画面の一例を示す図モニター１４に表示される、サポート情報を含む画面の一例を示す図ファールと判定されたときのモニター１４に表示される画面の一例を示す図特許文献１に開示された電子ビリヤード台の一部を示す縦断面図特許文献１に開示された電子ビリヤード台の平面図（上面図）

本発明に係るボール個別位置判別装置は、ビリヤード台を上面から撮影した画像を処理して、ビリヤード台上の各ボールの位置を個別に検出する。以下、本発明に係るボール個別位置判別装置の実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態のボール個別位置判別装置及びビリヤード台を含む全体構成を示す概念図である。図１に示すように、ビリヤード台１０の上部には、ビリヤード台１０を真上から撮影する２台のカメラ１２が設置されている。各カメラ１２によって撮影された映像のデータは、有線又は無線でボール個別位置判別装置１００に送られる。本実施形態では、ビリヤード台１０を上から見た時の長手方向に沿って左側に１台、右側に１台のカメラ１２が設置されている。このため、ボール個別位置判別装置１００は、２台のカメラ１２から送られた各撮影データを合成して、ビリヤード台１０を上から見た１つの映像を生成する。さらに、ボール個別位置判別装置１００は、当該映像に対して所定の処理を行うことで得られたボール個別判別結果に係る情報をモニター１４に表示する。

図２は、第１の実施形態のボール個別位置判別装置１００の内部構成を示すブロック図である。図２に示すように、第１の実施形態のボール個別位置判別装置１００は、映像合成部１０１と、位置検出部１０３と、個別識別部１０５と、色域データベース（色域ＤＢ）１０７とを備える。

映像合成部１０１は、２台のカメラ１２から送られた各撮影データを合成して、１つの映像を生成する。なお、生成された映像は、通常の映像と同様に、複数のフレームから構成される。映像合成部１０１が生成した映像のデータは、位置検出部１０３及び個別識別部１０５に入力される。

位置検出部１０３は、映像合成部１０１から入力された映像を構成する一フレームの画像（以下「原画像」という）に写るボールの位置を検出する。なお、位置検出部１０３は、当該処理を、映像を構成するフレーム毎に行っても、所定数のフレーム毎に行っても良い。図２に示すように、位置検出部１０３は、色分離部１１１と、円形検出部１１３と、円形領域特定部１１５とを有する。色分離部１１１は、原画像から、光の三原色の一つである赤色の成分のみを抽出した画像データ（Ｒ成分データ）と、緑色の成分のみを抽出した画像データ（Ｇ成分データ）と、青色の成分のみを抽出した画像データ（Ｂ成分データ）とに分けて、各色成分データを出力する。原画像をＲＧＢの各色成分に分離することによって、ボールの色が背景色に近い場合でも、後述する円形検出部１１３による検出精度を上げることができる。色分離部１１１から出力された各色成分データは、円形検出部１１３に入力される。

円形検出部１１３は、各色成分データの画像毎に、ハフ変換（Hough変換）を用いた円の検出を行う。すなわち、円形検出部１１３は、Ｒ成分データの画像に含まれる円を検出し、Ｇ成分データの画像に含まれる円を検出し、Ｂ成分データの画像に含まれる円を検出する。なお、円形検出部１１３がハフ変換を用いて円の検出を行う際に用いるパラメータは可変であり、検出される円の最小半径及び最大半径がそれぞれ所定値となるよう、並びに、中心点間の最小間隔が所定範囲の値となるよう設定される。その結果、小さすぎるものや大きすぎるものを円としては検出せずに、ビリヤードのボールの大きさ程度の大きさのものだけが円として検出される。円形検出部１１３が行った各色成分データの画像に対する円検出の結果はグレースケールの画像データで示され、円形領域特定部１１５に入力される。円形領域特定部１１５は、各色成分データの画像に対する円検出の結果であるリストをマージして、原画像に写るボールに対応した原画像中の円形領域を特定する。

なお、円検出の結果であるリストとは、円形検出部１１３が検出した各円の中心点のｘｙ座標と半径の値ｒから構成される。すなわち、（ｘ１，ｙ１，ｒ１）、（ｘ２，ｙ２，ｒ２）、…（ｘｎ，ｙｎ，ｒｎ）と表された各円の位置及び大きさを示す情報が配列された情報が上記リストである。また、リストをマージするとは、ＲＧＢの各色成分の円の全てのリストを合計することである。但し、ＲＧＢの各色成分の検出された円のリストで中心点が同じとみなされる円が複数ある場合、全てのリストを合計した後、重複分は省かれる。

個別識別部１０５は、原画像中の各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に識別する。図２に示すように、個別識別部１０５は、白色領域除去部１２１と、円形内色識別部１２３と、ボール個別判別部１２５とを有する。白色領域除去部１２１は、原画像上の各円形領域内の白色領域のデータを除去する。白色領域除去部１２１は、円形領域から除去した白色領域の面積を示す情報（以下「白色領域除去情報」という）を、円形領域毎にボール個別判別部１２５に送る。円形内色識別部１２３は、一つの円の円形領域毎に、円形領域内の白色領域のデータが除去された部分（以下「色識別領域」という）が何色かを識別する。なお、円形内色識別部１２３は、色識別領域の色空間をＨＳＶ色空間に変換して、Ｈ成分（色相）のヒストグラムを用いて色を識別する。円形内色識別部１２３は、色識別領域中の所定割合（例えば７０％）を占める色が何色かを識別することによって、色識別領域の色を識別する。また、色識別領域の色は、１６進数で表される色コード上の色系統（茶系、赤／ピンク系、オレンジ系、黄色系、緑系、水色系、青系、紫系、灰色系）によって識別される。円形内色識別部１２３は、識別した色を示す情報（色情報）を、円形領域毎にボール個別判別部１２５に送る。

ボール個別判別部１２５は、円形内色識別部１２３から得られた色情報を色域ＤＢ１０７に格納されている情報と比較して、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応し得るかを個別に判別する。例えば、エイトボールやナインボール等のポケット・ビリヤードでは、以下に示す１〜１５番のボール及び手球が用いられ得る。１〜８番のソリッドボールと呼ばれるボールには、番号毎に異なる色が割り当てられている。また、９〜１５番のストライプボールと呼ばれるボールは、白地に帯が色付けされたデザインであって、各ボールには番号毎に異なる色が割り当てられている。図３（Ａ）に１番のボールを示し、図３（Ｂ）に９番のボールを示す。

手球：白
１番：黄色
２番：青
３番：赤
４番：紫
５番：オレンジ
６番：緑
７番：茶色
８番：黒
９番：黄と白
１０番：青と白
１１番：赤と白
１２番：紫と白
１３番：オレンジと白
１４番：緑と白
１５番：茶色と白

１〜８番のボールに用いられる色と、９〜１５番のボールの帯の部分に用いられる色はそれぞれ重複する。例えば、１番のボールの色も、９番のボールの帯の部分の色も、どちらも同じ黄色である。したがって、円形内色識別部１２３から得られた円形領域の色情報が黄色を示す場合、ボール個別判別部１２５が判別するボールは１番と９番の２つである。このように２つのボールを判別した場合、ボール個別判別部１２５は、白色領域除去部１２１から得られた同じ円形領域の白色領域除去情報を参照する。白色領域除去情報が、円形領域の面積に対して所定割合未満の白色領域のデータを除去したことを示す場合、ボール個別判別部１２５は、当該円形領域に位置するボールは１番のボールであると判別する。逆に、白色領域除去情報が、円形領域の面積に対して所定割合以上の白色領域のデータを除去したことを示す場合、ボール個別判別部１２５は、当該円形領域に位置するボールは９番のボールであると判別する。図２に示すように、ボール個別判別部１２５によって判別された各ボールの種別及び位置を含む情報が、ボール個別判別結果として出力される。

色域ＤＢ１０７は、ビリヤードの各ボールで用いられる色が何色かを示す情報を記憶する。なお、９〜１５番のストライプボールで用いられる色とは、色付けされた帯の部分の色である。なお、色域ＤＢ１０７に各ボールの色情報を登録するとき、カメラ１２が撮像した映像が暗すぎる又は明るすぎる等といった適切でない状況では色のヒストグラムが取れないため、カメラ１２からの入力を最適化するための自動キャリブレーションを行う。この場合、色域ＤＢ１０７への情報の登録時だけでなく、この時以降のカメラ１２からの入力の全てに自動キャリブレーションの結果を用いて、カメラ１２からの入力を最適化する。

以上説明したように、本実施形態によれば、カメラ１２が撮影した映像をボール個別位置判別装置１００が画像処理することによって、ビリヤード台上の各ボールの位置と種別を個別に識別できる。このためには、ビリヤード台の真上にカメラ１２を設置し、かつ、ボール個別位置判別装置１００を設置する必要はあるが、センサー等の付属装置をビリヤード台に設ける必要がないため、既存のビリヤード台をそのまま利用することができる。また、ボール個別位置判別装置１００による画像処理では、各ボールに対応する円形領域から白色領域を除去した画像の色に基づいて候補を絞った上で、円形領域に占める白色領域の割合に応じて、当該候補の中から一つのボールを特定する。したがって、ビリヤード台上の各ボールの種別を高い精度で判別できる。

また、ビリヤード台１０の上部に設置されるカメラ１２の台数は２台に限らず、１台であっても、３台以上であっても良い。

（第２の実施形態）
図４は、第２の実施形態のボール個別位置判別装置２００の内部構成を示すブロック図である。第２の実施形態のボール個別位置判別装置２００は、図２に示した第１の実施形態のボール個別位置判別装置１００が備える構成要素に加え、判別結果履歴記憶部２０１及び結果補正部２０３をさらに備える。この点以外は第１の実施形態と同様であり、図４において、図２と共通する構成要素には同じ参照符号が付されている。以下、第１実施形態のボール個別位置判別装置１００が備える構成要素と同一又は同等部分の説明は簡略化又は省略する。

本実施形態のボール個別位置判別装置２００は、ビリヤード台上のボールは、大きなショットが行われた時以外、短時間では大きく位置が変わらないとの仮定の上、構成されている。この仮定に基づけば、ビリヤード台の映像の過去のフレームの画像に基づく高い確度のボール個別判別結果が得られている場合は、その直後にも、同じボールが同様の位置又は付近にあると考えられる。したがって、本実施形態では、当該高い確度のボール個別判別結果が示すボールの位置に近い円形領域に位置するボールは、前記高い確度のボール個別判別結果が示す同位置のボールの種別に等しいと判断する。また、本実施形態では、前記高い確度のボール個別判別結果には含まれているボールの位置に、実際にはボールがあるにもかかわらず、円形領域が特定されない場合、原画像のノイズ等が起因して位置検出部１０３の円形検出部１１３による円検出が失敗したとみなす。この場合、高い確度のボール個別判別結果に含まれるボールの種別及び位置が参考に用いられる。

以下、本実施形態のボール個別位置判別装置２００が備える判別結果履歴記憶部２０１及び結果補正部２０３について説明する。

判別結果履歴記憶部２０１には、位置検出部１０３が検出した円形領域毎に個別識別部１０５のボール個別判別部１２５が判別した結果（ボール個別判別結果）が格納される。また、判別結果履歴記憶部２０１には、位置検出部１０３が処理を行うフレーム毎のボール個別判別結果が時系列に格納される。ビリヤードでは、ショットの度にボールの位置が変わる。また、ショットの直後は、ビリヤード台上をボールが転がる。このため、判別結果履歴記憶部２０１に格納された時系列のボール個別判別結果からは、ビリヤード台上の各ボールの軌跡に関する情報が得られる。

結果補正部２０３は、ボール個別判別部１２５による直近のボール個別判別結果が、判別結果履歴記憶部２０１が記憶する確度の高いボール個別判別結果と異なる場合、当該確度の高いボール個別判別結果に基づいて、ボール個別判別部１２５による直近のボール個別判別結果を補正する。当該補正の内容は、上記説明した仮定の上で行われる処理である。結果補正部２０３は、補正したボール個別判別結果を、直近のボール個別判別最終結果として出力する。

以上説明したように、本実施形態によれば、個別識別部１０５によるボールの識別に誤りが生じたり、原画像のノイズ等によってボールの位置が検出されない場合であっても、過去のフレームの画像に基づくボール個別判別結果の確度が高ければ、直近のボール個別判別結果が補正される。例えば、図５（Ａ）〜（Ｃ）に示すように、９番のボールがビリヤード台上にあるとき、色付けされた帯の部分の見え方はボールの向きによって異なる。図５（Ａ）の状態では、色付けされた帯の部分の面積が円形領域の約半分を占めるため、個別識別部１０５によるボールの識別に誤りが生じる可能性は低い。一方、図５（Ｃ）の状態では、色付けされた帯の部分の面積が小さいため、個別識別部１０５によるボールの識別に誤りが生じる可能性が高い。しかし、図５（Ａ）の状態で識別された９番のボールの位置を含むボール個別判別結果を判別結果履歴記憶部２０１が記憶していれば、ボール個別判別部１２５によるボール個別判別結果に誤りが生じても、結果補正部２０３が当該ボール個別判別結果を補正する。

上記説明した第１の実施形態及び第２の実施形態では、カメラ１２が撮影した映像をボール個別位置判別装置１００，２００が画像処理することによって、ビリヤード台上の各ボールの位置と種別が個別に識別される。モニター１４には、当該識別された情報が表示される。図６は、モニター１４に表示される画面の一例を示す図である。図６に示すように、モニター１４には、真上から見たビリヤード台上の各ボールの位置がボールの種別と共に表示される。したがって、プレーヤーは、モニター１４を見れば、各ボールの位置を正確に把握できる。

なお、ボール個別位置判別装置がネットワークに接続された通信手段を備える場合、モニター１４に表示される画面のデータが当該ネットワークを介して他の装置に伝送され、図１４と同様の画面がモニターに表示されても良い。この場合、プロのプレーヤー等のプレイを会場以外の場所でも閲覧できる。なお、モニター１４に表示される画面のデータをボール個別位置判別装置又は外部のサーバ等が蓄積しておけば、当該データをライブ映像以外のサービスに活用することができる。ライブ映像以外のサービスは、スーパープレイの共有又は各プレイのランキング等である。

また、ボール個別位置判別装置は、各ボールの位置と種別を個別に識別した結果に基づくゲーム進行に関するサポート情報をモニター１４に表示しても良い。図７は、モニター１４に表示される、サポート情報を含む画面の一例を示す図である。なお、図７に示すように、次のショットで手球を所定の球に当てる候補が複数ある場合、各候補が異なる種類の線で表わされても良い。このように、ゲームの進行に応じたナビゲーションをプレーヤーに提供することができる。

また、ボール個別位置判別装置は、各ボールの位置と種別を個別に識別した結果の経時変化に基づいて、ファール等の判定を行っても良い。例えば、ナインボールでは、プレーヤーはショットの度、ビリヤード台上の最も若い番号のボールに手球を最初に当てなければならないが、最も若い番号以外のボールに手球を当てたプレイはファールである。上記説明した実施形態のボール個別位置判別装置は、ファールと判定したときはその旨をモニター１４に表示しても良い。図８は、ファールと判定されたときのモニター１４に表示される画面の一例を示す図である。

１０ビリヤード台
１２カメラ
１４モニター
１００，２００ボール個別位置判別装置
１０１映像合成部
１０３位置検出部
１０５個別識別部
１０７色域データベース（色域ＤＢ）
１１１色分離部
１１３円形検出部
１１５円形領域特定部
１２１白色領域除去部
１２３円形内色識別部
１２５ボール個別判別部
２０１判別結果履歴記憶部
２０３結果補正部

Claims

ビリヤード台を上から撮影するカメラから得られた映像に写る、前記ビリヤード台上のボールの位置を検出する位置検出部と、
前記位置検出部が検出した位置の各ボールを個別に識別する個別識別部と、を備え、
前記位置検出部は、前記映像を構成する一フレームの画像に含まれ、最小半径及び最大半径が所定範囲の値であり、かつ中心点間の最小間隔が所定範囲の値となる円を検出する円形検出部と、前記円形検出部が検出した、各色成分データの画像に対する円検出の結果であり、各円の中心点の座標および半径の値から構成されるリストをマージして同じ円とみなされる重複分を省くことにより、前記画像中の円形領域を特定する円形領域特定部とを有し、
前記個別識別部は、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に識別することを特徴とするボール個別位置判別装置。
請求項１に記載のボール個別位置判別装置であって、
前記個別識別部は、
前記円形領域内の白色領域のデータを除去する白色領域除去部と、
一つの円の円形領域毎に、前記円形領域内の前記白色領域のデータが除去された部分が何色かを識別する円形内色識別部と、
前記円形内色識別部によって識別された色に基づいて、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に判別するボール個別判別部と、
を有することを特徴とするボール個別位置判別装置。
請求項２に記載のボール個別位置判別装置であって、
前記白色領域除去部は、前記円形領域から除去された前記白色領域の面積を示す白色領域除去情報を算出し、
前記ボール個別判別部は、前記円形内色識別部によって識別された色に加えて、前記白色領域除去情報の前記円形領域の面積に対する割合に基づいて、各円形領域に位置するボールが、ビリヤードで用いられるどのボールに対応するかを個別に判別することを特徴とするボール個別位置判別装置。
請求項１〜３のいずれか一項に記載のボール個別位置判別装置であって、
前記位置検出部は、
前記画像を三原色の成分毎のデータに分離する色分離部と、
各色成分データの画像毎に、円の検出を行う円形検出部と、
前記円形検出部が行った各色成分データの画像に対する円検出の結果に基づいて、前記画像に写るボールに対応した前記画像中の円形領域を特定する円形領域特定部と、を有することを特徴とするボール個別位置判別装置。
請求項１〜４のいずれか一項に記載のボール個別位置判別装置であって、
前記円形領域毎に前記個別識別部が識別した過去の結果に基づいて、前記個別識別部による直近の識別結果を補正する結果補正部を備えたことを特徴とするボール個別位置判別装置。