JP7129667B2 - 釘判定方法、釘判定装置及びプログラム - Google Patents

Description

本発明は、釘判定方法、釘判定装置及びプログラムに関し、より具体的には、遊技機に配置された釘の状態を判定する釘判定方法、釘判定装置及びプログラムに関する。

遊技機における遊技において遊技釘の状態（例えば、位置、角度）は重要な要素であり、適正に保持する必要があるため、釘の状態管理に関する技術が種々提案されている。例えば、遊技機の釘調整作業のために用いられる端末であって、釘調整支援データを表示するウェアラブル・ディスプレイと、釘調整結果データを音声入力するウェアラブル・マイクを備えており、作業者の身体に装着可能に構成されている端末の技術が開示されている（特許文献１）。

特開２００４－１６４６８号公報

しかし、特許文献１に開示された技術は、単に釘調整支援データを作業者に提供するものである。この技術では、遊技釘の状態の良否はあくまで作業者が判断しているため、釘を適切に調整できたか否かの判断は作業者のスキルに依拠しており、安定して判定することができないという問題がある。

本発明は、遊技釘の状態を安定して判定可能な釘判定方法、釘判定装置及びプログラムを提供することを目的とする。

本発明の釘判定方法は、遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得ステップと、取得したテンプレート画像を用い、テンプレートマッチングを実行して複数の釘の頭部の位置を判定する位置判定ステップとを備えることを特徴とする。ここで、この釘判定方法は、判定した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する設定位置と重ねたときの、その他の位置と対応する設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する設定位置に重なるように、判定された釘の頭部の位置を補正する位置補正ステップをさらに備えることができる。また、釘の遊技盤上の設定位置を含む釘設定データと、判定された釘の頭部の位置とにより釘設定データに合致しない釘を判定する異常釘判定ステップとをさらに備えることもできる。

ここで、釘設定データとは、例えば遊技釘を管理するデータであって、釘の設定位置、盤面に対して垂直な軸からの傾き角度（例えば、４°等）および傾く方向（１２時の方向など）を含んでもよい。

また、釘判定装置は、遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得手段と、取得したテンプレート画像を用い、テンプレートマッチングを実行して複数の釘の頭部の位置を判定する位置判定手段と、釘の遊技盤上の設定位置を含む釘設定データとを備えることができる。

さらに、別の釘判定装置によると、遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる釘の遊技盤上の設定位置と対応付けて取得する位置取得手段と、取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する設定位置と重ねたときの、その他の位置と対応する設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する設定位置に重なるように、取得された釘の頭部の位置を補正する位置補正手段とを備えることもできる。

さらに以上の釘判定方法を、プログラムを用いてコンピュータに実行させることができる。

本発明によると、遊技釘の状態を安定して判定することが可能となる。

本発明の一実施形態の釘判定装置のシステム構成の一例を示す図である。 一実施形態の釘判定装置の対象となる遊技機の一例を示す図である。 一実施形態の釘の状態を模式的に示す図である。 一実施形態の釘の設定位置を模式的に示す図である。 一実施形態の釘を正面から撮影した画像と釘の設定位置との関係を示す図である。 一実施形態の釘判定装置の機能ブロック図である。 一実施形態の釘判定処理のフローチャートである。 一実施形態の釘を撮影して得られた画像の一例を示す図である。 一実施形態のニューラルネットワークによる釘候補検出を説明するための図である。 一実施形態のアフィン変換の推定を説明するための図である。 一実施形態のテンプレート作成時の釘の選択を示す図である。 一実施形態のテンプレートの作成を説明するための図である。 一実施形態のテンプレートマッチングを説明するための図である。 一実施形態の球面補正の原理を説明するための図である。 一実施形態の球面補正の処理を説明するための図である。 一実施形態の三次元位置推定を説明するための図である。

以下本発明の釘判定方法、釘判定装置及びプログラムの一実施形態について図面を参照して説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

本実施形態は、例えば、図１に示すように、スマートフォンなど撮影が可能な装置１１１を用いて遊技機１０１の盤面を撮影し、得られた全体の画像から釘の頭部の画像を抽出し、盤面上の配置から各釘の角度を算出するというものである。図２に示すように、一般に遊技機１０１は、上部に遊技盤２０２が設けられており、透明なガラス板により盤面を保護されている。遊技盤２０２の下方部には、入賞すると賞球を受ける大入賞口２０４が設けられている。遊技機１０１の右下には遊技球の発射を調整する発射ハンドル２０５が設けられている。遊技盤２０２の前面には、ガイドレールで囲まれた略円形の遊技領域が形成されており、遊技球の流下方向を変化させる複数の釘２０１や役物（図示していない）等が、遊技機１０１の機種に固有のパターンで設けられている。遊技領域の中央には、表示装置２０３が配設されており、遊技の状態により、様々な図柄が表示されるようになっている。

図３ないし５を参照して、本実施形態の釘の状態の判定処理の概要を説明する。図３は、本実施形態の盤面上に打ち付けられた釘の状態を模式的に示す図であり、図４は、釘の設定位置、すなわち盤面上の遊技釘が打ち付けられる位置を模式的に示す図である。例えば、図３に示す頭部３０２と胴部３０３とからなる釘２０１ａは、図４に示す盤面３０１上の釘の設定位置４０１ａに打ち付けられている。すなわち、本実施形態では図３に示す釘２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ、２０１ｅは、予め定められた図４に示す設定位置４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ、４０１ｅにそれぞれ打ち付けられている。通常、遊技釘の各々には釘ＩＤが設定されており、図示しない管理装置により釘の設定位置４０１、盤面に対して垂直な軸からの傾き角度（例えば、４°等）および傾く方向（例えば、上方から見て１２時の方向など）などの釘設定データが定められ、管理されている。

図５は、本実施形態の釘の遊技盤に打ち付けた状態を上面から撮影した画像５０１と釘の設定位置との関係を示す図である。

釘２０１は、上述の様に釘設定データに基づいて通常盤面３０１の垂直軸に対し一定方向に一定角度（例えば４度など小さい所定の角度）で傾くように打ち付けられており、出荷時や調整後等は所定の角度に保たれている。このような状態では、各釘の傾きと方向の設定値に基づいて胴部３０３が、その上にあるべき線である基準線３０４（図３参照）とほぼ重なっている。すなわち、出荷時や調整後等では釘の角度は適正に保たれているが、遊技機として使用されている間に遊技球が釘に衝突する等のため各々角度がずれてくる。例えば、図３に示す釘２０１ａで例示するように遊技球の衝突等により胴部３０３が傾いて基準線３０４から角度θだけずれる。ここで、各釘はその位置により遊技球の衝突速度や方向が異なるから、釘の配置される位置により角度も様々な値を取る。なお、図３に示す釘２０１ａの状態は基準線３０４から角度θだけずれており、上面から見たときは図５に示す画像５０１のように見えるが、基準線３０４の垂直な軸からの傾きが４°程度の場合、正しく設定され、ずれていないときはこれと異なり、釘の頭部３０２で設定位置４０１ａに対応する釘の根元５０４が隠れる状態となっている。

本実施形態では、このように角度がずれた釘を検出してその後の調整に用いるものであり、下記に詳述する方法により釘の頭部の盤面上の位置を取得し、図４に示すような釘の設定位置を用いることにより角度を算出する。

ここで図５に示す画像５０１は、図３に示す釘の盤面３０１を正面から撮影したときに得られる画像であり、釘の頭部３０２は略円形として示される。設定位置４０１ａからの投射線５０３が盤面の画像５０１と交差する位置５０４が釘２０１ａの胴部３０３の根元となる。一般に、遊技機１０１の正面、すなわち盤面３０１の上面から釘を撮影すると、釘が所定の角度から大きくずれていない場合は、設定された所定の角度は垂直から４度程度傾いているだけだから、基本的に設定位置４０１ａの根元は頭部３０２で隠れて写らない。しかし、画像５０１上の釘２０１ａについては角度が本来の角度からずれているので位置５０４にある根元も写っている。例えば、釘の設定データが上から見て１２時の方向に垂直線から４度傾くという設定であり、図５に示す角度がずれた釘２０１ａの傾きが、本来の角度より６度だけ１２時の方向にずれている、すなわち角度θが６度とすると、釘２０１ａは垂直線から１０度傾いていることとなり、この程度の角度になると釘の長さにもよるが根元が写ってしまうこともある。ただし、正しい設定角度の釘でも、カメラ画像の中心から離れたところに釘がある場合は、同じく釘の根元が映ることがある。

一般に本来の釘の状態から使用により角度がずれてくる場合釘２０１ａを例にとると、本来設定された角度で傾いているときの釘の頭部３０２の頂点と、実際に撮影された釘の頭部３０２の頂点とが一定距離だけ離れる。そこで、この距離が特定できれば本来の角度からどの程度ずれているかを算出することができる。本実施形態では、胴部３０３の長さは分かっているので、釘の頭部３０２の頂点と設定位置４０１ａとの距離により、釘の垂直線からの傾斜角度を計算し、釘設定データの傾き方向および角度と比較することにより角度のずれを取得することができる。その他の釘２０１ａ以外の釘の各々についても同様に傾き角と傾きの方向が算出できる。なお、本実施形態の算出手法は、釘の頭部の頂点の位置をきわめて正確に取得することを目指して開発されたものであり、設定位置と頭部の頂点とにより角度を計算する手法は本技術分野で知られた方法により得ることができるので、本実施形態では詳述しない。また、本実施形態では、釘の垂直線からの傾斜角度を求めて、釘設定データと比較するように説明したが、これに限られず釘設定データから本来あるべき頂点の位置を取得しておいて、その位置と撮影された画像から取得した位置とで、本来の角度からどの程度ずれているか、すなわち基準線３０４（図３参照）からのずれを算出して判定することもできる。

以上、本実施形態では、遊技釘が使用により本来設定されている角度からずれていることを釘頭部の画像から判定して、釘の打ち付け位置が設計通りであることを前提にずれた角度を求めるものであり、設計に基づく釘の遊技盤上の設定位置を含む釘設定データと、得られた釘の角度とにより釘設定データに合致しない釘を判定する。ここで、釘設定データに合致しないとは、誤差の範囲内であれば、厳密には合致しない場合も含んでもよく、閾値の範囲内であれば正常と判定してもよい。なお、角度に基づいて異常な釘を判定するとしたが、後述する本実施形態の釘頭部位置取得方法は元々、頭部があると想定される位置から外れた釘を検出するためのものであるから、角度自体を判定しなくても、異常な釘を検出するためにも用いることができる。すなわち、一般には想定位置よりずれた釘は何らかの想定外の状態にあると言えるので、それを検出できれば十分実用性がある場合もあり、本実施形態をそのような例に適用することもできる。また、例えば、工場出荷時等、釘の角度が設定からずれていないことを想定することができる場合に、異常な釘を検出したときは打ち付け位置が間違っていると推定することもできる。

本実施形態では、以上の通り上面から遊技盤を撮影したときの釘の頭部のわずかなずれに基づいて釘の角度を求めるため、頭部の頂点位置を正確に判定しなければならない。このような一定以上の精度で位置を判定する目的で画像を撮影により取得するためには、遊技盤と撮影装置とが確実に所定の距離と角度で固定されていなければならないこと、および撮影した画像と釘の設定位置とを正確に位置合わせすることの、少なくとも２つの要件を満足させる必要がある。ここで、遊技盤に適当なマークを付して画像上でマークを合わせることにより、位置合わせをすることもできるが、位置合わせができても、撮影装置を固定するための大がかりな判定装置を用意しなければ所望の精度で釘頭部の頂点の位置判定はできない。また、遊技盤にマークを設けるといっても、日々さまざまな遊技機が開発され、生産されている現状ですべてに共通するマークを釘状態判定のために付すことは現実的ではない。

本発明者は、所望の精度で釘頭部の頂点の位置を判定するため様々な検討、試行錯誤を行った結果、後述するような位置取得方法を想到した。本実施形態の方法によると、位置合わせのマーク等も不要であり、かつスマートフォンなどの簡易な撮影装置で撮影した画像からも高精度で位置判定ができる。

（本実施形態の釘頭部位置取得）
本実施形態では、いくつかの段階に分けて正確な釘頭部の位置の取得を行う。その前提として、本実施形態ではスマートフォン等の撮影装置で盤面上の釘を撮影し、その画像から釘頭部の位置を求めるが、通常の撮影装置で撮った場合１枚の写真で遊技盤全体が収まるような画角で撮影しようとすると、遊技盤からかなり遠くから撮影しなければならず、解像度の問題で釘１つ１つが鮮明に撮影できない。また、適切な距離で撮影したとしても、画像の辺縁部の釘はレンズの歪誤差の影響を受けやすくなるため、遊技盤を複数、例えば６セグメントまたは７セグメントに分割して近接撮影し、なるべく画面中心に釘が映り込むようにして得られた各々の画像について、そこに含まれる釘の状態を判定する処理を行うことができる。もちろん、遊技機によってはさらに多数に分割したり少ない分割数で対応したりする方が効率的な場合は、そのような任意の数で分割して処理することができる。

以下、図６及び７を参照して本実施形態の釘頭部位置取得の大まかな処理を説明し、各処理についてはその後詳述する。図６は、本実施形態の釘判定装置の機能ブロック図であり、図７は、本実施形態の釘判定処理のフローチャートである。

なお、本実施形態では、スマートフォン１１１で遊技盤を撮影して、画像を解析し、釘頭部の各頂点の位置を取得（し、最終的に釘の角度を算出）するが、スマートフォンでは撮影だけを行って、画像をパソコンやサーバに送信して解析処理させることもできる。また、逆にデジタルカメラなどの他の撮影手段で画像を取得して、スマートフォンで解析することもでき、いずれの処理をいずれの装置が分担するか、データの受け渡しはネットワークを用いるかなど、装置・システム構成は、本技術分野で知られたいずれのものも使用することができる。ここで、釘判定装置１１１は、スマートフォンのほか、タブレット端末、あるいはモバイルパソコン等とすることができるが、基本的に遊技盤の画像を表示、カメラ等を内蔵あるいは外付け可能、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、例えば、撮像手段を備えているウエアラブル端末は好適である。ＡＲ機能搭載のスマートグラスであれば、盤面を見た際に異常な釘を示唆する機能があってもよい。さらに、釘判定装置は、画像を取得できればよく、釘判定装置自体が撮像手段を備えていなくても良い。

まず、遊技盤画像取得モジュール６０１により、スマートフォン１１１で遊技機１０１を正面から、遊技盤を６又は７分割して撮影する（ステップ７０１）。この際、撮影対象の遊技機の設計仕様をもとに、釘の設定位置に基づいて釘の頭部を配置した、例えば図８に示す釘のガイド画像を表示させたような、設定値に基づき釘の頭部があるべき場所を示したガイド画像を予めスマートフォン１１１内に用意しておく。実際の撮影時に用意しておいたガイド画像を遊技盤の映像と重ね合わせて表示するようにすることにより、位置や大きさを合わせて撮影することができる。本実施形態では、画像上の釘頭部のずれに基づいて角度を算出するという前提だから、釘頭部の位置は当然大なり小なり本来の位置からずれている。しかし、通常はほとんどの釘の頭部が重なる程度のズレであり、ガイド画像を画面に表示してこれを基準にして撮影すれば、撮影者によらず一定レベルで位置合わせされた画像を取得することができる。このように画像を取得することにより、その後の処理で釘のガイド画像の位置を利用して処理を軽減することができる。もちろん、このような手法を用いなくても本発明の判定処理によれば、高精度の釘頭部位置の判定は可能であるが、システム構成によってはこのような手法も採用することができる。

画像が取得されると、前処理モジュール６０２により、予め複数の釘頂点画像から生成した学習データに基づきニューラルネットワークを用いた機械学習で、対象となる釘頭部の頂点の候補を検出し（ステップ７０２）、アフィン変換の推定を行う（ステップ７０３）。下記で詳述するが、以上の処理により釘の頭部が存在すると思われる大まかな位置を取得できるので、続くテンプレートマッチングの処理を効率的に実行でき、処理を軽減することができるが、このような処理をせずにテンプレートマッチングにより位置を特定することもできる。また、このような大まかな位置の取得は、本実施例のような機械学習以外のいずれの方法も用いることができる。

続いて、アフィン変換を求める際に用いた基準釘を用いてテンプレートマッチングのためのテンプレート画像をテンプレート画像取得モジュール６０３により作成する（ステップ７０４）。テンプレート画像作成の詳細は後述するが、本処理の目的は、釘の頭部の画像の正確なパターンを抽出し、続くテンプレートマッチングの処理においてピクセル単位で釘の頭部またはその頂点の位置を特定することである。本発明はこのようにテンプレート画像を用いてテンプレートマッチングをすることにより所望の精度を得ようとするものであり、上述の前処理は必須要件ではなく、上述以外の方法で事前の処理をしてもいいし、前処理が不要な場合は処理しない場合もある。

一般に、一台の遊技機に使用される釘は全て同じ形状、サイズのものであり、頭部の形状、色、材質も同一である。したがって、本実施形態のように正面から遊技機を撮影する場合、釘の頭部としては上部から撮影した円形の画像が得られる。この際、全ての釘は頭部も含め同じ形状であり、金属製であることから一定の光沢を有し、同じ遊技盤に打ち付けられた釘の頭部を撮影すると、一緒に撮影された釘の頭部にあたる背景光や反射光はほぼ同一になる。すなわち、画像としてみた場合同じ映り込みが頭部表面上に現れることとなる。例えば図１３に示すような映り込み１３０１がすべての釘の頭部に出現することとなる。この映り込み１３０１は、撮影の角度、背景光などの条件で決まるが、上述の様に使用されている遊技機の釘は多少角度がずれていたとしても、釘頭部が球状になっていることから、正面から撮影して得られる画像は、どの釘も基本的には円状に映ることになる。また、そこに映り込む反射光もほぼ同じ位置に現れることになることから、後述する球面補正で考慮する差異を除けばほぼ同じ態様となる。本実施形態では、この原理を用いて、映り込みも含む頭部の画像をテンプレート画像として抽出して、テンプレートマッチングを行うことにより高精度の位置特定が可能となる。

その後、釘頭部位置判定モジュール６０４により、テンプレートマッチング処理を行い（ステップ７０５）、全体の画像の中で特に端の方の釘について球面補正を後処理モジュール６０５により行う（ステップ７０６）。以上により、スマートフォン１１１で撮影した画像に含まれる釘の頭部の画像の位置は正確に特定することができるが、実際の遊技盤上の位置との対応がとれているわけではない。すなわち、各釘の頭部の位置関係は正確に算出されるが、遊技盤上のどの位置に対応するかが分からない。したがって、釘の設定位置との関係を正確に定められないので、このままでは角度を算出することができない。そこで本実施形態では、三次元位置の推定処理を実行する（ステップ７０７）ことにより、最も確からしい遊技盤との位置関係を推定する。以上の処理により、遊技盤に対する釘頭部の頂点の正確な位置が取得できるので、釘角度算出モジュール６０６により設定値と各々比較して角度を算出することができる。角度を算出した後は、そのズレの値に応じてスマートフォンの画面上の釘の画像に適切な角度の範囲にあるか否か等を付して、いずれの釘が異常な角度かを示して釘調整の作業を支援することができる。

このように、本実施例によれば作業者によらず正確な釘の位置状態を判定することができる。

（ニューラルネットワークによる釘候補検出）
次に、図８および９を参照してニューラルネットワークによる釘候補検出を説明する。図８は、本実施形態の釘を撮影して得られた画像の一例を示す図であり、実際の釘８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０１ｅ、８０１ｆの付近に釘のガイド画像８０２ａ、８０２ｂ、８０２ｃ、８０２ｄ、８０２ｅ、８０２ｆがある程度重なるようにそれぞれ撮影されているのが理解できる。セグメント中心釘８０３の付近にも対応する釘のガイド画像８０４が存在する。図９は、本実施形態のニューラルネットワークによる釘候補検出を説明するための図である。スマートフォン１１１等で撮影した遊技盤３０１の画像から釘頂点候補を探索する。基本的には、特に優先順位なく任意の釘のガイド画像の近傍を探索して釘候補点を探し、これを画像に含まれる全ての釘のガイド画像で行なう。具体的には、図９に示すように、探索範囲９０１は釘のガイド画像８０２ｂの表示位置を中心に一定距離の円内とするが、これに限らず矩形等任意の形状の領域とすることができる。図９に示すように実際の釘８０１ｂの付近に釘のガイド画像８０２ｂがある程度重なるように撮影されていれば探索範囲９０１を狭くすることができるので、処理速度の向上に影響することが理解できる。

１つの釘、例えば８０１ｂについて説明すると。釘８０１ｂの釘のガイド画像８０２ｂを中心に一定距離の円内９０１にてニューラルネットワークを利用して釘頂点候補を探索する。具体的には正解画像として、釘の頭部の様々な画像を学習させ特徴量を予め算出しておき、図９に示すようにこの特徴量に合致する画像を探索範囲９０１から特定し、釘頂点候補９０２を検出する。以上の処理を全ての釘のガイド画像で行なう。この段階では正確な位置は求めず、後続の処理で正確な位置の特定を行うので、この段階では個々の釘候補はそれぞれがどの釘という対応は取らない。

なお、上記では、ニューラルネットで特徴量を算出するように記載したが、これに限られず、多数の釘頭部画像を投入して、有意な特徴量を取得できる手法であればいずれの学習手法を用いることもできるし、与えられた画像を釘であるかどうかを判別するために、その他の機械学習や、これに準ずる手法を用いることもできる。

（アフィン変換の推定）
以上の処理により、多数の釘の頂点候補が検出されるが、釘の頂点候補群には実際の釘の頂点ではないものや、位置がずれたものが含まれるため、実際の釘の頂点がどこなのかを確定させる必要がある。以下、図１０を参照してアフィン変換の推定を説明する。図１０は、本実施形態のアフィン変換の推定を説明するための図である。一般に、撮影した盤面画像で得られる釘頂点の位置関係は、厳密には一定角度の傾きが入った状態で撮影されることが殆どであるため、盤面と厳密に並行な状態で撮影した時に得られる釘頂点の位置関係と比較すると、釘同士の位置関係はある程度歪んだ状態にあると考えられる。本処理では、この歪みの関係をアフィン変換を用いて求めることで、撮影画像内の釘の本来の位置関係を推定する。

具体的には、図１０に示すように、まずアフィン変換の基準釘として３本を選択する。基準釘の選び方は画面中央に近い釘にすることもできるし、これに限られずランダムに選択することもできる。基準釘候補となる３本の釘についての、３つの釘のガイド画像８０２ａ、８０２ｂ、８０２ｃによって形成される基準となる三角形１００３に着目する。

次に、三角形１００３をアフィン変換させて求められる基準釘候補となる３点を求めるため、上記の処理で検出した釘頂点候補の中から３点を選んで三角形を形成し、この三角形に対するアフィン変換と同じ変換を他の釘群にも適用し、変換後の各釘の位置が釘候補近くにあるとそのアフィン変換がもっともらしいといえるので、これをスコアとしてスコアの高いアフィン変換を求める。

例えば、図１０に示すように、釘頂点ではない釘候補点を２点選んだ三角形１００２について、基準となる三角形１００３をアフィン変換してもこの三角形を得られない。このため、このような場合は不適切な釘候補点の組み合わせであると判定し、別の組み合わせを探索する。一定の誤差値内であるアフィン変換に適合する３点の釘候補が見つかるまで、この処理を繰り返すことにより釘の候補１００１を探索して、アフィン変換を特定する。その結果、図１０の例で説明すると、三角形１００７を形成する３点１００１、１００５および１００６が、一定の誤差値内であるアフィン変換に適合する３点の釘候補と判定される。判定された際のアフィン変換結果をこの後の釘の三次元位置推定に利用する。

（テンプレートマッチング）
図１１および１２を参照してテンプレート画像の作成について説明する。図１１は、本実施形態のテンプレート作成時の釘の選択を示す図であり、図１２は、本実施形態のテンプレートの作成を説明するための図である。テンプレートマッチングの処理に当たっては、まずマッチングに使用するテンプレート画像を作成するが、本実施形態ではセグメント中心釘８０３と、前出のアフィン変換の基準釘３本１００１、１００５および１００６のうちの、例えば基準釘１００１の周辺１１０１をｘｙ方向で画像サイズについて走査し、もっともスコアの高い画像をテンプレートとして用いる。すなわち、図１１に示すように、セグメント中心釘８０３の釘のガイド画像８０４付近の特定領域１１０２をクロップした画像と、例えば基準釘１００１周辺領域をクロップした画像とを比較する。ここで、セグメント中心釘８０３は、基本的に画面中心付近に存在する釘を設定するが、これに限られずいずれかの釘を選択して処理することもできる。

具体的には、図１２に示すように、セグメント中心釘８０３について、特定領域１１０２をラスタ走査１２０２しながら画像１２０１をクロップし、その画像１２０１と、基準釘１００１それぞれについても同様に特定領域１１０１を走査１２０３しながらクロップした画像１２０４を取り出し、これらを比較していき、最も相関の高い画像をテンプレートとして用いる。実際には、釘の背景がそれぞれ異なるため、最終的に釘が中心に来るようなクロップ画像が、最も相関が高い画像としてテンプレート画像に選択される。なお、テンプレート画像の探索については、移動（ラスタ）走査だけでなく画像のサイズも変更して探索することにより、より精度の高い走査が可能となる。

このようにして得られたテンプレート画像を用いてテンプレートマッチングを行う。図１３を参照してテンプレートマッチングの処理を説明する。図１３は、本実施形態のテンプレートマッチングを説明するための図である。図１３に示すように、釘の頭部の鏡面特性により釘の頭部１３０２には反射模様１３０１が映り込むが、上述したように全ての釘についてこの模様は同様であり、得られたテンプレート画像は主にこの映り込んだ模様となる。アフィン変換によって導出した釘の頂点位置１００１を中心に、ピクセル単位でテンプレートマッチングを行い、さらにスコアを元に補正をかけてサブピクセル単位での位置を求める。

図１３に示すように、３本の基準釘１００１、１００５および１００６によって得られたアフィン変換を適用して求められる他の釘の頂点候補１３０３付近を中心に、作成したテンプレート画像でテンプレートマッチングを行ない、正確な釘頂点の座標を求めることができる。ここで、テンプレートマッチングの具体的な処理については、本技術分野で知られたいずれかの方法を用いることができるので、詳述しない。

以上により、基本的には釘頭部の頂点の位置が高い精度で求められるから、対応する釘の設定位置および釘の長さを用いて釘の頭部の三次元位置を算出することができ、これにより、実際の釘の角度を求めることができる。

（球面補正）
本実施形態では、テンプレートマッチングにより、基本的には高い精度で釘頭部の頂点の位置を特定することができるが、実際には図１４に示すように、釘頭部１４０２は球面なのでテンプレートマッチングによる照合では画像端の釘ほど頂点からの誤差が大きくなる。すなわち、図１５に示すように、画面の中心付近１５０１から離れた位置の釘の頭部１５０２の画像は映り込みの模様が他の釘の頭部に比べると若干異なる位置に出現することとなるため、特定される釘頭部の頂点の位置も実際の位置よりもずれることとなる。

このため、球面であることを考慮して、テンプレート画像と釘サイズから求められる推定撮影距離を用いて位置の補正を行う。すなわち、視点１４０１から見る場合のように角度をつけて釘表面１４０２を見た場合は、釘表面１４０２に現れる鏡面模様は、正面から視点１４０３で見た場合とは異なり釘頂点とはずれた位置１４０４に映る。そのため、鏡面模様を元にテンプレートマッチングで求めた釘の頂点位置をその分補正する必要がある。

具体的には例えば、図１４及び１５に示すように、撮影画像の中心から、注目している釘までの距離１５０３、および遊技盤からの撮影距離から、視線方向の角度を推定する。３本の基準釘について、実際に撮影されたピクセル単位の釘間の距離と、本来の遊技機の仕様で設定されている距離（ｍｍ）を元に、画像内の距離をピクセルからミリ単位に換算するためのスケールを求め、遊技盤面から撮影装置の撮影位置までの距離を求める。

以上により、角度φ１４０５が求められるから、釘頭部の球面１４０２上の対応する距離も求められ、その距離分釘頭部の頂点位置が中心１５０１方向にずれていると判定できるので、逆に中心１５０１と反対の方向に得られた距離分離すことにより球面補正されたより正確な位置を取得することができる。

（三次元位置推定）
以上により釘の頂点の画像の位置が取得できる。これらをもとに釘が存在するであろう位置を求め、それから各釘が本来あるべき位置（釘の胴部が設定位置の上方垂直軸から所定の角度傾いたときの頂点の位置）からどれほどずれているかを取得する。この段階ではどの釘がどの場所かという一対一対応ができているので、上述のアフィン変換より高精度な位置合わせができる。各釘の理想的な実寸の相対位置情報は正解釘データで与えられているので、それとテンプレートマッチングで求めた画像中の釘頭位置を用いて画像中での理想的な位置を計算する。カメラパラメータ等の値は与えられているので、実寸の理想位置に対して適切な変換行列を掛け合わせることで画像中でのピクセル位置を求めることができるが、それがテンプレートマッチングの結果にできるだけ近くなるような行列を求め、その位置を理想的な位置とする。この位置とテンプレートマッチングとによって求められた測定座標の差から、釘頂点のずれをｘｙ方向の移動量や、釘の傾斜角として求めることができる。

なお、この手法はほとんどの釘が正常な位置にあり、ごく少数の釘だけが異常な位置にあることを前提としており、極端な場合例えば全ての釘が所定位置よりも同一方向に同一量移動している場合においてはその異常を検出できない。ただし、通常店舗で行われるような釘の調整時は、実はほとんどの釘の傾きが正常であると仮定することができるので、このような極端なケースを考慮する必用はない。実際の遊技機による実験でも、高い精度で実際の釘の位置との一致を確認することができた。

また、以上のような遊技機の釘調整といった状況に類似する状況、すなわちほとんどが正常で一部の異常な釘を特定するといった目的のために採用するのであれば、本実施形態の三次元位置推定の処理は、上述した本実施形態で用いた釘の頭部から頂点の位置を特定する各処理を用いなくても、画像上の位置関係から実際の遊技盤上の位置関係を特定するために使用することができる。

さらに、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
本明細書に記載の技術の特徴を列挙する。
（特徴１）
遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得ステップと、
前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記複数の釘の頭部の位置を判定する位置判定ステップと
を備えることを特徴とする釘判定方法。
（特徴２）
前記釘の遊技盤上の設定位置を含む釘設定データと、前記判定された釘の頭部の位置とにより前記釘設定データに合致しない釘を判定する異常釘判定ステップをさらに備えることを特徴とする特徴１に記載の釘判定方法。
（特徴３）
前記判定した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記判定された釘の頭部の位置を補正する位置補正ステップをさらに備えることを特徴とする特徴１または２に記載の釘判定方法。
（特徴４）
前記複数の釘の頭部の画像を取得する撮像ステップと、
前記取得した画像中の前記釘の頭部の画像を含む所定の領域および該位置を取得する判定準備ステップとをさらに備え、
前記テンプレート画像取得ステップは、前記判定準備ステップで取得した所定の領域を含むテンプレートを設定し、前記釘の頭部の画像のうちの所定の画像と、その他の釘の頭部の画像との間で走査し、２つの前記釘の頭部のテンプレート内の画像間の類似度を算出することを特徴とする特徴１ないし３のいずれかに記載の釘判定方法。
（特徴５）
前記テンプレートの大きさは前記釘の頭部の画像の大きさ以上であり、前記テンプレートマッチングは前記判定準備ステップで特定された釘の頭部の画像を含む範囲内で実行することを特徴とする特徴４に記載の釘判定方法。
（特徴６）
前記位置判定ステップは、前記テンプレートマッチングにより得られた位置を釘の頭部の球面に基づいて補正して、前記釘の頭部の位置を判定することを特徴とする特徴１ないし５のいずれかに記載の釘判定方法。
（特徴７）
前記位置判定ステップは、前記テンプレートマッチングにより判定された釘の頭部の位置と、前記設定位置とを対応付けることを特徴とする特徴１ないし６のいずれかに記載の釘判定方法。
（特徴８）
前記判定準備ステップは、予め釘の頭部を撮像して得られた多数の画像を入力することにより学習を行って取得した特徴量により、前記球技盤内の釘の頭部の画像を特定することに基づいて前記位置を取得することを特徴とする特徴４ないし７のいずれかに記載の釘判定方法。
（特徴９）
前記学習は、ニューラルネットを用いて行うことを特徴とする特徴８に記載の釘判定方法。
（特徴１０）
前記判定準備ステップは、前記特定された釘の頭部の画像から前記複数の釘の頭部の画像上の、前記遊技盤内の位置を取得し、当該取得した釘の頭部の位置のうち３つ以上を基準として、予め取得した前記設定位置との差異を用いて位置を補正するアフィン変換を取得し、当該アフィン変換により前記取得した釘の頭部の位置を補正して前記釘の頭部の位置を取得することを特徴とする特徴８または９に記載の釘判定方法。
（特徴１１）
前記テンプレートの大きさは前記釘の頭部の画像と略同一であり、前記テンプレートマッチングは前記判定準備ステップで特定された釘の頭部の画像を含む範囲内においてピクセル単位で実行することを特徴とする特徴１０に記載の釘判定方法。
（特徴１２）
前記テンプレート画像は、前記基準とする３つ以上の釘の頭部の画像について取得することを特徴とする特徴１０または１１に記載の釘判定方法。
（特徴１３）
前記判定準備ステップは、前記撮像ステップで取得した画像のうち前記設定位置を含む所定の領域内で、前記特徴量により前記釘の頭部を特定することを特徴とする特徴８ないし１２のいずれかに記載の釘判定方法。
（特徴１４）
前記類似度は、前記テンプレートの画像の輝度を比較して算出されることを特徴とする特徴１ないし１３のいずれかに記載の釘判定方法。
（特徴１５）
前記釘の頭部の撮像される面は、所定以上の反射率を有することを特徴とする特徴１ないし１４のいずれかに記載の釘判定方法。
（特徴１６）
前記釘の頭部の撮像は、前記遊技盤を所定の数に分割して実行され、
分割して撮像された画像ごとに前記釘設定データに合致しない釘を判定することを特徴とする特徴１ないし１５のいずれかに記載の釘判定方法。
（特徴１７）
前記釘設定データと、前記判定された釘の頭部の位置とにより前記釘の遊技盤に対する角度を算出する角度算出ステップをさらに備えることを特徴とする特徴１ないし１６のいずれかに記載の釘判定方法。
（特徴１８）
遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得手段と、
前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記釘の頭部の位置を判定する位置判定手段と
を備えることを特徴とする釘判定装置。
（特徴１９）
コンピュータに釘判定方法を実行させるプログラムであって、該釘判定方法は、
遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得ステップと、
前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記釘の頭部の位置を判定する位置判定ステップと
を備えることを特徴とするプログラム。
（特徴２０）
遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得ステップと、
前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正ステップと
を備えることを特徴とする釘判定方法。
（特徴２１）
遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得手段と、
前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正手段と
を備えることを特徴とする釘判定装置。
（特徴２２）
コンピュータに釘判定方法を実行させるプログラムであって、該釘判定方法は、
遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得ステップと、
前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正ステップと
を備えることを特徴とするプログラム。

Claims (21)

1. 遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像を含む特定領域に含まれる複数の第１部分画像と、その他の釘の頭部の画像を含む所定領域に含まれる複数の第２部分画像と、を比較し、最も相関の高い第１部分画像と第２部分画像とのうちのいずれか一方の画像をテンプレート画像として取得するテンプレート画像取得ステップと、
   前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記複数の釘の頭部の位置を判定する位置判定ステップと
   を備えることを特徴とする釘判定方法。
2. 前記釘の遊技盤上の設定位置を含む釘設定データと、前記判定された釘の頭部の位置とにより前記釘設定データに合致しない釘を判定する異常釘判定ステップをさらに備えることを特徴とする請求項１に記載の釘判定方法。
3. 前記判定した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記釘の遊技盤上の設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記判定された釘の頭部の位置を補正する位置補正ステップをさらに備えることを特徴とする請求項１または２に記載の釘判定方法。
4. 前記位置判定ステップは、前記テンプレートマッチングにより得られた位置を釘の頭部の球面に基づいて補正して、前記釘の頭部の位置を判定することを特徴とする請求項１ないし３のいずれかに記載の釘判定方法。
5. 前記位置判定ステップは、前記テンプレートマッチングにより判定された釘の頭部の位置と、前記釘の遊技盤上の設定位置とを対応付けることを特徴とする請求項１ないし４のいずれかに記載の釘判定方法。
6. 前記複数の釘の頭部の画像を取得する撮像ステップと、
   前記取得した画像から前記所定領域と、前記特定領域と、を取得する判定準備ステップとをさらに備え、
   前記テンプレート画像取得ステップは、前記判定準備ステップで取得した前記特定領域を走査しながらクロップされた前記第１部分画像と、前記判定準備ステップで取得した所定領域を走査しながらクロップされた前記第２部分画像と、を比較することを特徴とする請求項１ないし５のいずれかに記載の釘判定方法。
7. 前記テンプレート画像の大きさは前記釘の頭部の画像の大きさ以上であり、前記テンプレートマッチングは前記判定準備ステップで特定された釘の頭部の画像を含む範囲内で実行することを特徴とする請求項６に記載の釘判定方法。
8. 前記判定準備ステップは、予め釘の頭部を撮像して得られた多数の画像を入力することにより学習を行って取得した特徴量により、前記球技盤内の釘の頭部の画像を特定することに基づいて前記位置を取得することを特徴とする請求項６または７に記載の釘判定方法。
9. 前記学習は、ニューラルネットを用いて行うことを特徴とする請求項８に記載の釘判定方法。
10. 前記判定準備ステップは、前記特定された釘の頭部の画像から前記複数の釘の頭部の画像上の、前記遊技盤内の位置を取得し、当該取得した釘の頭部の位置のうち３つ以上を基
    準として、予め取得した前記釘の遊技盤上の設定位置との差異を用いて位置を補正するアフィン変換を取得し、当該アフィン変換により前記取得した釘の頭部の位置を補正して前記釘の頭部の位置を取得することを特徴とする請求項８または９に記載の釘判定方法。
11. 前記テンプレート画像の大きさは前記釘の頭部の画像と略同一であり、前記テンプレートマッチングは前記判定準備ステップで特定された釘の頭部の画像を含む範囲内においてピクセル単位で実行することを特徴とする請求項１０に記載の釘判定方法。
12. 前記テンプレート画像は、基準とする３つ以上の釘の頭部の画像について取得することを特徴とする請求項１０または１１に記載の釘判定方法。
13. 前記判定準備ステップは、前記撮像ステップで取得した画像のうち前記釘の遊技盤上の設定位置を含む所定の領域内で、前記特徴量により前記釘の頭部を特定することを特徴とする請求項８ないし１２のいずれかに記載の釘判定方法。
14. 前記釘の頭部の撮像される面は、所定以上の反射率を有することを特徴とする請求項１ないし１３のいずれかに記載の釘判定方法。
15. 前記釘の遊技盤上の設定位置を含む釘設定データと、前記判定された釘の頭部の位置とにより前記釘設定データに合致しない釘を判定する異常釘判定ステップをさらに備え、
    前記釘の頭部の撮像は、前記遊技盤を所定の数に分割して実行され、
    分割して撮像された画像ごとに前記釘設定データに合致しない釘を判定することを特徴とする請求項１ないし１４のいずれかに記載の釘判定方法。
16. 前記釘の遊技盤上の設定位置を含む釘設定データと、前記判定された釘の頭部の位置とにより前記釘の遊技盤に対する角度を算出する角度算出ステップをさらに備えることを特徴とする請求項１ないし１５のいずれかに記載の釘判定方法。
17. 遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像を含む特定領域に含まれる複数の第１部分画像と、その他の釘の頭部の画像を含む所定領域に含まれる複数の第２部分画像と、を比較し、最も相関の高い第１部分画像と第２部分画像とのうちのいずれか一方の画像をテンプレート画像として取得するテンプレート画像取得手段と、
    前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記釘の頭部の位置を判定する位置判定手段と
    を備えることを特徴とする釘判定装置。
18. コンピュータに釘判定方法を実行させるプログラムであって、該釘判定方法は、
    遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像を含む特定領域に含まれる複数の第１部分画像と、その他の釘の頭部の画像を含む所定領域に含まれる複数の第２部分画像と、を比較し、最も相関の高い第１部分画像と第２部分画像とのうちのいずれか一方の画像をテンプレート画像として取得するテンプレート画像取得ステップと、
    前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記釘の頭部の位置を判定する位置判定ステップと
    を備えることを特徴とするプログラム。
19. 遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得ステップと、
    前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位
    置を補正する位置補正ステップと
    を備えることを特徴とする釘判定方法。
20. 遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得手段と、
    前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正手段と
    を備えることを特徴とする釘判定装置。
21. コンピュータに釘判定方法を実行させるプログラムであって、該釘判定方法は、
    遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得ステップと、
    前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正ステップと
    を備えることを特徴とするプログラム。

Images