以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
すなわち、本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段(例えば、図9の顔画像DB22)と、連続的に照合対象者の顔画像を取得する取得手段(例えば、図8の顔画像取得部163)と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段(例えば、図8の簡易特徴量抽出部152)と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段(例えば、図8の辞書特徴量バッファ155)と、取得される前記顔画像の顔向きを検出する顔向き検出手段(例えば、図8の顔向検出部171)と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段(例えば、図8の照合特徴量バッファ156)と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段(例えば、図8の類似度計算部175)と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段(例えば、図8の閾値補正部172)と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段(例えば、図9の類似度判定部233)と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段(例えば、図8の顔向対応閾値テーブル173)とを含み、前記補正手段は、前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正し、前記閾値補正テーブルの補正係数は、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている。
本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、連続的に照合対象者の顔画像を取得する取得手段と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、取得される前記顔画像の顔向きを検出する顔向き検出手段と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段とを含む監視装置の監視方法であって、前記取得手段による、連続的に照合対象者の顔画像を取得する取得ステップ(例えば、図11のステップS4)と、前記特徴量抽出手段による、前記取得ステップの処理により取得された顔画像より特徴量を抽出する特徴量抽出ステップ(例えば、図11のステップS5)と、前記辞書データ格納手段による、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納ステップ(例えば、図11のステップS11)と、前記顔向き検出手段による、取得される前記顔画像の顔向きを検出する顔向き検出ステップ(例えば、図12のステップS51)と、前記照合データ格納手段による、前記辞書データ格納ステップの処理により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納ステップ(例えば、図11のステップS6)と、前記類似度計算手段による、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算ステップ(例えば、図12のステップS55)と、前記補正手段による、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正ステップ(例えば、図12のステップS54)と、前記類似度判定手段による、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ(例えば、図11のステップS25)と、前記補正手段による、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正ステップ(例えば、図12のステップS54)とを含む。
図1は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
遊技店1−1乃至1−nは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店1−1乃至1−nは、系列店舗または顔画像管理センタや第3者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店1−1乃至1−nは、顔画像管理バス6および第3者遊技店管理バス7により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網8,9を介して、相互にそれぞれ顔画像情報、および第3者遊技店管理情報を授受している。尚、以降において、遊技店1−1乃至1−nのそれぞれについて、特に区別する必要がない場合、単に、遊技店1と称するものとし、その他の構成についても同様に称するものとする。
顔画像管理バス6は、主に各遊技店1の顔画像認識装置21により管理される顔画像情報を流通させるための伝送路として機能する。また、第3者遊技店管理バス7は、主に各遊技店1の媒体貸出管理装置27により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
顔画像管理センタ2は、顔画像管理センタを管理運営する事業者により使用されるサーバであり、顔画像管理データベース(以降、DBとも称するものとする)3で管理されている登録遊技者DBを各遊技店1により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店1の顔画像認識装置21に対して配信する。
第3者遊技店管理センタ4は、第3者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第3者遊技店管理データベース(DB)5で管理されている媒体貸出管理情報からなるDBを各遊技店1より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店1の媒体貸出管理装置27に対して配信する。
顔画像認識装置21は、カメラ38−1乃至38−mにより撮像された画像より画像処理ユニット39−1乃至39−mにより抽出されて、顔画像情報バス31を介して供給されてくる顔画像の情報に基づいて、顔画像情報データベース22に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末20に通知したり、有機EL(Electronic Luminescence)またはLCD(Liquid Crystal Display)などからなる表示部23に表示する。また、顔画像情報データベース22に予め登録されている顔画像と照合し、一致しない場合、顔画像認識装置21は、顔画像管理データベース3にアクセスし、未登録者として未登録遊技者DBに登録する。
遊技店管理装置24は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス30を介して遊技台36−1乃至36−mの動作を監視している。遊技店管理装置24は、遊技台36の出玉もしくはメダルの払い出しの情報、各遊技台36−1乃至36−mの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果を有機ELやLCDなどからなる表示部25に表示する。遊技店管理装置24は、計数機35、遊技台36−1乃至36−m、および遊技台周辺端末37−1乃至37−mのそれぞれより供給されてくる情報を、それぞれを識別する識別情報(例えば、遊技台番号)とを対応付けて遊技台管理データベース26により管理する。
媒体貸出管理装置27は、精算販売機33、および貸出機34からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース29を用いて管理すると供に、媒体貸出管理データベース29に登録されている媒体貸出管理情報を更新する際、その更新情報を、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4に送る。さらに、媒体貸出管理装置27は、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース29に蓄積させる。
貸出機34は、遊技者が遊技台36で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機34は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置27に供給する。これにより、媒体貸出管理装置27は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース29に登録する。
精算販売機33は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機33は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置27に供給する。また、精算販売機33は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機33は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置27に供給する。
計数機35は、遊技者が遊技台36により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
遊技台36−1乃至36−mは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
遊技台周辺端末37−1乃至37−mは、各遊技台36−1乃至36−mに対応して設けられている、いわゆる台間機であり、台間球貸機(原理的には、貸出機34と同様のもの)などが設けられている。また、遊技台周辺端末37は、遊技台36を遊技する遊技者の顔画像などの顔画像情報を取得し、遊技台識別情報(遊技台番号)と共に顔画像認識装置21に送信する。尚、図1においては、顔画像情報を取得する機能として、遊技者の顔画像を取得するカメラ38−1乃至38−mが設けられている例が示されている。
カメラ38−1乃至38−mは、例えば、図2で示されるように、各遊技台36−1乃至36−4のそれぞれの上部に設けられた台表示ランプ61−1乃至61−4の下部に図3で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。
また、カメラ38−1乃至38−mは、例えば、図4で示されるように、遊技台周辺端末37−1乃至37−4に凸部71−1乃至71−4を設け、図5で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。
さらに、カメラ38−1乃至38−mは、例えば、図6で示されるように、遊技台36の中央部(遊技台36の盤面上)に設けるようにして、撮像するようにしてもよい。すなわち、図6の設置部81にカメラ38が設置されることにより、図7で示されるように、読取範囲φ内に遊技者を撮像する。
次に、図8を参照して、画像処理ユニット39の構成例について説明する。
画像処理ユニット39は、顔検出部151、簡易特徴量抽出部152、入替り判定部153、出力部154、辞書特徴量バッファ155、および照合特徴量バッファ156より構成される。
顔検出部151は、カメラ38により撮像された画像より顔画像を抽出して、簡易特徴量抽出部152、入替り判定部153、出力部154、および照合特徴量バッファ156に供給する。簡易特徴量抽出部152は、顔検出部151より供給されてくる顔画像より特徴量を抽出する。尚、簡易特徴量抽出部152における「簡易」としているのは、後述する顔画像認識装置21における照合部222の特徴量抽出部231に対して区別するためである。すなわち、顔画像認識装置21における照合部222の特徴量抽出部231は、顔画像の照合に使用するため、種類やパターンなどについても非常に多くのものを使用するが、簡易特徴量抽出部152は、顔画像認証処理に対して適正な顔画像であるか否かを判断するためだけの特徴量を抽出するものであるので、抽出される特徴量については、その種類も少なく、簡易なものである。
入替り判定部153は、供給されてくる顔画像、並びに辞書特徴量バッファ155、および照合特徴量バッファ156に格納されている特徴量に基づいて、撮像されている顔画像の照合対象者が、画像内で新たに入れ替わったか否かを判定し、判定結果を出力部154に供給する。
出力部154は、入替り判定部153の判定結果が、撮像されている顔画像の照合対象者が画像内で新たに入れ替わったことを示す場合、顔検出部151より供給されてきた顔画像を顔画像認識装置21に出力させる。
辞書特徴量バッファ155は、照合特徴量バッファ156に簡易特徴量抽出部152より順次供給されてくる特徴量のうち、顔画像が入替ったと判定されたタイミングにおける顔画像の特徴量を記憶し、入替り判定部153に供給する。すなわち、辞書特徴量バッファ155には、顔画像の基準となる顔画像の特徴量が辞書データとして記憶されて、入替り判定部153による類似度の計算に用いられる。
照合特徴量バッファ156は、簡易特徴量抽出部152より供給されてくる特徴量を照合対象者の顔画像の特徴量として記憶し、入替り判定部153に供給する。すなわち、照合特徴量バッファ156には、順次供給されてくる照合対象者の顔画像の特徴量が照合データとして記憶されて、入替り判定部153による類似度の計算に用いられる。
入替り判定部153は、顔向検出部171、閾値補正部172、顔向対応閾値テーブル173、照合部174、類似度計算部175、および辞書特徴量更新部176より構成されている。
顔向検出部171は、簡易特徴量抽出部152より供給されてくる特徴量の情報と、顔画像に基づいて、顔画像における顔向を検出して、検出した顔向情報を閾値補正部172に供給する。
閾値補正部172は、テーブル選択部172aを制御して、辞書特徴量バッファ155に格納されている顔画像の顔向情報に基づいて、照合部174の顔向対応閾値テーブル173に格納されている閾値の補正係数からなる閾値補正テーブルを選択させ、選択された閾値補正テーブルにおける、照合対象者の顔向情報に対応する補正係数により閾値を補正して照合部174に供給する。この際、閾値補正部172は、補正された閾値と共に顔向情報も併せて照合部174に供給する。
類似度計算部175は、辞書特徴量バッファ155に格納されている特徴量と、照合特徴量バッファ156に記憶されている特徴量とに基づいて、それらの類似度を計算し、照合部174に供給する。
照合部174は、類似度計算部175により計算された類似度と、閾値補正部172より供給されてくる補正された閾値とを比較し、類似度が閾値よりも高く、辞書特徴量バッファ155および照合特徴量バッファ156に格納されている顔画像が一致するか否かに基づいて、照合対象者の顔画像が入替ったか否かを判定し、判定結果を出力部154、および辞書特徴量更新部176に供給する。尚、照合部174は、判定結果を出力する際、顔向情報も併せて辞書特徴量更新部176に供給する。
辞書特徴量更新部176は、入替り判定処理の判定結果に基づいて、入替りが発生していると判定された場合、照合特徴量バッファ156に格納されている特徴量を読み出し、辞書特徴量バッファ155を上書き更新する。このとき、辞書特徴量更新部176は、併せて顔向情報も辞書特徴量バッファ155に記憶させる。
次に、図9を参照して、顔画像認識装置21の構成例について説明する。
顔画像取得部221は、画像処理ユニット39より供給される顔画像を取得し、照合部222に供給する。照合部222は、顔画像取得部221により取得された顔画像と、顔画像DB22に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。また、照合部222は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
より詳細には、照合部222の特徴量抽出部231は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部232に供給する。類似度計算部232は、顔画像DB22に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部231より供給されてくる特徴量とを用いて、顔画像DB22に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部221より供給されてきた顔画像、および、類似度が上位3位までの顔画像を類似度判定部233に供給する。より具体的には、類似度計算部232は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
類似度判定部233は、類似度計算部232より供給されてくる類似度を順次バッファ233aに蓄積し、上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、上位3位となる顔画像と類似度の情報を表示部23に供給して、表示させると供に、通信部224に供給する。また、類似度判定部233は、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似していない場合、顔画像取得部221より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
未登録遊技者データベース登録部223は、照合部222より未登録であるとみなされて供給されてきた、顔画像を顔画像管理データベース3の未登録遊技者DBに登録する。
操作部225は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位3位となる、表示部23に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部224に供給する。通信部224は、モデムなどから構成され、操作部225からの操作信号に基づいて、選択された顔画像を携帯端末20に配信する。
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部233は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。
データベース管理部226は、顔画像管理センタ2より新たな登録遊技者データベースが配信されてくると、新たな登録遊技者データベースに基づいて、顔画像DB22を更新する。
次に、図10を参照して、携帯端末20の構成例について説明する。
通信部271は、モデムなどで構成されており、遊技店1内の無線通信網を介して顔画像認識装置21との間でデータを授受する。また、通信部271は、顔画像認識装置21より配信されてくる、画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部272に供給する。
画像処理部272は、通信部271より供給されてくる画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部273に表示する画像を生成すると供に、表示部273に表示させる。
次に、図11のフローチャートを参照して、登録遊技者来店監視処理について説明する。
ステップS1において、カメラ38は、設置されている位置から所定の範囲の画像を撮像し、画像処理ユニット39に供給する。顔検出部151の画像取得部161は、カメラ38より供給されてきた画像を顔画像検出処理部162に供給する。
ステップS2において、顔画像検出処理部162は、供給された画像より遊技者の顔画像を抽出し、顔画像取得部163に供給する。より具体的には、顔画像検出処理部162は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、顔画像取得部163に供給する。
ステップS3において、顔画像取得部163は、顔画像検出処理部162より顔画像が供給されてきたか否かに基づいて、顔画像が抽出できたか否かを判定する。ステップS3において、顔画像が供給されることがない場合、顔画像が抽出されていないとみなし、処理は、ステップS1に戻る。すなわち、顔画像が検出されるまで、ステップS1乃至S3の処理が繰り返されることになる。
一方、ステップS3において、顔画像が抽出されたと判定された場合、ステップS4において、顔画像取得部163は、供給されてきた顔画像を取得すると共に、顔画像切り出し部164に供給する。顔画像切り出し部164は、顔画像取得部163より供給されてきた顔画像を簡易特徴量抽出部152、入替り判定部153、および出力部154に供給する。
ステップS5において、簡易特徴量抽出部152は、供給されてきた顔画像より、簡易的な特徴量を抽出し、入替り判定部153、および照合特徴量バッファ156に供給する。
ステップS6において、照合特徴量バッファ156は、供給されてきた特徴量を照合特徴量としてバッファリングする(格納する)。
ステップS7において、入替り判定部153により入替り判定処理が実行され、供給されてくる顔画像および特徴量に基づいて、カメラ38の撮像範囲に存在する人物に入替りが発生したか否かが判定される。
ここで、図12のフローチャートを参照して、入替り判定処理について説明する。
ステップS51において、顔向検出部171は、供給されてきた照合対象者の顔画像、および特徴量に基づいて、照合対象者の顔向きを検出し、検出した顔向きを照合対象者の顔向情報として閾値補正部172に供給する。より詳細には、例えば、顔向検出部171は、図13で示されるような顔画像の場合、顔画像と共に供給されてくる特徴量として、例えば、右目中心と顔右端までの距離a1、左目中心と顔左端までの距離a2、目の中心と顔上端までの距離b1、および目の中心と顔下端までの距離b2(いずれも、単位はpixel)を用いる場合、a1:a2の比率に基づいて、左右の顔向きの角度を求め、b1:b2の比率に基づいて、上下の顔向きの角度を求める。
ステップS52において、閾値補正部172は、辞書特徴量バッファ155に格納されている、基準となる顔画像の顔向情報を読み出す。尚、最初の処理においては、基準となる顔画像は格納されていないので、最初の処理に対応するためのデフォルトとなる顔画像の特徴量および顔向情報を格納しておく。
ステップS53において、閾値補正部172は、テーブル選択部172aを制御して、辞書特徴量バッファ155に格納されている、基準となる顔画像の顔向情報に対応する閾値補正テーブルを顔向対応閾値テーブル173より読み出させる。
すなわち、顔向対応閾値テーブル173には、例えば、顔向きに対応して設定される、照合部174で使用される閾値の補正係数からなる閾値補正テーブルが、基準となる顔画像の顔向情報毎に記憶されている。
より具体的には、基準となる顔画像の顔向情報が正面である場合、例えば、図14で示されるような、照合対象者の顔向情報に対応付けて設定された補正係数からなる閾値補正テーブルが記憶されている。図14においては、照合対象者の顔向情報が上向きに15°以上である場合、左向きに45°以上のとき、補正係数が0.3であり、左向きに15°以上45°未満のとき、補正係数が0.4であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.5であり、右向きに15°以上45°未満のとき、補正係数が0.4であり、右向きに45°以上のとき、補正係数が0.3である。また、顔向情報が上向きに15°未満で、下向きに15°未満である場合、左向きに45°以上のとき、補正係数が0.7であり、左向きに15°以上45°未満のとき、補正係数が0.8であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が1.0であり、右向きに15°以上45°未満のとき、補正係数が0.8であり、右向きに45°以上のとき、補正係数が0.7である。さらに、顔向情報が下向きに15°以上である場合、左向きに45°以上のとき、補正係数が0.7であり、左向きに15°以上45°未満のとき、補正係数が0.8であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.8であり、右向きに15°以上45°未満のとき、補正係数が0.8であり、右向きに45°以上のとき、補正係数が0.7である。
このように基準となる顔画像が正面を向いている状態で得られる特徴量を用いて照合処理を行う場合、照合対象者の顔画像も正面を向いているとき(左向きに15°未満で、右向きに15°未満であるとき)が最も補正係数が大きく(閾値の補正による変化が最も小さく)設定され、上下左右方向に顔向きが大きくなると補正係数が小さく設定され、後述する認証処理における閾値を小さく(閾値の補正による変化が最も大きくなるように)設定し、多少類似度が低くても、認識されるように設定される。
尚、図14において、全体として、照合対象者の顔向情報が下に向いている方が、上に向いているよりも補正係数が大きな値となっているのは、人間の顔の構造上、目が認証精度に与える影響が大きいためであり、下を向いたときには目は比較的認識し易いが、上を向くと目が認識し難くなる。認証精度となる類似度についても、顔が上を向いたときよりも、下を向いたときの方が高くできるので、設定される補正係数もその精度に対応して設定されるためである。
これに対して、基準となる顔画像の顔向情報が上方向に15°未満、下方向に15°未満である場合であって、左向きに15°以上45°未満であるとき、例えば、図15で示されるような閾値補正テーブルが設定される。すなわち、図15においては、照合対象者の顔向情報が上向きに15°以上である場合、左向きに45°以上のとき、補正係数が0.4であり、左向きに15°以上45°未満のとき、補正係数が0.5であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.4であり、右向きに15°以上45°未満のとき、補正係数が0.3であり、右向きに45°以上のとき、補正係数が0.1である。また、顔向情報が上向きに15°未満で、下向きに15°未満である場合、左向きに45°以上のとき、補正係数が0.8であり、左向きに15°以上45°未満のとき、補正係数が1.0であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.8であり、右向きに15°以上45°未満のとき、補正係数が0.7であり、右向きに45°以上のとき、補正係数が0.3である。さらに、顔向情報が下向きに15°以上である場合、左向きに45°以上のとき、補正係数が0.8であり、左向きに15°以上45°未満のとき、補正係数が0.8であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.8であり、右向きに15°以上45°未満のとき、補正係数が0.7であり、右向きに45°以上のとき、補正係数が0.3である。
このように基準となる顔画像が上方向に15°未満、下方向に15°未満の場合であって、左向きに15°以上45°未満である顔向きの顔画像より取得される特徴量を用いて照合処理を行うとき、照合対象者の顔画像も左向きに15°以上45°未満を向いているときが最も補正係数が大きく設定され、上下左右方向に顔向きが大きくなると補正係数が小さく設定され、後述する認証処理における閾値を小さく設定し、多少類似度が低くても、認識されるように設定される。
また、同様に、基準となる顔画像の顔向情報が上方向に15°未満、下方向に15°未満の場合であって、右向きに15°以上45°未満であるとき、例えば、図16で示されるような閾値補正テーブルが設定される。すなわち、図16においては、照合対象者の顔向情報が上向きに15°以上である場合、左向きに45°以上のとき、補正係数が0.1であり、左向きに15°以上45°未満のとき、補正係数が0.3であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.4であり、右向きに15°以上45°未満のとき、補正係数が0.5であり、右向きに45°以上のとき、補正係数が0.4である。また、顔向情報が上向きに15°未満で、下向きに15°未満である場合、左向きに45°以上のとき、補正係数が0.3であり、左向きに15°以上45°未満のとき、補正係数が0.7であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.8であり、右向きに15°以上45°未満のとき、補正係数が1.0であり、右向きに45°以上のとき、補正係数が0.8である。さらに、顔向情報が下向きに15°以上である場合、左向きに45°以上のとき、補正係数が0.3であり、左向きに15°以上45°未満のとき、補正係数が0.7であり、左向きに15°未満で、右向きに15°未満であるとき、補正係数が0.8であり、右向きに15°以上45°未満のとき、補正係数が0.8であり、右向きに45°以上のとき、補正係数が0.8である。
このように基準となる顔画像が上方向に15°未満、下方向に15°未満の場合であって、右向きに15°以上45°未満である顔向きの顔画像から取得される特徴量を用いて照合処理を行うとき、照合対象者の顔画像も上方向に15°未満、下方向に15°未満、かつ、右向きに15°以上45°未満を向いているときが最も補正係数が大きく設定され、上下左右方向に顔向きが大きくなると補正係数が小さく設定され、後述する認証処理における閾値を小さく設定し、多少類似度が低くても、認識されるように設定される。
図14乃至図16を参照して説明したように、閾値補正テーブルは、基準となる顔画像の顔向きに対応してそれぞれ設定されており、さらに、各閾値補正テーブル内においては、照合対象者の顔向情報に対応した閾値の補正係数が記録されているので、基準となる顔画像の顔向情報に対応する閾値補正テーブルが読み出される。したがって、基準となる顔画像の顔向情報が、例えば、上方向に15°未満、下方向に15°未満、かつ、右向きに15°以上45°未満である場合、図16で示される閾値補正テーブルが顔向対応閾値テーブル173より読み出されることになる。
尚、図14乃至図16は、閾値補正テーブルの一例であり、基準となる顔画像の顔向情報に対応して、3枚以上の閾値補正テーブルを設定するようにしても良いし、または、各閾値補正テーブルについても、より多くの上下左右の角度に区分けした顔向情報に対応して、補正係数を設定するようにしても良いものである。
ステップS54において、閾値補正部172は、照合対象者の顔向情報に基づいて、読み出された閾値補正テーブルに対応付けて設定されている補正係数を読み出して、閾値を補正し、照合対象者の顔向情報と共に照合部174に供給する。
すなわち、閾値補正部172は、例えば、閾値Thに対して、基準となる顔画像が上方向に15°未満、下方向に15°未満、かつ、右向きに15°以上45°未満である顔向きの状態で得られる特徴量を用いて照合処理を行う場合、照合対象者の顔向情報が、照合対象者の顔向情報が上向きに15°以上であって、左向きに45°以上のとき、補正係数として0.1が選択され、閾値Thに乗じた値(=Th×0.1)が補正された閾値となる。
ステップS55において、類似度計算部175は、辞書特徴量バッファ155に記憶されている基準となる顔画像の特徴量と、照合特徴量バッファ156に記憶されている照合対象者の顔画像の特徴量とを読み出し、後述する類似度計算部232と同様に、類似度を計算し、計算結果を照合部174に供給する。
ステップS56において、照合部174は、類似度計算部175より供給されてきた類似度が、閾値補正部172より供給されてきた補正された閾値よりも大きいか否か、すなわち、照合対象者の顔画像が、基準となる顔画像と類似しているか否かを判定する。ステップS56において、例えば、類似度が補正された閾値よりも大きいと判定された場合、ステップS57において、照合部174は、今現在供給されてきた照合対象者の顔画像が基準となる顔画像と入替っていないとみなし、その判定結果を出力部154、および辞書特徴量更新部176に供給する。
一方、ステップS56において、例えば、類似度が補正された閾値よりも大きくないと判定された場合、ステップS58において、照合部174は、順次供給されてくる照合対象者の顔画像が基準となる顔画像と入替っているとみなし、その判定結果を出力部154、および辞書特徴量更新部176に供給する。このとき、判定結果と共に、顔向情報が辞書特徴量更新部176に供給される。
ここで、図11のフローチャートの説明に戻る。
ステップS8において、出力部154は、入替り判定部53からの判定結果に応じて、入替りが発生したか否かを判定する。
ステップS8において、例えば、ステップS57の処理により、入替りが発生していないと判定された場合、カメラ38により撮像される顔画像の人物に変化はないため、ステップS9において、出力部154は、顔検出部151の顔画像切り出し部164より供給されてきた顔画像を破棄し(削除し)、顔画像認識装置21に供給しない。
一方、ステップS8において、例えば、ステップS58の処理により、入替りが発生したと判定された場合、ステップS10において、出力部154は、顔検出部151の顔画像切り出し部164より供給されてきた顔画像を、顔画像認識装置21に供給する。すなわち、入替りが発生したということは、これまでに、その顔画像が顔画像認証処理されていないことになるので、新たな顔画像として顔画像認識装置21に供給する。尚、最初の顔画像については、上述したデフォルトとして設定される顔画像とは異なる可能性が極めて高いので、顔画像認識装置21に供給されるものと考えることができる。
ステップS11において、辞書特徴量更新部176は、照合特徴量バッファ156にバッファリングされている特徴量を読み出し、辞書特徴量バッファ155に移動させると共に、顔向情報加えて更新する。
すなわち、例えば、カメラ38により遊技台36の着座位置近傍の範囲が撮像されていた場合、照合対象者の顔画像としては、その遊技台36の遊技者の顔画像が供給されてくる可能性が高く、同一の顔画像が検出されているとき、同一の遊技者が同一の遊技台36で遊技を継続しているものとみなされることにより、顔画像が顔画像認識装置21に供給されない。これに対して、その遊技台36の遊技者が、別の遊技者に入替るなどすると、別の遊技者に入替ったタイミングにおいて撮像される顔画像は、それまでの顔画像と異なる顔画像に入替ることになる。以上の処理においては、この遊技者が入替るタイミングにおいて、顔画像が入替ったものと認識されることになるので、入替った、新たに遊技台36に着座して遊技を始めた遊技者の顔画像が、顔画像認識装置21に供給されることになると共に、入替りが検出されたタイミングの照合特徴量が取得された顔画像の特徴量が、それ以降の基準となる顔画像の特徴量として辞書特徴量バッファ155に格納されることになる。
このように、顔画像が新たに入替ったと判定されたときにのみ、画像処理ユニット39から顔画像が、顔画像認識装置21に供給されることになるので、顔画像認識装置21に対しては、同一の遊技者の顔画像が繰り返し供給されることがなくなり、後述する顔画像を用いた認証処理の処理回数を低減させることが可能となり、顔画像認識装置21における処理負荷を低減させることが可能となる。
ステップS21において、顔画像認識装置21の顔画像取得部221は、ステップS10の処理により供給されてきた顔画像を取得する。ステップS22において、顔画像取得部221は、供給された顔画像のうち、いずれか未処理の1つを抽出し、特徴量抽出部231に供給する。
ステップS23において、照合部222の特徴量抽出部231は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部232に供給する。
ステップS24において、類似度計算部232は、類似度計算処理を実行する。
ここで、図17のフローチャートを参照して、類似度計算処理について説明する。
ステップS101において、類似度計算部232は、顔画像DB22の登録遊技者DBに登録されている顔画像のうち、未処理の1つの登録遊技者の顔画像を抽出し、処理対象に設定する。
ステップS102において、類似度計算部232は、処理対象として設定した登録遊技者DBに登録されている顔画像より、前記特徴量抽出部231より供給されてきた特徴量と同様の特徴量を抽出する。
ステップS103において、類似度計算部232は、特徴量抽出部231より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、顔画像DB22に登録されている登録遊技者DBに登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップS104において、計算結果である登録遊技者DBに登録されている顔画像との類似度を類似度判定部233に供給し、バッファ233aに登録させる。
ステップS105において、類似度計算部232は、顔画像DB22の登録遊技者DBに未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップS101に戻る。すなわち、登録遊技者DBの全ての登録遊技者の顔画像との類似度が計算されるまで、ステップS101乃至S105の処理が繰り返される。そして、ステップS105において、登録遊技者DBに未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。
ここで、図11のフローチャートの説明に戻る。
ステップS25において、類似度判定部233は、バッファ233aに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DBに登録されている顔画像のうちの上位3位までの顔画像と類似度の情報を抽出する。そして、類似度判定部233は、上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部233は、最も類似している登録遊技者(顔画像DB22に登録されている顔画像のうち、顔画像取得部221により取得された顔画像と最も類似している登録遊技者:ここでは、類似度の最も高い登録遊技者)の類似度を所定の閾値と比較する。
尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
ステップS25において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップS26において、類似度判定部233は、類似度計算部232より供給されてきた上位3位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面301を表示部23を制御して表示させる。
このとき、例えば、図18で示されるような報知画面301が、表示部23に表示される。
図18の報知画面301においては、カメラ画像表示欄311が、左中段に設けられており、画像処理ユニット39より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第1候補乃至第3候補までの類似度の上位3位の登録遊技者の顔画像表示欄312−1乃至312−3が設けられている。さらに、各登録遊技者の顔画像表示欄312−1乃至312−3の下には、類似度レベル表示欄313−1乃至313−3が設けられており、類似度のレベルが表示されている。図18において、黒で示される領域の横方向の長さが類似度の大きさを示している。
また、類似度レベル表示欄313−1乃至313−3の下には、対応する位置に、ID表示欄314−1乃至314−3が設けられており、各顔画像の顔画像DB22における顔画像を識別するIDが表示されており、図18において、左から「00051」、「00018」および「00022」と表示されている。
さらに、ID表示欄314−1乃至314−3の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部225により操作される確定ボタン318−1乃至318−3が設けられている。
また、カメラ画像表示欄311の下には、その顔画像を撮像したカメラを識別するカメラID表示欄315が設けられており、図18においては、カメラ38を識別するためのカメラIDとして「カメラ02」が表示されている。さらに、カメラID表示欄315の下には、時刻表示欄316が設けられており、カメラ38により撮像された時刻が表示されており、図18においては、「18:23:32」と表示されており、カメラ画像表示欄311の顔画像が18時23分32秒に撮像されていることが示されている。
さらに、時刻表示欄316の下には、別人ボタン317が設けられており、カメラ画像の顔画像が、第1候補乃至第3候補となる登録遊技者の顔画像表示欄312−1乃至312−3のいずれにも似ていないとみなされたとき、操作部225により操作される。
ステップS27において、通信部224は、操作部225が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図18で示される報知画面301が表示部23に表示されていた場合、確定ボタン318−1乃至318−3のいずれかが操作部225により操作されたか否かを判定する。
ステップS27において、例えば、確定ボタン318−1が操作された場合、第1候補となる顔画像が選択されたとみなされ、ステップS28において、通信部224は、選択された第1候補となる顔画像およびカメラ38により撮像されたカメラ画像を携帯端末20に送信し、該当する登録遊技者が来店したことを通知する。
ステップS41において、通信部271は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS41において、ステップS28の処理により、登録遊技者の来店が通知されてきた場合、ステップS42において、通信部271は、顔画像認識装置21より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像およびカメラ38により撮像されたカメラ画像を画像処理部272に供給する。画像処理部272は、選択された顔画像およびカメラ38により撮像されたカメラ画像の情報を、表示部273に表示可能な形式の情報に加工して、ステップS43において、表示部273に表示させる。
以上の処理により、遊技店1内の係員は、携帯端末20を所持していると、登録遊技者の来店を認識することが可能となる。
また、ステップS29において、顔画像取得部221は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップS22に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップS22乃至S30の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップS21に戻る。
一方、ステップS27において、いずれの候補となる顔画像も選択されず、例えば、図18の報知画面301における別人ボタン317が押下された場合、または、ステップS25において、類似度計算部232より供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップS30において、類似度判定部233は、画像処理ユニット39より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。未登録遊技者データベース登録部223は、供給されてきた顔画像を生体管理情報バス6及び公衆通信回線網8を介して顔画像管理データベース3にアクセスし、未登録遊技者DBに登録する。
このような処理により、顔画像認識装置21により画像処理ユニット39より供給されてきた顔画像が、顔画像DB22に登録されていないとみなされると、顔画像管理センタ2により管理されている顔画像管理DB3内の未登録遊技者DBに未登録遊技者の顔画像として登録される。
以上の処理により、画像処理ユニット39において、顔向きに応じて入替り判定処理における基準となる顔画像における特徴量と、順次供給されてくる顔画像の特徴量との類似度が求められ、基準となる顔画像の顔向情報と、照合対象者の顔向情報とに基づいて、閾値が補正されて、類似度と補正された閾値との比較により、入替りが発生していないか否かが判定される。このため、顔向きによる照合精度の低下を抑制することができるので、高い精度で入替りを判定することが可能となる。
結果として、画像処理ユニット39は、カメラ38により撮像される画像から抽出される顔画像のうち、入替が発生したタイミングで供給される顔画像のみを顔画像認証装置21に供給することになるので、顔画像認証装置21における顔画像認証処理の負荷を低減させることが可能となる。
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図19は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。