JP5338178B2 - 監視装置および方法、並びにプログラム - Google Patents

Description

本発明は、監視装置および方法、並びにプログラムに関し、特に、顔画像を用いた認識処理において、照合対象者の顔画像の入替りを高い精度で認識できるようにすることで、入替った顔画像のみを認識処理に利用し、認識処理の負荷の低減と、認識率の向上を図るようにした監視装置および方法、並びにプログラムに関する。

遊技店は遊技人口の減少や機器入れ替えなどの環境により競合店との競争が激化する中、熾烈な遊技客獲得競争を繰り広げている。遊技店は固定遊技客を取り込むために、近隣の遊技店との差別化を図り、独自の経営戦略を展開している。

具体的には、来店した遊技客の動向を把握し、遊技客のニーズにあったサービスの提供を実現するため、会員カードを発行し、来店時に専用の装置に挿入された会員カードを読み取ることにより、遊技機種や遊技時間などをデータベースとして蓄積し、データベースの解析により来店した遊技客の動向を把握し、遊技客のニーズを調査するというものである。

ところが、実際には、会員カードを持参しない、または、持参しても専用の装置に挿入しないなどの実態により、本来、調査し得る遊技客の動向を十分に把握できていないのが現状である。この問題を解決するために顔認識装置が提案されている。

近年、この顔認識装置は、性能が向上し、遊技客一人一人の特定が可能となっている。顔認識処理により遊技客を特定するためには、遊技客の顔を検出するためのカメラの設置位置が重要となる。

また、この顔認識装置では、遊技客一人一人の顔画像と遊技情報を合わせて管理することにより、どのような人がどのくらいの遊技をしているのかという情報を定量化することが求められている。

上記の顔認識装置において遊技客の動向を知る上では、遊技客の遊技台への滞在時間を把握する必要がある。

そこで、遊技中の遊技客の顔画像を遊技台毎に取得し、取得した顔画像と、予め登録されている顔画像との照合により顧客管理を行う技術が提案されている（特許文献１参照）。

特開２００１−１９０８０８号公報

しかしながら、上述の遊技中の遊技客の顔画像と登録顔画像との照合においては、照合結果が遊技客の顔向きにより、照合精度が左右されてしまうことがあった。

すなわち、例えば、カメラが遊技者に対して正面に設けられている場合、遊技客の遊技状態に応じて、遊技台正面の演出画面を見ているときには、正面顔が取得され、遊技台玉皿を見ているときには、下向き顔が取得され、また、遊技台上部に設置された台ランプを見ているときには、上向き顔になるなど様々な顔向き画像が取得される。そのため、顔向きによっては、同一人物を他人と判定してしまうことや、他人を同一人物と判定してしまうことがあった。

そこで、複数の異なる顔向き画像を取得して、各々個別に対応する顔向き毎に照合するといった技術が提案されている。しかしながら、この場合、複数のカメラが必要になると共に、複数のカメラにより撮像された複数の顔向きに対応した登録顔画像が必要となる。

また、複数のカメラを用いた場合、機器の増加にともなう設備費用の負担が大きくなることがあった。さらに、複数の顔向き毎に登録画像を増やすと、照合処理に負担が掛かるためデータベースの増設や処理時間の増大を招くことになってしまうことがあった。

本発明はこのような状況に鑑みてなされたものであり、様々な顔向きに対しても対応する処理を実行することにより、顔向きに影響されることのない顔画像による認識処理を実現できるようにするものである。

本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、連続的に照合対象者の顔画像を取得する取得手段と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、取得される前記顔画像の顔向きを検出する顔向き検出手段と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段とを含み、前記補正手段は、前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正し、前記閾値補正テーブルの補正係数は、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている。

本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、連続的に照合対象者の顔画像を取得する取得手段と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、取得される前記顔画像の顔向きを検出する顔向き検出手段と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段とを含む監視装置の監視方法であって、前記取得手段による、連続的に照合対象者の顔画像を取得する取得ステップと、前記特徴量抽出手段による、前記取得ステップの処理により取得された顔画像より特徴量を抽出する特徴量抽出ステップと、前記辞書データ格納手段による、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納ステップと、前記顔向き検出手段による、取得される前記顔画像の顔向きを検出する顔向き検出ステップと、前記照合データ格納手段による、前記辞書データ格納ステップの処理により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納ステップと、前記類似度計算手段による、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算ステップと、前記補正手段による、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正ステップと、前記類似度判定手段による、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記補正手段による、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正ステップとを含む。

本発明の一側面のプログラムは、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、連続的に照合対象者の顔画像を取得する取得手段と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、取得される前記顔画像の顔向きを検出する顔向き検出手段と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段とを含む監視装置を制御するコンピュータに、前記取得手段による、連続的に照合対象者の顔画像を取得する取得ステップと、前記特徴量抽出手段による、前記取得ステップの処理により取得された顔画像より特徴量を抽出する特徴量抽出ステップと、前記辞書データ格納手段による、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納ステップと、前記顔向き検出手段による、取得される前記顔画像の顔向きを検出する顔向き検出ステップと、前記照合データ格納手段による、前記辞書データ格納ステップの処理により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納ステップと、前記類似度計算手段による、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算ステップと、前記補正手段による、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正ステップと、前記類似度判定手段による、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記補正手段による、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正ステップとを含む処理を実行させる。

本発明の一側面においては、顔画像が蓄積者の顔画像として蓄積者データベースに蓄積され、連続的に照合対象者の顔画像が取得され、取得された顔画像より特徴量が抽出され、取得される前記顔画像の特徴量が、辞書データとして格納され、取得される前記顔画像の顔向きが検出され、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量が、照合データとして格納され、前記辞書データの特徴量と、前記照合データの特徴量との類似度が計算され、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値が補正され、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定され、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値が補正される。

本発明の一側面の監視装置における、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段とは、例えば、顔画像データベースであり、連続的に照合対象者の顔画像を取得する取得手段とは、例えば、顔画像取得部であり、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段とは、例えば、簡易特徴量抽出部であり、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段とは、例えば、辞書特徴量バッファであり、取得される前記顔画像の顔向きを検出する顔向き検出手段とは、例えば、顔向検出部であり、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段とは、例えば、照合特徴量バッファであり、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段とは、例えば、類似度計算部であり、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段とは、例えば、閾値補正部であり、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とは、例えば、類似度判定部である。また、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正手段とは、例えば、閾値補正部である。

すなわち、連続的に供給されてくる照合対象者の顔画像が顔画像取得部により取得され、特徴量抽出部が取得された顔画像より特徴量を抽出する。また、基準となる顔画像の特徴量を辞書データとして辞書特徴量バッファに格納し、以降の顔画像の特徴量を照合データとして順次照合特徴量バッファに格納する。類似度計算部は、辞書データとなる特徴量と、照合データとなる特徴量とに基づいて、類似度を計算する。さらに、顔向検出部が、顔画像より顔向きを検出する。閾値補正部は、顔向きに対応して閾値を補正する。そして、類似度判定部が、補正された閾値と、類似度とを比較し、類似していると判定される場合は、撮像されている照合対象者に入替りが発生しておらず、同一の人物の顔画像が撮像されているものとみなして、顔画像認証装置に出力しない。一方、補正された閾値よりも類似度が低く、異なる顔画像であり、照合対象者の入替りが発生したとみなされた場合にのみ、顔画像が顔画像認証装置に供給される。

結果として、顔向きに応じて類似度と比較される閾値が補正されるので、顔向きに対応して顔画像による照合対象者の入替りを高い精度で認識することが可能となる。このため、顔画像認証装置には、新たに撮像された顔画像、すなわち、入替った人物の顔画像のみが供給されることになるので、顔画像認証装置への負荷が低減される。

本発明によれば、顔向きに応じて類似度と比較される閾値が補正されるので、顔向きに対応して顔画像による認証を実現することができ、顔画像の入替りを高い精度で認識することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

すなわち、本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段（例えば、図９の顔画像DB２２）と、連続的に照合対象者の顔画像を取得する取得手段（例えば、図８の顔画像取得部１６３）と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段（例えば、図８の簡易特徴量抽出部１５２）と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段（例えば、図８の辞書特徴量バッファ１５５）と、取得される前記顔画像の顔向きを検出する顔向き検出手段（例えば、図８の顔向検出部１７１）と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段（例えば、図８の照合特徴量バッファ１５６）と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段（例えば、図８の類似度計算部１７５）と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段（例えば、図８の閾値補正部１７２）と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段（例えば、図９の類似度判定部２３３）と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段（例えば、図８の顔向対応閾値テーブル１７３）とを含み、前記補正手段は、前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正し、前記閾値補正テーブルの補正係数は、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている。

本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、連続的に照合対象者の顔画像を取得する取得手段と、前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、取得される前記顔画像の顔向きを検出する顔向き検出手段と、前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段とを含む監視装置の監視方法であって、前記取得手段による、連続的に照合対象者の顔画像を取得する取得ステップ（例えば、図１１のステップＳ４）と、前記特徴量抽出手段による、前記取得ステップの処理により取得された顔画像より特徴量を抽出する特徴量抽出ステップ（例えば、図１１のステップＳ５）と、前記辞書データ格納手段による、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納ステップ（例えば、図１１のステップＳ１１）と、前記顔向き検出手段による、取得される前記顔画像の顔向きを検出する顔向き検出ステップ（例えば、図１２のステップＳ５１）と、前記照合データ格納手段による、前記辞書データ格納ステップの処理により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納ステップ（例えば、図１１のステップＳ６）と、前記類似度計算手段による、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算ステップ（例えば、図１２のステップＳ５５）と、前記補正手段による、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正ステップ（例えば、図１２のステップＳ５４）と、前記類似度判定手段による、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ（例えば、図１１のステップＳ２５）と、前記補正手段による、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正ステップ（例えば、図１２のステップＳ５４）とを含む。

図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。

遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または顔画像管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、顔画像管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ顔画像情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。

顔画像管理バス６は、主に各遊技店１の顔画像認識装置２１により管理される顔画像情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。

顔画像管理センタ２は、顔画像管理センタを管理運営する事業者により使用されるサーバであり、顔画像管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の顔画像認識装置２１に対して配信する。

第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。

顔画像認識装置２１は、カメラ３８−１乃至３８−ｍにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍにより抽出されて、顔画像情報バス３１を介して供給されてくる顔画像の情報に基づいて、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、有機EL（Electronic Luminescence）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、顔画像認識装置２１は、顔画像管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。

遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果を有機ELやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。

媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。

貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。

精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。

計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。

遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。

遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの顔画像情報を取得し、遊技台識別情報（遊技台番号）と共に顔画像認識装置２１に送信する。尚、図１においては、顔画像情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。

カメラ３８−１乃至３８−ｍは、例えば、図２で示されるように、各遊技台３６−１乃至３６−４のそれぞれの上部に設けられた台表示ランプ６１−１乃至６１−４の下部に図３で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。

また、カメラ３８−１乃至３８−ｍは、例えば、図４で示されるように、遊技台周辺端末３７−１乃至３７−４に凸部７１−１乃至７１−４を設け、図５で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。

さらに、カメラ３８−１乃至３８−ｍは、例えば、図６で示されるように、遊技台３６の中央部（遊技台３６の盤面上）に設けるようにして、撮像するようにしてもよい。すなわち、図６の設置部８１にカメラ３８が設置されることにより、図７で示されるように、読取範囲φ内に遊技者を撮像する。

次に、図８を参照して、画像処理ユニット３９の構成例について説明する。

画像処理ユニット３９は、顔検出部１５１、簡易特徴量抽出部１５２、入替り判定部１５３、出力部１５４、辞書特徴量バッファ１５５、および照合特徴量バッファ１５６より構成される。

顔検出部１５１は、カメラ３８により撮像された画像より顔画像を抽出して、簡易特徴量抽出部１５２、入替り判定部１５３、出力部１５４、および照合特徴量バッファ１５６に供給する。簡易特徴量抽出部１５２は、顔検出部１５１より供給されてくる顔画像より特徴量を抽出する。尚、簡易特徴量抽出部１５２における「簡易」としているのは、後述する顔画像認識装置２１における照合部２２２の特徴量抽出部２３１に対して区別するためである。すなわち、顔画像認識装置２１における照合部２２２の特徴量抽出部２３１は、顔画像の照合に使用するため、種類やパターンなどについても非常に多くのものを使用するが、簡易特徴量抽出部１５２は、顔画像認証処理に対して適正な顔画像であるか否かを判断するためだけの特徴量を抽出するものであるので、抽出される特徴量については、その種類も少なく、簡易なものである。

入替り判定部１５３は、供給されてくる顔画像、並びに辞書特徴量バッファ１５５、および照合特徴量バッファ１５６に格納されている特徴量に基づいて、撮像されている顔画像の照合対象者が、画像内で新たに入れ替わったか否かを判定し、判定結果を出力部１５４に供給する。

出力部１５４は、入替り判定部１５３の判定結果が、撮像されている顔画像の照合対象者が画像内で新たに入れ替わったことを示す場合、顔検出部１５１より供給されてきた顔画像を顔画像認識装置２１に出力させる。

辞書特徴量バッファ１５５は、照合特徴量バッファ１５６に簡易特徴量抽出部１５２より順次供給されてくる特徴量のうち、顔画像が入替ったと判定されたタイミングにおける顔画像の特徴量を記憶し、入替り判定部１５３に供給する。すなわち、辞書特徴量バッファ１５５には、顔画像の基準となる顔画像の特徴量が辞書データとして記憶されて、入替り判定部１５３による類似度の計算に用いられる。

照合特徴量バッファ１５６は、簡易特徴量抽出部１５２より供給されてくる特徴量を照合対象者の顔画像の特徴量として記憶し、入替り判定部１５３に供給する。すなわち、照合特徴量バッファ１５６には、順次供給されてくる照合対象者の顔画像の特徴量が照合データとして記憶されて、入替り判定部１５３による類似度の計算に用いられる。

入替り判定部１５３は、顔向検出部１７１、閾値補正部１７２、顔向対応閾値テーブル１７３、照合部１７４、類似度計算部１７５、および辞書特徴量更新部１７６より構成されている。

顔向検出部１７１は、簡易特徴量抽出部１５２より供給されてくる特徴量の情報と、顔画像に基づいて、顔画像における顔向を検出して、検出した顔向情報を閾値補正部１７２に供給する。

閾値補正部１７２は、テーブル選択部１７２ａを制御して、辞書特徴量バッファ１５５に格納されている顔画像の顔向情報に基づいて、照合部１７４の顔向対応閾値テーブル１７３に格納されている閾値の補正係数からなる閾値補正テーブルを選択させ、選択された閾値補正テーブルにおける、照合対象者の顔向情報に対応する補正係数により閾値を補正して照合部１７４に供給する。この際、閾値補正部１７２は、補正された閾値と共に顔向情報も併せて照合部１７４に供給する。

類似度計算部１７５は、辞書特徴量バッファ１５５に格納されている特徴量と、照合特徴量バッファ１５６に記憶されている特徴量とに基づいて、それらの類似度を計算し、照合部１７４に供給する。

照合部１７４は、類似度計算部１７５により計算された類似度と、閾値補正部１７２より供給されてくる補正された閾値とを比較し、類似度が閾値よりも高く、辞書特徴量バッファ１５５および照合特徴量バッファ１５６に格納されている顔画像が一致するか否かに基づいて、照合対象者の顔画像が入替ったか否かを判定し、判定結果を出力部１５４、および辞書特徴量更新部１７６に供給する。尚、照合部１７４は、判定結果を出力する際、顔向情報も併せて辞書特徴量更新部１７６に供給する。

辞書特徴量更新部１７６は、入替り判定処理の判定結果に基づいて、入替りが発生していると判定された場合、照合特徴量バッファ１５６に格納されている特徴量を読み出し、辞書特徴量バッファ１５５を上書き更新する。このとき、辞書特徴量更新部１７６は、併せて顔向情報も辞書特徴量バッファ１５５に記憶させる。

次に、図９を参照して、顔画像認識装置２１の構成例について説明する。

顔画像取得部２２１は、画像処理ユニット３９より供給される顔画像を取得し、照合部２２２に供給する。照合部２２２は、顔画像取得部２２１により取得された顔画像と、顔画像DB２２に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第３候補までの顔画像を照合結果として表示部２３に表示させる。また、照合部２２２は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。

より詳細には、照合部２２２の特徴量抽出部２３１は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部２３２に供給する。類似度計算部２３２は、顔画像DB２２に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部２３１より供給されてくる特徴量とを用いて、顔画像DB２２に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部２２１より供給されてきた顔画像、および、類似度が上位３位までの顔画像を類似度判定部２３３に供給する。より具体的には、類似度計算部２３２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。

類似度判定部２３３は、類似度計算部２３２より供給されてくる類似度を順次バッファ２３３ａに蓄積し、上位３位となる顔画像のそれぞれの類似度のうち、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似している場合（類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき）、上位３位となる顔画像と類似度の情報を表示部２３に供給して、表示させると供に、通信部２２４に供給する。また、類似度判定部２３３は、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似していない場合、顔画像取得部２２１より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。

未登録遊技者データベース登録部２２３は、照合部２２２より未登録であるとみなされて供給されてきた、顔画像を顔画像管理データベース３の未登録遊技者DBに登録する。

操作部２２５は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位３位となる、表示部２３に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部２２４に供給する。通信部２２４は、モデムなどから構成され、操作部２２５からの操作信号に基づいて、選択された顔画像を携帯端末２０に配信する。

尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部２３３は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。

データベース管理部２２６は、顔画像管理センタ２より新たな登録遊技者データベースが配信されてくると、新たな登録遊技者データベースに基づいて、顔画像DB２２を更新する。

次に、図１０を参照して、携帯端末２０の構成例について説明する。

通信部２７１は、モデムなどで構成されており、遊技店１内の無線通信網を介して顔画像認識装置２１との間でデータを授受する。また、通信部２７１は、顔画像認識装置２１より配信されてくる、画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部２７２に供給する。

画像処理部２７２は、通信部２７１より供給されてくる画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部２７３に表示する画像を生成すると供に、表示部２７３に表示させる。

次に、図１１のフローチャートを参照して、登録遊技者来店監視処理について説明する。

ステップＳ１において、カメラ３８は、設置されている位置から所定の範囲の画像を撮像し、画像処理ユニット３９に供給する。顔検出部１５１の画像取得部１６１は、カメラ３８より供給されてきた画像を顔画像検出処理部１６２に供給する。

ステップＳ２において、顔画像検出処理部１６２は、供給された画像より遊技者の顔画像を抽出し、顔画像取得部１６３に供給する。より具体的には、顔画像検出処理部１６２は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、顔画像取得部１６３に供給する。

ステップＳ３において、顔画像取得部１６３は、顔画像検出処理部１６２より顔画像が供給されてきたか否かに基づいて、顔画像が抽出できたか否かを判定する。ステップＳ３において、顔画像が供給されることがない場合、顔画像が抽出されていないとみなし、処理は、ステップＳ１に戻る。すなわち、顔画像が検出されるまで、ステップＳ１乃至Ｓ３の処理が繰り返されることになる。

一方、ステップＳ３において、顔画像が抽出されたと判定された場合、ステップＳ４において、顔画像取得部１６３は、供給されてきた顔画像を取得すると共に、顔画像切り出し部１６４に供給する。顔画像切り出し部１６４は、顔画像取得部１６３より供給されてきた顔画像を簡易特徴量抽出部１５２、入替り判定部１５３、および出力部１５４に供給する。

ステップＳ５において、簡易特徴量抽出部１５２は、供給されてきた顔画像より、簡易的な特徴量を抽出し、入替り判定部１５３、および照合特徴量バッファ１５６に供給する。

ステップＳ６において、照合特徴量バッファ１５６は、供給されてきた特徴量を照合特徴量としてバッファリングする（格納する）。

ステップＳ７において、入替り判定部１５３により入替り判定処理が実行され、供給されてくる顔画像および特徴量に基づいて、カメラ３８の撮像範囲に存在する人物に入替りが発生したか否かが判定される。

ここで、図１２のフローチャートを参照して、入替り判定処理について説明する。

ステップＳ５１において、顔向検出部１７１は、供給されてきた照合対象者の顔画像、および特徴量に基づいて、照合対象者の顔向きを検出し、検出した顔向きを照合対象者の顔向情報として閾値補正部１７２に供給する。より詳細には、例えば、顔向検出部１７１は、図１３で示されるような顔画像の場合、顔画像と共に供給されてくる特徴量として、例えば、右目中心と顔右端までの距離ａ１、左目中心と顔左端までの距離ａ２、目の中心と顔上端までの距離ｂ１、および目の中心と顔下端までの距離ｂ２（いずれも、単位はpixel）を用いる場合、ａ１：ａ２の比率に基づいて、左右の顔向きの角度を求め、ｂ１：ｂ２の比率に基づいて、上下の顔向きの角度を求める。

ステップＳ５２において、閾値補正部１７２は、辞書特徴量バッファ１５５に格納されている、基準となる顔画像の顔向情報を読み出す。尚、最初の処理においては、基準となる顔画像は格納されていないので、最初の処理に対応するためのデフォルトとなる顔画像の特徴量および顔向情報を格納しておく。

ステップＳ５３において、閾値補正部１７２は、テーブル選択部１７２ａを制御して、辞書特徴量バッファ１５５に格納されている、基準となる顔画像の顔向情報に対応する閾値補正テーブルを顔向対応閾値テーブル１７３より読み出させる。

すなわち、顔向対応閾値テーブル１７３には、例えば、顔向きに対応して設定される、照合部１７４で使用される閾値の補正係数からなる閾値補正テーブルが、基準となる顔画像の顔向情報毎に記憶されている。

より具体的には、基準となる顔画像の顔向情報が正面である場合、例えば、図１４で示されるような、照合対象者の顔向情報に対応付けて設定された補正係数からなる閾値補正テーブルが記憶されている。図１４においては、照合対象者の顔向情報が上向きに１５°以上である場合、左向きに４５°以上のとき、補正係数が０．３であり、左向きに１５°以上４５°未満のとき、補正係数が０．４であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．５であり、右向きに１５°以上４５°未満のとき、補正係数が０．４であり、右向きに４５°以上のとき、補正係数が０．３である。また、顔向情報が上向きに１５°未満で、下向きに１５°未満である場合、左向きに４５°以上のとき、補正係数が０．７であり、左向きに１５°以上４５°未満のとき、補正係数が０．８であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が１．０であり、右向きに１５°以上４５°未満のとき、補正係数が０．８であり、右向きに４５°以上のとき、補正係数が０．７である。さらに、顔向情報が下向きに１５°以上である場合、左向きに４５°以上のとき、補正係数が０．７であり、左向きに１５°以上４５°未満のとき、補正係数が０．８であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．８であり、右向きに１５°以上４５°未満のとき、補正係数が０．８であり、右向きに４５°以上のとき、補正係数が０．７である。

このように基準となる顔画像が正面を向いている状態で得られる特徴量を用いて照合処理を行う場合、照合対象者の顔画像も正面を向いているとき（左向きに１５°未満で、右向きに１５°未満であるとき）が最も補正係数が大きく（閾値の補正による変化が最も小さく）設定され、上下左右方向に顔向きが大きくなると補正係数が小さく設定され、後述する認証処理における閾値を小さく（閾値の補正による変化が最も大きくなるように）設定し、多少類似度が低くても、認識されるように設定される。

尚、図１４において、全体として、照合対象者の顔向情報が下に向いている方が、上に向いているよりも補正係数が大きな値となっているのは、人間の顔の構造上、目が認証精度に与える影響が大きいためであり、下を向いたときには目は比較的認識し易いが、上を向くと目が認識し難くなる。認証精度となる類似度についても、顔が上を向いたときよりも、下を向いたときの方が高くできるので、設定される補正係数もその精度に対応して設定されるためである。

これに対して、基準となる顔画像の顔向情報が上方向に１５°未満、下方向に１５°未満である場合であって、左向きに１５°以上４５°未満であるとき、例えば、図１５で示されるような閾値補正テーブルが設定される。すなわち、図１５においては、照合対象者の顔向情報が上向きに１５°以上である場合、左向きに４５°以上のとき、補正係数が０．４であり、左向きに１５°以上４５°未満のとき、補正係数が０．５であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．４であり、右向きに１５°以上４５°未満のとき、補正係数が０．３であり、右向きに４５°以上のとき、補正係数が０．１である。また、顔向情報が上向きに１５°未満で、下向きに１５°未満である場合、左向きに４５°以上のとき、補正係数が０．８であり、左向きに１５°以上４５°未満のとき、補正係数が１．０であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．８であり、右向きに１５°以上４５°未満のとき、補正係数が０．７であり、右向きに４５°以上のとき、補正係数が０．３である。さらに、顔向情報が下向きに１５°以上である場合、左向きに４５°以上のとき、補正係数が０．８であり、左向きに１５°以上４５°未満のとき、補正係数が０．８であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．８であり、右向きに１５°以上４５°未満のとき、補正係数が０．７であり、右向きに４５°以上のとき、補正係数が０．３である。

このように基準となる顔画像が上方向に１５°未満、下方向に１５°未満の場合であって、左向きに１５°以上４５°未満である顔向きの顔画像より取得される特徴量を用いて照合処理を行うとき、照合対象者の顔画像も左向きに１５°以上４５°未満を向いているときが最も補正係数が大きく設定され、上下左右方向に顔向きが大きくなると補正係数が小さく設定され、後述する認証処理における閾値を小さく設定し、多少類似度が低くても、認識されるように設定される。

また、同様に、基準となる顔画像の顔向情報が上方向に１５°未満、下方向に１５°未満の場合であって、右向きに１５°以上４５°未満であるとき、例えば、図１６で示されるような閾値補正テーブルが設定される。すなわち、図１６においては、照合対象者の顔向情報が上向きに１５°以上である場合、左向きに４５°以上のとき、補正係数が０．１であり、左向きに１５°以上４５°未満のとき、補正係数が０．３であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．４であり、右向きに１５°以上４５°未満のとき、補正係数が０．５であり、右向きに４５°以上のとき、補正係数が０．４である。また、顔向情報が上向きに１５°未満で、下向きに１５°未満である場合、左向きに４５°以上のとき、補正係数が０．３であり、左向きに１５°以上４５°未満のとき、補正係数が０．７であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．８であり、右向きに１５°以上４５°未満のとき、補正係数が１．０であり、右向きに４５°以上のとき、補正係数が０．８である。さらに、顔向情報が下向きに１５°以上である場合、左向きに４５°以上のとき、補正係数が０．３であり、左向きに１５°以上４５°未満のとき、補正係数が０．７であり、左向きに１５°未満で、右向きに１５°未満であるとき、補正係数が０．８であり、右向きに１５°以上４５°未満のとき、補正係数が０．８であり、右向きに４５°以上のとき、補正係数が０．８である。

このように基準となる顔画像が上方向に１５°未満、下方向に１５°未満の場合であって、右向きに１５°以上４５°未満である顔向きの顔画像から取得される特徴量を用いて照合処理を行うとき、照合対象者の顔画像も上方向に１５°未満、下方向に１５°未満、かつ、右向きに１５°以上４５°未満を向いているときが最も補正係数が大きく設定され、上下左右方向に顔向きが大きくなると補正係数が小さく設定され、後述する認証処理における閾値を小さく設定し、多少類似度が低くても、認識されるように設定される。

図１４乃至図１６を参照して説明したように、閾値補正テーブルは、基準となる顔画像の顔向きに対応してそれぞれ設定されており、さらに、各閾値補正テーブル内においては、照合対象者の顔向情報に対応した閾値の補正係数が記録されているので、基準となる顔画像の顔向情報に対応する閾値補正テーブルが読み出される。したがって、基準となる顔画像の顔向情報が、例えば、上方向に１５°未満、下方向に１５°未満、かつ、右向きに１５°以上４５°未満である場合、図１６で示される閾値補正テーブルが顔向対応閾値テーブル１７３より読み出されることになる。

尚、図１４乃至図１６は、閾値補正テーブルの一例であり、基準となる顔画像の顔向情報に対応して、３枚以上の閾値補正テーブルを設定するようにしても良いし、または、各閾値補正テーブルについても、より多くの上下左右の角度に区分けした顔向情報に対応して、補正係数を設定するようにしても良いものである。

ステップＳ５４において、閾値補正部１７２は、照合対象者の顔向情報に基づいて、読み出された閾値補正テーブルに対応付けて設定されている補正係数を読み出して、閾値を補正し、照合対象者の顔向情報と共に照合部１７４に供給する。

すなわち、閾値補正部１７２は、例えば、閾値Ｔｈに対して、基準となる顔画像が上方向に１５°未満、下方向に１５°未満、かつ、右向きに１５°以上４５°未満である顔向きの状態で得られる特徴量を用いて照合処理を行う場合、照合対象者の顔向情報が、照合対象者の顔向情報が上向きに１５°以上であって、左向きに４５°以上のとき、補正係数として０．１が選択され、閾値Ｔｈに乗じた値（＝Ｔｈ×０．１）が補正された閾値となる。

ステップＳ５５において、類似度計算部１７５は、辞書特徴量バッファ１５５に記憶されている基準となる顔画像の特徴量と、照合特徴量バッファ１５６に記憶されている照合対象者の顔画像の特徴量とを読み出し、後述する類似度計算部２３２と同様に、類似度を計算し、計算結果を照合部１７４に供給する。

ステップＳ５６において、照合部１７４は、類似度計算部１７５より供給されてきた類似度が、閾値補正部１７２より供給されてきた補正された閾値よりも大きいか否か、すなわち、照合対象者の顔画像が、基準となる顔画像と類似しているか否かを判定する。ステップＳ５６において、例えば、類似度が補正された閾値よりも大きいと判定された場合、ステップＳ５７において、照合部１７４は、今現在供給されてきた照合対象者の顔画像が基準となる顔画像と入替っていないとみなし、その判定結果を出力部１５４、および辞書特徴量更新部１７６に供給する。

一方、ステップＳ５６において、例えば、類似度が補正された閾値よりも大きくないと判定された場合、ステップＳ５８において、照合部１７４は、順次供給されてくる照合対象者の顔画像が基準となる顔画像と入替っているとみなし、その判定結果を出力部１５４、および辞書特徴量更新部１７６に供給する。このとき、判定結果と共に、顔向情報が辞書特徴量更新部１７６に供給される。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ８において、出力部１５４は、入替り判定部５３からの判定結果に応じて、入替りが発生したか否かを判定する。

ステップＳ８において、例えば、ステップＳ５７の処理により、入替りが発生していないと判定された場合、カメラ３８により撮像される顔画像の人物に変化はないため、ステップＳ９において、出力部１５４は、顔検出部１５１の顔画像切り出し部１６４より供給されてきた顔画像を破棄し（削除し）、顔画像認識装置２１に供給しない。

一方、ステップＳ８において、例えば、ステップＳ５８の処理により、入替りが発生したと判定された場合、ステップＳ１０において、出力部１５４は、顔検出部１５１の顔画像切り出し部１６４より供給されてきた顔画像を、顔画像認識装置２１に供給する。すなわち、入替りが発生したということは、これまでに、その顔画像が顔画像認証処理されていないことになるので、新たな顔画像として顔画像認識装置２１に供給する。尚、最初の顔画像については、上述したデフォルトとして設定される顔画像とは異なる可能性が極めて高いので、顔画像認識装置２１に供給されるものと考えることができる。

ステップＳ１１において、辞書特徴量更新部１７６は、照合特徴量バッファ１５６にバッファリングされている特徴量を読み出し、辞書特徴量バッファ１５５に移動させると共に、顔向情報加えて更新する。

すなわち、例えば、カメラ３８により遊技台３６の着座位置近傍の範囲が撮像されていた場合、照合対象者の顔画像としては、その遊技台３６の遊技者の顔画像が供給されてくる可能性が高く、同一の顔画像が検出されているとき、同一の遊技者が同一の遊技台３６で遊技を継続しているものとみなされることにより、顔画像が顔画像認識装置２１に供給されない。これに対して、その遊技台３６の遊技者が、別の遊技者に入替るなどすると、別の遊技者に入替ったタイミングにおいて撮像される顔画像は、それまでの顔画像と異なる顔画像に入替ることになる。以上の処理においては、この遊技者が入替るタイミングにおいて、顔画像が入替ったものと認識されることになるので、入替った、新たに遊技台３６に着座して遊技を始めた遊技者の顔画像が、顔画像認識装置２１に供給されることになると共に、入替りが検出されたタイミングの照合特徴量が取得された顔画像の特徴量が、それ以降の基準となる顔画像の特徴量として辞書特徴量バッファ１５５に格納されることになる。

このように、顔画像が新たに入替ったと判定されたときにのみ、画像処理ユニット３９から顔画像が、顔画像認識装置２１に供給されることになるので、顔画像認識装置２１に対しては、同一の遊技者の顔画像が繰り返し供給されることがなくなり、後述する顔画像を用いた認証処理の処理回数を低減させることが可能となり、顔画像認識装置２１における処理負荷を低減させることが可能となる。

ステップＳ２１において、顔画像認識装置２１の顔画像取得部２２１は、ステップＳ１０の処理により供給されてきた顔画像を取得する。ステップＳ２２において、顔画像取得部２２１は、供給された顔画像のうち、いずれか未処理の１つを抽出し、特徴量抽出部２３１に供給する。

ステップＳ２３において、照合部２２２の特徴量抽出部２３１は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部２３２に供給する。

ステップＳ２４において、類似度計算部２３２は、類似度計算処理を実行する。

ここで、図１７のフローチャートを参照して、類似度計算処理について説明する。

ステップＳ１０１において、類似度計算部２３２は、顔画像DB２２の登録遊技者DBに登録されている顔画像のうち、未処理の１つの登録遊技者の顔画像を抽出し、処理対象に設定する。

ステップＳ１０２において、類似度計算部２３２は、処理対象として設定した登録遊技者DBに登録されている顔画像より、前記特徴量抽出部２３１より供給されてきた特徴量と同様の特徴量を抽出する。

ステップＳ１０３において、類似度計算部２３２は、特徴量抽出部２３１より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、顔画像DB２２に登録されている登録遊技者DBに登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップＳ１０４において、計算結果である登録遊技者DBに登録されている顔画像との類似度を類似度判定部２３３に供給し、バッファ２３３ａに登録させる。

ステップＳ１０５において、類似度計算部２３２は、顔画像DB２２の登録遊技者DBに未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップＳ１０１に戻る。すなわち、登録遊技者DBの全ての登録遊技者の顔画像との類似度が計算されるまで、ステップＳ１０１乃至Ｓ１０５の処理が繰り返される。そして、ステップＳ１０５において、登録遊技者DBに未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ２５において、類似度判定部２３３は、バッファ２３３ａに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DBに登録されている顔画像のうちの上位３位までの顔画像と類似度の情報を抽出する。そして、類似度判定部２３３は、上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部２３３は、最も類似している登録遊技者（顔画像DB２２に登録されている顔画像のうち、顔画像取得部２２１により取得された顔画像と最も類似している登録遊技者：ここでは、類似度の最も高い登録遊技者）の類似度を所定の閾値と比較する。

尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。

ステップＳ２５において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップＳ２６において、類似度判定部２３３は、類似度計算部２３２より供給されてきた上位３位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面３０１を表示部２３を制御して表示させる。

このとき、例えば、図１８で示されるような報知画面３０１が、表示部２３に表示される。

図１８の報知画面３０１においては、カメラ画像表示欄３１１が、左中段に設けられており、画像処理ユニット３９より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第１候補乃至第３候補までの類似度の上位３位の登録遊技者の顔画像表示欄３１２−１乃至３１２−３が設けられている。さらに、各登録遊技者の顔画像表示欄３１２−１乃至３１２−３の下には、類似度レベル表示欄３１３−１乃至３１３−３が設けられており、類似度のレベルが表示されている。図１８において、黒で示される領域の横方向の長さが類似度の大きさを示している。

また、類似度レベル表示欄３１３−１乃至３１３−３の下には、対応する位置に、ID表示欄３１４−１乃至３１４−３が設けられており、各顔画像の顔画像DB２２における顔画像を識別するIDが表示されており、図１８において、左から「０００５１」、「０００１８」および「０００２２」と表示されている。

さらに、ID表示欄３１４−１乃至３１４−３の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部２２５により操作される確定ボタン３１８−１乃至３１８−３が設けられている。

また、カメラ画像表示欄３１１の下には、その顔画像を撮像したカメラを識別するカメラID表示欄３１５が設けられており、図１８においては、カメラ３８を識別するためのカメラIDとして「カメラ０２」が表示されている。さらに、カメラID表示欄３１５の下には、時刻表示欄３１６が設けられており、カメラ３８により撮像された時刻が表示されており、図１８においては、「１８：２３：３２」と表示されており、カメラ画像表示欄３１１の顔画像が１８時２３分３２秒に撮像されていることが示されている。

さらに、時刻表示欄３１６の下には、別人ボタン３１７が設けられており、カメラ画像の顔画像が、第１候補乃至第３候補となる登録遊技者の顔画像表示欄３１２−１乃至３１２−３のいずれにも似ていないとみなされたとき、操作部２２５により操作される。

ステップＳ２７において、通信部２２４は、操作部２２５が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図１８で示される報知画面３０１が表示部２３に表示されていた場合、確定ボタン３１８−１乃至３１８−３のいずれかが操作部２２５により操作されたか否かを判定する。

ステップＳ２７において、例えば、確定ボタン３１８−１が操作された場合、第１候補となる顔画像が選択されたとみなされ、ステップＳ２８において、通信部２２４は、選択された第１候補となる顔画像およびカメラ３８により撮像されたカメラ画像を携帯端末２０に送信し、該当する登録遊技者が来店したことを通知する。

ステップＳ４１において、通信部２７１は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップＳ４１において、ステップＳ２８の処理により、登録遊技者の来店が通知されてきた場合、ステップＳ４２において、通信部２７１は、顔画像認識装置２１より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像およびカメラ３８により撮像されたカメラ画像を画像処理部２７２に供給する。画像処理部２７２は、選択された顔画像およびカメラ３８により撮像されたカメラ画像の情報を、表示部２７３に表示可能な形式の情報に加工して、ステップＳ４３において、表示部２７３に表示させる。

以上の処理により、遊技店１内の係員は、携帯端末２０を所持していると、登録遊技者の来店を認識することが可能となる。

また、ステップＳ２９において、顔画像取得部２２１は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップＳ２２に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップＳ２２乃至Ｓ３０の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップＳ２１に戻る。

一方、ステップＳ２７において、いずれの候補となる顔画像も選択されず、例えば、図１８の報知画面３０１における別人ボタン３１７が押下された場合、または、ステップＳ２５において、類似度計算部２３２より供給されてくる上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップＳ３０において、類似度判定部２３３は、画像処理ユニット３９より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。未登録遊技者データベース登録部２２３は、供給されてきた顔画像を生体管理情報バス６及び公衆通信回線網８を介して顔画像管理データベース３にアクセスし、未登録遊技者DBに登録する。

このような処理により、顔画像認識装置２１により画像処理ユニット３９より供給されてきた顔画像が、顔画像DB２２に登録されていないとみなされると、顔画像管理センタ２により管理されている顔画像管理DB３内の未登録遊技者DBに未登録遊技者の顔画像として登録される。

以上の処理により、画像処理ユニット３９において、顔向きに応じて入替り判定処理における基準となる顔画像における特徴量と、順次供給されてくる顔画像の特徴量との類似度が求められ、基準となる顔画像の顔向情報と、照合対象者の顔向情報とに基づいて、閾値が補正されて、類似度と補正された閾値との比較により、入替りが発生していないか否かが判定される。このため、顔向きによる照合精度の低下を抑制することができるので、高い精度で入替りを判定することが可能となる。

結果として、画像処理ユニット３９は、カメラ３８により撮像される画像から抽出される顔画像のうち、入替が発生したタイミングで供給される顔画像のみを顔画像認証装置２１に供給することになるので、顔画像認証装置２１における顔画像認証処理の負荷を低減させることが可能となる。

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した監視システムの一実施の形態の構成を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１の画像処理ユニットの構成例を説明する図である。 図１の顔画像認識装置の構成例を説明する図である。 図１の携帯端末の構成例を説明する図である。 登録遊技者来店監視処理を説明するフローチャートである。 入替え判定処理を説明するフローチャートである。 顔向情報の計算方法を説明する図である。 基準となる顔画像の顔向きが正面である場合の閾値補正テーブルの構成例を示す図である。 基準となる顔画像の顔向きが左向きである場合の閾値補正テーブルの構成例を示す図である。 基準となる顔画像の顔向きが右向きである場合の閾値補正テーブルの構成例を示す図である。 類似度計算処理を説明するフローチャートである。 報知画像の表示例を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１，１−１乃至１−ｎ 遊技店
２ 顔画像管理センタ
３ 顔画像管理データベース
４ 第３者遊技店管理センタ
５ 第３者遊技店管理データベース
６ 顔画像管理バス
７ 第３者遊技店管理バス
８，９ 公衆通信回線網
２１ 顔画像情報認識装置
２２ 顔画像情報データベース
２４ 遊技店管理装置
２６ 遊技台管理データベース
２７ 媒体貸出管理装置
２９ 媒体貸出管理データベース
３０ 遊技店管理情報バス
３１ 顔画像情報バス
３３ 精算機
３４ 貸出機
３５ 計数機
３６，３６−１乃至３６−ｍ 遊技台
３７，３７−１乃至３７−ｍ 遊技台周辺端末
３８，３８−１乃至３８−ｍ カメラ
３９，３９−１乃至３９−ｍ 画像処理ユニット

Claims (3)

1. 顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
   連続的に照合対象者の顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、
   取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、
   取得される前記顔画像の顔向きを検出する顔向き検出手段と、
   前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、
   前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、
   前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、
   前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
   前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段と
   を含み、
   前記補正手段は、前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正し、
   前記閾値補正テーブルの補正係数は、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている
   監視装置。
2. 顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
   連続的に照合対象者の顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、
   取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、
   取得される前記顔画像の顔向きを検出する顔向き検出手段と、
   前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、
   前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、
   前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、
   前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
   前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段と
   を含む監視装置の監視方法において、
   前記取得手段による、連続的に照合対象者の顔画像を取得する取得ステップと、
   前記特徴量抽出手段による、前記取得ステップの処理により取得された顔画像より特徴量を抽出する特徴量抽出ステップと、
   前記辞書データ格納手段による、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納ステップと、
   前記顔向き検出手段による、取得される前記顔画像の顔向きを検出する顔向き検出ステップと、
   前記照合データ格納手段による、前記辞書データ格納ステップの処理により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納ステップと、
   前記類似度計算手段による、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算ステップと、
   前記補正手段による、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正ステップと、
   前記類似度判定手段による、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、
   前記補正手段による、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正ステップと
   を含む監視方法。
3. 顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
   連続的に照合対象者の顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像より特徴量を抽出する特徴量抽出手段と、
   取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納手段と、
   取得される前記顔画像の顔向きを検出する顔向き検出手段と、
   前記辞書データ格納手段により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納手段と、
   前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算手段と、
   前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正手段と、
   前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
   前記照合データの顔画像における顔向きに対応付けて設定された補正係数からなる閾値補正テーブルを記憶するテーブル記憶手段と
   を含む監視装置を制御するコンピュータに、
   前記取得手段による、連続的に照合対象者の顔画像を取得する取得ステップと、
   前記特徴量抽出手段による、前記取得ステップの処理により取得された顔画像より特徴量を抽出する特徴量抽出ステップと、
   前記辞書データ格納手段による、取得される前記顔画像の特徴量を、辞書データとして格納する辞書データ格納ステップと、
   前記顔向き検出手段による、取得される前記顔画像の顔向きを検出する顔向き検出ステップと、
   前記照合データ格納手段による、前記辞書データ格納ステップの処理により、前記辞書データとして顔画像の特徴量が格納された後、取得される前記顔画像の特徴量を、照合データとして格納する照合データ格納ステップと、
   前記類似度計算手段による、前記辞書データの特徴量と、前記照合データの特徴量との類似度を計算する類似度計算ステップと、
   前記補正手段による、前記照合データの顔画像における顔向きに基づいて、前記類似度との比較に用いる閾値を補正する補正ステップと、
   前記類似度判定手段による、前記類似度と、前記補正された閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、
   前記補正手段による、前記顔向きが上向きであるときよりも、下向きであるときの方が、前記補正後の閾値が大きな値となるように補正係数が設定されている前記閾値補正テーブルより、前記照合データの顔画像における顔向きに対応付けて設定されている補正係数により、前記類似度との比較に用いる閾値を補正する補正ステップと
   を含む処理を実行させるプログラム。

Images