JP5589421B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、顔画像による認識率を向上できるようにした画像処理装置に関する。

パチンコ店やパチスロ店に代表される遊技店の業界においては、パチンコ遊技者やパチスロ遊技者の遊技人口の減少が進んでいることから、自店に来店頂いている固定遊技客の維持および確保のため、または、来店経験の無い新規遊技客の拡大を狙うため、各遊技店は近隣の遊技店と差別化を図り、遊技機種の入れ替えやイベントなどを中心とした熾烈な遊技客獲得競争を繰り広げている。

その１つの取り組みとして、１）会員カードなどの媒体を発行する、２）来店時に会員カードを利用していただく、３）遊技者の動向を会員カードの利用状況から把握する、４）遊技客の動向（来店データ）をもとに、イベントの有効性や従業員のサービスに反映させる、といったことを実施してきている。この取り組みを通じて、固定遊技客の維持や新規遊技客の取り込みを期待している。

しかしながら、こうした媒体による取り組みは、会員カードを発行する部分は進んでいるものの、遊技者が、発行した会員カードを持参しない、または、持参しても、専用の機器に挿入したりせず、利用してもらえないなどの実態により、現実には正確な遊技客の動向（来店データ）が把握できず、イベントの有効性を向上させたり、または従業員のサービスに反映できていないのが現状である。

この問題を解決するために媒体を用いないバイオメトリクス認証システムを利用しようとする試みがなされており、特に、顔認証システムが注目されている。

近年、携帯電話や入退室ゲートなどのアプリケーションを代表とするように、カメラによる撮像手段の普及や１対１での顔認証システムの性能向上が進み、遊技店においても遊技者１人１人を特定することが可能となった。

これにより会員カードの課題であった媒体を利用することなく、本人または他人を識別し、各遊技機で、どのような遊技者が、どのように遊技をしているのか、遊技機毎に設置したカメラにより撮像された画像を使うことによって遊技客の動向を把握することが可能となってきている。

このように遊技客の動向（来店データ）を把握することにより、固定遊技客の維持や新規遊技客の取り込みに向けたイベントの有効性を向上させたり、従業員のサービスに反映させることができる。

しかしながら、本人からの認証を要求する様なアプリケーションと異なり、いつ撮像されているか本人がわからない状態で撮像された画像から顔画像を抽出し、抽出された顔画像で顔認証により遊技客を特定するため、１）「可能な限り顔の特徴を捉えることができる様にカメラの設置位置を決める」こと、および２）「いつ撮像されているか不明な状態の画像の中から、顔画像の変化が少なくなる様な画像を保存する」ことといった技術が課題となっていた。

そこで、１）「可能な限り顔の特徴を捉えることができる様なカメラの設置位置を決める」といった課題を解決すべく、遊技中の遊技客の顔画像を遊技機毎に取得し、取得した顔画像を照合することで顧客管理を行う技術が提案されている（特許文献１参照）。

しかしながら、上述した２）「いつ撮像されているか不明な状態の画像の中から、顔画像の変化が少なくなる様な画像を保存する」ことについては、遊技客の顔向きの変化などにより、予め登録されている顔画像と、取得した顔画像との向きが異なる場合、顔画像を照合する際、１）他人への入替りを検出できない、または２）本人を他人として誤認識してしまうといったことにより、正確な遊技者の動向を把握できないことがあり、例えば、遊技者の遊技時間については、実際は別の遊技者に途中で入替っているにも関わらず、入替りを検出できないために、同一人物が長く遊技し続けているものとして記録されてしまうことがあった。

また、単なる重複のみならず、顔向きが異なる顔画像を他人との入れ替りがあったものと判断して、別途顔画像が登録されてしまうような場合、照合に適さない顔画像が照合対象顔画像として登録されてしまうため、照合に適した顔画像を取得しても本人と認識することができないことがあった。

そこで、複数回数連続して顔画像による認証処理を行い、連続して異なる顔画像を取得した場合に入れ替わりを認識できるようにすることで、不要な顔画像の取得を抑制しつつ、入れ替わりがあったときには、確実に顔画像による認証処理を実現できるようにするものが提案されている。

特開２００７−１５９８８３号公報

しかしながら、上述した手法では、入れ替わりは検出できるが、顔画像の認識精度そのものを向上させることができない。

また、例えば、顔画像における鼻が極端に大きい、または、目じりが極端に大きく垂れているといったように、標準的な器官の形状や大きさとは異なる顔画像の場合、標準的なパターンと一致しないことから、抽出される特徴量そのものが、適切に抽出されず、同一人物の顔画像を照合しても、認識精度が、低下してしまうことがあった。

さらに、同一人物であっても、照明の加減などにより器官の形状や大きさが変化してしまい、結果として特徴量が変化してしまうことがあり、これにより認識精度が不安点になることがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、顔画像における器官の形状や大きさ、さらには、照明の加減などで抽出される特徴量が適切でない場合でも安定的に顔画像による認識精度を向上できるようにするものである。

本発明の一側面の画像処理装置は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段と、前記顔画像より特徴量を抽出する抽出手段と、前記取得手段により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段と、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出手段と、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段と、前記取得手段により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合手段と、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計手段と、前記集計手段による類似度の集計結果から、前記照合手段により算出される類似度の補正値を算出する補正値算出手段とを含む。

前記照合画像テーブル登録手段には、前記取得手段により取得した顔画像の特徴量を、前記顔画像として照合画像テーブルに格納させ、前記辞書画像テーブル登録手段には、前記所定の期間だけ前のタイミングから前記取得手段により取得した複数の顔画像の特徴量を時系列に、前記顔画像として辞書画像テーブルに登録させ、前記類似度算出手段には、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量とを用いて類似度を算出させるようにすることができる。

前記照合結果記憶手段に記憶されている照合結果と、所定の条件との比較により、前記遊技者の入替りを判定する入替り判定手段をさらに含ませるようにすることができ、前記入替り判定手段には、前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、直近顔画像との類似度が所定の閾値よりも高い状態が、所定回数繰り返されるとき遊技者の入替りを判定するさせるようにすることができる。

本発明の一側面の画像処理方法は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段と、前記顔画像より特徴量を抽出する抽出手段と、前記取得手段により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段と、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出手段と、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段と、前記取得手段により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合手段と、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計手段と、前記集計手段による類似度の集計結果から、前記照合手段により算出される類似度の補正値を算出する補正値算出手段とを含む画像処理装置の画像処理方法において、前記取得手段における、前記遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、前記抽出手段における、前記顔画像より特徴量を抽出する抽出ステップと、前記照合画像テーブル登録手段における、前記取得ステップの処理により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、前記辞書画像テーブル登録手段における、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、前記類似度算出手段における、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出ステップと、前記照合結果記憶手段における、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、前記照合手段における、前記取得ステップの処理により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合ステップと、前記集計手段における、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計ステップと、前記補正値算出手段における、前記集計ステップの処理による類似度の集計結果から、前記照合ステップの処理により算出される類似度の補正値を算出する補正値算出ステップとを含む。

本発明の一側面のプログラムは、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段と、前記顔画像より特徴量を抽出する抽出手段と、前記取得手段により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段と、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出手段と、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段と、前記取得手段により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合手段と、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計手段と、前記集計手段による類似度の集計結果から、前記照合手段により算出される類似度の補正値を算出する補正値算出手段とを含む画像処理装置を制御するコンピュータに、前記取得手段における、前記遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、前記抽出手段における、前記顔画像より特徴量を抽出する抽出ステップと、前記照合画像テーブル登録手段における、前記取得ステップの処理により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、前記辞書画像テーブル登録手段における、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、前記類似度算出手段における、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出ステップと、前記照合結果記憶手段における、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、前記照合手段における、前記取得ステップの処理により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合ステップと、前記集計手段における、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計ステップと、前記補正値算出手段における、前記集計ステップの処理による類似度の集計結果から、前記照合ステップの処理により算出される類似度の補正値を算出する補正値算出ステップとを含む処理を実行させる。

本発明の一側面においては、遊技機の周辺にて遊技者の顔画像が連続して取得され、前記顔画像より特徴量が抽出され、取得した顔画像の特徴量が順次更新されて照合画像テーブルに格納され、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量が時系列に順次辞書画像テーブルに登録され、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度がそれぞれ算出され、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組が、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶され、取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度が算出され、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とが照合され、記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度が統計的に集計処理され、類似度の集計結果から、前記照合処理で算出される類似度の補正値が算出される。

本発明の一側面の画像処理装置における、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段とは、例えば、画像取得部であり、前記顔画像より特徴量を抽出する抽出手段とは、例えば、簡易特徴量抽出部であり、前記取得手段により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段とは、照合特徴量テーブルであり、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段とは、例えば、辞書画像テーブルであり、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出手段とは、例えば、類似度計算部であり、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段とは、例えば、照合結果テーブルであり、前記取得手段により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合手段とは、例えば、顔画像認証装置であり、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計手段とは、例えば、類似度集計部であり、前記集計手段による類似度の集計結果から、前記照合手段により算出される類似度の補正値を算出する補正値算出手段とは、例えば、類似度補正値設定部である。

すなわち、照合結果テーブルに順次照合結果として記憶されている、前記所定の期間だけ前のタイミングから照合画像毎に前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組より、類似度集計部が統計的に平均値や中央値を求める。類似度補正値設定部は、その集計結果から顔画像認証装置において、顔画像DBなどの所定のデータベースに登録された人物との顔画像における類似度を求める際の、補正値を算出する。

結果として、本人同士の顔画像の特徴量から得られる類似度でも高い値とならない場合であっても、類似度が補正値によりオフセットされて、所定の閾値に対して高い値とすることができるので、認識率の低下を抑制することが可能となる。

本発明によれば、認識率の低下を抑制することが可能となる。

本発明を適用した監視システムの構成例を説明する図である。 画像処理ユニットの構成例を説明する図である。 照合結果格納テーブルの構成例を示す図である。 最新照合結果用格納バッファの構成例を示す図である。 顔画像認識装置の構成例を示す図である。 登録遊技者来店監視処理を説明するフローチャートである。 入替り判定処理を説明するフローチャートである。 特徴量バッファ登録チェック処理を説明するフローチャートである。 類似度バックアップ処理を説明するフローチャートである。 １対５照合処理を説明するフローチャートである。 照合結果チェック処理を説明するフローチャートである。 段階ｎチェック処理を説明するフローチャートである。 テーブル更新処理を説明するフローチャートである。 入替り判定処理を説明する図である。 入替り判定処理を説明する図である。 同一人物に対する類似度でも低い分布となる例を示す図である。 登録遊技者来店処理を説明するフローチャートである。 汎用のコンピュータの構成例を示す図である。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

すなわち、本発明の一側面の画像処理装置は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段（例えば、図２の顔画像取得部１２３）と、前記顔画像より特徴量を抽出する抽出手段（例えば、図２の簡易特徴量抽出部１０２）と、前記取得手段により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段（例えば、図２の照合特徴量テーブル１０３）と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段（例えば、図２の辞書特徴量テーブル１０４）と、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出手段（例えば、図２の類似度計算部１５１ｂ）と、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段（例えば、図２の照合結果テーブル１０７）と、前記取得手段により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合手段（例えば、図２の顔画像認証装置２１）と、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計手段（例えば、図２の類似度集計部１０９）と、前記集計手段による類似度の集計結果から、前記照合手段により算出される類似度の補正値を算出する補正値算出手段（例えば、図２の類似度補正値設定部１１０）とを含む。

前記照合結果記憶手段に記憶されている照合結果と、所定の条件との比較により、前記遊技者の入替りを判定する入替り判定手段（例えば、図２の照合結果チェック部１０６）をさらに含ませるようにすることができ、前記入替り判定手段には、前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、直近顔画像との類似度が所定の閾値よりも高い状態が、所定回数繰り返されるとき遊技者の入替りを判定するさせるようにすることができる。

本発明の一側面の画像処理方法は、前記取得手段における、前記遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップ（例えば、図６のステップＳ２）と、前記抽出手段における、前記顔画像より特徴量を抽出する抽出ステップ（例えば、図６のステップＳ５）と、前記照合画像テーブル登録手段における、前記取得ステップの処理により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップ（例えば、図６のステップＳ５）と、前記辞書画像テーブル登録手段における、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップ（例えば、図８のステップＳ４３）と、前記類似度算出手段における、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出ステップ（例えば、図１０のステップＳ７２）と、前記照合結果記憶手段における、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップ（例えば、図９のステップＳ６３乃至Ｓ６７）と、前記照合手段における、前記取得ステップの処理により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合ステップ（例えば、図１７のステップＳ１５５）と、前記集計手段における、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計ステップ（例えば、図６のステップＳ８）と、前記補正値算出手段における、前記集計ステップの処理による類似度の集計結果から、前記照合ステップの処理により算出される類似度の補正値を算出する補正値算出ステップ（例えば、図６のステップＳ９）とを含む。

［本発明に係る遊技店の監視システムの一実施の形態の構成例］
図１は、本発明に係る遊技店の監視システムの一実施の形態の構成例を示す図である。

遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または顔画像管理センタ２や第３者遊技店管理センタ４の加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、顔画像管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ顔画像情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。

顔画像管理バス６は、主に各遊技店１の顔画像認識装置２１により管理される顔画像情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。

顔画像管理センタ２は、顔画像管理センタを管理運営する事業者により使用されるサーバであり、顔画像管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の顔画像認識装置２１に対して配信する。

第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。

顔画像認識装置２１は、カメラ３８−１乃至３８−ｍにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍにより抽出されて、顔画像情報バス３１を介して供給されてくる顔画像の情報に基づいて、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、有機EL（Electronic Luminescence）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、顔画像認識装置２１は、顔画像管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。

遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果を有機ELやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。

媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。

貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。

精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。

計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。

遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。

遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、画像処理ユニット３９−１乃至３９−ｍは、それぞれ遊技台３６−１乃至３６−ｍを遊技する遊技者の顔画像などの顔画像情報を取得し、遊技台識別情報（遊技台番号）と共に顔画像認識装置２１に送信する。尚、図１においては、顔画像情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。

［画像処理ユニットの構成例］
次に、図２を参照して、画像処理ユニット３９の構成例について説明する。

画像処理ユニット３９は、顔検出部１０１、簡易特徴量抽出部１０２、照合特徴量テーブル１０３、辞書特徴量テーブル１０４、テーブル管理部１０５、照合結果チェック部１０６、照合結果テーブル１０７、および出力部１０８より構成される。

顔検出部１０１は、カメラ３８により撮像された画像より顔画像を抽出して、簡易特徴量抽出部１０２、および出力部１０８に供給する。

より詳細には、顔検出部１０１は、画像取得部１２１、顔画像検出処理部１２２、顔画像取得部１２３、および顔切り出し部１２４より構成される。画像取得部１２１は、カメラ３８より供給されてくる画像を取得し、顔画像検出処理部１２２に供給する。

顔画像検出処理部１２２は、画像取得部１２１より供給されてくる画像より、顔画像の特徴情報である輪郭や目、鼻、口などの器官などの配置などから矩形状の顔画像を検出し、顔画像取得部１２３に供給する。

顔画像取得部１２３は、顔画像検出処理部１２２より供給されてくる矩形状の顔画像の情報を取得し、顔切り出し部１２４に供給する。

顔切り出し部１２４は、矩形状の顔画像より特徴量抽出に必要とされる顔の輪郭内の領域のみを切り出して簡易特徴量抽出部１０２に供給する。尚、顔画像検出処理部１２２により検出された、矩形状の顔画像より、顔切り出し部１２４により、特徴量抽出に必要とされる顔の輪郭内の領域のみが切り出された画像を、以降においては顔画像と称する。

簡易特徴量抽出部１０２は、顔検出部１０１より供給されてくる顔画像より特徴量を抽出する。尚、簡易特徴量抽出部１０２における「簡易」としているのは、顔画像認識装置２１における特徴量の抽出処理に対して区別するためである。すなわち、顔画像認識装置２１における特徴量の抽出処理は、顔画像の照合に使用するため、種類やパターンなどについても非常に多くのものを使用するが、簡易特徴量抽出部１０２は、顔画像認証処理に対して適正な顔画像であるか否かを判断するためだけの特徴量を抽出するものであるので、抽出される特徴量については、その種類も顔画像認識装置２１と比べて少なく、簡易なものである。

照合特徴量テーブル１０３は、簡易特徴量抽出部１０２より順次供給されてくる簡易特徴量を取得し、内蔵する最新照合特徴量バッファ１４１に記憶させ、必要に応じてテーブル管理部１０５に供給する。

辞書特徴量テーブル１０４は、第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５を備えており、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に順次格納される特徴量を第１過去辞書特徴量バッファ１３１より順次第２過去辞書特徴量バッファ１３２、第３過去辞書特徴量バッファ１３３、第４過去辞書特徴量バッファ１３４、および第５過去辞書特徴量バッファ１３５に順次転送させて記憶させる。すなわち、辞書特徴量テーブル１０４は、照合特徴量テーブル１０３に記憶される顔画像の簡易特徴量より、５フレーム前までの過去の顔画像の特徴量を順次記憶しており、必要に応じてテーブル管理部１０５に供給する。

テーブル管理部１０５は、１対１照合部１５１、およびテーブル更新部１５２より構成されている。１対１照合部１５１は、最新照合結果バッファ１５１ａ、類似度計算部１５１ｂ、およびバックアップ処理部１５１ｃを備えており、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納されている最新照合特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に格納されている過去の特徴量とを読み出し、内蔵する類似度計算部１５１ｂを制御して、それぞれについて類似度を計算させ、計算結果を最新照合結果として、最新照合結果バッファ１５１ａに、例えば、図３で示されるように記憶させる。

図３において、最上段には、最新照合特徴量バッファ１４１に登録されている特徴量と、第１過去辞書特徴量バッファ１３１に登録されている特徴量との類似度である第１最新照合結果が記憶されている。また、２段目には、最新照合特徴量バッファ１４１に登録されている特徴量と、第２過去辞書特徴量バッファ１３２に登録されている特徴量との類似度である第２最新照合結果が記憶されている。同様に、３段目乃至５段目には、最新照合特徴量バッファ１４１に登録されている特徴量と、第３乃至５過去辞書特徴量バッファ１３３乃至１３５に登録されている特徴量との類似度が、それぞれ第３乃至第５最新照合結果に記憶されている。

バックアップ処理部１５１ｃは、処理の段階を示す図示せぬカウンタCheckPrが段階１乃至５のいずれを示す値となっているかに対応して、最新照合結果バッファ１５１ａの第１乃至第５最新照合結果を照合結果テーブル１０７にバックアップする。照合結果テーブル１０７は、例えば、図４で示されるようなものである。

図４においては、段階１乃至５までの各段階毎に最新照合結果バッファ１５１ａの第１乃至第５最新照合結果を記憶しており、所定の条件が揃った後、顔画像の特徴量が供給される毎に、順次段階１乃至段階５で示される連続する５フレーム分における各フレームに対応する第１乃至第５最新照合結果が記憶される。なお、処理の段階と、図示せぬカウンタCheckPrについては詳細を後述する。

テーブル更新部１５２は、登録部１５２ａ、および更新部１５２ｂを備えており、辞書特徴量テーブル１０４に特徴量を登録すると共に更新する。すなわち、登録部１５２ａは、第２過去辞書特徴量バッファ１３２に登録されている特徴量である第２過去辞書特徴量を、第１過去辞書特徴量として第１過去辞書特徴量バッファ１３１に登録し、第３過去辞書特徴量バッファ１３３に登録されている特徴量である第３過去辞書特徴量を、第２過去辞書特徴量として第２過去辞書特徴量バッファ１３２に登録し、第４過去辞書特徴量バッファ１３４に登録されている特徴量である第４過去辞書特徴量を、第３過去辞書特徴量として第３過去辞書特徴量バッファ１３３に登録し、第５過去辞書特徴量バッファ１３５に登録されている特徴量である第５過去辞書特徴量を、第４過去辞書特徴量として第４過去辞書特徴量バッファ１３４に登録し、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に最新照合特徴量として記憶されている特徴量を、第５過去特徴量として第５過去辞書特徴量バッファ１３５に登録する処理を順次繰り返す。そして、更新部１５２ｂが、これらの情報を更新する。更新部１５２ｂは、辞書特徴量テーブル１０４の第１乃至５過去辞書特徴量バッファ１３１乃至１３５を順次更新する。

照合結果チェック部１０６は、照合結果テーブル１０７の照合結果に基づいて、遊技者の入替りを判定し、出力部１０８に供給する。

類似度集計部１０９は、照合結果テーブル１０７の段階１乃至５の各段階毎における第１乃至第５最新照合結果である類似度を統計的に集計し、例えば、類似度の平均値、または中央値などを類似度統計処理結果として求めて類似度補正値設定部１１０に供給する。

類似度補正値設定部１１０は、類似度集計部１０９より供給されてくる類似度統計処理結果に基づいて、顔画像認識装置２１における照合処理において計算される類似度の補正値を設定し、出力部１０８に供給する。

出力部１０８は、遊技者の入替りが検出されると、顔検出部１０１より供給されてきた顔画像、および類似度補正値設定部１１０より供給されてくる類似度補正値を後段の顔画像認識装置２１に出力する。

［顔画像認識装置の構成例］
次に、図５を参照して、顔画像認識装置２１の構成例について説明する。

顔画像取得部２２１は、画像処理ユニット３９より供給される顔画像および類似度補正値を取得し、照合部２２２に供給する。照合部２２２は、顔画像取得部２２１により取得された顔画像と、顔画像DB２２に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第３候補までの顔画像を照合結果として表示部２３に表示させる。また、照合部２２２は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。

より詳細には、照合部２２２の特徴量抽出部２３１は、顔画像および類似度補正値の情報のうち、顔画像より顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部２３２に供給する。類似度補正値抽出部２３４は、顔画像取得部２２１より供給されてくる顔画像と類似度補正値のうち、類似度補正値のみを抽出して、類似度計算部２３２に供給する。

類似度計算部２３２は、顔画像DB２２に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部２３１より供給されてくる特徴量とを用いて、顔画像DB２２に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部２２１より供給されてきた顔画像、および、類似度が上位３位までの顔画像を類似度判定部２３３に供給する。より具体的には、類似度計算部２３２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。また、類似度計算部２３２は、計算した類似度に対して類似度補正値抽出部２３４より供給されてくる類似度補正値を加算、または減算して類似度を補正して、補正結果となる類似度を類似度判定部２３３に供給する。

類似度判定部２３３は、類似度計算部２３２より供給されてくる類似度を順次バッファ２３３ａに蓄積し、上位３位となる顔画像のそれぞれの類似度のうち、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似している場合（類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき）、上位３位となる顔画像と類似度の情報を表示部２３に供給して、表示させると供に、通信部２２４に供給する。また、類似度判定部２３３は、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似していない場合、顔画像取得部２２１より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。

未登録遊技者データベース登録部２２３は、照合部２２２より未登録であるとみなされて供給されてきた、顔画像を顔画像管理データベース３の未登録遊技者DB２５１に登録する。

操作部２２５は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位３位となる、表示部２３に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部２２４に供給する。通信部２２４は、モデムなどから構成され、操作部２２５からの操作信号に基づいて、選択された顔画像を携帯端末２０に配信する。

尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部２３３は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。

データベース管理部２２６は、顔画像管理センタ２より新たな登録遊技者データベースが配信されてくると、新たな登録遊技者データベースに基づいて、顔画像DB２２を更新する。

［登録遊技者来店監視処理］
次に、図６のフローチャートを参照して、登録遊技者来店監視処理について説明する。

ステップＳ１において、カメラ３８が画像を撮像し、撮像した画像を画像処理ユニット３９に供給する。

ステップＳ２において、画像取得部１２１は、カメラ３８より供給されてきた画像を取得し、顔画像検出処理部１２２に供給する。顔画像検出処理部１２２は、画像取得部１２１より供給されてきた画像より顔画像の検出処理を実行し、顔画像を検出する。より具体的には、画像内の顔の輪郭、目、鼻、または口といった器官などの配置などから、画像内における顔画像の存在する位置を特定する。

ステップＳ３において、顔画像検出処理部１２２は、顔画像が検出できたか否かを判定し、例えば、顔画像が検出できなかった場合、処理は、ステップＳ１に戻る。すなわち、顔画像が検出されるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。

ステップＳ３において、顔画像が検出された場合、ステップＳ４において、顔画像検出処理部１２２は、検出された顔画像が存在する矩形状の領域の画像を抽出して顔画像取得部１２３に供給する。顔画像取得部１２３は、取得した顔画像を順次顔切り出し部１２４に供給する。顔切り出し部１２４は、矩形状の顔画像より顔画像の存在する領域のみを切り出して簡易特徴量抽出部１０２、および出力部１０８に供給する。

ステップＳ５において、簡易特徴量抽出部１０２は、供給されてきた顔画像より特徴量の情報を抽出し、抽出した特徴量の情報を照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納させる。

ステップＳ６において、テーブル管理部１０５は、入替り判定処理を実行し、人物の入替りが発生したか否かを判定する。

［入替り判定処理］
ここで、図７のフローチャートを参照して、入替り判定処理について説明する。

ステップＳ２１において、テーブル管理部１０５は、特徴量バッファ登録チェック処理を実行し、辞書特徴量テーブル１０４に過去５フレーム分の顔画像の特徴量が登録されているか否かを確認する。

［特徴量バッファ登録チェック処理］
ここで、図８のフローチャートを参照して、特徴量バッファ登録チェック処理について説明する。

ステップＳ４１において、登録部１５２ａは、第１乃至過去辞書特徴量バッファ１３１乃至１３５を識別するための図示せぬカウンタｎを初期化して１に設定する。

ステップＳ４２において、登録部１５２ａは、辞書特徴量テーブル１０４の第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に特徴量が登録されているか否かを判定する。例えば、最初の処理においては、ｎ＝１であるので、第１過去辞書特徴量バッファ１３１に特徴量が登録されているか否かを判定する。

ステップＳ４２において、辞書特徴量テーブル１０４の第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に特徴量が登録されていないと判定された場合、処理は、ステップＳ４３に進む。

ステップＳ４３において、登録部１５２ａは、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量を読み出し、第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に登録する。すなわち、最初の処理の場合、カウンタｎは１であるので、第１過去辞書特徴量バッファ１３１に、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量を登録する。

ステップＳ４４において、登録部１５２ａは、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrを「段階１」に設定する。尚、後述するが、段階を示すカウンタCheckPrは、段階１乃至段階５のいずれかを示す変数となる。

ステップＳ４５において、登録部１５２ａは、辞書特徴量テーブル１０４に５フレーム分の特徴量が登録されているか否かを示す図示せぬカウンタReturn1に「特徴量バッファ登録未完了」を示す値を登録する。

一方、ステップＳ４２において、辞書特徴量テーブル１０４の第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に特徴量が登録されていると判定された場合、処理は、ステップＳ４６に進む。

ステップＳ４６において、登録部１５２ａは、カウンタｎが５より大きいか否かを判定する。例えば、カウンタｎが５より大きくない場合、ステップＳ４７において、テーブル更新部１５２は、カウンタｎを１インクリメントし、処理は、ステップＳ４２に戻る。

すなわち、カウンタｎが５となるまで、ステップＳ４１乃至Ｓ４７の処理が繰り返され、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１にフレーム単位で順次供給されてくる最新照合特徴量が、順次第１乃至第５過去辞書特徴量バッファ１３１乃至１３５に登録される。尚、ここでステップＳ４１乃至Ｓ４７の処理が繰り返されるのは、図６のフローチャートの一連の処理が繰り返されることを示しており、ステップＳ１乃至Ｓ７が繰り返されることにより、図７におけるステップＳ２１の処理が繰り返され、結果として、ステップＳ４１乃至Ｓ４７の処理が繰り返されることを示している。

ステップＳ４６において、カウンタｎが５よりも大きい、すなわち、第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５の全てに特徴量が登録された場合、ステップＳ４８において、登録部１５２ａは、図示せぬカウンタReturn1に「特徴量バッファ登録完了」を示す値を登録する。

ここで、図７のフローチャートの説明に戻る。

ステップＳ２１の特徴量バッファ登録チェック処理が終了すると、ステップＳ２２において、テーブル更新部１５２は、カウンタReturn1が「特徴量バッファ登録完了」を示す値であるか否かを判定し、例えば、カウンタReturn1が「特徴量バッファ登録完了」示す値ではない場合、処理は、終了する。

ここで、図６のフローチャートの説明に戻る。

ステップＳ６において、出力部１０８は、照合結果チェック部１０６の、人物の入替えの有無を示す、図示せぬカウンタManStatusが入替り有りを示す値であるか否かを判定する。例えば、カウンタManStatusが入替り有りを示す値ではない場合、処理は、ステップＳ１に戻る。尚、人物の入替えの有無を示す、図示せぬカウンタManStatusについては、詳細を後述する。

すなわち、人物の入替りがあったと判定されるまで、ステップＳ１乃至Ｓ７の処理が繰り返される。また、ステップＳ６の処理においては、その間、図７のフローチャートを参照して説明したように、カウンタReturn1が「特徴量バッファ登録完了」示す値となるまで、ステップＳ２１，Ｓ２２の処理が繰り返される。そして、ステップＳ２２において、カウンタReturn1が「特徴量バッファ登録完了」示す値であると判定されると、処理は、ステップＳ２３に進む。

ステップＳ２３において、類似度バックアップ処理が実行され、入替り判定処理の処理の段階に併せて、最新照合結果バッファ１５１ａの情報が、照合結果テーブル１０７にバックアップされる。

［類似度バックアップ処理］
ここで、図９のフローチャートを参照して、類似度バックアップ処理について説明する。

ステップＳ６１において、バックアップ処理部１５１ｃは、図示せぬカウンタｍを１に初期化する。

ステップＳ６２において、バックアップ処理部１５１ｃは、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrが、「段階ｍ」を示す値であるか否かを判定する。例えば、最初の処理の場合、カウンタCheckPrが段階１（ｍ＝１）であれば、カウンタCheckPrが「段階ｍ」を示す値であると判定され、処理は、ステップＳ６３に進む。

ステップＳ６３において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第１最新照合結果を照合結果テーブル１０７における段階ｍの第１照合結果として登録する。

ステップＳ６４において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第２最新照合結果を照合結果テーブル１０７における段階ｍの第２照合結果として登録する。

ステップＳ６５において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第３最新照合結果を照合結果テーブル１０７における段階ｍの第３照合結果として登録する。

ステップＳ６６において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第４最新照合結果を照合結果テーブル１０７における段階ｍの第４照合結果として登録する。

ステップＳ６７において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第５最新照合結果を照合結果テーブル１０７における段階ｍの第５照合結果として登録する。

一方、ステップＳ６２において、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrが、段階ｍではないと判定された場合、ステップＳ６８において、カウンタｍが５より大きいか否かを判定し、大きい場合、処理を終了する。

また、ステップＳ６８において、カウンタｍが、５よも大きくない場合、ステップＳ６９において、バックアップ処理部１５１ｃは、カウンタｍを１インクリメントして処理は、ステップＳ６２に戻る。

すなわち、今現在のカウンタCheckPrに対応する段階ｍとなるまで、ステップＳ６２，Ｓ６８，Ｓ６９の処理が繰り返されて、順次カウンタｍの値が１インクリメントされる。そして、対応する段階ｍを示すカウンタｍの値となったとき、ステップＳ６３乃至Ｓ６７の処理により、順次、最新照合結果バッファ１５１ａの値が、照合結果テーブル１０７の対応する段階ｍの第１照合結果乃至第５照合結果として登録される。

ここで、図７のフローチャートの説明に戻る。

ステップＳ２３の類似度バックアップ処理により、最新照合結果バッファ１５１ａに格納されていた直前の照合結果としての類似度が照合結果テーブル１０７に格納されると、処理は、ステップＳ２４に進む。

ステップＳ２４において、１対１照合部１５１は、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去特徴量バッファ１３５にそれぞれ格納されている特徴量とを用いて、１対５照合処理を実行し、照合結果を最新照合結果バッファ１５１ａに登録する。

［１対５照合処理］
ここで、図１０のフローチャートを参照して、１対５照合処理について説明する。

ステップＳ７１において、１対１照合部１５１は、図示せぬカウンタｒを１に初期化する。

ステップＳ７２において、１対１照合部１５１は、類似度計算部１５１ｂを制御して、第ｒ過去辞書特徴量バッファ（１３０＋ｒ）に格納されている特徴量と、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納されている特徴量とを用いて類似度を計算する。より詳細には、特徴量として、例えば、目と目の距離、鼻と目の距離、または、口と鼻の距離などの情報を用いているような場合、類似度計算部１５１ｂは、それぞれの距離の比や、差などを用いて、類似しているほど高くなるようにスコア化することで、このスコアを類似度として計算する。

ステップＳ７３において、１対１照合部１５１は、類似度計算部１５１ｂにより計算された類似度を、最新照合結果バッファ１５１ａの第ｒ最新照合結果に登録する。

ステップＳ７４において、１対１照合部１５１は、カウンタｒが５以上であるか否かを判定する。ステップＳ７４において、例えば、カウンタｒが５以上ではないと判定された場合、ステップＳ７５において、１対１照合部１５１は、カウンタｒを１インクリメントし、処理は、ステップＳ７２に戻る。

すなわち、カウンタｒが１インクリメントされる毎に、第１乃至第５過去辞書特徴量バッファ１３１乃至１３５に格納されているそれぞれの特徴量と、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納されている特徴量とが用いられて類似度が求められ、最新照合結果バッファ１５１ａに第１乃至第５最新照合結果として順次登録される。

そして、ステップＳ７４において、カウンタｒが５以上であるとき、処理は終了する。

すなわち、この１対５照合処理により、最新照合特徴量に対して、直近の５フレーム前までの５個の過去画像特徴量との類似度が、照合結果として求められる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ２４の１対５照合処理が終了すると、ステップＳ２５において、照合結果チェック部１０６は、照合結果チェック処理を実行し、１対５照合処理の照合結果に基づいて入替りの有無を判定する。

［照合結果チェック処理］
ここで、図１１のフローチャートを参照して、照合結果チェック処理について説明する。

ステップＳ８１において、照合結果チェック部１０６は、図示せぬカウンタｐを１に初期化する。

ステップＳ８２において、照合結果チェック部１０６は、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrが段階ｐであるか否かを判定する。ステップＳ８２において、例えば、カウンタCheckPrが段階ｐである場合、ステップＳ８３において、段階ｐチェック処理を実行する。

［段階ｐチェック処理］
ここで、図１２のフローチャートを参照して、段階ｐチェック処理について説明する。

ステップＳ１０１において、照合結果チェック部１０６は、図示せぬカウンタｑを１に初期化する。

ステップＳ１０２において、照合結果チェック部１０６は、最新照合結果バッファ１５１ａより第ｑ最新照合結果を読み出し、所定値よりも大きいか否か、すなわち、類似しているか否かを判定する。ステップＳ１０２において、例えば、最新照合結果バッファ１５１ａより第ｑ最新照合結果を読み出し、所定値よりも大きい場合、処理は、ステップＳ１０３に進む。

ステップＳ１０３において、照合結果チェック部１０６は、入替り判定処理における処理の進行段階が完了したか否かを示すカウンタReturn2をNG（No Good）を示す値に設定する。

一方、ステップＳ１０２において、例えば、最新照合結果バッファ１５１ａより第ｑ最新照合結果を読み出し、所定値よりも大きくない場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、照合結果チェック部１０６は、カウンタｑが、（６−ｐ）よりも大きいか否かを判定する。ステップＳ１０４において、例えば、カウンタｑが、（６−ｐ）よりも大きくない場合、ステップＳ１０５において、照合結果チェック部１０６は、カウンタｑを１インクリメントして、処理は、ステップＳ１０２に戻る。

すなわち、照合結果チェック部１０６は、カウンタｑが段階ｐに対応付けて設定される値に応じた最新照合結果が、所定値と比較される。

すなわち、最新照合結果が全て所定値よりも大きくない場合、照合結果チェック部１０６は、段階ｐが１のとき、第１乃至第５最新照合結果のぞれぞれを所定値と比較し、段階ｐが２のとき、第１乃至第４最新照合結果のぞれぞれを所定値と比較し、段階ｐが３のとき、第１乃至第３最新照合結果のぞれぞれを所定値と比較し、段階ｐが４のとき、第１乃至第２最新照合結果のぞれぞれを所定値と比較し、段階ｐが５のとき、第１最新照合結果のみを所定値と比較する。

そして、いずれかの最新照合結果が所定値よりも大きい場合、処理は、ステップＳ１０３に進む。

一方、全ての最新照合結果が所定値よりも大きくない場合、ステップＳ１０６において、照合結果チェック部１０６は、カウンタｐが１であるか否かを判定する。ステップＳ１０６において、例えば、カウンタｐが１であるとき、ステップＳ１０７において、照合結果チェック部１０６は、最新照合結果バッファ１５１ａに格納されている第１乃至第５最新照合結果の平均値が、照合結果テーブル１０７に格納されている段階１の第１照合結果乃至第５照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１０７において、最新照合結果バッファ１５１ａに格納されている第１乃至第５最新照合結果の平均値が、照合結果テーブル１０７に格納されている段階１の第１照合結果乃至第５照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階１の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１０７において、最新照合結果バッファ１５１ａに格納されている第１乃至第５最新照合結果の平均値が、照合結果テーブル１０７に格納されている段階１の第１照合結果乃至第５照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階１の処理が完了していることを示すOKを示す値を記憶させる。

また、ステップＳ１０６において、カウンタｐが１ではない場合、ステップＳ１０９において、照合結果チェック部１０６は、カウンタｐが２であるか否かを判定する。ステップＳ１０９において、例えば、カウンタｐが２であるとき、ステップＳ１１０において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、および第１乃至第４最新照合結果の平均値が、第５最新照合結果よりも大きいか否かを判定する。

ステップＳ１１０において、段階２の第１乃至第５照合結果、および第１乃至第４最新照合結果の平均値が、第５最新照合結果よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階２の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１０において、段階２の第１乃至第５照合結果、および第１乃至第４最新照合結果の平均値が、第５最新照合結果よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階２の処理が完了しているOKを示す値を記憶させる。

さらに、ステップＳ１０９において、カウンタｐが２ではない場合、ステップＳ１１１において、照合結果チェック部１０６は、カウンタｐが３であるか否かを判定する。ステップＳ１１１において、例えば、カウンタｐが３であるとき、ステップＳ１１２において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、および第１乃至第３最新照合結果の平均値が、段階３の第５照合結果、および第４，第５最新照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１１２において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、および第１乃至第３最新照合結果の平均値が、段階３の第５照合結果、および第４，第５最新照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階３の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１２において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、および第１乃至第３最新照合結果の平均値が、段階３の第５照合結果、および第４，第５最新照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階３の処理が完了しているOKを示す値を記憶させる。

また、ステップＳ１１１において、カウンタｐが３ではない場合、ステップＳ１１３において、照合結果チェック部１０６は、カウンタｐが４であるか否かを判定する。ステップＳ１１３において、例えば、カウンタｐが４であるとき、ステップＳ１１４において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１，第２最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、および第３乃至第５最新照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１１４において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１，第２最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、および第３乃至第５最新照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階４の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１４において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１，第２最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、および第３乃至第５最新照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階４の処理が完了しているOKを示す値を記憶させる。

さらに、ステップＳ１１３において、カウンタｐが４ではない場合、すなわち、カウンタｐが１乃至４のいずれでもない場合、カウンタｐは５となるので、ステップＳ１１５において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，第２照合結果、および第１最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、段階５の第３乃至第５照合結果、および第２乃至第５最新照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１１５において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，第２照合結果、および第１最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、段階５の第３乃至第５照合結果、および第２乃至第５最新照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階４の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１５において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，第２照合結果、および第１最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、段階５の第３乃至第５照合結果、および第２乃至第５最新照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階４の処理が完了しているOKを示す値を記憶させる。

以上の処理により段階ｐにおける処理が完了しているか否かが判定されて判定結果が、カウンタReturn2に記憶される。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ８３の処理により、段階ｐチェック処理が完了して、段階ｐにおける処理が完了したか否かが判定されると、ステップＳ８４において、照合結果チェック部１０６は、カウンタReturn2が、段階ｐにおける処理が完了しているOKを示す値であるか否かを判定する。

ステップＳ８４において、カウンタReturn2がOKを示す値であった場合、ステップＳ８５において、照合結果チェック部１０６は、カウンタｐが５であるか否かを判定する。ステップＳ８５において、カウンタｐが５ではない場合、ステップＳ８６において、照合結果チェック部１０６は、カウンタCheckPrを１インクリメントし、処理の段階を１段階進ませる。したがって、例えば、最初の処理の場合、カウンタCheckPrは、インクリメントされることにより、段階１を示す値から段階２を示す値に更新される。

ステップＳ８７において、照合結果チェック部１０６は、カウンタManStatusを「入替えなし」を示す値に設定し、処理を終了する。

一方、ステップＳ８２において、カウンタCheckPrが段階ｐではない場合、ステップＳ９０において、照合結果チェック部１０６は、カウンタｐが５以上であるか否かを判定し、５以上ではない場合、処理は、ステップＳ９１に進む。

ステップＳ９１において、照合結果チェック部１０６は、カウンタCheckPrを１インクリメントさせて、処理は、ステップＳ８２に戻る。

すなわち、今の現在の処理の段階が特定できるまで、ステップＳ８２，Ｓ９０，Ｓ９１の処理が繰り返され、処理の段階が特定できると、処理は、ステップＳ８３に進み、段階ｐに対応した段階ｐチェック処理が実行される。また、カウンタｐが５を超えた場合、すなわち、そのいずれでもないような場合、ステップＳ９２において、照合結果チェック部１０６は、カウンタCheckPrを段階１に設定する。すなわち、カウンタCheckPrは、最も初期の処理段階に設定される。

さらに、ステップＳ８４において、カウンタReturn2がOKを示す値ではない場合、ステップＳ８９において、照合結果チェック部１０６は、カウンタCheckPrを段階１に設定し、ステップＳ８７の処理をスキップして終了する。すなわち、カウンタManStatusは「入替えなし」の状態のまま維持される。

また、ステップＳ８５において、カウンタｐが５である場合、段階１乃至５の処理全てが完了しているものとみなし、ステップＳ８８において、照合結果チェック部１０６は、カウンタManStatusを「入替えあり」を示す値に設定し、処理は、ステップＳ８９に進む。

以上の処理により、各段階１乃至５の処理の進行状態に応じて、カウンタCheckPrがインクリメントされ、全ての段階の処理が完了したところで、人の入替えの有無を示すカウンタManStatusを「入替えあり」を示す値に設定することにより、人の入替えを検出する。

ここで、図７のフローチャートの説明に戻る。

ステップＳ２５の処理により、照合結果チェック処理が終了すると、ステップＳ２６において、テーブル更新処理が実行されて、辞書特徴量テーブル１０４が更新される。

［テーブル更新処理］
ここで、図１３のフローチャートを参照して、テーブル更新処理について説明する。

ステップＳ１２１において、更新部１５２ｂは、図示せぬカウンタｓを１に初期化する。

ステップＳ１２２において、更新部１５２ｂは、第ｓ過去辞書特徴量バッファ（１３０＋ｓ）に登録されている特徴量を削除する（クリアする）。

ステップＳ１２３において、更新部１５２ｂは、第（ｓ＋１）過去辞書特徴量バッファ（１３０＋（ｓ＋１））に登録されている特徴量を読み出し、第ｓ過去辞書特徴量バッファ（１３０＋ｓ）に登録する。

ステップＳ１２４において、更新部１５２ｂは、カウンタｓが４以上であるか否かを判定し、４以上ではない場合、ステップＳ１２５において、カウンタｓを１インクリメントして、処理は、ステップＳ１２２に戻る。

すなわち、カウンタｓが４となるまで、ステップＳ１２２乃至Ｓ１２５の処理が繰り返されることにより、第２過去辞書特徴量バッファ１３２乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量の情報が順次繰り上がって、第１過去辞書特徴量バッファ１３１乃至第４過去辞書特徴量バッファ１３４に登録される。

そして、ステップＳ１２４において、カウンタｓが４以上であると判定された場合、ステップＳ１２６において、更新部１５２ｂは、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量を読み出して、第５過去辞書特徴量バッファ１３５に登録し、処理を終了する。

すなわち、テーブル更新処理により第２過去辞書特徴量バッファ１３２の特徴量の情報が第１過去辞書特徴量バッファ１３１に繰り上がって登録され、第３過去辞書特徴量バッファ１３３の特徴量の情報が第２過去辞書特徴量バッファ１３２に繰り上がって登録され、第４過去辞書特徴量バッファ１３４の特徴量の情報が第３過去辞書特徴量バッファ１３３に繰り上がって登録され、第５過去辞書特徴量バッファ１３５の特徴量の情報が第４過去辞書特徴量バッファ１３４に繰り上がって登録され、最新照合特徴量バッファ１４１の特徴量の情報が第５過去辞書特徴量バッファ１３５に繰り上がって登録されることになる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ２６のテーブル更新処理が終了すると、入替り判定処理が終了する。

ここで、図６のフローチャートの説明に戻る。

ステップＳ７において、出力部１０８は、照合結果チェック部１０６のカウンタManStatusに「入替りあり」を示す値が登録されているか否かを判定し、例えば、カウンタManStatusに「入替りあり」を示す値が登録されていない場合、処理は、ステップＳ１に戻る。

また、ステップＳ７において、カウンタManStatusに「入替りあり」を示す値が登録されていると判定された場合、処理は、ステップＳ８に進む。

以上の入替り判定処理を、図１４を参照して、具体的な例を用いて、説明すると以下のようになる。尚、図１４においては、最上段で示されるように、時系列に顔画像Ｐ１乃至Ｐ１５が供給されるような場合であって、顔画像Ｐ１乃至Ｐ７が遊技者Ａの顔画像であり、顔画像Ｐ８乃至Ｐ１５が遊技者Ｂの顔画像である。従って、図１４においては、１回目の処理で顔画像Ｐ１が処理され、２回目の処理で顔画像Ｐ２が処理され、・・・１５回目の処理で顔画像Ｐ１５が処理されることになる。

このとき、１回目の処理においては、図１４の２段目で示されるように、図７のフローチャートにおけるステップＳ２１，Ｓ２２の処理が実行され、さらに、ステップＳ２２の処理に対応する、図８のステップＳ４１乃至Ｓ４５の処理により、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１に顔画像Ｐ１の特徴量が登録され、カウンタReturn1には、「特徴量バッファ登録未完了」を示す値が登録される。

また、２回目の処理においては、やはり、図７のフローチャートにおけるステップＳ２１，Ｓ２２の処理が実行され、さらに、ステップＳ２２の処理に対応する、図８のステップＳ４１乃至Ｓ４７の処理により、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１、および第２過去辞書特徴量バッファ１３２に、それぞれ顔画像Ｐ１，Ｐ２の特徴量が登録され、いずれにおいても、カウンタReturn1には、「特徴量バッファ登録未完了」を示す値が登録されたままの状態となる。

そして、同様の処理が繰り替えされることにより、５回目の処理においては、図７のフローチャートにおけるステップＳ２１，Ｓ２２の処理が実行され、さらに、ステップＳ２２の処理に対応する、図８のステップＳ４１乃至Ｓ４８の処理により、辞書特徴量テーブル１０４の第１乃至第５過去辞書特徴量バッファ１３１乃至１３５に、それぞれ顔画像Ｐ１乃至Ｐ５の特徴量が登録され、カウンタReturn1には、「特徴量バッファ登録完了」を示す値が登録される。

この結果、６回目の処理においては、図７のフローチャートのステップＳ２２の処理において、カウンタReturn1には、「特徴量バッファ登録完了」を示す値が登録されているので、６回目以降の処理では、ステップＳ２３乃至Ｓ２６に進む。そして、ステップＳ２４の１対５照合処理においては、図１４の３段目で示されるように、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている顔画像Ｐ６の特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５のそれぞれに登録されている顔画像Ｐ１乃至Ｐ５の特徴量との類似度が求められて、最新照合結果バッファ１５１ａの第１乃至第５最新照合結果として登録される。

さらに、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の段階ｐチェック処理のステップＳ１０２（図１２）の処理においては、図１４の３段目で示される照合結果のように、顔画像Ｐ１乃至Ｐ６は、同一人物の顔画像であるので、第１乃至第５最新照合結果として登録されている全ての類似度が閾値よりも高い結果となる。尚、図１４においては、類似度が所定値よりも高い顔画像の下に丸印が付されており、逆に類似度が所定値よりも低い顔画像の下にバツ印が付されている。ただし、図１２のフローチャートにおいては、第１最新照合結果が所定値よりも高い場合、第２乃至第５最新照合結果と所定値との比較処理は、省略され、処理が打ち切られている。

また、７回目の処理においては、図１４の４段目で示されるように、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている顔画像Ｐ７の特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５のそれぞれに登録されている顔画像Ｐ２乃至Ｐ６の特徴量との類似度が求められて、最新照合結果バッファ１５１ａの第１乃至第５最新照合結果として登録される。

このとき、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の段階ｐチェック処理のステップＳ１０２（図１２）の処理においては、図１４の４段目で示される照合結果のように、顔画像Ｐ２乃至Ｐ７は、同一人物の顔画像であるので、第１乃至第５最新照合結果として登録されている全ての類似度が所定値よりも高い結果となる。また、入替り判定処理における進行段階を示すカウンタCheckPrは段階１のままである。さらに、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusは、「入替りなし」を示す値が登録される。

さらに、８回目の処理においては、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の段階ｐチェック処理（カウンタｐ＝１なので段階１チェック処理である）のステップＳ１０２（図１２）の処理においては、図１４の５段目で示される照合結果のように、顔画像Ｐ３乃至Ｐ７の人物と、顔画像Ｐ８の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている全ての類似度が所定値よりも低い結果となる。この結果、図１２のステップＳ１０６乃至Ｓ１０８の処理により、カウンタReturn2には、段階１の完了を示す「OK」を示す値が登録される。この結果、ステップＳ８６の処理により、入替り判定処理における進行段階を示すカウンタCheckPrが段階１から段階２に進行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusには、「入替りなし」を示す値が登録される。

また、９回目の処理においては、カウンタCheckPrが段階２として登録されているので、カウンタｐが２にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階２チェック処理となる。そして、段階２チェック処理のステップＳ１０２（図１２）の処理においては、図１４の６段目で示される照合結果のように、顔画像Ｐ４乃至Ｐ７の人物と、顔画像Ｐ８，Ｐ９の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２乃至Ｓ１０４の処理は、第１乃至第４最新照合結果が所定値よりも高いか否かを判定する４回の処理の繰り返され、ステップＳ１０６，Ｓ１０９，Ｓ１１０，Ｓ１０８の処理により、カウンタReturn2には、段階２の完了を示す「OK」を示す値が登録される。このため、図１１のステップＳ８２，Ｓ９０，Ｓ９１の処理により、カウンタCheckPrが段階２から段階３に移行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusには、「入替りなし」を示す値が登録される。

さらに、１０回目の処理においては、カウンタCheckPrが段階３として登録されているので、カウンタｐが３にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階３チェック処理となる。そして、段階３チェック処理のステップＳ１０２（図１２）の処理においては、図１４の７段目で示される照合結果のように、顔画像Ｐ５乃至Ｐ７の人物と、顔画像Ｐ８乃至Ｐ１０の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第４，５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２の処理は、第１乃至第３最新照合結果が所定値よりも高いか否かを判定する３回の処理が繰り返され、ステップＳ１０６，Ｓ１１１，Ｓ１１２，Ｓ１０８の処理により、カウンタReturn2には、段階３の完了を示す「OK」を示す値が登録される。このため、図１１のステップＳ８２，Ｓ９０，Ｓ９１の処理により、カウンタCheckPrが段階３から段階４に移行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusには、「入替りなし」を示す値が登録される。

また、１１回目の処理においては、カウンタCheckPrが段階４として登録されているので、カウンタｐが４にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階４チェック処理となる。そして、段階４チェック処理のステップＳ１０２（図１２）の処理においては、図１４の８段目で示される照合結果のように、顔画像Ｐ６，Ｐ７の人物と、顔画像Ｐ８乃至Ｐ１１の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第３乃至第５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２の処理は、第１，２最新照合結果が所定値よりも高いか否かを判定する２回の処理が繰り返され、ステップＳ１０６，Ｓ１０９，Ｓ１１１，Ｓ１１３，Ｓ１１４，Ｓ１０８の処理により、カウンタReturn2が段階４の完了を示す「OK」を示す値が登録される。このため、図１１のステップＳ８２，Ｓ９０，Ｓ９１の処理により、カウンタCheckPrが段階４から段階５に移行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusは、「入替りなし」を示す値が登録される。

さらに、１２回目の処理においては、カウンタCheckPrが段階５として登録されているので、カウンタｐが５にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階５チェック処理となる。そして、段階５チェック処理のステップＳ１０２（図１２）の処理においては、図１４の９段目で示される照合結果のように、顔画像Ｐ７の人物と、顔画像Ｐ８乃至Ｐ１２の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第２乃至第５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２の処理は、第１最新照合結果が所定値よりも高いか否かを判定する１回の処理のみで、ステップＳ１０６，Ｓ１０９，Ｓ１１１，Ｓ１１３，Ｓ１１５，Ｓ１０８の処理により、カウンタReturn2が段階５の完了を示す「OK」を示す値が登録される。このため、図１１のステップＳ８５，Ｓ８８の処理により、人物の入替りの有無を示すカウンタManStatusは、「入替りあり」を示す値が登録される。

そして、１３回目の処理においては、カウンタCheckPrが段階５として登録されているので、カウンタｐが５にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８２，Ｓ９０，Ｓ９１を経て、ステップＳ９２の処理により、人物の入替りの有無を示すカウンタManStatusが、「入替りなし」を示す値が登録されて、以降同様の処理が繰り返される。

以上の処理を纏めると、最新照合特徴量バッファ１４１に登録されている特徴量と、辞書特徴量テーブル１０４に登録されている直近の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量とが類似しているバッファの連続数が、連続的に増加し、図１４における１２回目の処理で示されるように、第５過去辞書特徴量バッファ１３５乃至第２過去辞書特徴量１３２までも４回連続的に類似していると判定されるとき、入替りがあると判定される。

換言すれば、最新照合特徴量バッファ１４１に登録されている特徴量と、第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量とが類似していない過去辞書特徴量バッファの連続数が、連続的に減少し、最も古い第１過去辞書特徴量バッファ１３１に登録されている特徴量のみとなったとき、入替りがあると判定される。

この処理において、最新照合特徴量バッファ１４１に登録されている特徴量と、辞書特徴量テーブル１０４に登録されている直近の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量とが類似している第５過去辞書特徴量バッファ１３５からの連続数は、上述したカウンタCheckPrで示される処理の段階で表現されている。したがって、同一の人物の顔画像が検出されている限り、処理の段階を示すカウンタCheckPrは、段階１を示す値が登録されたままの状態が継続する。しかしながら、人物が入替り異なる人物の顔画像が検出され出すと、入替りが発生したタイミングにおいて、類似度が一旦全て所定値より低い値となった後、カウンタCheckPrは、直近の過去辞書特徴量バッファに登録されている特徴量から所定値よりも高い類似度が連続して取得されていくことにより、処理回数に応じて連続的に段階が進行し、上述の例においては、段階１から最終的に段階５へと４回連続で進行すると、入替りが発生していることが判定されることになる。

このため、例えば、図１５の２段目で示されるように、８回目、および９回目の処理で、同一人物の顔が横を向くなどすると、別の人物の顔画像であるものとして認識されるので、処理結果は、図１４における８回目、および９回目の処理で示されるように、別の人物の顔画像が検出された場合の処理結果と同様になる。

しかしながら、同一人物が遊技機に向かって長時間別の向きを向いている時間は、それ程長いことはないことが多いため、例えば、１０回目の処理で元の向きになると、図１５の４段目で示されるように、第４過去辞書特徴量バッファ１３４、および第５過去辞書特徴量バッファ１３５に登録されている特徴量と、最新照合特徴量バッファ１４１に登録されている特徴量との類似度は、所定値よりも低くなり、第１過去辞書特徴量バッファ１３１乃至第３過去辞書特徴量バッファ１３３に登録されている特徴量との類似度は所定値よりも高くなるので、図１２のステップＳ１０２の処理において、第３過去辞書特徴量バッファ１３３の特徴量との類似度が所定値よりも高くなり、カウンタReturn2が、「NG」を示す値に登録されることにより、図１１のステップＳ８４，Ｓ８９の処理により、カウンタCheckPrが段階１を示す値に登録されることになる。結果として、カウンタCheckPrが連続的に進行せず、人物の入替りがないものとして扱われることになり、同一人物であれば、顔向きが多少変化しても人物の入替りの誤検出を低減することが可能となる。

尚、図１２のフローチャートを参照して説明した段階ｐチェック処理においては、段階１乃至５のいずれにおいても、第１乃至第５最新照合結果に登録された類似度のうち、所定値よりも大きいか否かについて直接判定する処理が含まれていないが、段階１については、ステップＳ１０７の処理により、段階２については、ステップＳ１１０の処理により、段階３については、ステップＳ１１２の処理により、段階４については、ステップＳ１１４の処理により、そして、段階５について、ステップＳ１１５の処理により実質的に同様の判定処理が実行されている。

すなわち、ステップＳ１０７においては、例えば、図１４の７回目および８回目の処理結果で示されるように、最新照合結果バッファ１５１ａに登録されている照合結果の平均値と、直前のタイミングの照合結果である照合結果テーブル１０７における段階１の第１照合結果乃至第５照合結果の平均値とを比較することにより、最新照合結果バッファ１５１ａに登録された照合結果が、直前の人物とは、別の人物の顔画像であるか否かが判定されている。

また、ステップＳ１１０においては、例えば、図１４の８回目および９回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１照合結果乃至第５照合結果、および第１乃至４最新照合結果の平均値が、所定値よりも高いと仮定される第５最新照合結果よりもよりも大きくないことを確認的に求めることにより、実質的に、第５最新照合結果が所定値よりも高いことが、確認的に求められている。

さらに、ステップＳ１１２においては、例えば、図１４の８乃至１０回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２，３の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１照合結果乃至第５照合結果、段階３の第１照合結果乃至第４照合結果、および第１乃至３最新照合結果の平均値が、所定値よりも高いと仮定される段階２の第５照合結果、および第４，５最新照合結果の平均値よりもよりも大きくないことを確認的に求めることにより、実質的に、第４，５最新照合結果が所定値よりも高いことが、確認的に求められている。

また、ステップＳ１１４においては、例えば、図１４の８乃至１１回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２乃至４の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１乃至２最新照合結果の平均値が、所定値よりも高いと仮定される段階３の５照合結果、段階４の第４，５照合結果、および第３乃至５最新照合結果の平均値よりもよりも大きくないことを確認的に求めることにより、実質的に、第３乃至５最新照合結果が所定値よりも高いことが、確認的に求められている。

さらに、ステップＳ１１５においては、例えば、図１４の８乃至１２回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２乃至５の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，２照合結果、および第１最新照合結果の平均値が、所定値よりも高いと仮定される段階３の５照合結果、段階４の第４，５照合結果、段階３の第３乃至５照合結果、および第２乃至５最新照合結果の平均値よりもよりも大きくないことを確認的に求めることにより、実質的に、第２乃至５最新照合結果が所定値よりも高いことが、確認的に求められている。

尚、以上においては、辞書特徴量テーブル１０４に５フレーム分の特徴量を登録する例について説明してきたが、５フレーム分に限るものではなく、その他のフレーム数であっても良い。また、以上においては、段階の進行が４回連続して進行したとき、入替りありを判定する例について説明してきたが、それ以外の回数だけ進行したときに入替りありと判定するようにしても良い。

以上の如く、カメラ３８により撮像された遊技機の周辺にて遊技者の顔画像を連続して取得して、取得した顔画像の特徴量を順次更新して照合特徴量テーブル１０３に格納し、所定の期間だけ前のタイミングから照合画像テーブルに登録された顔画像を時系列に順次辞書特徴量テーブル１０４に登録し、辞書特徴量テーブル１０４内の複数の特徴量と、照合特徴量テーブル１０３内の特徴量との類似度をそれぞれ算出し、照合特徴量テーブル１０３内の特徴量と、辞書特徴量テーブル１０４内の複数の顔画像との類似度の組を、所定の期間だけ前のタイミングから段階毎に順次照合結果テーブル１０７に記憶し、照合結果テーブル１０７に記憶されている照合結果と、所定の条件との比較により、遊技者の入替りを判定するようにしたので、同一人物が、顔を横に向けるなどといった変化によって、人物の入替りが誤検出されないようにすることができるので、適切に人物の入替りを判定することができる。

結果として、登録されるべき顔画像を正確に選別し、適正な顔画像のみを登録顔画像として保存することが可能となるので、顔画像による認識能力を向上させることが可能となる。

ここで、図６のフローチャートの説明に戻る。

ステップＳ８において、類似度集計部１０９は、照合結果テーブル１０７の段階１乃至５の各段階毎における第１乃至第５最新照合結果である合計２５個の直近の類似度を読み出し、統計的に処理する。より具体的には、類似度集計部１０９は、例えば、合計２５個の直近の類似度の平均値、または類似度のヒストグラムを生成し、その中央値を求め、類似度統計処理結果として類似度補正値設定部１１０に供給する。

ステップＳ９において、類似度補正値設定部１１０は類似度集計部１０９より供給されてきた直近の類似度の平均値、または中央値からなる類似度統計処理結果から類似度補正値を求め、出力部１０８に供給する。

ステップＳ１０において、出力部１０８は、顔検出部１０１より供給されてきている顔画像と、類似度補正値設定部１１０より供給されてきた類似度補正値を後段の顔画像認識装置２１に出力する。

すなわち、例えば、顔画像における器官である鼻が極端に大きかったり、目じりが極端に垂れているような形状である場合、特徴量が正確に抽出できないことがあり、同一人物同士の特徴量を用いていても類似度が高く求められないことがある。

例えば、目や口などの顔のパーツである各器官は、統計的に求められた標準的な形状パターンである標準輪郭形状と一致する画像上の領域として抽出される。より詳細には、標準輪郭形状の所定位置に設定されている器官特徴点（例えば、器官が目であれば、上まぶたの中央位置、下まぶたの中央位置、および目じりなど）が画像上から取得できるように、標準輪郭形状の大きさを調整し、調整された標準輪郭形状と一致する画像上の領域が、器官として抽出されている。したがって、各器官の実際の形状が、標準的な形状パターンから大きく逸脱していたり、照明の加減で実際の輪郭形状とは異なる形状であるかのように認識されるような場合、標準輪郭形状の大きさをどのように変化させても、画像内の器官と完全に一致させることができない場合が生じる。このような場合、抽出される器官は、画像内において一定の位置で、かつ一定の大きさとして抽出できない状態となり、顔画像内における位置や大きさが不安定に変化することとなる。このような場合、配置や大きさが不安定に変化して抽出される各器官の情報から特徴量が求められることとなるため、その特徴量そのものも不安定に変化する。

結果として、このような場合、照合対象となる人物と、登録されている人物とが同一人物であっても、両者の特徴量が一致し難い状態となり、類似度が高く求められない。

ここで、図１６を参照して、同一人物でも類似度が必ずしも高く求められない場合の例について説明する。図１６の上部および下部は、それぞれ２人の異なる人物Ａ，Ｂの顔画像の登録された特徴量と、同一人物を様々な角度で撮像した複数枚数の顔画像より得られる特徴量とから得られる類似度をヒストグラムにしたものである。

尚、図１６においては、上部および下部ともに縦軸が出現頻度であり、横軸が１０００点満点とした類似度を示している。図１６の上部で示される人物Ａの例においては、類似度のピークが８００点前後であるのに対して、図１６の下部で示される人物Ｂの例においては、類似度のピークが５００点前後となっている。すなわち、人物Ａ，Ｂの例でも示されるように、同一の人物の特徴量を用いても、類似度が平均的に高い場合と低い場合とがあることが示されている。

このような場合、両者が一致していることを判定する類似度の閾値が、太線で示される５００点であるとすれば、図１６の上部で示される人物Ａについては、ほぼ全画像のいずれを用いても本人であることを認識できるが、図１６の下部で示される人物Ｂについては、半分程度の画像において、棄却エラーが発生してしまうことになる。

ところで、今の場合、入れ替わり判定により入れ替わりが発生していることが確認できているので、照合結果テーブル１０７より得られる２５個の直近の類似度は同一人物に対するものであると考えることができる。したがって、類似度集計部１０９より得られる類似度統計処理結果は、同一人物の類似度の統計結果であると考えられる。

そこで、類似度補正値設定部１１０は、類似度の統計処理結果である平均値、または中央値などから、後段の顔画像認識装置２１における照合処理において、同一人物であると判定し易くするため、すなわち棄却エラーを抑制するための補正値として、所定の閾値に対して、棄却エラーが発生し難いように類似度を補正する類似度補正値を設定する。例えば、図１６の下部のような場合、平均値、または中央値は５００点前後の値となる。所定の閾値が５００点であるとすれば、上述したように約半分の画像において棄却エラーが発生することとなるので、このような場合、類似度補正値設定部１１０は、例えば、補正値を２００点に設定する。このようにすると、図１６の下部の分布は、２００点分だけ図中右方向に全体がオフセットされることとなるため、所定の閾値が５００点であれば、ほぼ全ての類似度において棄却エラーの発生が抑制される。また、図１６の上部のような場合、オフセットの必要がないので、この場合、類似度補正値設定部１１０は、類似度補正値を０点とする。

以上のような処理により、類似度が低めに求められるような人物に対しては、所定の閾値に対して、類似度を適切な値にオフセットさせることが可能となり、結果として、棄却エラーを抑制することが可能となるので、認識精度を向上させることができる。

［登録遊技者来店監視処理］
次に、図１７のフローチャートを参照して、登録遊技者来店監視処理について説明する。

ステップＳ１５１において、顔画像認識装置２１の顔画像取得部２２１は、例えば、図６のステップＳ１０の処理により画像処理ユニット３９より供給されてくる顔画像と類似度補正値を取得する。ステップＳ１５２において、顔画像取得部２２１は、供給された顔画像と類似度補正値のうち、いずれか未処理の１つを抽出し、特徴量抽出部２３１に供給する。

ステップＳ１５３において、照合部２２２の特徴量抽出部２３１は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部２３２に供給する。

ステップＳ１５４において、類似度補正値抽出部２３４は、類似度補正値の情報のみを抽出して、類似度計算部２３２に供給する。

ステップＳ１５５において、類似度計算部２３２は、類似度計算処理を実行する。

より詳細には、類似度計算部２３２は、顔画像DB２２に登録されている顔画像のうち、未処理の１つの登録遊技者の顔画像を抽出し、処理対象に設定する。類似度計算部２３２は、処理対象として設定した顔画像より、特徴量抽出部２３１より供給されてきた特徴量と同様の特徴量を抽出する。類似度計算部２３２は、特徴量抽出部２３１より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量と、顔画像DB２２に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、計算結果である顔画像との類似度を類似度判定部２３３に供給し、バッファ２３３ａに登録させる。そして、類似度計算部２３２は、顔画像DB２２の全ての登録遊技者の顔画像との類似度を計算する。

ステップＳ１５６において、類似度計算部２３２は、バッファ２３３ａに登録されている類似度に対して、類似度補正値を加算して、類似度を補正する。

ステップＳ１５７において、類似度判定部２３３は、バッファ２３３ａに登録されている類似度の計算結果に基づいて順位を求め、登録されている顔画像のうちの上位３位までの顔画像と類似度の情報を抽出する。そして、類似度判定部２３３は、上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部２３３は、最も類似している登録遊技者（顔画像DB２２に登録されている顔画像のうち、顔画像取得部２２１により取得された顔画像と最も類似している登録遊技者：ここでは、類似度の最も高い登録遊技者）の類似度を所定の閾値と比較する。

尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。

ステップＳ１５７において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップＳ１５８において、類似度判定部２３３は、類似度計算部２３２より供給されてきた上位３位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面を表示部２３を制御して表示させる。

ステップＳ１５９において、通信部２２４は、操作部２２５が操作されて、候補となる顔画像の何れかが選択されたか否かを判定する。

ステップＳ１５９において、第１候補となる顔画像が選択されると、ステップＳ１６０において、通信部２２４は、選択された第１候補となる顔画像および入口カメラ４０により撮像されたカメラ画像を携帯端末２０に送信し、該当する登録遊技者が来店したことを通知する。

以上の処理により、遊技店１内の係員は、携帯端末２０を所持していると、登録遊技者の来店を認識することが可能となる。

また、ステップＳ１６１において、顔画像取得部２２１は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップＳ１５２に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップＳ１５２乃至Ｓ１６２の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップＳ１５１に戻る。

一方、ステップＳ１５９において、いずれの候補となる顔画像も選択されない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップＳ１６０において、類似度判定部２３３は、画像処理ユニット３９より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。未登録遊技者データベース登録部２２３は、供給されてきた顔画像を顔画像管理情報バス６及び公衆通信回線網８を介して顔画像管理データベース３に登録する。

以上の処理により、類似度が類似度補正値により補正されて所定の閾値と比較されることになる。このため、器官の形状が標準的な形状に対して逸脱した形状の顔画像や、照明の陰影により器官の形状が適切に取得しにくい顔画像などに起因して、同一人物の特徴量同士であっても、類似度が高く求められないような場合でも、棄却エラーを抑制することが可能となる。

また、類似度補正値は、顔画像が画像処理ユニット３９から出力される度に、直近の類似度から統計的に求められた値に基づいて設定されるので、例えば、時系列で照明の状態が変化していても、変化に追従して設定されるため、撮像状態が変化するような場合でも、適切な類似度補正値を設定することが可能となる。尚、類似度補正値により、類似度の代わりに所定の閾値を減算することにより補正しても同様の効果を得ることができる。

いずれにおいても、結果として、顔画像における認識精度（認識率）を向上させることが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

１０１ 顔検出部
１０２ 簡易特徴量抽出部
１０３ 照合特徴量テーブル
１０４ 辞書特徴量テーブル
１０５ テーブル管理部
１０６ 照合結果チェック部
１０７ 照合結果テーブル
１０８ 出力部
１０９ 類似度集計部
１１０ 類似度補正値設定部
１３１乃至１３５ 第１過去辞書特徴量バッファ乃至第５過去辞書特徴量バッファ
１４１ 最新照合特徴量バッファ
１５１ １対１照合部
１５１ａ 最新照合結果バッファ
１５１ｂ 類似度計算部
１５１ｃ バックアップ処理部
１５２ テーブル更新部
１５２ａ 登録部
１５２ｂ 更新部

Claims (4)

1. 遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段と、
   前記顔画像より特徴量を抽出する抽出手段と、
   前記取得手段により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段と、
   所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段と、
   前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出手段と、
   前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段と、
   前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、直近顔画像との類似度が所定の閾値よりも高い状態が、所定回数繰り返されるとき遊技者の入替りを判定する入替り判定手段と、
   前記取得手段により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合手段と、
   前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計手段と、
   前記入替り判定手段により遊技者の入替りが判定された場合、前記集計手段による類似度の集計結果に基づいて、前記照合手段により算出される類似度または前記所定の閾値を補正する補正手段と
   を含み、
   前記補正手段により前記類似度または前記所定の閾値が補正された場合、前記照合手段は、補正された前記類似度または前記所定の閾値に基づいて、前記遊技者と前記所定のデータベースに登録された人物とを照合する、画像処理装置。
2. 前記照合画像テーブル登録手段は、前記取得手段により取得した顔画像の特徴量を、前記顔画像として照合画像テーブルに格納し、
   前記辞書画像テーブル登録手段は、前記所定の期間だけ前のタイミングから前記取得手段により取得した複数の顔画像の特徴量を時系列に、前記顔画像として辞書画像テーブルに登録し、
   前記類似度算出手段は、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量とを用いて類似度を算出する
   請求項１に記載の画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置として、コンピュータを機能させるためのプログラム。
4. 取得手段が、遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、
   抽出手段が、前記顔画像より特徴量を抽出する抽出ステップと、
   照合画像テーブル登録手段が、前記取得ステップの処理により取得した顔画像の特徴量を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、
   辞書画像テーブル登録手段が、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像の特徴量を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、
   類似度算出手段が、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量との類似度をそれぞれ算出する類似度算出ステップと、
   照合結果記憶手段が、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、
   入替り判定手段が、前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、直近顔画像との類似度が所定の閾値よりも高い状態が、所定回数繰り返されるとき遊技者の入替りを判定する入替り判定ステップと、
   照合手段が、前記取得ステップの処理により取得された顔画像と、所定のデータベースに登録された人物の顔画像との類似度を算出し、算出結果である類似度と所定の閾値との比較により、前記遊技者と前記所定のデータベースに登録された人物とを照合する照合ステップと、
   集計手段が、前記照合結果記憶手段に記憶されている、前記照合画像テーブル内の顔画像の特徴量と、前記辞書画像テーブル内の複数の顔画像の特徴量との前記類似度の組の、前記所定の期間だけ前のタイミングからの照合画像毎の照合結果に基づいて、前記類似度を統計的に集計処理する集計ステップと、
   前記入替り判定ステップにおいて遊技者の入替りが判定された場合、補正手段が、前記集計ステップの処理による類似度の集計結果に基づいて、前記照合ステップの処理により算出される類似度、または前記所定の閾値を補正する補正ステップと
   を含み、
   前記補正ステップにおいて前記類似度または前記所定の閾値が補正された場合、前記照合ステップにおいて、補正された前記類似度または前記所定の閾値に基づいて、前記遊技者と前記所定のデータベースに登録された人物とを照合する、画像処理方法。

Images