JP5294020B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、連続的に撮像されている画像内の人物の入替りを検出できるようにした画像処理装置に関する。

パチンコ店やパチスロ店に代表される遊技店の業界においては、パチンコ遊技者やパチスロ遊技者の遊技人口の減少が進んでいることから、自店に来店頂いている固定遊技客の維持および確保のため、または、来店経験の無い新規遊技客の拡大を狙うため、各遊技店は近隣の遊技店と差別化を図り、遊技機種の入れ替えやイベントなどを中心とした熾烈な遊技客獲得競争を繰り広げている。

その１つの取り組みとして、１）会員カードなどの媒体を発行する、２）来店時に会員カードを利用していただく、３）遊技者の動向を会員カードの利用状況から把握する、４）遊技客の動向（来店データ）をもとに、イベントの有効性や従業員のサービスに反映させる、といったことを実施してきている。この取り組みを通じて、固定遊技客の維持や新規遊技客の取り込みを期待している。

しかしながら、こうした媒体による取り組みは、会員カードを発行する部分は進んでいるものの、遊技者が、発行した会員カードを持参しない、または、持参しても、専用の機器に挿入したりせず、利用してもらえないなどの実態により、現実には正確な遊技客の動向（来店データ）が把握できず、イベントの有効性を向上させたり、または従業員のサービスに反映できていないのが現状である。

この問題を解決するために媒体を用いないバイオメトリクス認証システムを利用しようとする試みがなされており、特に、顔認証システムが注目されている。

近年、携帯電話や入退室ゲートなどのアプリケーションを代表とするように、カメラによる撮像手段の普及や１対１での顔認証システムの性能向上が進み、遊技店においても遊技者１人１人を特定することが可能となった。

これにより会員カードの課題であった媒体を利用することなく、本人または他人を識別し、各遊技機で、どのような遊技者が、どのように遊技をしているのか、遊技機毎に設置したカメラにより撮像された画像を使うことによって遊技客の動向を把握することが可能となってきている。

このように遊技客の動向（来店データ）を把握することにより、固定遊技客の維持や新規遊技客の取り込みに向けたイベントの有効性を向上させたり、従業員のサービスに反映させることができる。

しかしながら、本人からの認証を要求する様なアプリケーションと異なり、いつ撮像されているか本人がわからない状態で撮像された画像から顔画像を抽出し、抽出された顔画像で顔認証により遊技客を特定するため、１）「可能な限り顔の特徴を捉えることができる様にカメラの設置位置を決める」こと、および２）「いつ撮像されているか不明な状態の画像の中から、顔画像の変化が少なくなる様な画像を保存する」ことといった技術が課題となっていた。

そこで、１）「可能な限り顔の特徴を捉えることができる様なカメラの設置位置を決める」といった課題を解決すべく、遊技中の遊技客の顔画像を遊技機毎に取得し、取得した顔画像を照合することで顧客管理を行う技術が提案されている（特許文献１参照）。

特開２００７−１５９８８３号公報

しかしながら、上述した２）「いつ撮像されているか不明な状態の画像の中から、顔画像の変化が少なくなる様な画像を保存する」ことについては、遊技客の顔向きの変化などにより、予め登録されている顔画像と、取得した顔画像との向きが異なる場合、顔画像を照合する際、１）他人への入替りを検出できない、または２）本人を他人として誤認識してしまうといったことにより、正確な遊技者の動向を把握できないことがあり、例えば、遊技者の遊技時間については、実際は別の遊技者に途中で入替っているにも関わらず、入替りを検出できないために、同一人物が長く遊技し続けているものとして記録されてしまうことがあった。

また単なる重複のみならず、顔向きが異なる顔画像を他人との入れ替りがあったものと判断して、別途顔画像が登録されてしまうような場合、照合に適さない顔画像が照合対象顔画像として登録されてしまうため、照合に適した顔画像を取得しても本人と認識することができないことがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、撮像された顔画像のうち、人物の入替りを正確に認識できるようにして、登録されるべき顔画像を正確に選別し、適正な顔画像のみを登録顔画像として保存するようにすることで、照合対象顔画像の認識能力を向上できるようにするものである。

本発明の一側面の画像処理装置は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段と、前記取得手段により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段と、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出手段と、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段と、前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定手段とを含む。

前記顔画像より特徴量を抽出する抽出手段をさらに含ませるようにすることができ、前記照合画像テーブル登録手段には、前記取得手段により取得した顔画像の特徴量を、前記顔画像として照合画像テーブルに格納させ、前記辞書画像テーブル登録手段には、前記所定の期間だけ前のタイミングから前記取得手段により取得した複数の顔画像の特徴量を時系列に、前記顔画像として辞書画像テーブルに登録させ、前記類似度算出手段には、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量とを用いて類似度を算出させるようにすることができる。

本発明の一側面の画像処理方法は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、前記取得ステップの処理により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出ステップと、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、前記照合結果記憶ステップの処理により記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定ステップとを含む。

本発明の一側面のプログラムは、遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、前記取得ステップの処理により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出ステップと、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、前記照合結果記憶ステップの処理により記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、遊技機の周辺にて遊技者の顔画像が連続して取得され、取得された顔画像が順次更新されて照合画像テーブルに格納され、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像が時系列に順次辞書画像テーブルに登録され、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度がそれぞれ算出され、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組が、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶され、記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りが判定される。

本発明の一側面の画像処理装置における、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段とは、例えば、顔画像取得部であり、前記取得手段により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段とは、例えば、照合特徴量テーブルであり、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段とは、例えば、辞書特徴量テーブルであり、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出手段とは、類似度計算部であり、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段とは、例えば、照合結果テーブルであり、前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定手段とは、例えば、照合結果チェック部である。

すなわち、顔画像取得部により取得された顔画像の特徴量を順次照合特徴量テーブルに登録し、さらに、照合特徴量テーブルに登録された顔画像の特徴量を所定の期間だけ前のタイミングから順次辞書特徴量テーブルに登録する。照合特徴量テーブルに登録されている特徴量と、辞書特徴量テーブルに登録されている複数の特徴量との類似度を求め、照合結果として照合結果テーブルに登録する。照合結果チェック部は、照合結果テーブルに登録された最新の照合結果となる類似度の全てが所定の閾値よりも小さくなった後、新たな顔画像が供給される度に最新の照合特徴量テーブルの特徴量と、辞書特徴量テーブルに登録された直近の特徴量との類似度が連続して所定の閾値よりも高い状態となったとき、遊技者の入替りを判定する。

結果として、連続して供給されてくる顔画像間の類似度が一旦低い状態となった後、連続して高い状態が継続したときに遊技者の入替りを判定することにより、遊技者の入替りを正確に認識することができ、入替った遊技者の顔画像を利用することにより、顔画像による認識能力を向上させることが可能となる。

本発明によれば、撮像された顔画像のうち、人物の入替りを正確に認識できるようにすることで、顔画像の認識能力を向上することが可能となる。

本発明を適用した監視システムの構成例を説明する図である。 画像処理ユニットの構成例を説明する図である。 照合結果格納テーブルの構成例を示す図である。 最新照合結果用格納バッファの構成例を示す図である。 登録遊技者来店監視処理を説明するフローチャートである。 入替り判定処理を説明するフローチャートである。 特徴量バッファ登録チェック処理を説明するフローチャートである。 類似度バックアップ処理を説明するフローチャートである。 １対５照合処理を説明するフローチャートである。 照合結果チェック処理を説明するフローチャートである。 段階ｎチェック処理を説明するフローチャートである。 テーブル更新処理を説明するフローチャートである。 入替り判定処理を説明する図である。 入替り判定処理を説明する図である。 汎用のコンピュータの構成例を示す図である。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

すなわち、本発明の一側面の画像処理装置は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段（例えば、図２の顔画像取得部１２３）と、前記取得手段により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段（例えば、図２の照合特徴量テーブル１０３）と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段（例えば、図２の辞書特徴量テーブル１０４）と、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出手段（例えば、図２の類似度計算部１５１ｂ）と、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段（例えば、図２の照合結果テーブル１０７）と、前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定手段（例えば、図２の照合結果チェック部１０６）とを含む。

前記顔画像より特徴量を抽出する抽出手段（例えば、図２の簡易特徴量抽出部１０２）をさらに含ませるようにすることができ、前記照合画像テーブル登録手段（例えば、図２の照合特徴量テーブル１０３）には、前記取得手段により取得した顔画像の特徴量を、前記顔画像として照合画像テーブルに格納させ、前記辞書画像テーブル登録手段（例えば、図２の辞書特徴量テーブル１０４）には、前記所定の期間だけ前のタイミングから前記取得手段により取得した複数の顔画像の特徴量を時系列に、前記顔画像として辞書画像テーブルに登録させ、前記類似度算出手段（例えば、図２の類似度計算部１５１ｂ）には、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量とを用いて類似度を算出させるようにすることができる。

本発明の一側面の画像処理方法は、遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップ（例えば、図５のステップＳ２）と、前記取得ステップの処理により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップ（例えば、図５のステップＳ５）と、所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップ（例えば、図７のステップＳ４３）と、前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出ステップ（例えば、図９のステップＳ７２）と、前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップ（例えば、図８のステップＳ６３乃至Ｓ６７）と、前記照合結果記憶ステップの処理により記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定ステップ（例えば、図６のステップＳ２５）とを含む。

［本発明に係る遊技店の監視システムの一実施の形態の構成例］
図１は、本発明に係る遊技店の監視システムの一実施の形態の構成例を示す図である。

遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または顔画像管理センタ２や第３者遊技店管理センタ４の加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、顔画像管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ顔画像情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。

顔画像管理バス６は、主に各遊技店１の顔画像認識装置２１により管理される顔画像情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。

顔画像管理センタ２は、顔画像管理センタを管理運営する事業者により使用されるサーバであり、顔画像管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の顔画像認識装置２１に対して配信する。

第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。

顔画像認識装置２１は、カメラ３８−１乃至３８−ｍにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍにより抽出されて、顔画像情報バス３１を介して供給されてくる顔画像の情報に基づいて、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、有機EL（Electronic Luminescence）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、顔画像認識装置２１は、顔画像管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。

遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果を有機ELやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。

媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。

貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。

精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。

計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。

遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。

遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、画像処理ユニット３９−１乃至３９−ｍは、それぞれ遊技台３６−１乃至３６−ｍを遊技する遊技者の顔画像などの顔画像情報を取得し、遊技台識別情報（遊技台番号）と共に顔画像認識装置２１に送信する。尚、図１においては、顔画像情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。

［画像処理ユニットの構成例］
次に、図２を参照して、画像処理ユニット３９の構成例について説明する。

画像処理ユニット３９は、顔検出部１０１、簡易特徴量抽出部１０２、照合特徴量テーブル１０３、辞書特徴量テーブル１０４、テーブル管理部１０５、照合結果チェック部１０６、照合結果テーブル１０７、および出力部１０８より構成される。

顔検出部１０１は、カメラ３８により撮像された画像より顔画像を抽出して、簡易特徴量抽出部１０２、および出力部１０８に供給する。

より詳細には、顔検出部１０１は、画像取得部１２１、顔画像検出処理部１２２、顔画像取得部１２３、および顔切り出し部１２４より構成される。画像取得部１２１は、カメラ３８より供給されてくる画像を取得し、顔画像検出処理部１２２に供給する。

顔画像検出処理部１２２は、画像取得部１２１より供給されてくる画像より、顔画像の特徴情報である輪郭や目、鼻、口などの器官などの配置などから矩形状の顔画像を検出し、顔画像取得部１２３に供給する。

顔画像取得部１２３は、顔画像検出処理部１２２より供給されてくる矩形状の顔画像の情報を取得し、顔切り出し部１２４に供給する。

顔切り出し部１２４は、矩形状の顔画像より特徴量抽出に必要とされる顔の輪郭内の領域のみを切り出して簡易特徴量抽出部１０２に供給する。尚、顔画像検出処理部１２２により検出された、矩形状の顔画像より、顔切り出し部１２４により、特徴量抽出に必要とされる顔の輪郭内の領域のみが切り出された画像を、以降においては顔画像と称する。

簡易特徴量抽出部１０２は、顔検出部１０１より供給されてくる顔画像より特徴量を抽出する。尚、簡易特徴量抽出部１０２における「簡易」としているのは、顔画像認識装置２１における特徴量の抽出処理に対して区別するためである。すなわち、顔画像認識装置２１における特徴量の抽出処理は、顔画像の照合に使用するため、種類やパターンなどについても非常に多くのものを使用するが、簡易特徴量抽出部１０２は、顔画像認証処理に対して適正な顔画像であるか否かを判断するためだけの特徴量を抽出するものであるので、抽出される特徴量については、その種類も顔画像認識装置２１と比べて少なく、簡易なものである。

照合特徴量テーブル１０３は、簡易特徴量抽出部１０２より順次供給されてくる簡易特徴量を取得し、内蔵する最新照合特徴量バッファ１４１に記憶させ、必要に応じてテーブル管理部１０５に供給する。

辞書特徴量テーブル１０４は、第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５を備えており、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に順次格納される特徴量を第１過去辞書特徴量バッファ１３１より順次第２過去辞書特徴量バッファ１３２、第３過去辞書特徴量バッファ１３３、第４過去辞書特徴量バッファ１３４、および第５過去辞書特徴量バッファ１３５に順次転送させて記憶させる。すなわち、辞書特徴量テーブル１０４は、照合特徴量テーブル１０３に記憶される顔画像の簡易特徴量より、５フレーム前までの過去の顔画像の特徴量を順次記憶しており、必要に応じてテーブル管理部１０５に供給する。

テーブル管理部１０５は、１対１照合部１５１、およびテーブル更新部１５２より構成されている。１対１照合部１５１は、最新照合結果バッファ１５１ａ、類似度計算部１５１ｂ、およびバックアップ処理部１５１ｃを備えており、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納されている最新照合特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に格納されている過去の特徴量とを読み出し、内蔵する類似度計算部１５１ｂを制御して、それぞれについて類似度を計算させ、計算結果を最新照合結果として、最新照合結果バッファ１５１ａに、例えば、図３で示されるように記憶させる。

図３において、最上段には、最新照合特徴量バッファ１４１に登録されている特徴量と、第１過去辞書特徴量バッファ１３１に登録されている特徴量との類似度である第１最新照合結果が記憶されている。また、２段目には、最新照合特徴量バッファ１４１に登録されている特徴量と、第２過去辞書特徴量バッファ１３２に登録されている特徴量との類似度である第２最新照合結果が記憶されている。同様に、３段目乃至５段目には、最新照合特徴量バッファ１４１に登録されている特徴量と、第３乃至５過去辞書特徴量バッファ１３３乃至１３５に登録されている特徴量との類似度が、それぞれ第３乃至第５最新照合結果に記憶されている。

バックアップ処理部１５１ｃは、処理の段階を示す図示せぬカウンタCheckPrが段階１乃至５のいずれを示す値となっているかに対応して、最新照合結果バッファ１５１ａの第１乃至第５最新照合結果を照合結果テーブル１０７にバックアップする。照合結果テーブル１０７は、例えば、図４で示されるようなものである。

図４においては、段階１乃至５までの各段階毎に最新照合結果バッファ１５１ａの第１乃至第５最新照合結果を記憶しており、所定の条件が揃った後、顔画像の特徴量が供給される毎に、順次段階１乃至段階５で示される連続する５フレーム分における各フレームに対応する第１乃至第５最新照合結果が記憶される。なお、処理の段階と、図示せぬカウンタCheckPrについては詳細を後述する。

テーブル更新部１５２は、登録部１５２ａ、および更新部１５２ｂを備えており、辞書特徴量テーブル１０４に特徴量を登録すると共に更新する。すなわち、登録部１５２ａは、第２過去辞書特徴量バッファ１３２に登録されている特徴量である第２過去辞書特徴量を、第１過去辞書特徴量として第１過去辞書特徴量バッファ１３１に登録し、第３過去辞書特徴量バッファ１３３に登録されている特徴量である第３過去辞書特徴量を、第２過去辞書特徴量として第２過去辞書特徴量バッファ１３２に登録し、第４過去辞書特徴量バッファ１３４に登録されている特徴量である第４過去辞書特徴量を、第３過去辞書特徴量として第３過去辞書特徴量バッファ１３３に登録し、第５過去辞書特徴量バッファ１３５に登録されている特徴量である第５過去辞書特徴量を、第４過去辞書特徴量として第４過去辞書特徴量バッファ１３４に登録し、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に最新照合特徴量として記憶されている特徴量を、第５過去特徴量として第５過去辞書特徴量バッファ１３５に登録する処理を順次繰り返す。そして、更新部１５２ｂが、これらの情報を更新する。更新部１５２ｂは、辞書特徴量テーブル１０４の第１乃至５過去辞書特徴量バッファ１３１乃至１３５を順次更新する。

照合結果チェック部１０６は、照合結果テーブル１０７の照合結果に基づいて、遊技者の入替りを判定し、出力部１０８に供給する。出力部１０８は、遊技者の入替りが検出されると、顔検出部１０１より供給されてきた顔画像を後段の顔画像認識装置２１に出力する。

［登録遊技者来店監視処理］
次に、図５のフローチャートを参照して、登録遊技者来店監視処理について説明する。

ステップＳ１において、カメラ３８が画像を撮像し、撮像した画像を画像処理ユニット３９に供給する。

ステップＳ２において、画像取得部１２１は、カメラ３８より供給されてきた画像を取得し、顔画像検出処理部１２２に供給する。顔画像検出処理部１２２は、画像取得部１２１より供給されてきた画像より顔画像の検出処理を実行し、顔画像を検出する。より具体的には、画像内の顔の輪郭、目、鼻、または口といった器官などの配置などから、画像内における顔画像の存在する位置を特定する。

ステップＳ３において、顔画像検出処理部１２２は、顔画像が検出できたか否かを判定し、例えば、顔画像が検出できなかった場合、処理は、ステップＳ１に戻る。すなわち、顔画像が検出されるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。

ステップＳ３において、顔画像が検出された場合、ステップＳ４において、顔画像検出処理部１２２は、検出された顔画像が存在する矩形状の領域の画像を抽出して顔画像取得部１２３に供給する。顔画像取得部１２３は、取得した顔画像を順次顔切り出し部１２４に供給する。顔切り出し部１２４は、矩形状の顔画像より顔画像の存在する領域のみを切り出して簡易特徴量抽出部１０２、および出力部１０８に供給する。

ステップＳ５において、簡易特徴量抽出部１０２は、供給されてきた顔画像より特徴量の情報を抽出し、抽出した特徴量の情報を照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納させる。

ステップＳ６において、テーブル管理部１０５は、入替り判定処理を実行し、人物の入替りが発生したか否かを判定する。

［入替り判定処理］
ここで、図６のフローチャートを参照して、入替り判定処理について説明する。

ステップＳ２１において、テーブル管理部１０５は、特徴量バッファ登録チェック処理を実行し、辞書特徴量テーブル１０４に過去５フレーム分の顔画像の特徴量が登録されているか否かを確認する。

［特徴量バッファ登録チェック処理］
ここで、図７のフローチャートを参照して、特徴量バッファ登録チェック処理について説明する。

ステップＳ４１において、登録部１５２ａは、第１乃至第５過去特徴量バッファ１３１乃至１３５を識別するための図示せぬカウンタｎを初期化して１に設定する。

ステップＳ４２において、登録部１５２ａは、辞書特徴量テーブル１０４の第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に特徴量が登録されているか否かを判定する。例えば、最初の処理においては、ｎ＝１であるので、第１過去辞書特徴量バッファ１３１に特徴量が登録されているか否かを判定する。

ステップＳ４２において、辞書特徴量テーブル１０４の第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に特徴量が登録されていないと判定された場合、処理は、ステップＳ４３に進む。

ステップＳ４３において、登録部１５２ａは、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量を読み出し、第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に登録する。すなわち、最初の処理の場合、カウンタｎは１であるので、第１過去辞書特徴量バッファ１３１に、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量を登録する。

ステップＳ４４において、登録部１５２ａは、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrを「段階１」に設定する。尚、後述するが、段階を示すカウンタCheckPrは、段階１乃至段階５のいずれかを示す変数となる。

ステップＳ４５において、登録部１５２ａは、辞書特徴量テーブル１０４に５フレーム分の特徴量が登録されているか否かを示す図示せぬカウンタReturn1に「特徴量バッファ登録未完了」を示す値を登録する。

一方、ステップＳ４２において、辞書特徴量テーブル１０４の第ｎ過去辞書特徴量バッファ（１３０＋ｎ）に特徴量が登録されていると判定された場合、処理は、ステップＳ４６に進む。

ステップＳ４６において、登録部１５２ａは、カウンタｎが５より大きいか否かを判定する。例えば、カウンタｎが５より大きくない場合、ステップＳ４７において、テーブル更新部１５２は、カウンタｎを１インクリメントし、処理は、ステップＳ４２に戻る。

すなわち、カウンタｎが５となるまで、ステップＳ４１乃至Ｓ４７の処理が繰り返され、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１にフレーム単位で順次供給されてくる最新照合特徴量が、順次第１乃至第５過去辞書特徴量バッファ１３１乃至１３５に登録される。尚、ここでステップＳ４１乃至Ｓ４７の処理が繰り返されるのは、図５のフローチャートの一連の処理が繰り返されることを示しており、ステップＳ１乃至Ｓ７が繰り返されることにより、図６におけるステップＳ２１の処理が繰り返され、結果として、ステップＳ４１乃至Ｓ４７の処理が繰り返されることを示している。

ステップＳ４６において、カウンタｎが５よりも大きい、すなわち、第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５の全てに特徴量が登録された場合、ステップＳ４８において、登録部１５２ａは、図示せぬカウンタReturn1に「特徴量バッファ登録完了」を示す値を登録する。

ここで、図６のフローチャートの説明に戻る。

ステップＳ２１の特徴量バッファ登録チェック処理が終了すると、ステップＳ２２において、テーブル更新部１５２は、カウンタReturn1が「特徴量バッファ登録完了」を示す値であるか否かを判定し、例えば、カウンタReturn1が「特徴量バッファ登録完了」示す値ではない場合、処理は、終了する。

ここで、図５のフローチャートの説明に戻る。

ステップＳ６において、出力部１０８は、照合結果チェック部１０６の、人物の入替えの有無を示す、図示せぬカウンタManStatusが入替り有りを示す値であるか否かを判定する。例えば、カウンタManStatusが入替り有りを示す値ではない場合、処理は、ステップＳ１に戻る。尚、人物の入替えの有無を示す、図示せぬカウンタManStatusについては、詳細を後述する。

すなわち、人物の入替りがあったと判定されるまで、ステップＳ１乃至Ｓ７の処理が繰り返される。また、ステップＳ６の処理においては、その間、図６のフローチャートを参照して説明したように、カウンタReturn1が「特徴量バッファ登録完了」示す値となるまで、ステップＳ２１，Ｓ２２の処理が繰り返される。そして、ステップＳ２２において、カウンタReturn1が「特徴量バッファ登録完了」示す値であると判定されると、処理は、ステップＳ２３に進む。

ステップＳ２３において、類似度バックアップ処理が実行され、入替り判定処理の処理の段階に併せて、最新照合結果バッファ１５１ａの情報が、照合結果テーブル１０７にバックアップされる。

［類似度バックアップ処理］
ここで、図８のフローチャートを参照して、類似度バックアップ処理について説明する。

ステップＳ６１において、バックアップ処理部１５１ｃは、図示せぬカウンタｍを１に初期化する。

ステップＳ６２において、バックアップ処理部１５１ｃは、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrが、「段階ｍ」を示す値であるか否かを判定する。例えば、最初の処理の場合、カウンタCheckPrが段階１（ｍ＝１）であれば、カウンタCheckPrが「段階ｍ」を示す値であると判定され、処理は、ステップＳ６３に進む。

ステップＳ６３において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第１最新照合結果を照合結果テーブル１０７における段階ｍの第１照合結果として登録する。

ステップＳ６４において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第２最新照合結果を照合結果テーブル１０７における段階ｍの第２照合結果として登録する。

ステップＳ６５において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第３最新照合結果を照合結果テーブル１０７における段階ｍの第３照合結果として登録する。

ステップＳ６６において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第４最新照合結果を照合結果テーブル１０７における段階ｍの第４照合結果として登録する。

ステップＳ６７において、バックアップ処理部１５１ｃは、最新照合結果バッファ１５１ａの第５最新照合結果を照合結果テーブル１０７における段階ｍの第５照合結果として登録する。

一方、ステップＳ６２において、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrが、段階ｍではないと判定された場合、ステップＳ６８において、カウンタｍが５より大きいか否かを判定し、大きい場合、処理を終了する。

また、ステップＳ６８において、カウンタｍが、５よも大きくない場合、ステップＳ６９において、バックアップ処理部１５１ｃは、カウンタｍを１インクリメントして処理は、ステップＳ６２に戻る。

すなわち、今現在のカウンタCheckPrに対応する段階ｍとなるまで、ステップＳ６２，Ｓ６８，Ｓ６９の処理が繰り返されて、順次カウンタｍの値が１インクリメントされる。そして、対応する段階ｍを示すカウンタｍの値となったとき、ステップＳ６３乃至Ｓ６７の処理により、順次、最新照合結果バッファ１５１ａの値が、照合結果テーブル１０７の対応する段階ｍの第１照合結果乃至第５照合結果として登録される。

ここで、図６のフローチャートの説明に戻る。

ステップＳ２３の類似度バックアップ処理により、最新照合結果バッファ１５１ａに格納されていた直前の照合結果としての類似度が照合結果テーブル１０７に格納されると、処理は、ステップＳ２４に進む。

ステップＳ２４において、１対１照合部１５１は、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去特徴量バッファ１３５にそれぞれ格納されている特徴量とを用いて、１対５照合処理を実行し、照合結果を最新照合結果バッファ１５１ａに登録する。

［１対５照合処理］
ここで、図９のフローチャートを参照して、１対５照合処理について説明する。

ステップＳ７１において、１対１照合部１５１は、図示せぬカウンタｒを１に初期化する。

ステップＳ７２において、１対１照合部１５１は、類似度計算部１５１ｂを制御して、第ｒ過去辞書特徴量バッファ（１３０＋ｒ）に格納されている特徴量と、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納されている特徴量とを用いて類似度を計算する。より詳細には、特徴量として、例えば、目と目の距離、鼻と目の距離、または、口と鼻の距離などの情報を用いているような場合、類似度計算部１５１ｂは、それぞれの距離の比や、差などを用いて、類似しているほど高くなるようにスコア化することで、このスコアを類似度として計算する。

ステップＳ７３において、１対１照合部１５１は、類似度計算部１５１ｂにより計算された類似度を、最新照合結果バッファ１５１ａの第ｒ最新照合結果に登録する。

ステップＳ７４において、１対１照合部１５１は、カウンタｒが５以上であるか否かを判定する。ステップＳ７４において、例えば、カウンタｒが５以上ではないと判定された場合、ステップＳ７５において、１対１照合部１５１は、カウンタｒを１インクリメントし、処理は、ステップＳ７２に戻る。

すなわち、カウンタｒが１インクリメントされる毎に、第１乃至第５過去辞書特徴量バッファ１３１乃至１３５に格納されているそれぞれの特徴量と、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に格納されている特徴量とが用いられて類似度が求められ、最新照合結果バッファ１５１ａに第１乃至第５最新照合結果として順次登録される。

そして、ステップＳ７４において、カウンタｒが５以上であるとき、処理は終了する。

すなわち、この１対５照合処理により、最新照合特徴量に対して、直近の５フレーム前までの５個の過去画像特徴量との類似度が、照合結果として求められる。

ここで、図６のフローチャートの説明に戻る。

ステップＳ２４の１対５照合処理が終了すると、ステップＳ２５において、照合結果チェック部１０６は、照合結果チェック処理を実行し、１対５照合処理の照合結果に基づいて入替りの有無を判定する。

［照合結果チェック処理］
ここで、図１０のフローチャートを参照して、照合結果チェック処理について説明する。

ステップＳ８１において、照合結果チェック部１０６は、図示せぬカウンタｐを１に初期化する。

ステップＳ８２において、照合結果チェック部１０６は、入替り判定処理における処理の進行段階を示す図示せぬカウンタCheckPrが段階ｐであるか否かを判定する。ステップＳ８２において、例えば、カウンタCheckPrが段階ｐである場合、ステップＳ８３において、段階ｐチェック処理を実行する。

［段階ｐチェック処理］
ここで、図１１のフローチャートを参照して、段階ｐチェック処理について説明する。

ステップＳ１０１において、照合結果チェック部１０６は、図示せぬカウンタｑを１に初期化する。

ステップＳ１０２において、照合結果チェック部１０６は、最新照合結果バッファ１５１ａより第ｑ最新照合結果を読み出し、所定値よりも大きいか否か、すなわち、類似しているか否かを判定する。ステップＳ１０２において、例えば、最新照合結果バッファ１５１ａより第ｑ最新照合結果を読み出し、所定値よりも大きい場合、処理は、ステップＳ１０３に進む。

ステップＳ１０３において、照合結果チェック部１０６は、入替り判定処理における処理の進行段階が完了したか否かを示すカウンタReturn2をNG（No Good）を示す値に設定する。

一方、ステップＳ１０２において、例えば、最新照合結果バッファ１５１ａより第ｑ最新照合結果を読み出し、所定値よりも大きくない場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、照合結果チェック部１０６は、カウンタｑが、（６−ｐ）よりも大きいか否かを判定する。ステップＳ１０４において、例えば、カウンタｑが、（６−ｐ）よりも大きくない場合、ステップＳ１０５において、照合結果チェック部１０６は、カウンタｑを１インクリメントして、処理は、ステップＳ１０２に戻る。

すなわち、照合結果チェック部１０６は、カウンタｑが段階ｐに対応付けて設定される値に応じた最新照合結果が、所定値と比較される。

すなわち、最新照合結果が全て所定値よりも大きくない場合、照合結果チェック部１０６は、段階ｐが１のとき、第１乃至第５最新照合結果のぞれぞれを所定値と比較し、段階ｐが２のとき、第１乃至第４最新照合結果のぞれぞれを所定値と比較し、段階ｐが３のとき、第１乃至第３最新照合結果のぞれぞれを所定値と比較し、段階ｐが４のとき、第１乃至第２最新照合結果のぞれぞれを所定値と比較し、段階ｐが５のとき、第１最新照合結果のみを所定値と比較する。

そして、いずれかの最新照合結果が所定値よりも大きい場合、処理は、ステップＳ１０３に進む。

一方、全ての最新照合結果が所定値よりも大きくない場合、ステップＳ１０６において、照合結果チェック部１０６は、カウンタｐが１であるか否かを判定する。ステップＳ１０６において、例えば、カウンタｐが１であるとき、ステップＳ１０７において、照合結果チェック部１０６は、最新照合結果バッファ１５１ａに格納されている第１乃至第５最新照合結果の平均値が、照合結果テーブル１０７に格納されている段階１の第１照合結果乃至第５照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１０７において、最新照合結果バッファ１５１ａに格納されている第１乃至第５最新照合結果の平均値が、照合結果テーブル１０７に格納されている段階１の第１照合結果乃至第５照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階１の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１０７において、最新照合結果バッファ１５１ａに格納されている第１乃至第５最新照合結果の平均値が、照合結果テーブル１０７に格納されている段階１の第１照合結果乃至第５照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階１の処理が完了していることを示すOKを示す値を記憶させる。

また、ステップＳ１０６において、カウンタｐが１ではない場合、ステップＳ１０９において、照合結果チェック部１０６は、カウンタｐが２であるか否かを判定する。ステップＳ１０９において、例えば、カウンタｐが２であるとき、ステップＳ１１０において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、および第１乃至第４最新照合結果の平均値が、第５最新照合結果よりも大きいか否かを判定する。

ステップＳ１１０において、段階２の第１乃至第５照合結果、および第１乃至第４最新照合結果の平均値が、第５最新照合結果よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階２の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１０において、段階２の第１乃至第５照合結果、および第１乃至第４最新照合結果の平均値が、第５最新照合結果よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階２の処理が完了しているOKを示す値を記憶させる。

さらに、ステップＳ１０９において、カウンタｐが２ではない場合、ステップＳ１１１において、照合結果チェック部１０６は、カウンタｐが３であるか否かを判定する。ステップＳ１１１において、例えば、カウンタｐが３であるとき、ステップＳ１１２において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、および第１乃至第３最新照合結果の平均値が、段階３の第５照合結果、および第４，第５最新照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１１２において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、および第１乃至第３最新照合結果の平均値が、段階３の第５照合結果、および第４，第５最新照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階３の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１２において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、および第１乃至第３最新照合結果の平均値が、段階３の第５照合結果、および第４，第５最新照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階３の処理が完了しているOKを示す値を記憶させる。

また、ステップＳ１１１において、カウンタｐが３ではない場合、ステップＳ１１３において、照合結果チェック部１０６は、カウンタｐが４であるか否かを判定する。ステップＳ１１３において、例えば、カウンタｐが４であるとき、ステップＳ１１４において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１，第２最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、および第３乃至第５最新照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１１４において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１，第２最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、および第３乃至第５最新照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階４の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１４において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１，第２最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、および第３乃至第５最新照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階４の処理が完了しているOKを示す値を記憶させる。

さらに、ステップＳ１１３において、カウンタｐが４ではない場合、すなわち、カウンタｐが１乃至４のいずれでもない場合、カウンタｐは５となるので、ステップＳ１１５において、照合結果チェック部１０６は、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，第２照合結果、および第１最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、段階５の第３乃至第５照合結果、および第２乃至第５最新照合結果の平均値よりも大きいか否かを判定する。

ステップＳ１１５において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，第２照合結果、および第１最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、段階５の第３乃至第５照合結果、および第２乃至第５最新照合結果の平均値よりも大きい場合、処理は、ステップＳ１０３に進む。すなわち、段階４の処理が完了していないものとしてカウンタReturn2にNGを示す値が記憶される。

一方、ステップＳ１１５において、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，第２照合結果、および第１最新照合結果の平均値が、段階３の第５照合結果、段階４の第４，第５照合結果、段階５の第３乃至第５照合結果、および第２乃至第５最新照合結果の平均値よりも大きくない場合、ステップＳ１０８において、照合結果チェック部１０６は、カウンタReturn2に、段階４の処理が完了しているOKを示す値を記憶させる。

以上の処理により段階ｐにおける処理が完了しているか否かが判定されて判定結果が、カウンタReturn2に記憶される。

ここで、図１０のフローチャートの説明に戻る。

ステップＳ８３の処理により、段階ｐチェック処理が完了して、段階ｐにおける処理が完了したか否かが判定されると、ステップＳ８４において、照合結果チェック部１０６は、カウンタReturn2が、段階ｐにおける処理が完了しているOKを示す値であるか否かを判定する。

ステップＳ８４において、カウンタReturn2がOKを示す値であった場合、ステップＳ８５において、照合結果チェック部１０６は、カウンタｐが５であるか否かを判定する。ステップＳ８５において、カウンタｐが５ではない場合、ステップＳ８６において、照合結果チェック部１０６は、カウンタCheckPrを１インクリメントし、処理の段階を１段階進ませる。したがって、例えば、最初の処理の場合、カウンタCheckPrは、インクリメントされることにより、段階１を示す値から段階２を示す値に更新される。

ステップＳ８７において、照合結果チェック部１０６は、カウンタManStatusを「入替えなし」を示す値に設定し、処理を終了する。

一方、ステップＳ８２において、カウンタCheckPrが段階ｐではない場合、ステップＳ９０において、照合結果チェック部１０６は、カウンタｐが５以上であるか否かを判定し、５以上ではない場合、処理は、ステップＳ９１に進む。

ステップＳ９１において、照合結果チェック部１０６は、カウンタCheckPrを１インクリメントさせて、処理は、ステップＳ８２に戻る。

すなわち、今の現在の処理の段階が特定できるまで、ステップＳ８２，Ｓ９０，Ｓ９１の処理が繰り返され、処理の段階が特定できると、処理は、ステップＳ８３に進み、段階ｐに対応した段階ｐチェック処理が実行される。また、カウンタｐが５を超えた場合、すなわち、そのいずれでもないような場合、ステップＳ９２において、照合結果チェック部１０６は、カウンタCheckPrを段階１に設定する。すなわち、カウンタCheckPrは、最も初期の処理段階に設定される。

さらに、ステップＳ８４において、カウンタReturn2がOKを示す値ではない場合、ステップＳ８９において、照合結果チェック部１０６は、カウンタCheckPrを段階１に設定し、ステップＳ８７の処理をスキップして終了する。すなわち、カウンタManStatusは「入替えなし」の状態のまま維持される。

また、ステップＳ８５において、カウンタｐが５である場合、段階１乃至５の処理全てが完了しているものとみなし、ステップＳ８８において、照合結果チェック部１０６は、カウンタManStatusを「入替えあり」を示す値に設定し、処理は、ステップＳ８９に進む。

以上の処理により、各段階１乃至５の処理の進行状態に応じて、カウンタCheckPrがインクリメントされ、全ての段階の処理が完了したところで、人の入替えの有無を示すカウンタManStatusを「入替えあり」を示す値に設定することにより、人の入替えを検出する。

ここで、図６のフローチャートの説明に戻る。

ステップＳ２５の処理により、照合結果チェック処理が終了すると、ステップＳ２６において、テーブル更新処理が実行されて、辞書特徴量テーブル１０４が更新される。

［テーブル更新処理］
ここで、図１２のフローチャートを参照して、テーブル更新処理について説明する。

ステップＳ１２１において、更新部１５２ｂは、図示せぬカウンタｓを１に初期化する。

ステップＳ１２２において、更新部１５２ｂは、第ｓ過去辞書特徴量バッファ（１３０＋ｓ）に登録されている特徴量を削除する（クリアする）。

ステップＳ１２３において、更新部１５２ｂは、第（ｓ＋１）過去辞書特徴量バッファ（１３０＋（ｓ＋１））に登録されている特徴量を読み出し、第ｓ過去辞書特徴量バッファ（１３０＋ｓ）に登録する。

ステップＳ１２４において、更新部１５２ｂは、カウンタｓが４以上であるか否かを判定し、４以上ではない場合、ステップＳ１２５において、カウンタｓを１インクリメントして、処理は、ステップＳ１２２に戻る。

すなわち、カウンタｓが４となるまで、ステップＳ１２２乃至Ｓ１２５の処理が繰り返されることにより、第２過去辞書特徴量バッファ１３２乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量の情報が順次繰り上がって、第１過去辞書特徴量バッファ１３１乃至第４過去辞書特徴量バッファ１３４に登録される。

そして、ステップＳ１２４において、カウンタｓが４以上であると判定された場合、ステップＳ１２６において、更新部１５２ｂは、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている最新照合特徴量を読み出して、第５過去辞書特徴量バッファ１３５に登録し、処理を終了する。

すなわち、テーブル更新処理により第２過去辞書特徴量バッファ１３２の特徴量の情報が第１過去辞書特徴量バッファ１３１に繰り上がって登録され、第３過去辞書特徴量バッファ１３３の特徴量の情報が第２過去辞書特徴量バッファ１３２に繰り上がって登録され、第４過去辞書特徴量バッファ１３４の特徴量の情報が第３過去辞書特徴量バッファ１３３に繰り上がって登録され、第５過去辞書特徴量バッファ１３５の特徴量の情報が第４過去辞書特徴量バッファ１３４に繰り上がって登録され、最新照合特徴量バッファ１４１の特徴量の情報が第５過去辞書特徴量バッファ１３５に繰り上がって登録されることになる。

ここで、図６のフローチャートの説明に戻る。

ステップＳ２６のテーブル更新処理が終了すると、入替り判定処理が終了する。

ここで、図５のフローチャートの説明に戻る。

ステップＳ７において、出力部１０８は、照合結果チェック部１０６のカウンタManStatusに「入替りあり」を示す値が登録されているか否かを判定し、例えば、カウンタManStatusに「入替りあり」を示す値が登録されていない場合、処理は、ステップＳ１に戻る。

また、ステップＳ７において、カウンタManStatusに「入替りあり」を示す値が登録されていると判定された場合、顔検出部１０１より供給されてきている顔画像を後段の顔画像認識装置２１に出力する。

以上の入替り判定処理を、図１３を参照して、具体的な例を用いて、説明すると以下のようになる。尚、図１３においては、最上段で示されるように、時系列に顔画像Ｐ１乃至Ｐ１５が供給されるような場合であって、顔画像Ｐ１乃至Ｐ７が遊技者Ａの顔画像であり、顔画像Ｐ８乃至Ｐ１５が遊技者Ｂの顔画像である。従って、図１３においては、１回目の処理で顔画像Ｐ１が処理され、２回目の処理で顔画像Ｐ２が処理され、・・・１５回目の処理で顔画像Ｐ１５が処理されることになる。

このとき、１回目の処理においては、図１３の２段目で示されるように、図６のフローチャートにおけるステップＳ２１，Ｓ２２の処理が実行され、さらに、ステップＳ２２の処理に対応する、図７のステップＳ４１乃至Ｓ４５の処理により、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１に顔画像Ｐ１の特徴量が登録され、カウンタReturn1には、「特徴量バッファ登録未完了」を示す値が登録される。

また、２回目の処理においては、やはり、図６のフローチャートにおけるステップＳ２１，Ｓ２２の処理が実行され、さらに、ステップＳ２２の処理に対応する、図７のステップＳ４１乃至Ｓ４７の処理により、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１、および第２過去辞書特徴量バッファ１３２に、それぞれ顔画像Ｐ１，Ｐ２の特徴量が登録され、いずれにおいても、カウンタReturn1には、「特徴量バッファ登録未完了」を示す値が登録されたままの状態となる。

そして、同様の処理が繰り替えされることにより、５回目の処理においては、図６のフローチャートにおけるステップＳ２１，Ｓ２２の処理が実行され、さらに、ステップＳ２２の処理に対応する、図７のステップＳ４１乃至Ｓ４８の処理により、辞書特徴量テーブル１０４の第１乃至第５過去辞書特徴量バッファ１３１乃至１３５に、それぞれ顔画像Ｐ１乃至Ｐ５の特徴量が登録され、カウンタReturn1には、「特徴量バッファ登録完了」を示す値が登録される。

この結果、6回目の処理においては、図６のフローチャートのステップＳ２２の処理において、カウンタReturn1には、「特徴量バッファ登録完了」を示す値が登録されているので、６回目以降の処理では、ステップＳ２３乃至Ｓ２６に進む。そして、ステップＳ２４の１対５照合処理においては、図１３の３段目で示されるように、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている顔画像Ｐ６の特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５のそれぞれに登録されている顔画像Ｐ１乃至Ｐ５の特徴量との類似度が求められて、最新照合結果バッファ１５１ａの第１乃至第５最新照合結果として登録される。

さらに、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の段階ｐチェック処理のステップＳ１０２（図１１）の処理においては、図１３の３段目で示される照合結果のように、顔画像Ｐ１乃至Ｐ６は、同一人物の顔画像であるので、第１乃至第５最新照合結果として登録されている全ての類似度が閾値よりも高い結果となる。尚、図１３においては、類似度が所定値よりも高い顔画像の下に丸印が付されており、逆に類似度が所定値よりも低い顔画像の下にバツ印が付されている。ただし、図１１のフローチャートにおいては、第１最新照合結果が所定値よりも高い場合、第２乃至第５最新照合結果と所定値との比較処理は、省略され、処理が打ち切られている。

また、７回目の処理においては、図１３の４段目で示されるように、照合特徴量テーブル１０３の最新照合特徴量バッファ１４１に登録されている顔画像Ｐ７の特徴量と、辞書特徴量テーブル１０４の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５のそれぞれに登録されている顔画像Ｐ２乃至Ｐ６の特徴量との類似度が求められて、最新照合結果バッファ１５１ａの第１乃至第５最新照合結果として登録される。

このとき、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の段階ｐチェック処理のステップＳ１０２（図１１）の処理においては、図１３の４段目で示される照合結果のように、顔画像Ｐ２乃至Ｐ７は、同一人物の顔画像であるので、第１乃至第５最新照合結果として登録されている全ての類似度が所定値よりも高い結果となる。また、入替り判定処理における進行段階を示すカウンタCheckPrは段階１のままである。さらに、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusは、「入替りなし」を示す値が登録される。

さらに、８回目の処理においては、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の段階ｐチェック処理（カウンタｐ＝１なので段階１チェック処理である）のステップＳ１０２（図１１）の処理においては、図１３の５段目で示される照合結果のように、顔画像Ｐ３乃至Ｐ７の人物と、顔画像Ｐ８の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている全ての類似度が所定値よりも低い結果となる。この結果、図１１のステップＳ１０６乃至Ｓ１０８の処理により、カウンタReturn2には、段階１の完了を示す「OK」を示す値が登録される。この結果、ステップＳ８６の処理により、入替り判定処理における進行段階を示すカウンタCheckPrが段階１から段階２に進行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusには、「入替りなし」を示す値が登録される。

また、９回目の処理においては、カウンタCheckPrが段階２として登録されているので、カウンタｐが２にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階２チェック処理となる。そして、段階２チェック処理のステップＳ１０２（図１１）の処理においては、図１３の６段目で示される照合結果のように、顔画像Ｐ４乃至Ｐ７の人物と、顔画像Ｐ８，Ｐ９の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２乃至Ｓ１０４の処理は、第１乃至第４最新照合結果が所定値よりも高いか否かを判定する４回の処理の繰り返され、ステップＳ１０６，Ｓ１０９，Ｓ１１０，Ｓ１０８の処理により、カウンタReturn2には、段階２の完了を示す「OK」を示す値が登録される。このため、図１０のステップＳ８２，Ｓ９０，Ｓ９１の処理により、カウンタCheckPrが段階２から段階３に移行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusには、「入替りなし」を示す値が登録される。

さらに、１０回目の処理においては、カウンタCheckPrが段階３として登録されているので、カウンタｐが３にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階３チェック処理となる。そして、段階３チェック処理のステップＳ１０２（図１１）の処理においては、図１３の７段目で示される照合結果のように、顔画像Ｐ５乃至Ｐ７の人物と、顔画像Ｐ８乃至Ｐ１０の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第４，５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２の処理は、第１乃至第３最新照合結果が所定値よりも高いか否かを判定する３回の処理が繰り返され、ステップＳ１０６，Ｓ１１１，Ｓ１１２，Ｓ１０８の処理により、カウンタReturn2には、段階３の完了を示す「OK」を示す値が登録される。このため、図１０のステップＳ８２，Ｓ９０，Ｓ９１の処理により、カウンタCheckPrが段階３から段階４に移行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusには、「入替りなし」を示す値が登録される。

また、１１回目の処理においては、カウンタCheckPrが段階４として登録されているので、カウンタｐが４にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階４チェック処理となる。そして、段階４チェック処理のステップＳ１０２（図１１）の処理においては、図１３の８段目で示される照合結果のように、顔画像Ｐ６，Ｐ７の人物と、顔画像Ｐ８乃至Ｐ１１の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第３乃至第５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２の処理は、第１，２最新照合結果が所定値よりも高いか否かを判定する２回の処理が繰り返され、ステップＳ１０６，Ｓ１０９，Ｓ１１１，Ｓ１１３，Ｓ１１４，Ｓ１０８の処理により、カウンタReturn2が段階４の完了を示す「OK」を示す値が登録される。このため、図１０のステップＳ８２，Ｓ９０，Ｓ９１の処理により、カウンタCheckPrが段階４から段階５に移行するが、ステップＳ８７の処理により、人物の入替りの有無を示すカウンタManStatusは、「入替りなし」を示す値が登録される。

さらに、１２回目の処理においては、カウンタCheckPrが段階５として登録されているので、カウンタｐが５にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８３の処理は、段階５チェック処理となる。そして、段階５チェック処理のステップＳ１０２（図１１）の処理においては、図１３の９段目で示される照合結果のように、顔画像Ｐ７の人物と、顔画像Ｐ８乃至Ｐ１２の人物とは、別の人物の顔画像であるので、第１乃至第５最新照合結果として登録されている類似度のうち、第２乃至第５最新照合結果に登録されている類似度は所定値よりも高くなるが、それ以外の類似度は所定値よりも低い結果となる。この結果、ステップＳ１０２の処理は、第１最新照合結果が所定値よりも高いか否かを判定する１回の処理のみで、ステップＳ１０６，Ｓ１０９，Ｓ１１１，Ｓ１１３，Ｓ１１５，Ｓ１０８の処理により、カウンタReturn2が段階５の完了を示す「OK」を示す値が登録される。このため、図１０のステップＳ８５，Ｓ８８の処理により、人物の入替りの有無を示すカウンタManStatusは、「入替りあり」を示す値が登録される。

そして、１３回目の処理においては、カウンタCheckPrが段階５として登録されているので、カウンタｐが５にインクリメントされるため、ステップＳ２５の照合結果チェック処理における、ステップＳ８２，Ｓ９０，Ｓ９１を経て、ステップＳ９２の処理により、人物の入替りの有無を示すカウンタManStatusが、「入替りなし」を示す値が登録されて、以降同様の処理が繰り返される。

以上の処理を纏めると、最新照合特徴量バッファ１４１に登録されている特徴量と、辞書特徴量テーブル１０４に登録されている直近の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量とが類似しているバッファの連続数が、連続的に増加し、図１３における１２回目の処理で示されるように、第５過去辞書特徴量バッファ１３５乃至第２過去辞書特徴量１３２までも４回連続的に類似していると判定されるとき、入替りがあると判定される。

換言すれば、最新照合特徴量バッファ１４１に登録されている特徴量と、第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量とが類似していない過去辞書特徴量バッファの連続数が、連続的に減少し、最も古い第１過去辞書特徴量バッファ１３１に登録されている特徴量のみとなったとき、入替りがあると判定される。

この処理において、最新照合特徴量バッファ１４１に登録されている特徴量と、辞書特徴量テーブル１０４に登録されている直近の第１過去辞書特徴量バッファ１３１乃至第５過去辞書特徴量バッファ１３５に登録されている特徴量とが類似している第５過去辞書特徴量バッファ１３５からの連続数は、上述したカウンタCheckPrで示される処理の段階で表現されている。したがって、同一の人物の顔画像が検出されている限り、処理の段階を示すカウンタCheckPrは、段階１を示す値が登録されたままの状態が継続する。しかしながら、人物が入替り異なる人物の顔画像が検出され出すと、入替りが発生したタイミングにおいて、類似度が一旦全て所定値より低い値となった後、カウンタCheckPrは、直近の過去辞書特徴量バッファに登録されている特徴量から所定値よりも高い類似度が連続して取得されていくことにより、処理回数に応じて連続的に段階が進行し、上述の例においては、段階１から最終的に段階５へと４回連続で進行すると、入替りが発生していることが判定されることになる。

このため、例えば、図１４の２段目で示されるように、８回目、および９回目の処理で、同一人物の顔が横を向くなどすると、別の人物の顔画像であるものとして認識されるので、処理結果は、図１３における８回目、および９回目の処理で示されるように、別の人物の顔画像が検出された場合の処理結果と同様になる。

しかしながら、同一人物が遊技機に向かって長時間別の向きを向いている時間は、それ程長いことはないことが多いため、例えば、１０回目の処理で元の向きになると、図１４の４段目で示されるように、第４過去辞書特徴量バッファ１３４、および第５過去辞書特徴量バッファ１３５に登録されている特徴量と、最新照合特徴量バッファ１４１に登録されている特徴量との類似度は、所定値よりも低くなり、第１過去辞書特徴量バッファ１３１乃至第３過去辞書特徴量バッファ１３３に登録されている特徴量との類似度は所定値よりも高くなるので、図１１のステップＳ１０２の処理において、第３過去辞書特徴量バッファ１３３の特徴量との類似度が所定値よりも高くなり、カウンタReturn2が、「NG」を示す値に登録されることにより、図１０のステップＳ８４，Ｓ８９の処理により、カウンタCheckPrが段階１を示す値に登録されることになる。結果として、カウンタCheckPrが連続的に進行せず、人物の入替りがないものとして扱われることになり、同一人物であれば、顔向きが多少変化しても人物の入替りの誤検出を低減することが可能となる。

尚、図１１のフローチャートを参照して説明した段階ｐチェック処理においては、段階１乃至５のいずれにおいても、第１乃至第５最新照合結果に登録された類似度のうち、所定値よりも大きいか否かについて直接判定する処理が含まれていないが、段階１については、ステップＳ１０７の処理により、段階２については、ステップＳ１１０の処理により、段階３については、ステップＳ１１２の処理により、段階４については、ステップＳ１１４の処理により、そして、段階５について、ステップＳ１１５の処理により実質的に同様の判定処理が実行されている。

すなわち、ステップＳ１０７においては、例えば、図１３の７回目および８回目の処理結果で示されるように、最新照合結果バッファ１５１ａに登録されている照合結果の平均値と、直前のタイミングの照合結果である照合結果テーブル１０７における段階１の第１照合結果乃至第５照合結果の平均値とを比較することにより、最新照合結果バッファ１５１ａに登録された照合結果が、直前の人物とは、別の人物の顔画像であるか否かが判定されている。

また、ステップＳ１１０においては、例えば、図１３の８回目および９回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１照合結果乃至第５照合結果、および第１乃至４最新照合結果の平均値が、所定値よりも高いと仮定される第５最新照合結果よりもよりも大きくないことを確認的に求めることにより、実質的に、第５最新照合結果が所定値よりも高いことが、確認的に求められている。

さらに、ステップＳ１１２においては、例えば、図１３の８乃至１０回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２，３の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１照合結果乃至第５照合結果、段階３の第１照合結果乃至第４照合結果、および第１乃至３最新照合結果の平均値が、所定値よりも高いと仮定される段階２の第５照合結果、および第４，５最新照合結果の平均値よりもよりも大きくないことを確認的に求めることにより、実質的に、第４，５最新照合結果が所定値よりも高いことが、確認的に求められている。

また、ステップＳ１１４においては、例えば、図１３の８乃至１１回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２乃至４の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、および第１乃至２最新照合結果の平均値が、所定値よりも高いと仮定される段階３の５照合結果、段階４の第４，５照合結果、および第３乃至５最新照合結果の平均値よりもよりも大きくないことを確認的に求めることにより、実質的に、第３乃至５最新照合結果が所定値よりも高いことが、確認的に求められている。

さらに、ステップＳ１１５においては、例えば、図１３の８乃至１２回目の処理結果で示されるように、最新照合結果バッファ１５１ａの照合結果と、直前のタイミングの照合結果である照合結果テーブル１０７における段階２乃至５の第１照合結果乃至第５照合結果のうち、所定値よりも低いと仮定される、段階２の第１乃至第５照合結果、段階３の第１乃至第４照合結果、段階４の第１乃至第３照合結果、段階５の第１，２照合結果、および第１最新照合結果の平均値が、所定値よりも高いと仮定される段階３の５照合結果、段階４の第４，５照合結果、段階３の第３乃至５照合結果、および第２乃至５最新照合結果の平均値よりもよりも大きくないことを確認的に求めることにより、実質的に、第２乃至５最新照合結果が所定値よりも高いことが、確認的に求められている。

尚、以上においては、辞書特徴量テーブル１０４に５フレーム分の特徴量を登録する例について説明してきたが、５フレーム分に限るものではなく、その他のフレーム数であっても良い。また、以上においては、段階の進行が４回連続して進行したとき、入替りありを判定する例について説明してきたが、それ以外の回数だけ進行したときに入替りありと判定するようにしても良い。

以上の如く、カメラ３８により撮像された遊技機の周辺にて遊技者の顔画像を連続して取得して、取得した顔画像の特徴量を順次更新して照合特徴量テーブル１０３に格納し、所定の期間だけ前のタイミングから照合画像テーブルに登録された顔画像を時系列に順次辞書特徴量テーブル１０４に登録し、辞書特徴量テーブル１０４内の複数の特徴量と、照合特徴量テーブル１０３内の特徴量との類似度をそれぞれ算出し、照合特徴量テーブル１０３内の特徴量と、辞書特徴量テーブル１０４内の複数の顔画像との類似度の組を、所定の期間だけ前のタイミングから段階毎に順次照合結果テーブル１０７に記憶し、照合結果テーブル１０７に記憶されている照合結果と、所定の条件との比較により、遊技者の入替りを判定するようにしたので、同一人物が、顔を横に向けるなどといった変化によって、人物の入替りが誤検出されないようにすることができるので、適切に人物の入替りを判定することができる。

結果として、登録されるべき顔画像を正確に選別し、適正な顔画像のみを登録顔画像として保存することが可能となるので、顔画像による認識能力を向上させることが可能となる。

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１５は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

１０１ 顔検出部
１０２ 簡易特徴量抽出部
１０３ 照合特徴量テーブル
１０４ 辞書特徴量テーブル
１０５ テーブル管理部
１０６ 照合結果チェック部
１０７ 照合結果テーブル
１０８ 出力部
１３１乃至１３５ 第１過去辞書特徴量バッファ乃至第５過去辞書特徴量バッファ
１４１ 最新照合特徴量バッファ
１５１ １対１照合部
１５１ａ 最新照合結果バッファ
１５１ｂ 類似度計算部
１５１ｃ バックアップ処理部
１５２ テーブル更新部
１５２ａ 登録部
１５２ｂ 更新部

Claims (4)

1. 遊技機の周辺にて遊技者の顔画像を連続して取得する取得手段と、
   前記取得手段により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録手段と、
   所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録手段と、
   前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出手段と、
   前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶手段と、
   前記照合結果記憶手段に記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定手段と
   を含む画像処理装置。
2. 前記顔画像より特徴量を抽出する抽出手段をさらに含み、
   前記照合画像テーブル登録手段は、前記取得手段により取得した顔画像の特徴量を、前記顔画像として照合画像テーブルに格納し、
   前記辞書画像テーブル登録手段は、前記所定の期間だけ前のタイミングから前記取得手段により取得した複数の顔画像の特徴量を時系列に、前記顔画像として辞書画像テーブルに登録し、
   前記類似度算出手段は、前記辞書画像テーブル内の複数の顔画像の特徴量と、前記照合画像テーブル内の顔画像の特徴量とを用いて類似度を算出する
   請求項１に記載の画像処理装置。
3. 遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、
   前記取得ステップの処理により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、
   所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、
   前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出ステップと、
   前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、
   前記照合結果記憶ステップの処理により記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定ステップと
   を含む画像処理方法。
4. 遊技機の周辺にて遊技者の顔画像を連続して取得する取得ステップと、
   前記取得ステップの処理により取得した顔画像を順次更新して照合画像テーブルに格納する照合画像テーブル登録ステップと、
   所定の期間だけ前のタイミングから前記照合画像テーブルに登録された顔画像を時系列に順次辞書画像テーブルに登録する辞書画像テーブル登録ステップと、
   前記辞書画像テーブル内の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度をそれぞれ算出する類似度算出ステップと、
   前記照合画像テーブル内の顔画像と、前記辞書画像テーブル内の複数の顔画像との前記類似度の組を、前記所定の期間だけ前のタイミングから照合画像毎に順次照合結果として記憶する照合結果記憶ステップと、
   前記照合結果記憶ステップの処理により記憶されている、前記辞書画像テーブル内の直近の複数の顔画像と、前記照合画像テーブル内の顔画像との類似度が全て所定の閾値よりも小さい値となった後、前記照合画像テーブルの顔画像が順次更新される毎に、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となった後に、更新された顔画像との類似度を用いた所定の演算により得られる値が、前記照合画像テーブルの顔画像と、前記辞書画像テーブル内の顔画像のうちの、前記類似度が全て所定の閾値よりも小さい値となる以前に、更新された顔画像との類似度を用いた前記所定の演算により得られる値よりも高い状態が、所定回数繰り返されるか否かに基づいて、前記遊技者の入替りを判定する入替り判定ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images