以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
すなわち、本発明の一側面の情報処理装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段(例えば、図10の生体情報データベース22)と、前記蓄積者の顔画像より特徴量を抽出し、抽出された特徴量に基づいて、前記蓄積者データベースに蓄積されている全ての顔画像間の類似度を求める類似度計算手段(例えば、図10の総当照合部251)と、前記顔画像間の類似度が第1の閾値よりも高い顔画像同士を同一の第1のグループとしてグループ化する第1グループ化手段(例えば、図10の1次グループ化部253)と、前記第1のグループのいずれにもグループ化されない顔画像間の類似度が前記第1の閾値よりも低い第2の閾値よりも高い顔画像同士を同一の第2のグループとしてグループ化する第2グループ化手段(例えば、図10の2次グループ化部256)とを含む。
前記第1のグループとしてグループ化されなかった顔画像のうち、前記第1のグループとしてグループ化された顔画像との類似度が、前記第1の閾値よりも低い第3の閾値よりも高い顔画像を、前記第1のグループとして拡張してグループ化させる拡張第1グループ化手段(例えば、図10の拡張1次グループ化部)をさらに含ませるようにすることができる。
前記第1グループ化手段により第1グループのいずれかにグループ化された顔画像、および前記第2グループ化手段により第2のグループのいずれかにグループ化された顔画像の情報に基づいて、前記蓄積者データベースに蓄積されている顔画像の人物の傾向を解析する解析手段(例えば、図10の解析部228)をさらに含ませるようにすることができる。
本発明の一側面の情報処理方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、前記蓄積者の顔画像より特徴量を抽出し、抽出された特徴量に基づいて、前記蓄積者データベースに蓄積されている全ての顔画像間の類似度を求める類似度計算手段と、前記顔画像間の類似度が第1の閾値よりも高い顔画像同士を同一の第1のグループとしてグループ化する第1グループ化手段と、前記第1のグループのいずれにもグループ化されない顔画像間の類似度が前記第1の閾値よりも低い第2の閾値よりも高い顔画像同士を同一の第2のグループとしてグループ化する第2グループ化手段とを含む情報処理装置の情報処理方法であって、前記類似度計算手段における、前記蓄積者の顔画像より特徴量を抽出し、抽出された特徴量に基づいて、前記蓄積者データベースに蓄積されている全ての顔画像間の類似度を求める類似度計算ステップ(例えば、図11のステップS2)と、前記第1グループ化手段における、前記顔画像間の類似度が第1の閾値よりも高い顔画像同士を同一の第1のグループとしてグループ化する第1グループ化ステップ(例えば、図11のステップS3)と、前記第2グループ化手段における、前記第1のグループのいずれにもグループ化されない顔画像間の類似度が前記第1の閾値よりも低い第2の閾値よりも高い顔画像同士を同一の第2のグループとしてグループ化する第2グループ化ステップ(例えば、図11のステップS5)とを含む。
[監視システムの構成例]
図1は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
遊技店1−1乃至1−nは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店1−1乃至1−nは、系列店舗または生体情報管理センタや第3者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店1−1乃至1−nは、生体情報管理バス6および第3者遊技店管理バス7により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網8,9を介して、相互にそれぞれ生体情報、および第3者遊技店管理情報を授受している。尚、以降において、遊技店1−1乃至1−nのそれぞれについて、特に区別する必要がない場合、単に、遊技店1と称するものとし、その他の構成についても同様に称するものとする。
生体情報管理バス6は、主に各遊技店1の生体情報認識装置21により管理される生体情報を流通させるための伝送路として機能する。また、第3者遊技店管理バス7は、主に各遊技店1の媒体貸出管理装置27により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
生体情報管理センタ2は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース(以降、DBとも称するものとする)3で管理されている登録遊技者DBを各遊技店1により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店1の生体情報認識装置21に対して配信する。
第3者遊技店管理センタ4は、第3者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第3者遊技店管理データベース(DB)5で管理されている媒体貸出管理情報からなるDBを各遊技店1より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店1の媒体貸出管理装置27に対して配信する。
生体情報認識装置21は、カメラ38−1乃至38−m、入口カメラ40−1乃至40−p、および店内カメラ41−1乃至41−qにより撮像された画像より画像処理ユニット39−1乃至39−(m+p+q)により抽出されて、生体情報バス31を介して供給されてくる顔画像の情報に基づいて、生体情報データベース22に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末20に通知したり、LCD(Liquid Crystal Display)または有機EL(Electronic Luminescent)などからなる表示部23に表示する。また、生体情報データベース22に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置21は、生体情報管理データベース3にアクセスし、未登録者として未登録遊技者DBに登録する。
遊技店管理装置24は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス30を介して遊技台36−1乃至36−mの動作を監視している。遊技店管理装置24は、遊技台36の出玉もしくはメダルの払い出しの情報、各遊技台36−1乃至36−mの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をLCDや有機ELなどからなる表示部25に表示する。遊技店管理装置24は、計数機35、遊技台36−1乃至36−m、および遊技台周辺端末37−1乃至37−mのそれぞれより供給されてくる情報を、それぞれを識別する識別情報(例えば、遊技台番号)とを対応付けて遊技台管理データベース26により管理する。
媒体貸出管理装置27は、精算販売機33、および貸出機34からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース29を用いて管理すると供に、媒体貸出管理データベース29に登録されている媒体貸出管理情報を更新する際、その更新情報を、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4に送る。さらに、媒体貸出管理装置27は、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース29に蓄積させる。
貸出機34は、遊技者が遊技台36で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機34は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置27に供給する。これにより、媒体貸出管理装置27は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース29に登録する。
精算販売機33は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機33は、販売したプリペイドカードの度数を払いうけた金額を媒体貸出管理装置27に供給する。また、精算販売機33は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機33は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置27に供給する。
計数機35は、遊技者が遊技台36により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
遊技台36−1乃至36−mは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
遊技台周辺端末37−1乃至37−mは、各遊技台36−1乃至36−mに対応して設けられている、いわゆる台間機であり、台間球貸機(原理的には、貸出機34と同様のもの)などが設けられている。また、遊技台周辺端末37は、遊技台36を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報(遊技台番号)と共に生体情報認識装置21に送信する。尚、図1においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ38−1乃至38−mが設けられている例が示されている。
カメラ38−1乃至38−mは、例えば、図2で示されるように、各遊技台36−1乃至36−4のそれぞれの上部に設けられた台表示ランプ61−1乃至61−4の下部に図3で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。
また、カメラ38−1乃至38−mは、例えば、図4で示されるように、遊技台周辺端末37−1乃至37−4に凸部71−1乃至71−4を設け、図5で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。
さらに、カメラ38−1乃至38−mは、例えば、図6で示されるように、遊技台36の中央部(遊技台36の盤面上)に設けるようにして、撮像するようにしてもよい。すなわち、図6の設置部81にカメラ38が設置されることにより、図7で示されるように、読取範囲φ内に遊技者を撮像する。
入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、遊技店1の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット39−(m+1)乃至39−(m+p+q)に供給する。
入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、例えば、図8で示されるように設定される。図8は、遊技店1内の入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qの設置例を示している。
すなわち、図8においては、出入口112−1乃至112−3が設けられており、入口カメラ40−1乃至40−3は、それぞれの出入口112より入店してくる遊技者を撮像する。また、店内カメラ41−1乃至41−10は、島設備111−1乃至111−5のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備111は、両面に遊技台36が設置されており、すなわち、図中の島設備111を上下方向に挟むように設置されている。カメラ38、入口カメラ40および店内カメラ41は、いずれにおいてもパンチルトズーム機能を備えているため、図8で示されるように、店内カメラ41−1乃至41−10が配置されることにより、遊技台36で遊技する全遊技者が、店内カメラ41−1乃至41−10のいずれかで撮像できる。
さらに、店内カメラ41−aは、貸出機34の前に設けられており、店内カメラ41−bは、精算販売機33の前に設けられており、店内カメラ41−cは、計数機35の前に設けられており、それぞれ、貸出機34、精算販売機33、および計数機35を利用する遊技者を撮像することができる。
すなわち、図8で示されるように、遊技店1においては、来店する遊技者、遊技台36で遊技する遊技者、並びに、貸出機34、精算販売機33、および計数機35を利用する遊技者といった、遊技店1において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ38、入口カメラ40、および店内カメラ41が設置されている。
[画像処理ユニットの構成例]
次に、図9を参照して、画像処理ユニット39の構成例について説明する。
画像取得部201は、カメラ38(または、入口カメラ40もしくは店内カメラ41)により撮像された画像を取得し、顔画像抽出部202に供給する。顔画像抽出部202は、画像取得部201より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して送信部203に供給する。送信部203は、顔画像抽出部202より連続的に供給されてくる顔画像をバッファ203aに蓄積させ、顔画像の供給が停止した状態になったとき、バッファ203aに蓄積された顔画像を顔画像群として生体情報認識装置21に送信する。尚、バッファ203aの容量には制限があるので、送信部203は、バッファ203aで蓄積できる容量が一杯になったところで一連の連続的に供給される複数の顔画像を顔画像群として送信するようにしても良いし、予め所定枚数を決めておき、所定枚数が蓄積された場合、その所定枚数の顔画像を顔画像群として送信するようにしても良い。
[生体情報認識装置の構成例]
次に、図10を参照して、生体情報認識装置21の構成例について説明する。
顔画像取得部221は、画像処理ユニット39より供給される複数の顔画像からなる顔画像群を取得し、照合部222に供給する。照合部222は、顔画像取得部221により取得された顔画像群の各顔画像と、生体情報DB22に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。また、照合部222は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
より詳細には、照合部222の特徴量抽出部231は、顔画像群の各顔画像について、それらを識別するための特徴量を抽出して、各顔画像と共に類似度計算部232に供給する。類似度計算部232は、生体情報DB22に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部231より供給されてくる顔画像群の各顔画像の特徴量とを順次用いて、生体情報DB22に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部221より供給されてきた顔画像と供に類似度計算結果蓄積部233に蓄積させる。より具体的には、類似度計算部232は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
類似度計算結果集計部234は、類似度計算結果蓄積部233に蓄積された顔画像群の各顔画像についての登録された顔画像との類似度の計算結果を集計して、顔画像群としての類似度を求めて、類似度判定部235に供給する。より具体的には、例えば、類似度計算結果蓄積部233は、例えば、顔画像群のうち、類似度の最も高い顔画像を基準とした類似度を顔画像群の類似度としたり、または、顔画像群の全ての顔画像に対する登録顔画像との類似度の平均値などを顔画像群の類似度として類似度判定部235のバッファ235aに供給する。
類似度判定部235は、類似度計算結果集計部234より供給されてくる類似度を順次バッファ235aに蓄積し、上位3位となる顔画像群のそれぞれの類似度のうち、1位となる顔画像群との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像群に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、上位3位となる顔画像群のうち、最も類似度の高い類似度の顔画像の情報を表示部23に供給して、表示させると供に、通信部224に供給する。また、類似度判定部235は、1位となる顔画像群との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似していない場合、顔画像取得部221より供給されてきた顔画像群のうち、最も類似度の高い顔画像を未登録遊技者データベース登録部223に供給する。
未登録遊技者データベース登録部223は、照合部222より未登録であるとみなされて供給されてきた、顔画像を生体情報管理データベース3の未登録遊技者DBに登録する。
操作部225は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位3位となる、表示部23に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部224に供給する。通信部224は、イーサネットボードなどから構成され、操作部225からの操作信号に基づいて、選択された顔画像を携帯端末20に配信する。
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部235は、類似度が閾値よりも小さければ、撮像された顔画像群が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。
データベース管理部226は、生体情報管理センタ2より新たな登録遊技者データベースが配信されてくると、新たな登録遊技者データベースに基づいて、生体情報DB22を更新する。
グループ化部227は、生体情報DB22に登録されている生体情報である顔画像を、顔画像間の特徴量から求められる類似度によりグループ化する。
より詳細には、グループ化部227は、総当照合部251、総当照合結果記憶部252、1次グループ化部253、1次グループ化結果記憶部254、拡張1次グループ化部255、2次グループ化部256、グループ化生体情報DB257、および解析部258を備える。
総当照合部251は、生体情報DB22に記憶されている全ての登録遊技者の顔画像より特徴量を抽出し、総当りで顔画像間の類似度を求めて照合し、照合結果である顔画像間の類似度の情報を総当照合結果記憶部252に記憶させる。総当照合結果記憶部252には、生体情報DB22に登録されている全ての登録遊技者の顔画像間における照合結果である類似度の情報が記憶されている。尚、類似度の計算方法については、類似度計算部232における方法と同様の手法であるので、その説明は省略するものとする。
1次グループ化部253は、総当照合結果記憶部252に記憶されている全ての登録遊技者の顔画像間の類似度の情報に基づいて、類似度が第1の閾値よりも高いもの同士を同一のグループにグループ化して、グループ化した結果を1次グループ化結果記憶部254に記憶させる。尚、この1次グループ化部253によりグループ化された第1の閾値よりも類似度の高い顔画像同士からなるグループを1次グループと称するものとする。
拡張1次グループ化部255は、1次グループのいずれにもグループ化されなかった顔画像と、1次グループのいずれかにグループ化されている全ての顔画像との類似度が第1の閾値よりも低く設定される第2の閾値よりも高い顔画像を、類似度が第2の閾値よりも高いとみなされた1次グループに拡張的にグループ化する。
2次グループ化部256は、拡張1次グループ化部255においてもいずれのグループにもグループ化されなかった顔画像同士の類似度が第1の閾値よりも低く設定される第3の閾値より高い顔画像同士を同一のグループにグループ化して、グループ化生体情報DB257に登録する。尚、この2次グループ化部256によりグループ化されたグループを2次グループと称するものとする。
解析部228は、操作部225からの操作信号に基づいて、グループ化生体情報DB257にグループ化されて登録されている生体情報を用いて、顔画像ごとに人物の来店頻度の順位を解析し、上位n位までの生体情報である顔画像を解析結果として出力し、表示部23に表示する。
[解析処理]
次に、図11のフローチャートを参照して、図10の生体情報認識装置21による生体情報DB22に登録された生体情報である顔画像の解析処理について説明する。
ステップS1において、グループ化部227の総当照合部251は、生体情報DB22にアクセスして、全ての生体情報である顔画像の情報を読み出す。
ステップS2において、総当照合部251は、読み出した生体情報である顔画像の情報を用いて、総当照合処理を実行し、総当り的に全ての顔画像間の特徴量の比較から、全ての顔画像間の類似度を求める。
[総当照合処理]
ここで、図12のフローチャートを参照して、総当照合処理について説明する。
ステップS11において、総当照合部251は、読み出した生体情報のうち、基準生体情報とされたことのない生体情報のいずれかを、基準生体情報に設定する。
ステップS12において、総当照合部251は、基準生体情報とされたことがなく、かつ、現在の基準生体情報に対して照合対象生体情報とされていない未処理の生体情報を照合対象生体情報に設定する。
ステップS13において、総当照合部251は、基準生体情報と照合対象生体情報との特徴量を抽出する。尚、この処理は、特徴量抽出部231の処理と同様である。
ステップS14において、総当照合部251は、抽出した基準生体情報と照合対象生体情報との特徴量に基づいて、類似度を計算し、類似度を求めた2つの生体情報を識別する情報に対応付けて、総当照合結果記憶部252に記憶させる。尚、類似度の計算については、類似度計算部232の処理と同様であるので、その説明は省略する。
ステップS15において、総当照合部251は、基準生体情報とされたことがなく、かつ、現在の基準生体情報に対して照合対象生体情報とされたことのない未処理である生体情報が存在するか否かを判定し、存在すると判定した場合、処理は、ステップS12に戻る。すなわち、基準生体情報として設定された生体情報と、基準生体情報とされたことがない全ての生体情報との類似度が求められて、順次、総当照合結果として総当照合結果記憶部252に記憶される。
そして、ステップS15において、基準生体情報とされたことがなく、かつ、未処理の生体情報が存在しない、すなわち、現在の基準生体情報として設定された生体情報と、現在までに基準生体情報に設定されていない全ての生体情報との類似度が求められたと判定された場合、処理は、ステップS16に進む。
ステップS16において、総当照合部251は、基準生体情報とされたことがない生体情報が残り1個であるか否かを判定し、残り1個である場合、処理は、ステップS11に戻る。すなわち、全ての生体情報が、順次基準生体情報として設定されて、それ以外の生体情報が照合対象生体情報とされて順次類似度が求められる。この際、基準生体情報に一旦設定された生体情報は、照合対象生体情報とはされないことになるので、重複して、同一の生体情報間の類似度が求められることがない。
そして、ステップS16において、基準生体情報とされたことのない生体情報が最後の1個でない場合、照合対象生体情報として設定するべき生体情報が存在しないことになるので、全ての生体情報間で類似度が求められたものとみなし、処理は、終了する。
以上の処理により、全ての生体情報である顔画像間の類似度が求められて、総当照合結果記憶部252に記憶される。
ここで、図11のフローチャートの説明に戻る。
ステップS2の総当照合処理により、全ての生体情報である顔画像間の類似度が求められて、総当照合結果記憶部252に記憶されると、処理は、ステップS3に進む。
ステップS3において、1次グループ化部253は、総当照合結果記憶部252に記憶されている生体情報間の類似度の情報に基づいて、1次グループ化処理を実行して、類似する生体情報同士を同一のグループ(1次グループ)にグループ化する。
[1次グループ化処理]
ここで、図13のフローチャートを参照して、1次グループ化処理について説明する。
ステップS31において、1次グループ化部253は、未処理の生体情報のいずれかを基準生体情報に設定する。
ステップS32において、1次グループ化部253は、基準生体情報にグループ化されたグループを識別する情報であるグループIDが付与されているか否かを判定する。ステップS32において、グループIDが付与されている場合、処理は、ステップS33に進む。
ステップS33において、1次グループ化部253は、基準生体情報に付与されているグループIDを処理対象グループIDに設定する。
一方、ステップS32において、基準生体情報にグループIDが付与されていない場合、ステップS34において、1次グループ化部253は、新規のグループIDを処理対象グループIDに設定する。
ステップS35において、1次グループ化部253は、現在の基準生体情報に対して、照合対象とされていない生体情報のいずれかを照合対象生体情報に設定する。
ステップS36において、1次グループ化部253は、基準生体情報と照合対象生体情報との類似度が第1の閾値th1よりも高いか否かを判定する。ステップS36において、例えば、基準生体情報と照合対象生体情報との類似度が第1の閾値th1よりも高い場合、処理は、ステップS37に進む。
ステップS37において、1次グループ化部253は、照合対象生体情報にはグループIDが付与されているか否かを判定する。ステップS37において、例えば、グループIDが付与されている場合、処理は、ステップS38に進む。
ステップS38において、1次グループ化部253は、照合対象生体情報のグループIDと同一のグループIDを持つ全ての生体情報のグループIDを、今現在の基準生体情報に付与されているグループIDに置換する。
一方、ステップS37において、照合対象生体情報にグループIDが付与されていない場合、ステップS39において、1次グループ化部253は、照合対象生体情報のグループIDを、今現在の基準生体情報に付与されているグループIDに設定する。
また、ステップS36において、基準生体情報と照合対象生体情報の類似度が第1の閾値th1よりも小さい場合、ステップS37乃至S39の処理がスキップされる。
ステップS40において、1次グループ化部253は、照合対象とされていない生体情報が存在するか否かを判定し、例えば、照合対象とされていない生体情報が存在する場合、処理は、処理は、ステップS35に戻る。すなわち、全ての基準生体情報を除く全ての生体情報との類似度が第1の閾値th1と比較されて、類似度が高いとき、照合対象生体情報のグループIDが、基準生体情報に付与されたグループIDに設定される。
そして、ステップS40において、照合対象とされていない生体情報が存在せず、基準生体情報が、全ての生体情報との類似度が第1の閾値th1と比較されると、処理は、ステップS41に進む。
ステップS41において、1次グループ化部253は、読み出した生体情報のうち、基準生体情報に設定されていない未処理の生体情報が存在するか否かを判定し、未処理の生体情報が存在する場合、処理は、ステップS31に戻る。すなわち、全ての生体情報が基準生体情報に設定されて、その他の生体情報との類似度が、第1の閾値th1と比較されるまで、ステップS31乃至S41の処理が繰り返される。そして、ステップS41において、未処理の生体情報が存在しないと判定された場合、処理は、ステップS42に進む。
ステップS42において、1次グループ化部253は、同一のグループIDを持つ生体情報が2個以上でグループ化されているとき、そのグループを1次グループとして設定して、1次グループ化結果記憶部254に記憶させる。尚、1次グループ化結果記憶部254には、総当照合結果と同様の情報に加えて、各生体情報を識別する情報に対応付けて、グループ化された際に付与されたグループIDの情報が記憶される。また1次グループ化部253は、1次グループのいずれにもグループ化されていない生体情報については、1次グループのいずれにも属さないものとする。
以上の処理により、例えば、図14の右上部で示されるような総当照合処理の結果である場合、1次グループ化処理により、図14の右下部で示されるようにグループ化される。すなわち、図14において、丸印が個々の生体情報である顔画像K1乃至K22を示しており、丸印を結ぶ線が、顔画像間の類似度を示しており、実線で結ばれる顔画像間の類似度が800ポイント以上であり、点線で結ばれる顔画像間の類似度が600ポイント以上であることを示している。尚、類似度は、0乃至1000ポイントであるものとしている。また、丸印内の番号は、その生体情報である顔画像に付与されているグループIDを示している。
すなわち、第1の閾値が800ポイントであるとすれば、図14の右上部で示されるように生体情報が存在すれば、1次グループ化処理により、実線で結ばれている生体情報同士が同一のグループにグループ化されて、グループID=1乃至3で示される1次グループが生成されることになる。1次グループ化処理により1次グループにグループ化された生体情報は、相互に類似度が高いので、信頼性の高いグループ化処理がなされている。図14の右下部の場合、顔画像K1乃至K5が、グループID=1の同一の1次グループにグループ化されており、顔画像K6乃至K8が、グループID=2の同一の1次グループにグループ化されており、顔画像K9乃至K15が、グループID=3の同一の1次グループにグループ化されている。そして、顔画像K16乃至K22は、いずれの1次グループにも属していない。
ここで、図11のフローチャートの説明に戻る。
ステップS3の1次グループ化処理により、生体情報のうち、相互に類似度の高い生体情報同士が1次グループとしてグループ化される。
ここで、図15のフローチャートを参照して、拡張1次グループ化処理について説明する。
ステップS61において、拡張1次グループ化部255は、1次グループ化結果記憶部254に記憶されている生体情報を識別する情報、グループ化ID、および相互の類似度の情報を読み出し、1次グループ化処理により生成された1次グループが少なくとも1グループは存在するか否かを判定し、存在する場合、処理は、ステップS62に進む。
ステップS62において、拡張1次グループ化部255は、1次グループのいずれのグループにもグループ化されなかった生体情報が存在するか否かを判定する。ステップS62において、1次グループのいずれのグループにもグループ化されなかった生体情報が存在しないと判定された場合、処理は、終了する。また、ステップS62において、1次グループのいずれにもグループ化されなかった生体情報が存在する場合、処理は、ステップS63に進む。
ステップS63において、拡張1次グループ化部255は、いずれかの1次グループに属し、かつ、未処理の生体情報のいずれかを基準生体情報に設定する。
ステップS64において、拡張1次グループ化部255は、いずれのグループにも属さず、かつ、今現在の基準生体情報に対して照合対象とされていない生体情報のいずれかを照合対象生体情報に設定する。
ステップS65において、拡張1次グループ化部255は、基準生体情報と照合対象生体情報との類似度が、第1の閾値th1よりも低く設定される第2の閾値th2よりも高いか否かを判定する。ステップS65において、例えば、基準生体情報と照合対象生体情報との類似度が、第1の閾値th1よりも低く設定される第2の閾値th2よりも高くない場合、処理は、ステップS64に戻る。すなわち、現在の照合対象生体情報は、拡張して1次グループ化されることがないとみなし、新たな照合対象生体情報を設定するため、処理が戻る。一方、ステップS65において、例えば、基準生体情報と照合対象生体情報との類似度が、第1の閾値th1よりも低く設定される第2の閾値th2よりも高い場合、処理は、ステップS66に進む。
ステップS66において、拡張1次グループ化部255は、照合対象生体情報のグループIDを基準生体情報のグループIDに設定する。
ステップS67において、拡張1次グループ化部255は、いずれのグループにも属さず、かつ、照合対象とされていない生体情報が存在するか否かを判定し、例えば、存在する場合、処理は、ステップS64に戻る。すなわち、いずれかの1次グループに属している生体情報の1つが基準生体情報とされ、いずれの1次グループにも属していない全ての生体情報との類似度が、第2の閾値と比較されるまで、ステップS64乃至S67の処理が繰り返される。
そして、ステップS67において、例えば、いずれのグループにも属さず、かつ、照合対象とされていない生体情報が存在しない、すなわち、いずれの1次グループにも属していない全ての生体情報との類似度が、第2の閾値と比較されたと判定された場合、処理は、ステップS68に進む。
ステップS68において、拡張1次グループ化部255は、いずれかの1次グループに属している生体情報のうち、基準生体情報に設定されていない未処理の生体情報が存在するか否かを判定し、例えば、基準生体情報に設定されていない未処理の生体情報が存在する場合、処理は、ステップS62に戻る。すなわち、いずれかの1次グループに属している生体情報の全てと、いずれの1次グループにも属していない全ての生体情報との類似度が、第2の閾値と比較されるまで、ステップS62乃至S68の処理が繰り返される。
そして、ステップS68において、いずれかの1次グループに属している生体情報の全てと、いずれの1次グループにも属していない全ての生体情報との類似度が、第2の閾値と比較されたとみなされた場合、処理は、終了する。
すなわち、第1の閾値により1次グループのいずれかにグループ化された生体情報と、いずれの1次グループにもグループ化されなかった生体情報との類似度が、第1の閾値よりも低い第2の閾値と比較されて、高ければ、グループ化されていなかった照合対象生体情報が、基準生体情報の属する1次グループにグループ化される。
すなわち、図14の右下部の場合、顔画像K1乃至K15の生体情報が、順次基準生体情報の設定され、顔画像K16乃至K22の生体情報が、順次照合対象生体情報の設定される。そして、第2の閾値が600ポイントであるとき、図14の左上部で示されるように、拡張1次グループ化処理により、顔画像K2と顔画像K16とは、類似度が600ポイント以上であるので、顔画像K2が、グループID=1の1次グループに、拡張的にグループ化される。同様に、顔画像K17と顔画像K10、並びに顔画像K18,K19と顔画像K11とは、それぞれ類似度が600ポイント以上であるので、顔画像K17乃至K19は、グループID=3の1次グループに、拡張的にグループ化される。
すなわち、この処理は、1次グループ処理によりグループ化された各グループ毎に、第1の閾値よりも低く設定される第2の閾値との比較により、1次グループに近い生体情報である顔画像が取り込まれるような処理となる。結果として、1次グループ化処理では、グループ化することができなかった生体情報の一部を拡張的に1次グループのいずれかにグループ化させることが可能となる。
ここで、図11のフローチャートの説明に戻る。
ステップS4の拡張1次グループ化処理により、拡張的に1次グループが形成されると、処理は、ステップS5に進む。
ステップS5において、2次グループ化部256は、2次グループ化処理を実行し、1次グループ化処理、および拡張1次グループ化処理のいずれの処理においても1次グループのいずれにもグループ化されなかった生体情報同士の類似度が、第1の閾値th1よりも低く設定される第3の閾値th3よりも高い場合、それらを2次グループとしてグループ化し、1次グループ化処理の処理結果と共に、グループ化生体情報DB257に登録する。
[2次グループ化処理]
ここで、図16のフローチャートを参照して、2次グループ化処理について説明する。しかしながら、図16のフローチャートの説明は、処理の対象が、現時点で1次グループのいずれにも属さない生体情報とされる以外は、図13を参照して説明した1次グループ化処理と同一である。ただし、用いられる閾値が第1の閾値よりも低く設定される第3の閾値以上となることが異なる。このため、2次グループ化処理の説明は、省略するものとする。
すなわち、例えば、図14の左上部で示されるような場合、第3の閾値th3が600ポイントのとき、この2次グループ化処理により、いずれの1次グループにも属していなかった生体情報である顔画像K20乃至K22が、図14の左下部で示されるように、グループID=4の2次グループを形成することとなる。
尚、第1の閾値乃至第3の閾値については、本人を他人と間違える本人棄却率(FRR)(FRR)、および他人受入率(FAR)と、類似度を示すポイント(1000満ポイント)との関係は、図17で示される。すなわち、本人棄却率(FRR)は、類似度が高くなるほど高くなり、逆に、他人受入率(FAR)は、類似度が低くなるほど高い。このため、図17のような場合、第1の閾値th1は、他人受入率(FAR)がゼロを保証できる範囲となる600ポイント程度に設定し、第2,3の閾値th2,th3は、本人棄却率(FRR)が、ある程度保証される800ポイント程度に設定するようにしてもよい。また、第2,3の閾値は、第1の閾値よりも低ければよいものであるので、この例の様に必ずしも同一の値とする必要はない。
以上の一連の処理により、生体情報が、1次グループ、または2次グループに分類されることになる。この際、1次グループは、比較的高い類似度の生体情報同士から構成されることになるので、比較的高い精度でグループ化されていると考えられる。さらに、拡張1次グループ化処理により、比較的高い精度の1次グループを基準として、1次グループのいずれにも属さなかった生体情報が取り込まれることになるので、類似度が低くても、高い精度で生体情報をグループ化することが可能となる。さらに、比較的高い精度でグループ化されている1次グループに属さない生体情報のみが用いられて2次グループが構成されるので、判断基準となる類似度は、比較的低い第3の閾値で分類されるものの、言わば、消去法を用いて精度の低い生体情報のみがグループ化されることになる。また、生体情報として登録される頻度の高い人物の顔画像は、必然的に同一グループに登録されることとなるので、グループ化生体情報DB257を生体情報22に代えて認証処理に利用することで、登録される頻度の高い人物の顔画像ほど、高い精度で認証することが可能になる。
さらに、新たに顔画像が生体情報DB22に登録される度に同様の処理を繰り返しても、類似度の高い生体情報から順次グループ化されることになるので、認識に不向きな顔画像が後から登録されていても、類似度の低い顔画像として処理され、グループ内における精度が低下しないため、グループ化における精度を維持しつつグループ化生体情報DB257を順次更新することが可能となる。
結果として、高効率で精度良く、生体情報をグループ化することが可能となる。
ここで、図11のフローチャートの説明に戻る。
ステップS2乃至S5の処理により、グループ化生体情報DB257には、比較的高精度で生体情報が分類された状態となる。この例においては、生体情報がグループ化されるとは、同一の人物の顔画像が同一のグループにグループ化されていることとなる。
そこで、ステップS6において、解析部228は、グループ化生体情報DB257に登録されている各グループ毎に登録されている生体情報に基づいて、グループ内で蓄積されている顔画像が取得される日数を計測して、その日数に基づいて、来店頻度の順位を求め、来店頻度の高い順に生体情報を並び替える。そして、解析部228は、来店頻度の高い順に上位n位までの人物を示す顔画像からなる生体情報を解析結果として表示部23に表示させる。尚、解析部228は、1次グループと2次グループとを区別することなく処理する。上述したように、登録頻度の高い生体情報ほど高い精度でグループ化されているので、来店頻度の上位のグループほど高い精度で解析される。従って、上述したようなグループ化処理により、生体情報DB22に登録されている生体情報の解析精度を向上させることが可能となる。
また、解析は、これに限らず、例えば、特徴量として人物の顔画像よりシワの多さや、シミの多さなどにより年齢が解析できるような場合、解析部228は、どの曜日のどの時間帯には、どのような年齢層の遊技客が来店しているのかを解析することもできる。この際においても、顔画像の登録頻度の高い人物ほど、すなわち、来店頻度の高い人物ほど、高い精度でグループ化されているので、解析結果も上位ほど信頼性が高いと考えられる。
以上のように、生体情報間の類似度に基づいて、基準生体情報および照合対象生体情報となる生体情報を制限したり、閾値を段階的に変えて、グループ化するようにしたので、生体情報DB22に蓄積されている生体情報を正確に解析することが可能となる。尚、以上においては、2種類の閾値を用いて、1次グループ化処理をした後、2次グループ化処理をする例について説明してきたが、より多くの閾値を用いて、多次グループ化処理を繰り返してグループ化することにより、より高い精度でグループ化することが可能である。
また、グループ化された生体情報は、図10においては、グループ化生体情報DB257として、図10の生体情報認識装置21に設けられる例について説明してきたが、例えば、図18で示されるように、グループ化生体情報DB19として生体情報認識装置21外に設けて、外部の解析部228と同様の機能を備えた解析部18により解析処理を実行させるようにしても良いものである。
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図19は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)302およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM303にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。