JP4941124B2 - 監視システムおよび方法、情報処理装置、並びにプログラム - Google Patents

監視システムおよび方法、情報処理装置、並びにプログラム Download PDF

Info

Publication number
JP4941124B2
JP4941124B2 JP2007166885A JP2007166885A JP4941124B2 JP 4941124 B2 JP4941124 B2 JP 4941124B2 JP 2007166885 A JP2007166885 A JP 2007166885A JP 2007166885 A JP2007166885 A JP 2007166885A JP 4941124 B2 JP4941124 B2 JP 4941124B2
Authority
JP
Japan
Prior art keywords
face image
person
condition information
unit
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007166885A
Other languages
English (en)
Other versions
JP2009003898A (ja
Inventor
孝光 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2007166885A priority Critical patent/JP4941124B2/ja
Priority to US12/044,385 priority patent/US8131023B2/en
Publication of JP2009003898A publication Critical patent/JP2009003898A/ja
Application granted granted Critical
Publication of JP4941124B2 publication Critical patent/JP4941124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204Player-machine interfaces
    • G07F17/3206Player sensing means, e.g. presence detection, biometrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Pinball Game Machines (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、監視システムおよび方法、情報処理装置、並びにプログラムに関し、特に、複数の監視カメラにより撮像された顔画像と、データベースに登録された顔画像との照合処理を行うサーバにより実現される照合処理システムに係るサーバの処理負荷を低減させると共に、照合精度を向上できるようにした監視システムおよび方法、情報処理装置、並びにプログラムに関する。
顔画像をデータベースに蓄積させ、撮像された顔画像との類似度を求め、所定の類似度よりも高い顔画像を検索させることにより、顔画像による照合処理を実行し、照合結果により顔画像でデータを管理させる技術が一般に普及しつつある。
顔画像によりデータを管理する技術としては、例えば、第1サーバおよび第2サーバを用いて、照合の精度を向上させるようにするものが提案されている(特許文献1参照)。
特開2001−187249号公報
しかしながら、上述した手法を用いると、照合精度の向上を目的とするあまり、遊技店などの遊技台毎で端末機器を設置して、顔画像を取得し、サーバに供給するといった管理形態をとる場合、相当数の顔画像のデータが端末機器からサーバに供給されることにより、サーバが一斉に顔画像データベースにアクセスし、膨大な量の顔画像とデータベースとの照合処理が繰り返されることで、サーバの処理負荷が高くなり、結果として、照合の処理時間が遅れて、リアルタイム性が損なわれる恐れがあった。
例えば、遊技台が1000台規模の店舗で、2割の人が1時間以内に「入れ替わり」、「離席」、「来場」、「退場」となると、200人相当の照合処理が必要となる。すなわち、終日12時間稼動で、2400人分の照合処理が必要となる。そのうち「遊技機の入れ替わり」「来場」「退場」は、顔画像による来客の管理をする上で、サーバ上の照合を行う必要があるが、トイレ、飲食物の購入、食事や電話など一時的な離席を意味する「離席」については再度同一人物が戻ってくることになるので、再度サーバまで顔画像のデータを供給し、照合する必要性はない。
また、照合はデータベースに登録された顔画像と本人の顔画像との類似度をスコア化してを照合し、スコアが閾値を超えていたら、「本人」とみなす構成であることには変わりないが、データベースに登録する上で「顔の向き(上下)」や「顔の傾き」や「顔の明暗」などの点で顔画像照合に利用しやすいものを探索する必要がある。
しかしながら、現状においては顔画像データベースに登録する最適な顔画像に更新されることがなく、結果的にいかなる画像でも顔画像として撮像できたものを、本人の顔画像として登録せざるを得なかった。
さらに、顔画像を撮像する端末機器とサーバにより、顔画像でデータを管理させるシステムが構成されているにも関わらず、端末機器は、一定期間サーバとの通信が遮断された場合、撮像した顔画像を廃棄するか、廃棄しなければ人物画像を制限なく溜めていくことになり、時にはシステムとして成り立たなくなる可能性があった。
いずれにおいても、上述したデータ管理システムにおいては、顔画像のデータベースを保有し、照合処理を実行するサーバに処理が大きく依存されており、負荷が増大することで、顔画像による照合処理のリアルタイム性や精度を低減させてしまう恐れがあった。
本発明はこのような状況に鑑みてなされたものであり、カメラで捉えた人物の顔画像を取得して、サーバとは別の照合機能を備えた端末機器により、データベースよりも少量の人物の顔画像と照合することにより、サーバに供給すべき顔画像を選別してからサーバに顔画像を供給することで、サーバでの照合処理の負荷を低減させ、結果として、リアルタイムで、かつ、高い精度で顔画像による照合処理を実現できるようにするものである。
本発明の一側面の監視システムは、顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムであって、情報処理装置は、遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得手段と、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積手段と、前記取得手段により取得された前記照合対象者、および前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出手段と、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較手段と、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得手段により取得された顔画像を前記監視装置に送信する送信手段とを含み、前記監視装置は、前記送信手段により送信されてくる前記照合対象者の顔画像を受信する受信手段と、蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合手段と、前記第1の類似度照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定手段と、前記第1の類似度判定手段の判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む。
前記情報処理装置には、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段とさらに含ませるようにすることができ、前記監視装置には、前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含ませるようにすることができ、前記受信手段には、前記顔画像抽出手段により抽出された前記照合対象者の顔画像として受信させるようにすることができ、前記第1の類似度照合手段には、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算させ、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記照合対象者蓄積手段に蓄積されている所定数の顔画像のうち、前記条件情報が最も低い顔画像を削除し、前記取得手段により取得された顔画像を記照合対象者の顔画像として蓄積することにより、前記照合対象者蓄積部を更新する更新手段をさらに含ませるようにすることができる。
前記情報処理装置には、前記取得手段により取得された照合対象者の顔画像と、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像との類似度を計算し、照合する第2の類似度照合手段と、前記第2の類似度照合手段の照合結果である類似度と所定の閾値との比較により、前記取得手段により取得された照合対象者の顔画像が、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像であるか否かを判定する第2の類似度判定手段とをさらに含ませるようにすることができ、前記条件情報比較手段には、前記第2の類似度判定手段の判定結果に基づいて、前記取得手段により取得された照合対象者の顔画像が、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像である場合、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較させるようにすることができ、前記送信手段には、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れているとき、前記取得手段により取得された顔画像を前記監視装置に送信させるようにすることができる。
本発明の一側面の監視システムの監視方法は、顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムの監視方法であって、情報処理装置の監視方法は、遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得ステップと、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積ステップと、前記取得ステップの処理により取得された前記照合対象者、および前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出ステップと、前記条件情報抽出ステップの処理により抽出された条件情報に基づいて、前記取得ステップの処理により取得された顔画像の条件情報と、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較ステップと、前記条件情報比較ステップの処理により、前記取得ステップの処理により取得された顔画像の条件情報が、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得ステップの処理により取得された顔画像を前記監視装置に送信する送信ステップとを含み、前記監視装置の監視方法は、前記送信ステップの処理により送信されてくる前記照合対象者の顔画像を受信する受信ステップと、蓄積者の顔画像を蓄積者データベースに蓄積する蓄積ステップと、前記受信ステップの処理により受信された照合対象者の顔画像と、前記蓄積ステップの処理で蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合ステップと、前記第1の類似度照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定ステップと、前記第1の類似度判定ステップの処理での判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む。
本発明の一側面のプログラムは、顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムを制御するコンピュータであって、情報処理装置を制御するコンピュータに、遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得ステップと、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積ステップと、前記取得ステップの処理により取得された前記照合対象者、および前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出ステップと、前記条件情報抽出ステップの処理により抽出された条件情報に基づいて、前記取得ステップの処理により取得された顔画像の条件情報と、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較ステップと、前記条件情報比較ステップの処理により、前記取得ステップの処理により取得された顔画像の条件情報が、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得ステップの処理により取得された顔画像を前記監視装置に送信する送信ステップとを含む処理を実行させ、前記監視装置を制御するコンピュータに、前記送信ステップの処理により送信されてくる前記照合対象者の顔画像を受信する受信ステップと、蓄積者の顔画像を蓄積者データベースに蓄積する蓄積ステップと、前記受信ステップの処理により受信された照合対象者の顔画像と、前記蓄積ステップの処理で蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合ステップと、前記第1の類似度照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定ステップと、前記第1の類似度判定ステップの処理での判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む処理を実行させる。
本発明の一側面の情報処理装置は、遊技台に接近した人体における顔画像を、照合対象者の顔画像として取得する取得手段と、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積手段と、前記取得手段により取得された前記照合対象者、および前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出手段と、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較手段と、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得手段により取得された顔画像を監視装置に送信する送信手段とを含む。
本発明の一側面の監視システムおよび方法、並びにプログラムにおいては、顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムにおける、情報処理装置により、遊技台に接近した人体における前記顔画像が、照合対象者の顔画像として取得され、前記照合対象者の顔画像が所定数だけ蓄積され、取得された前記照合対象者、および蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報が抽出され、抽出された条件情報に基づいて、取得された顔画像の条件情報と、蓄積されている照合対象者の顔画像の条件情報とが比較され、取得された顔画像の条件情報が、蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、取得された顔画像が前記監視装置に送信され、前記監視装置により、送信されてくる前記照合対象者の顔画像が受信され、蓄積者の顔画像が蓄積者データベースに蓄積され、受信された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定され、判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることが通知される。
本発明の一側面の監視システムにおける情報処理装置とは、例えば、画像処理ユニットであり、遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得手段とは、例えば、画像取得部であり、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積手段とは、例えば、ローカル生体情報DBであり、前記取得手段により取得された前記照合対象者、および前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出手段とは、例えば、条件抽出部であり、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較手段とは、例えば、比較部であり、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得手段により取得された顔画像を前記監視装置に送信する送信手段とは、例えば、通信部である。
すなわち、条件抽出部により、画像取得部で取得された前記照合対象者、および生体情報DBにより蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報が抽出される。そして、比較部により抽出された条件情報に基づいて、取得された顔画像の条件情報と、蓄積されている照合対象者の顔画像の条件情報とが比較され、取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、取得された顔画像が監視装置に送信される。
結果として、取得された顔画像と生体情報DBに登録された顔画像との照合処理が必要となる生体情報認識装置には、顔画像から特徴量が抽出し易い条件情報が整ったもののみが供給されることになるため、生体情報認識装置に対しては、照合処理に適した顔画像のみが選別されて供給されることになるので、不要な顔画像が排除されることにより、処理負荷が低減されると共に、照合精度を向上させることが可能となる。
本発明によれば、特に、複数の監視カメラにより撮像された顔画像と、データベースに登録された顔画像との照合処理を行うサーバにより実現される照合処理システムに係るサーバの処理負荷を低減させることが可能になると共に、照合精度を向上させるようにすることが可能となる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
すなわち、本発明の一側面の監視システムは、顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムであって、情報処理装置(例えば、図9の画像処理ユニット43)は、遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得手段(例えば、図9の画像取得部201)と、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積手段(例えば、図9のローカル生体情報DB207,208)と、前記取得手段により取得された前記照合対象者、および前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出手段(例えば、図9の条件抽出部205a)と、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較手段(例えば、図9の比較部205b)と、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得手段により取得された顔画像を前記監視装置に送信する送信手段(例えば、図9の通信部204)とを含み、前記監視装置(例えば、図11の生体情報認識装置21)は、前記送信手段により送信されてくる前記照合対象者の顔画像を受信する受信手段(例えば、図11の顔画像取得部221)と、蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段(例えば、図11の生体情報DB22)と、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合手段(例えば、図11の類似度計算部232)と、前記第1の類似度照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定手段(例えば、図11の類似度判定部233)と、前記第1の類似度判定手段の判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知手段(例えば、図11の通信部224)とを含む。
前記情報処理装置には、画像を撮像する撮像手段(例えば、図9のカメラ45)と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段(例えば、図9の顔画像抽出部202)とさらに含ませるようにすることができ、前記監視装置には、前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段(例えば、図11の特徴量抽出部231)とをさらに含ませるようにすることができ、前記受信手段には、前記顔画像抽出手段により抽出された前記照合対象者の顔画像として受信させるようにすることができ、前記第1の類似度照合手段には、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算させ、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
前記条件情報比較手段(例えば、図9の比較部205b)により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記照合対象者蓄積手段に蓄積されている所定数の顔画像のうち、前記条件情報が最も低い顔画像を削除し、前記取得手段により取得された顔画像を記照合対象者の顔画像として蓄積することにより、前記照合対象者蓄積部を更新する更新手段(例えば、図9のデータベース管理部206)をさらに含ませるようにすることができる。
前記情報処理装置には、前記取得手段により取得された照合対象者の顔画像と、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像との類似度を計算し、照合する第2の類似度照合手段(例えば、図9の類似度計算部212)と、前記第2の類似度照合手段の照合結果である類似度と所定の閾値との比較により、前記取得手段により取得された照合対象者の顔画像が、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像であるか否かを判定する第2の類似度判定手段(例えば、図9の類似度判定部213)とをさらに含ませるようにすることができ、前記条件情報比較手段には、前記第2の類似度判定手段の判定結果に基づいて、前記取得手段により取得された照合対象者の顔画像が、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像である場合、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較させるようにすることができ、前記送信手段には、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れているとき、前記取得手段により取得された顔画像を前記監視装置に送信させるようにすることができる。
本発明の一側面の監視システムの監視方法は、顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムの監視方法であって、情報処理装置の監視方法は、遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得ステップ(例えば、図16のステップS113)と、前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積ステップ(例えば、図16のステップS123)と、前記取得ステップの処理により取得された前記照合対象者、および前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出ステップ(例えば、図16のステップS114)と、前記条件情報抽出ステップの処理により抽出された条件情報に基づいて、前記取得ステップの処理により取得された顔画像の条件情報と、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較ステップ(例えば、図16のステップS119)と、前記条件情報比較ステップの処理により、前記取得ステップの処理により取得された顔画像の条件情報が、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得ステップの処理により取得された顔画像を前記監視装置に送信する送信ステップ(例えば、図16のステップS121)とを含み、前記監視装置の監視方法は、前記送信ステップの処理により送信されてくる前記照合対象者の顔画像を受信する受信ステップ(例えば、図16のステップS141)と、蓄積者の顔画像を蓄積者データベースに蓄積する蓄積ステップと、前記受信ステップの処理により受信された照合対象者の顔画像と、前記蓄積ステップの処理で蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合ステップ(例えば、図14のステップS53)と、前記第1の類似度照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定ステップ(例えば、図16のステップS146)と、前記第1の類似度判定ステップの処理での判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知ステップ(例えば、図16のステップS149)とを含む。
図1は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
遊技店1は、いわゆるパチンコ店、パチスロ店、または、カジノ店である。
生体情報認識装置21は、カメラ45−1乃至45−m,49,53,57、入口カメラ59−1乃至59−p、および店内カメラ61−1乃至61−qにより撮像された画像より、それぞれ画像処理ユニット43−1乃至43−m,48,52,56,58−1乃至58−p,60−1乃至60−qにより抽出されて、生体情報バス31を介して供給されてくる顔画像の情報に基づいて、生体情報データベース22に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末20に通知したり、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などからなる表示部23に表示する。また、生体情報データベース22に予め登録されている顔画像と照合し、一致しない場合、生体情報DB22に登録する。
遊技店管理装置24は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス30を介して遊技台42−1乃至42−mのそれぞれの動作状態を管理する遊技台情報端末41−1乃至41−m、精算販売機47の動作状態を管理する精算販売機情報端末46、貸出機51の動作状態を管理する貸出機情報端末50、計数機55の動作状態を管理する計数機情報端末54より、それぞれの動作状態の情報を取得することにより、遊技台42、精算販売機47、貸出機51、および計数機55の動作を監視している。遊技店管理装置24は、遊技台42の遊技台情報端末41からの出玉もしくはメダルの払い出しの情報、各遊技台42−1乃至42−mの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部25に表示する。遊技店管理装置24は、計数機55、遊技台42−1乃至42−m、および遊技台周辺端末44−1乃至44−mのそれぞれより供給されてくる情報を、それぞれを識別する識別情報(例えば、遊技台番号)とを対応付けて遊技台管理データベース26により管理する。
媒体貸出管理装置27は、媒体貸出管理情報バス32を介して、遊技台周辺端末44、精算販売機47、および貸出機51のから供給されてくる情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース29を用いて管理する
貸出機51は、遊技者が遊技台42で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機51は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置27に供給する。これにより、媒体貸出管理装置27は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理データベース29に登録する。
精算販売機47は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機47は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置27に供給する。また、精算販売機47は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機47は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置27に供給する。
計数機55は、遊技者が遊技台42により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
遊技台42−1乃至42−mは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
遊技台周辺端末44−1乃至44−mは、各遊技台42−1乃至42−mに対応して設けられている、いわゆる台間機であり、台間球貸機(原理的には、貸出機51と同様のもの)などが設けられている。また、遊技台周辺端末44は、遊技台42を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報(遊技台番号)と共に生体情報認識装置21に送信する。尚、図1においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ45−1乃至45−mが設けられている例が示されている。
カメラ45−1乃至45−mは、例えば、図2で示されるように、各遊技台42−1乃至42−4のそれぞれの上部に設けられた台表示ランプ71−1乃至71−4の下部に図3で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。
また、カメラ45−1乃至45−mは、例えば、図4で示されるように、遊技台周辺端末44−1乃至44−4に凸部81−1乃至81−4を設け、図5で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。
さらに、カメラ45−1乃至45−mは、例えば、図6で示されるように、遊技台42の中央部(遊技台42の盤面上)に設けるようにして、撮像するようにしてもよい。すなわち、図6の設置部91にカメラ45が設置されることにより、図7で示されるように、読取範囲φ内に遊技者を撮像する。
入口カメラ59−1乃至59−pおよび店内カメラ61−1乃至61−qは、遊技店1の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット58−1乃至58−p、および60−1乃至60−qに供給する。
入口カメラ59−1乃至59−pおよび店内カメラ61−1乃至61−qは、例えば、図8で示されるように設定される。図8は、遊技店1内の入口カメラ59−1乃至59−pおよび店内カメラ61−1乃至61−qの設置例を示している。
すなわち、図8においては、出入口112−1乃至112−3が設けられており、入口カメラ59−1乃至59−3は、それぞれの出入口112より入店してくる遊技者を撮像する。また、店内カメラ61−1乃至61−10は、島設備111−1乃至111−5のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備111は、両面に遊技台42が設置されており、すなわち、図中の島設備111を上下方向に挟むように設置されている。カメラ45、入口カメラ59および店内カメラ61は、いずれにおいてもパンチルトズーム機能を備えているため、図8で示されるように、店内カメラ61−1乃至61−10が配置されることにより、遊技台42で遊技する全遊技者が、店内カメラ61−1乃至61−10のいずれかで撮像できる。
さらに、カメラ53は、貸出機51の前に設けられており、カメラ49は、精算販売機47の前に設けられており、カメラ56は、計数機55の前に設けられており、それぞれ、貸出機51、精算販売機47、および計数機55を利用する遊技者を撮像することができる。
すなわち、図8で示されるように、遊技店1においては、来店する遊技者、遊技台42で遊技する遊技者、並びに、貸出機51、精算販売機47、および計数機55を利用する遊技者といった、遊技店1において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ45、入口カメラ59、および店内カメラ61が設置されている。
次に、図9を参照して、各遊技台42のカメラ45により撮像された画像より顔画像を抽出して生体情報認識装置21に供給する画像処理ユニット43の構成例について説明する。
画像取得部201は、カメラ45により撮像された画像を取得し、顔画像抽出部202に供給する。顔画像抽出部202は、画像取得部201より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して照合部203および更新判定部205に供給する。照合部203は、顔画像抽出部202により抽出された顔画像と、ローカル生体情報DB207,208に登録されている直前に撮像された顔画像、または、当日撮像された顔画像とを照合し、類似度の高い顔画像の有無を更新判定部205に供給する。
より詳細には、照合部203の特徴量抽出部211は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部212に供給する。類似度計算部212は、ローカル生体情報DB207に登録されている直前に撮像されていた登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部211より供給されてくる特徴量とを用いて、ローカル生体情報DB207に登録されている直前に撮像されていた登録遊技者の顔画像との類似度を求め、顔画像抽出部202より供給されてきた顔画像と共に類似度判定部213に供給する。より具体的には、類似度計算部212は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
類似度判定部213は、類似度計算部212より供給されてくる類似度と、所定の閾値とを比較し、比較結果に基づいて、顔画像抽出部202より供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、両者は類似している、すなわち、同一人物であることを示す情報を更新判定部205に供給すると共に、顔画像を通信部204に供給する。また、類似度判定部213は、顔画像抽出部202より供給されてきた顔画像と直前に撮像されていた顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、顔画像抽出部202より供給されてきた顔画像に対して類似していない場合、顔画像抽出部202より供給されてきた顔画像を通信部204に供給すると共に、両者は類似していない、すなわち、別人であることを示す情報を更新判定部205に供給する。
更新判定部205は、条件抽出部205a、比較部205b、連続判定部205c、およびID付与部205dから構成されている。条件抽出部205aは、顔画像抽出部202より供給されてくる顔画像より、顔画像における特徴量を抽出するための条件情報を抽出し、スコア化する。すなわち、条件抽出部205aは、顔画像抽出部202より供給されてくる顔画像の向き、大きさ、および明るさなどに基づいて、顔画像における特徴量の抽出し易さを示す条件情報をスコア化する。比較部205bは、照合部203の類似度判定部213より直前の顔画像と類似していることを示す情報が供給されてきた場合、または、連続判定部205cにより直前に撮像されていた顔画像と連続していると判定された場合、直前に撮像されていた顔画像のうち、条件情報のスコアが高い上位3枚の顔画像における条件情報のスコアと、顔画像抽出部202より供給されてくる顔画像における条件情報のスコアとを比較する。そして、比較部205bは、顔画像抽出部202より供給されてくる顔画像における条件情報のスコアの方が高いとき、データベース管理部206を制御して、顔画像抽出部202より供給されてくる顔画像によりローカル生体情報DB207に記憶されている、直前に撮像されていた顔画像を更新させると共に、通信部204に対して、照合部203より供給されてきている顔画像を生体情報認識装置21に送信するように指示する。また、この場合、比較部205bは、顔画像抽出部202より供給されてくる顔画像における条件情報のスコアの方が高くないとき、通信部204に対して、照合部203より供給されてきている顔画像を生体情報認識装置21に送信しないように指示する。
さらに、比較部205bは、照合部203の類似度判定部213より直前の顔画像と類似していないことを示す情報が供給されてきた場合、すなわち、連続判定部205cにより直前に撮像されていた顔画像と連続していないと判定された場合、比較処理を行なわない。この場合、更新判定部205は、データベース管理部206を制御して、ローカル生体情報DB207に記憶されている直前の顔画像を、ローカル生体情報DB208に追加登録した上で、ローカル生体情報DB207より削除させ、さらに、新たに顔画像抽出部202より供給されてくる顔画像をローカル生体情報DB207に登録させる。この際、ID付与部205dは、新たに顔画像抽出部202より供給されてくる顔画像に対して人物IDを付与し、通信部204に対して人物IDを供給すると共に、照合部203より供給されてきている顔画像に人物IDを付して生体情報認識装置21に送信するように指示する。
尚、ローカル生体情報DB207には、直前に撮像された、同一の人物IDが付与される顔画像のうち、条件情報の上位3枚の画像が記憶され、ローカル生体情報DB208には、当日にローカル生体情報DB207に登録された同一の人物IDの顔画像のうち条件情報が上位となる3枚が順次蓄積される。また、一度人物IDが登録された後は、同一人物の顔画像については、同一の人物IDが付された状態で流通する。
このため、画像処理ユニット43は、遊技台42に対応付けて設けられているカメラ45により撮像される顔画像のうち、新規の顔画像であるか、または、継続して撮像されている顔画像のうち、特徴量の抽出に条件がよい顔画像だけを生体情報認識装置21に送信する。
次に、図10を参照して、精算販売機47に設けられているカメラ49により撮像された画像より顔画像を抽出して生体情報認識装置21に供給する画像処理ユニット48の構成例について説明する。尚、図9を参照して説明した構成と同一の構成については、同一の名称および符号を付すものとする。すなわち、画像処理ユニット48は、画像取得部201、顔画像抽出部202、および通信部204より構成されている。
このような構成から、画像処理ユニット48においては、顔画像抽出部202が、画像取得部201で取得されたカメラ49で撮像された画像から顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出し、通信部204が、顔画像を生体情報認識装置21に送信する。
すなわち、画像処理ユニット48は、画像処理ユニット43と異なり照合部203、更新判定部205、データベース管理部206、およびローカル生体情報DB207,208を備えていないので、特徴量の抽出に条件の良い顔画像であるか否かに関わらず、抽出した顔画像を生体情報認識装置21に送信する。また、画像処理ユニット48は、顔画像を人物毎に識別することができないため、生体情報認識装置21に供給される顔画像の情報には人物IDが付されない。
尚、貸出機51、および計数機55のそれぞれに設けられているカメラ49,53,57、並びに入口カメラ59−1乃至59−p、および店内カメラ61−1乃至61−qにより撮像された画像より顔画像を抽出して生体情報認識装置21に供給する画像処理ユニット52,56,58−1乃至58−p,60−1乃至60−qの構成は、画像処理ユニット48の構成と同様であるので、その説明は省略するものとする。
次に、図11を参照して、生体情報認識装置21の構成例について説明する。
顔画像取得部221は、画像処理ユニット43,48,52,56,58,60より供給される顔画像を取得し、照合部222に供給する。顔画像取得部221は、人物ID判定部221aを備えており、供給されてきた顔画像に人物IDが付与されていた場合、生体情報DB22に登録されている人物IDを検索し、存在するとき、顔画像をデータベース管理部226に供給して生体情報DB22を更新させる。照合部222は、顔画像取得部221により取得された顔画像と、生体情報DB22に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。また、照合部222は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
より詳細には、照合部222の特徴量抽出部231は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部232に供給する。類似度計算部232は、生体情報DB22に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部231より供給されてくる特徴量とを用いて、生体情報DB22に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部221より供給されてきた顔画像、および、類似度が上位3位までの顔画像を類似度判定部233に供給する。より具体的には、類似度計算部232は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
類似度判定部233は、遊技台42の近傍以外に設けられている画像処理ユニット48,52,56,58,60より供給されてくる人物IDが付されていない顔画像の場合で、かつ、類似度計算部232より供給されてくる類似度を蓄積し、上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、上位3位となる顔画像と類似度の情報を表示部23に供給して、表示させると供に、通信部224に供給する。また、類似度判定部233は、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似していない場合、顔画像取得部221より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。
また、類似度判定部233は、遊技台42に対応付けて設けられている画像処理ユニット43より供給されてくる人物IDが付されている顔画像の場合で、かつ、類似度計算部232より供給されてくる類似度を蓄積し、上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似している場合、顔画像取得部221より供給されてきた顔画像と、類似度が最上位となる顔画像とを条件抽出部228に供給する。条件抽出部228は、特徴量を抽出する条件情報を抽出し、比較部229に供給する。比較部229は、顔画像取得部221より供給されてきた顔画像の条件情報のスコア値と、類似度が最上位となる顔画像の条件情報のスコア値とを比較し、顔画像取得部221より供給されてきた顔画像の条件情報のスコア値の方が高い場合、顔画像取得部221より供給されてきた顔画像を、データベース管理部226に供給し、生体情報DB22における類似度が最上位となる顔画像に代えて登録させ、生体情報DB22を更新させると共に、類似度が最上位となる顔画像に代えて、顔画像取得部221より供給されてきた顔画像を含む、上位3位となる顔画像と類似度の情報を表示部23に供給して、表示させると供に、通信部224に供給する。
さらに、類似度判定部233は、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部221より供給されてきた顔画像に対して類似していない場合、顔画像取得部221より供給されてきた顔画像を人物IDと共に未登録遊技者データベース登録部223に供給する。
未登録遊技者データベース登録部223は、照合部222より未登録であるとみなされて供給されてきた、顔画像をデータベース管理部226に供給し、生体情報DB22に登録させる。
操作部225は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位3位となる、表示部23に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部224に供給する。通信部224は、モデムなどから構成され、操作部225からの操作信号に基づいて、選択された顔画像を携帯端末20に配信する。
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部233は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。
データベース管理部226は、未登録遊技者データベース登録部223より新たな顔画像の情報が供給されてくると、供給されてきた顔画像に基づいて、生体情報DB22を更新する。また、データベース管理部226は、生体情報DB22に登録されている同一の人物IDを備えた顔画像に代えて、比較部229より供給されてくる顔画像を登録させて、生体情報DB22を更新する。
次に、図12を参照して、携帯端末20の構成例について説明する。
通信部271は、モデムなどで構成されており、遊技店1内の無線通信網を介して生体情報認識装置21との間でデータを授受する。また、通信部271は、生体情報認識装置21より配信されてくる、画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部272に供給する。
画像処理部272は、通信部271より供給されてくる画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部273に表示する画像を生成すると供に、表示部273に表示させる。
次に、図13のフローチャートを参照して、遊技台42の近傍以外に設けられている例として、画像処理ユニット60(48,52,56,58も同様)より供給されてくる、入口カメラ59により撮像された画像より抽出される、人物IDが付されていない顔画像が生体情報認識装置21に供給されてくる場合の登録遊技者来店監視処理について説明する。
ステップS1において、入口カメラ59は、撮像している画像の情報、または、出入口の扉からの信号に基づいて、出入口の扉が開いたか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。
ステップS1において、扉が開いたと判定された場合、ステップS2において、入口カメラ59は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット60に供給する。画像処理ユニット60の画像取得部201は、供給された画像を取得し、顔画像抽出部202に供給する。
ステップS3において、顔画像抽出部202は、供給された画像より遊技者の顔画像を抽出し、通信部204に供給する。より具体的には、顔画像抽出部202は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、通信部204に供給する。
ステップS4において、通信部204は、顔画像抽出部202より供給されてきた顔画像を生体情報認識装置21に送信する。この際、通信部204は、カメラ45、入口カメラ59、または店内カメラ61のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置21に送信する。
ステップS21において、生体情報認識装置21の顔画像取得部221は、顔画像を取得する。ステップS22において、顔画像取得部221は、供給された顔画像のうち、いずれか未処理の1つを抽出し、特徴量抽出部231に供給する。
ステップS23において、照合部222の特徴量抽出部231は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部232に供給する。
ステップS24において、類似度計算部232は、類似度計算処理を実行する。
ここで、図14のフローチャートを参照して、類似度計算処理について説明する。
ステップS51において、類似度計算部232は、生体情報DB22に登録されている顔画像のうち、未処理の1つの登録遊技者の顔画像を抽出し、処理対象に設定する。
ステップS52において、類似度計算部232は、処理対象として設定した生体情報DB22に登録されている顔画像より、前記特徴量抽出部231より供給されてきた特徴量と同様の特徴量を抽出する。
ステップS53において、類似度計算部232は、特徴量抽出部231より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、生体情報DB22に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップS54において、計算結果である生体情報DB22に登録されている顔画像との類似度を類似度判定部233に供給する。
ステップS55において、類似度計算部232は、生体情報DB22に未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップS51に戻る。すなわち、生体情報DB22の全ての登録遊技者の顔画像との類似度が計算されるまで、ステップS51乃至S55の処理が繰り返される。そして、ステップS55において、生体情報DB22に未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。
ここで、図13のフローチャートの説明に戻る。
ステップS25において、類似度判定部233は、類似度の計算結果に基づいて順位を求め、生体情報DB22に登録されている顔画像のうちの上位3位までの顔画像と類似度の情報を抽出する。そして、類似度判定部233は、上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部233は、最も類似している登録遊技者(生体情報DB22に登録されている顔画像のうち、顔画像取得部221により取得された顔画像と最も類似している登録遊技者:ここでは、類似度の最も高い登録遊技者)の類似度を所定の閾値と比較する。
尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
ステップS25において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップS26において、類似度判定部233は、類似度計算部232より供給されてきた上位3位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面301を表示部23を制御して表示させる。
このとき、例えば、図15で示されるような報知画面301が、表示部23に表示される。
図15の報知画面301においては、カメラ画像表示欄311が、左中段に設けられており、画像処理ユニット39より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第1候補乃至第3候補までの類似度の上位3位の登録遊技者の顔画像表示欄312−1乃至312−3が設けられている。さらに、各登録遊技者の顔画像表示欄312−1乃至312−3の下には、類似度レベル表示欄313−1乃至313−3が設けられており、類似度のレベルが表示されている。図15において、黒で示される領域の横方向の長さが類似度の大きさを示している。
また、類似度レベル表示欄313−1乃至313−3の下には、対応する位置に、ID表示欄314−1乃至314−3が設けられており、各顔画像の生体情報DB22における顔画像を識別するIDが表示されており、図15において、左から「00051」、「00018」および「00022」と表示されている。
さらに、ID表示欄314−1乃至314−3の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部225により操作される確定ボタン318−1乃至318−3が設けられている。
また、カメラ画像表示欄311の下には、その顔画像を撮像したカメラを識別するカメラID表示欄315が設けられており、図15においては、カメラ45、入口カメラ59、および店内カメラ61を識別するためのカメラIDとして「カメラ02」が表示されている。さらに、カメラID表示欄315の下には、時刻表示欄316が設けられており、入口カメラ59により撮像された時刻が表示されており、図15においては、「18:23:32」と表示されており、カメラ画像表示欄311の顔画像が18時23分32秒に撮像されていることが示されている。
さらに、時刻表示欄316の下には、別人ボタン317が設けられており、カメラ画像の顔画像が、第1候補乃至第3候補となる登録遊技者の顔画像表示欄312−1乃至312−3のいずれにも似ていないとみなされたとき、操作部225により操作される。
ステップS27において、通信部224は、操作部225が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図15で示される報知画面301が表示部23に表示されていた場合、確定ボタン318−1乃至318−3のいずれかが操作部225により操作されたか否かを判定する。
ステップS27において、例えば、確定ボタン318−1が操作された場合、第1候補となる顔画像が選択されたとみなされ、ステップS28において、通信部224は、選択された第1候補となる顔画像および入口カメラ59により撮像されたカメラ画像を携帯端末20に送信し、該当する登録遊技者が来店したことを通知する。
ステップS41において、通信部271は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS41において、ステップS28の処理により、登録遊技者の来店が通知されてきた場合、ステップS42において、通信部271は、生体情報認識装置21より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像および入口カメラ59により撮像されたカメラ画像を画像処理部272に供給する。画像処理部272は、選択された顔画像および入口カメラ59により撮像されたカメラ画像の情報を、表示部273に表示可能な形式の情報に加工して、ステップS43において、表示部273に表示させる。
以上の処理により、遊技店1内の係員は、携帯端末20を所持していると、登録遊技者の来店を認識することが可能となる。
また、ステップS29において、顔画像取得部221は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップS22に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップS22乃至S30の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップS21に戻る。
一方、ステップS27において、いずれの候補となる顔画像も選択されず、例えば、図15の報知画面301における別人ボタン317が押下された場合、または、ステップS25において、類似度計算部232より供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップS30において、類似度判定部233は、画像処理ユニット39より供給されてきた顔画像を未登録遊技者データベース登録部223に供給する。未登録遊技者データベース登録部223は、未登録の遊技者の顔画像をデータベース管理部226に供給し、生体情報DB22に登録させる。
次に、図16のフローチャートを参照して、遊技台42の近傍に設けられている画像処理ユニット43より供給されてくる人物IDが付されている顔画像が生体情報認識装置21に供給されてくる場合の登録遊技者来店監視処理について説明する。尚、図16におけるステップS149,S150の処理は、図13を参照して説明したステップS28,S30の処理と同様であるので、その説明は省略するものとする。
ステップS111において、カメラ45は、設置されている遊技台42の近傍の範囲の画像を撮像し、撮像した画像を画像処理ユニット43に供給する。画像処理ユニット43の画像取得部201は、供給された画像を取得し、顔画像抽出部202に供給する。
ステップS112において、顔画像抽出部202は、供給された画像より遊技者の顔画像の抽出を試みて、顔画像が抽出できたか否かを判定し、顔画像が抽出されない場合、処理は、ステップS111に戻る。すなわち、顔画像が抽出されるまで、ステップS111,S112の処理が繰り返される。例えば、ステップS112において、遊技者が遊技台42に着座するなどして、カメラ45により遊技者が撮像され、撮像された画像から着座した遊技者の顔画像が抽出された場合、ステップS113において、顔画像抽出部202は、顔画像を抽出して、照合部203、および更新判定部205に供給する。
ステップS114において、更新判定部205の条件抽出部205aは、供給された顔画像、およびローカル生体情報DB207に記憶されている直前の顔画像に基づいて、条件情報を抽出してスコア化する。より具体的には、条件抽出部205aは、供給された顔画像および直前の顔画像より特徴量を抽出するための条件として、例えば、それぞれの顔画像のサイズ、目、鼻、口などの器官抽出などにより推定される顔の向き、および、顔画像全体の明るさの情報などを条件情報として抽出し、スコア化する。より詳細には、条件抽出部205aは、例えば、顔画像が表示されているピクセル数を顔画像のサイズにおけるスコアとする。また、条件抽出部205aは、例えば、器官抽出により推定される顔の向きの角度をスコアとする。さらに、条件抽出部205aは、例えば、顔画像を構成する画素値の総合計値をスコアとする。
ステップS115において、連続判定部205cは、供給されてくる顔画像を連続的に順次2枚分だけ記憶し、直前の顔画像と、供給されてきた顔画像とを比較して、撮像されている顔画像が連続的なものであるかを判定する。より具体的には、連続判定部205cは、例えば、連続的に記憶されている2枚の顔画像における各画素間の差分絶対値和を求めることにより、所定の閾値よりも小さいとき、連続しているとみなし、所定の閾値よりも大きいとき、顔画像に変化があり、連続していないと判定する。
ステップS115において、例えば、顔画像の取得が連続していないと判定された場合、直前に撮像されていた顔画像と異なるので、遊技台42において遊技している遊技者が入れ替わったか、または、顔の向きが大きく変化したものとみなし、ステップS116において、照合部203の特徴量抽出部211は、供給されてきた顔画像より特徴量を抽出し、供給されてきた顔画像と共に類似度計算部212に供給する。
ステップS117において、照合部203の類似度計算部212は、供給されてきた特徴量と、ローカル生体情報DB207に登録されている、直前の顔画像における顔画像の特徴量とに基づいて類似度を計算し、供給されてきた顔画像と共に類似度判定部213に供給する。
ステップS118において、照合部203の類似度判定部213は、供給されてきた類似度と、所定の閾値とを比較し、類似度が所定の閾値よりも大きいか否か、すなわち、直前の顔画像と今現在供給されてきた顔画像とが同一の人物のものであるか否かを判定し、判定結果を更新判定部205に供給すると共に、供給されてきた顔画像を通信部204に供給する。
ステップS118において、例えば、直前の顔画像と同一の人物の顔画像ではないと判定された場合、すなわち、直前の遊技者が遊技台42から離れて、新たな遊技者が着座したものとみなされた場合、ステップS122において、ID付与部205dは、新たな人物IDを設定し、通信部204に供給する。
ステップS123において、更新判定部205は、供給されてきた顔画像に発行された人物IDを付して、データベース管理部206を制御して、ローカル生体情報DB207に直前の顔画像として登録させると共に、ローカル生体情報DB207に記憶されていた、直前の人物の顔画像の情報を人物IDと対応付けて、ローカル生体情報DB208に記憶させる。
ステップS124において、通信部204は、照合部203より供給されてきた顔画像に、カメラ45−1乃至45−mのそれぞれを識別するカメラIDや、送信時刻の情報などと共に情報更新判定部205より供給されてきた人物IDを付して、生体情報認識装置21に供給し、処理は、ステップS111に戻る。
すなわち、以上の処理により、その遊技台42に着座して遊技を開始した新たな遊技者の顔画像が、直前に撮像された顔画像としてローカル生体情報DB207に登録されて、登録された顔画像が人物IDと共に生体情報認識装置21に供給される。
一方、ステップS115において、例えば、顔画像の取得が連続していないと判定された場合、または、ステップS118において、例えば、直前の顔画像と同一の人物の顔画像であると判定された場合、ステップS119において、更新判定部205の比較部205bは、条件抽出部205aより抽出された条件情報に基づいて、供給されてきた顔画像と、直前の顔画像と条件情報におけるスコア値を比較し、供給されてきた顔画像の方が直前の顔画像よりも条件情報が優れているか否かを判定する。
ステップS119において、例えば、供給されてきた顔画像の方が直前の顔画像よりも条件情報が優れている場合、ステップS120において、更新判定部205は、データベース管理部206を制御して、ローカル生体情報DB207に登録されている顔画像を、供給されてきた顔画像により更新する。すなわち、この処理により、ローカル生体情報DB207に登録される顔画像は、より優れた条件情報の顔画像、換言すれば、特徴量が抽出し易い顔画像に順次更新されていくことになる。
ステップS121において、更新判定部205は、この顔画像における人物IDを通信部204に供給する。通信部204は、照合部203より供給されてきた顔画像に、カメラ45−1乃至45−mのそれぞれを識別するカメラIDや、送信時刻の情報などと共に更新判定部205より供給されてきた人物IDを付して、生体情報認識装置21に供給し、処理は、ステップS111に戻る。
ステップS141において、顔画像取得部221は、画像処理ユニット43より供給されてきた人物IDを含む顔画像を取得する。
ステップS142において、人物ID判定部221aは、生体情報DB22にアクセスし、顔画像に付されている人物IDに対応付けて登録されている顔画像を検索し、供給されてきた顔画像に付された人物IDが登録されているか否か、すなわち、供給されてきた顔画像が登録済の顔画像であるか否かを判定する。
ステップS142おいて、例えば、これまでに生体情報DB22には登録されていない顔画像であって、人物IDが存在しない場合、ステップS143において、生体情報認識装置21の顔画像取得部221は、顔画像を取得する。ステップS143において、顔画像取得部221は、供給された顔画像を照合部222の特徴量抽出部231に供給する。
ステップS144において、照合部222の特徴量抽出部231は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部232に供給する。
ステップS145において、類似度計算部232は、類似度計算処理を実行する。尚、類似度計算処理については、図15と同様の処理であるので、その説明は省略するものとする。
ステップS146において、類似度判定部233は、類似度の計算結果に基づいて、生体情報DB22に登録されている顔画像のうちの最上位の顔画像と類似度の情報を抽出する。そして、類似度判定部233は、最上位の顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部233は、最も類似している登録遊技者(生体情報DB22に登録されている顔画像のうち、顔画像取得部221により取得された顔画像と最も類似している登録遊技者:ここでは、類似度の最も高い登録遊技者)の類似度を所定の閾値と比較する。
ステップS146において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップS147において、類似度判定部233は、類似度計算部232より供給されてきた最上位の顔画像を条件抽出部228に供給する。条件抽出部228は、画像処理ユニット43より供給されてきた顔画像、および類似度が最上位の顔画像について特徴量の抽出し易さを示す条件情報を抽出し、それぞれの顔画像と共に比較部229に供給する。比較部229は、画像処理ユニット43より供給されてきた顔画像の条件情報のスコアが、類似度が最上位の顔画像の条件情報のスコアよりも高いか否かを判定する。
ステップS147において、例えば、画像処理ユニット43より供給されてきた顔画像の条件情報のスコアが、類似度が最上位の顔画像の条件情報のスコアよりも高い場合、ステップS148において、比較部229は、データベース管理部226に顔画像取得部221により取得された顔画像を供給し、類似度判定部233より供給されてきた、類似度が最上位の顔画像を、生体情報DB22に登録されている類似度が最上位となる画像として更新させる。このとき、登録される顔画像の人物IDも併せて登録される。
一方、ステップS147において、画像処理ユニット43より供給されてきた顔画像の条件情報のスコアが、類似度が最上位の顔画像の条件情報のスコアよりも高くない場合、画像処理ユニット43より供給されてきた顔画像よりも、類似度が最上位の顔画像の方が特徴量が抽出し易い顔画像なので、生体情報DB22に登録された顔画像を以降も使用するものとして、ステップS148の処理はスキップされる。
また、ステップS146において、最上位の類似度が所定の閾値よりも大きくないと判定された場合、処理は、ステップS150に進む。
以上の処理により生体情報DB22に登録されている顔画像のうち、類似度の最も高い顔画像については、画像処理ユニット43より供給されてきた顔画像である可能性が高いので、条件情報のスコアが高ければ、生体情報DB22に登録されている顔画像に代えて、新たに生体情報DB22に蓄積させるようにすることで、認識精度を向上させることが可能となる。
また、ステップS142において、供給されてきた顔画像が、例えば、これまでに生体情報DB22に登録されている顔画像であって、人物IDが既に生体情報DB22に存在する場合、ステップS151において、顔画像取得部221は、取得した顔画像を条件抽出部228に供給する。さらに、条件抽出部228は、取得した顔画像と、人物IDが共通であって、生体情報DB22に登録されている顔画像とのそれぞれより、特徴量を抽出するための条件情報をを抽出し、比較部229に供給する。そして、比較部229は、それぞれの条件情報のスコアを比較し、取得した顔画像のスコアの方が、生体情報DB22に登録されている顔画像よりも高いか否かを判定する。
ステップS151において、取得した顔画像のスコアの方が、生体情報DB22に登録されている顔画像よりも高いと判定された場合、ステップS152において、比較部229は、取得した顔画像により、生体情報DB22に登録されている人物IDの顔画像を更新する。
一方、ステップS151において、取得した顔画像のスコアの方が、生体情報DB22に登録されている顔画像よりも高くないと判定された場合、ステップS152の処理はスキップされる。
以上の処理により、画像処理ユニット43より供給されてくる顔画像の人物IDと同一の人物IDの顔画像が生体情報DB22に登録済みであった場合、画像処理ユニット43より供給されてくる顔画像の条件情報が、生体情報DB22に登録済みの顔画像よりも高ければ、順次更新されていくことになるため、更新される度に顔画像の照合精度を向上させるようにすることが可能となる。
以上によれば、画像処理ユニット43においては、遊技台42の前に設けられているカメラ45により撮像された顔画像のうち、特徴量の抽出に最適な条件情報を備えた顔画像のみが生体情報認識装置21に供給されることになるので、生体情報認識装置21における顔画像の認証処理の負荷を低減させることが可能となる。また、画像処理ユニット43においては、ローカル生体情報DB207により直前の顔画像との照合を繰り返すことにより、その中で、条件情報の高い顔画像を順次更新していくため、画像処理ユニット43における類似度判定処理の精度も向上することで、さらに、特徴量の抽出に有利な条件の顔画像のみを生体情報認識装置21に供給することが可能となる。
さらに、生体情報認識装置21において、人物ID毎に登録されている顔画像であれば、画像処理ユニット43より供給されてくる、より条件情報が優れた顔画像が生体情報DB22に順次更新により登録されることになるので、生体情報認識装置21における類似度判定による顔画像の認識精度を向上させることが可能となる。
また、データベースに登録された顔画像との照合処理を行うサーバにより実現される照合処理システムに係るサーバの処理負荷を低減させることが可能になると共に、照合精度を向上させるようにすることが可能となる。
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図17は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明を適用した監視システムの一実施の形態の構成を示す図である。 図1のカメラの設置例を示す図である。 図1のカメラの設置例を示す図である。 図1のカメラの設置例を示す図である。 図1のカメラの設置例を示す図である。 図1のカメラの設置例を示す図である。 図1のカメラの設置例を示す図である。 図1の入口カメラおよび店内カメラの設置例を示す図である。 図1の画像処理ユニットの構成例を説明する図である。 図1のその他の画像処理ユニットの構成例を説明する図である。 図1の生体情報認識装置の構成例を説明する図である。 図1の携帯端末の構成例を説明する図である。 登録遊技者来店監視処理を説明するフローチャートである。 類似度計算処理を説明するフローチャートである。 報知画像の表示例を説明する図である。 登録遊技者来店監視処理を説明するフローチャートである。 パーソナルコンピュータの構成例を説明する図である。
符号の説明
1 遊技店
21 生体情報認識装置
22 生体情報データベース
24 遊技店管理装置
26 遊技台管理データベース
27 媒体貸出管理装置
29 媒体貸出管理データベース
30 遊技店管理情報バス
31 生体情報バス
32 媒体貸出管理情報バス
41,41−1乃至41−m 遊技台情報端末
42,42−1乃至42−m 遊技台
43,43−1乃至43−m 画像処理ユニット
44,44−1乃至44−m 遊技台周辺端末
45,45−1乃至45−m カメラ
46 精算販売機情報端末
47 精算販売機
48 画像処理ユニット
49 カメラ
50 貸出機情報端末
51 貸出機
52 画像処理ユニット
53 カメラ
54 計数機情報端末
55 計数機
56 画像処理ユニット
57 カメラ
58,58−1乃至58−p 画像処理ユニット
59,59−1乃至59−p 入口カメラ
60,60−1乃至60−p 画像処理ユニット
61,61−1乃至61−q 店内カメラ

Claims (7)

  1. 顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムにおいて、
    情報処理装置は、
    遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得手段と、
    前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積手段と、
    前記取得手段により取得された前記照合対象者、および前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出手段と、
    前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較手段と、
    前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得手段により取得された顔画像を前記監視装置に送信する送信手段と
    を含み、
    前記監視装置は、
    前記送信手段により送信されてくる前記照合対象者の顔画像を受信する受信手段と、
    蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、
    前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合手段と、
    前記第1の類似度照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定手段と、
    前記第1の類似度判定手段の判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
    を含む監視システム。
  2. 前記情報処理装置は、
    画像を撮像する撮像手段と、
    前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段とさらに含み、
    前記監視装置は、
    前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含み、
    前記受信手段は、前記顔画像抽出手段により抽出された前記照合対象者の顔画像として受信し、
    前記第1の類似度照合手段は、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記受信手段により受信された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合する
    請求項1に記載の監視装置。
  3. 前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記照合対象者蓄積手段に蓄積されている所定数の顔画像のうち、前記条件情報が最も低い顔画像を削除し、前記取得手段により取得された顔画像を記照合対象者の顔画像として蓄積することにより、前記照合対象者蓄積部を更新する更新手段をさらに含む
    請求項1に記載の監視装置。
  4. 前記情報処理装置は、
    前記取得手段により取得された照合対象者の顔画像と、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像との類似度を計算し、照合する第2の類似度照合手段と、
    前記第2の類似度照合手段の照合結果である類似度と所定の閾値との比較により、前記取得手段により取得された照合対象者の顔画像が、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像であるか否かを判定する第2の類似度判定手段とをさらに含み、
    前記条件情報比較手段は、
    前記第2の類似度判定手段の判定結果に基づいて、前記取得手段により取得された照合対象者の顔画像が、前記照合対象者蓄積手段に蓄積された照合対象者の顔画像である場合、前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較し、
    前記送信手段は、前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れているとき、前記取得手段により取得された顔画像を前記監視装置に送信する
    請求項1に記載の監視装置。
  5. 顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムの監視方法において、
    情報処理装置の監視方法は、
    遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得ステップと、
    前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積ステップと、
    前記取得ステップの処理により取得された前記照合対象者、および前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出ステップと、
    前記条件情報抽出ステップの処理により抽出された条件情報に基づいて、前記取得ステップの処理により取得された顔画像の条件情報と、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較ステップと、
    前記条件情報比較ステップの処理により、前記取得ステップの処理により取得された顔画像の条件情報が、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得ステップの処理により取得された顔画像を前記監視装置に送信する送信ステップと
    を含み、
    前記監視装置の監視方法は、
    前記送信ステップの処理により送信されてくる前記照合対象者の顔画像を受信する受信ステップと、
    蓄積者の顔画像を蓄積者データベースに蓄積する蓄積ステップと、
    前記受信ステップの処理により受信された照合対象者の顔画像と、前記蓄積ステップの処理で蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合ステップと、
    前記第1の類似度照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定ステップと、
    前記第1の類似度判定ステップの処理での判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知ステップと
    を含む監視システムの監視方法。
  6. 顔画像を取得する情報処理装置と、前記情報処理装置より供給されてくる画像に基づいて監視処理を行なう監視装置とからなる監視システムを制御するコンピュータであって、
    情報処理装置を制御するコンピュータに、
    遊技台に接近した人体における前記顔画像を、照合対象者の顔画像として取得する取得ステップと、
    前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積ステップと、
    前記取得ステップの処理により取得された前記照合対象者、および前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出ステップと、
    前記条件情報抽出ステップの処理により抽出された条件情報に基づいて、前記取得ステップの処理により取得された顔画像の条件情報と、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較ステップと、
    前記条件情報比較ステップの処理により、前記取得ステップの処理により取得された顔画像の条件情報が、前記照合対象者蓄積ステップの処理により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得ステップの処理により取得された顔画像を前記監視装置に送信する送信ステップと
    を含む処理を実行させ、
    前記監視装置を制御するコンピュータに、
    前記送信ステップの処理により送信されてくる前記照合対象者の顔画像を受信する受信ステップと、
    蓄積者の顔画像を蓄積者データベースに蓄積する蓄積ステップと、
    前記受信ステップの処理により受信された照合対象者の顔画像と、前記蓄積ステップの処理で蓄積された蓄積者の顔画像との類似度を計算し、照合する第1の類似度照合ステップと、
    前記第1の類似度照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する第1の類似度判定ステップと、
    前記第1の類似度判定ステップの処理での判定結果に基づいて、前記照合対象者の顔画像が前記蓄積者の顔画像である場合、前記照合対象者が前記蓄積者であることを通知する通知ステップと
    を含む処理を実行させるプログラム。
  7. 遊技台に接近した人体における顔画像を、照合対象者の顔画像として取得する取得手段と、
    前記照合対象者の顔画像を所定数だけ蓄積する照合対象者蓄積手段と、
    前記取得手段により取得された前記照合対象者、および前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像より、前記顔画像の特徴量を抽出するための条件を示す条件情報を抽出する条件情報抽出手段と、
    前記条件情報抽出手段により抽出された条件情報に基づいて、前記取得手段により取得された顔画像の条件情報と、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報とを比較する条件情報比較手段と、
    前記条件情報比較手段により、前記取得手段により取得された顔画像の条件情報が、前記照合対象者蓄積手段により蓄積されている照合対象者の顔画像の条件情報よりも優れている場合、前記取得手段により取得された顔画像を監視装置に送信する送信手段と
    を含む情報処理装置。
JP2007166885A 2007-06-25 2007-06-25 監視システムおよび方法、情報処理装置、並びにプログラム Active JP4941124B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007166885A JP4941124B2 (ja) 2007-06-25 2007-06-25 監視システムおよび方法、情報処理装置、並びにプログラム
US12/044,385 US8131023B2 (en) 2007-06-25 2008-03-07 Monitoring system for acquiring a facial image and performing monitoring processing, method, information processing device, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007166885A JP4941124B2 (ja) 2007-06-25 2007-06-25 監視システムおよび方法、情報処理装置、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009003898A JP2009003898A (ja) 2009-01-08
JP4941124B2 true JP4941124B2 (ja) 2012-05-30

Family

ID=40136548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007166885A Active JP4941124B2 (ja) 2007-06-25 2007-06-25 監視システムおよび方法、情報処理装置、並びにプログラム

Country Status (2)

Country Link
US (1) US8131023B2 (ja)
JP (1) JP4941124B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294020B2 (ja) * 2009-03-09 2013-09-18 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP2012014568A (ja) * 2010-07-02 2012-01-19 Omron Corp 監視装置および方法、並びにプログラム
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックIpマネジメント株式会社 顔画像登録装置および方法
US8693789B1 (en) * 2010-08-09 2014-04-08 Google Inc. Face and expression aligned moves
KR101409951B1 (ko) * 2010-08-17 2014-07-02 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 원격 디스플레이 제어
JP5869805B2 (ja) * 2011-08-25 2016-02-24 キヤノン株式会社 情報処理装置、撮像装置、およびそれらの制御方法、プログラム、並びに記憶媒体
JP2013196043A (ja) * 2012-03-15 2013-09-30 Glory Ltd 特定人物監視システム
WO2013157265A1 (ja) * 2012-04-18 2013-10-24 パナソニック株式会社 画像処理システム、サーバ装置、撮像装置及び画像判定方法
US11341749B2 (en) * 2012-09-28 2022-05-24 Avaya Inc. System and method to identify visitors and provide contextual services
KR20140055819A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
US9465813B1 (en) 2012-11-09 2016-10-11 Amazon Technologies, Inc. System and method for automatically generating albums
JP5826152B2 (ja) * 2012-11-20 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
US9075847B2 (en) * 2012-11-28 2015-07-07 Sap Se Methods, apparatus and system for identifying a document
US9633272B2 (en) * 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
JP5997120B2 (ja) * 2013-09-26 2016-09-28 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
US9884258B2 (en) * 2013-10-08 2018-02-06 Google Llc Automatic sharing of engaging gameplay moments from mobile
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
JP6268960B2 (ja) * 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
JP5627811B1 (ja) * 2014-04-16 2014-11-19 新生電子株式会社 遊技場内管理システム
BR112017024609A2 (pt) * 2015-05-21 2018-07-31 Facewatch Ltd sistemas, métodos, e dispositivos para compartilhamento e coincidência de informações
US9971933B1 (en) 2017-01-09 2018-05-15 Ulsee Inc. Facial image screening method and face recognition system thereof
JP2018120644A (ja) * 2018-05-10 2018-08-02 シャープ株式会社 識別装置、識別方法およびプログラム
CN109190509B (zh) * 2018-08-13 2023-04-25 创新先进技术有限公司 一种身份识别方法、装置和计算机可读存储介质
JP6749623B1 (ja) * 2019-03-19 2020-09-02 株式会社クリューシステムズ 認証方法、そのシステム及び管理サーバ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003003613A (ja) 2001-06-20 2003-01-08 Kubota Corp 耐風クリップ及び屋根材の施工方法
JP4078117B2 (ja) * 2002-05-23 2008-04-23 日本放送協会 被写体判別方法、被写体判別装置、及び被写体判別プログラム
JP2003346149A (ja) * 2002-05-24 2003-12-05 Omron Corp 顔照合装置および生体情報照合装置
JP4013684B2 (ja) * 2002-07-23 2007-11-28 オムロン株式会社 個人認証システムにおける不正登録防止装置
JP2005063077A (ja) * 2003-08-08 2005-03-10 R & D Associates:Kk 個人認証方法、個人認証装置及びコネクタ
JP2006338122A (ja) * 2005-05-31 2006-12-14 Olympus Imaging Corp 携帯端末装置
JP4725377B2 (ja) * 2006-03-15 2011-07-13 オムロン株式会社 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP2007300363A (ja) * 2006-04-28 2007-11-15 Omron Corp 監視装置および方法、並びにプログラム
JP4924883B2 (ja) * 2007-01-30 2012-04-25 オムロン株式会社 監視装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US8131023B2 (en) 2012-03-06
JP2009003898A (ja) 2009-01-08
US20080317349A1 (en) 2008-12-25

Similar Documents

Publication Publication Date Title
JP4941124B2 (ja) 監視システムおよび方法、情報処理装置、並びにプログラム
JP5824806B2 (ja) 顔画像管理装置、顔画像管理方法、並びにプログラム
JP5617627B2 (ja) 監視装置および方法、並びにプログラム
JP4924883B2 (ja) 監視装置および方法、並びにプログラム
JP5186756B2 (ja) 情報処理装置および方法、並びにプログラム
JP5013172B2 (ja) 情報処理装置および方法、並びにプログラム
JP2007272604A (ja) 情報処理装置および方法、並びにプログラム
JP5560976B2 (ja) 情報処理装置および方法、並びにプログラム
JP4919057B2 (ja) 監視装置および方法、並びにプログラム
JP2008036352A (ja) 分煙装置および分煙制御方法、並びにプログラム
JP5577729B2 (ja) 監視装置および方法、並びにプログラム
JP2008085584A (ja) 監視装置および方法、監視システム、並びにプログラム
JP2009086932A (ja) 画像処理装置および方法、並びにプログラム
JP2008040829A (ja) 情報処理装置および方法、情報処理システム、並びにプログラム
JP2012014568A (ja) 監視装置および方法、並びにプログラム
JP4877005B2 (ja) 監視装置および方法、並びにプログラム
JP4760717B2 (ja) 監視装置および方法、並びにプログラム
JP5292982B2 (ja) 人体検出装置、および方法、監視装置および方法、並びにプログラム
JP5338178B2 (ja) 監視装置および方法、並びにプログラム
JP2007293741A (ja) 監視装置および方法、登録者照合装置、属性推定装置および方法、並びにプログラム
JP4807267B2 (ja) 監視装置および方法、並びにプログラム
JP4807291B2 (ja) 監視装置および方法、監視システム、並びにプログラム
JP5338173B2 (ja) 監視装置および方法、並びにプログラム
JP2007304984A (ja) 監視装置および方法、並びにプログラム
JP5549418B2 (ja) 情報処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

R150 Certificate of patent or registration of utility model

Ref document number: 4941124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3