WO2016088401A1 - 防犯システム - Google Patents

防犯システム Download PDF

Info

Publication number
WO2016088401A1
WO2016088401A1 PCT/JP2015/070671 JP2015070671W WO2016088401A1 WO 2016088401 A1 WO2016088401 A1 WO 2016088401A1 JP 2015070671 W JP2015070671 W JP 2015070671W WO 2016088401 A1 WO2016088401 A1 WO 2016088401A1
Authority
WO
WIPO (PCT)
Prior art keywords
store
person
image
visitor
face image
Prior art date
Application number
PCT/JP2015/070671
Other languages
English (en)
French (fr)
Inventor
壮志 河村
Original Assignee
Ｌｙｋａｏｎ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014243293A external-priority patent/JP5747116B1/ja
Application filed by Ｌｙｋａｏｎ株式会社 filed Critical Ｌｙｋａｏｎ株式会社
Publication of WO2016088401A1 publication Critical patent/WO2016088401A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Definitions

  • the present invention relates to a crime prevention system, for example, a crime prevention system that prevents a crime such as shoplifting by detecting a person to be alerted using face authentication verification processing and providing information on the detected person to be alerted.
  • a crime prevention system for example, a crime prevention system that prevents a crime such as shoplifting by detecting a person to be alerted using face authentication verification processing and providing information on the detected person to be alerted.
  • Patent Document 1 an image taken when a customer enters the store is read from the store customer image file unit, and face authentication collation is sequentially performed in real time with an addict image registered in the shoplifter database.
  • a “face authentication application shoplifting detection system” is disclosed in which the person in question is identified as a shoplifting addict and is notified to the store clerk by an alarm.
  • the above-described conventional technology (the invention described in Patent Document 1) has the following technical problems. Specifically, the above-described “face authentication applied shoplifting detection system” notifies the store clerk by an alarm when it is determined by the face authentication verification process that an addict registered in the shoplifter database has come to the store.
  • the store clerk cannot cope unless he / she remembers the face and characteristics of the certified addict.
  • the store clerk cannot determine which of the store visitors will be monitored simply by being informed that the addict is visiting the store. It is difficult and sufficient security measures may not be taken.
  • the present invention has been made in view of the above technical problem, and its purpose is to monitor a visitor who visits a store, detect a visitor who takes suspicious behavior, and carry information about the detected visitor to the mobile phone. It is to provide a crime prevention system that enables effective crime prevention measures by providing it to a terminal.
  • the present invention which has been made to solve the above-mentioned problems, includes a camera for imaging a person entering a store through a store entrance and an exit for capturing a person exiting through a store entrance.
  • a store imaging camera, a plurality of in-store imaging cameras for imaging a person in the store, a face authentication verification device having a face authentication verification processing function, and the face authentication verification device are connected via a network.
  • the present invention is applied to a security system including a server device.
  • the store is divided into a plurality of areas, and the plurality of in-store imaging cameras are respectively installed at different positions in the store, and a predetermined number of corresponding areas to be imaged are set.
  • a camera ID for identifying the person and a captured image of the person in the store are transmitted to the face authentication verification device.
  • the face authentication collating device temporarily stores a face image of a person imaged by a store visitor imaging camera in association with a visitor ID assigned to a person who has visited the store, For each visitor ID, a visit management database storing behavior patterns in which areas specified by the visitor ID pass in the store are arranged in time series, and each camera ID for identifying an in-store imaging camera.
  • the area estimation table storing the store area in association with the number of pixels of the face image, and the criminal action database storing the predetermined suspicious behavior pattern
  • the face authentication verification device When receiving the camera ID and the captured image of the person transmitted from the shopkeeper imaging camera, the face authentication verification device extracts a facial image from the received captured image and assigns a visitor ID to the facial image.
  • the face image is stored in the temporary storage database in association with the store visitor ID, and when the camera ID and the captured image transmitted from the store image pickup camera are received, the face image is stored in the temporary storage database.
  • the face image and the face image extracted from the received captured image are collated by face authentication collation processing, and the face image stored in the temporary storage database matches the face image extracted from the received captured image.
  • the registered area is additionally registered and updated in the behavior pattern associated with the read store visitor ID, and the updated row It is determined whether or not the pattern and the action pattern stored in the criminal action database are similar, and if it is determined that the pattern is similar, the server device, the received captured image of the person in the store, Send information indicating that there is a visitor taking suspicious behavior and a store ID identifying the store where the customer is installed, The server device associates terminal identification information for identifying a portable terminal held by a store clerk, a store ID for identifying a store to which the store clerk belongs, and correspondence instruction information for instructing a person to be alerted.
  • a terminal database stored and an information providing unit that provides information related to the attention target to the portable terminal via the network the information providing unit in the store transmitted by the face authentication verification device
  • the terminal database Upon receiving a captured image of a person, information indicating that there is a store taking a suspicious action, and a store ID, the terminal database is referred to, the mobile terminal associated with the store ID is specified, and the store ID And informing that the identified mobile terminal has a visitor who takes a suspicious action, and in the store transmitted from the face authentication verification device And providing information about the attention subject containing the corresponding indication information read the captured image of the object.
  • the face authentication verification device associates detailed information including the name, age, gender and physical characteristics, criminal history, and store visit history of the attention target person for each face image of the attention target person.
  • the attention object registered in the person database before the face authentication collation process having the person database stored and collating the face image stored in the temporary storage database and the face image extracted from the received captured image
  • the server device is provided with a face image extracted from the received captured image, information indicating that the attention target person has visited the store, detailed information associated with the matching face image of the attention target person, and itself.
  • the information providing unit of the server device refers to the terminal database when receiving the face image transmitted by the face authentication verification device, the information indicating that the attention target person is visiting, the detailed information, and the store ID. And specifying the mobile terminal associated with the store ID, reading the corresponding instruction information associated with the store ID, and notifying the specified mobile terminal that the attention target person is coming to the store. It is desirable to provide the mobile terminal with information related to the attention subject including the face image and detailed information transmitted from the face authentication verification device and the read corresponding instruction information.
  • a visitor who visits a store is monitored, a visitor who takes suspicious behavior is detected, and effective security measures can be implemented by providing information related to the detected visitor to the mobile terminal.
  • a security system can be provided.
  • the security system has a function of detecting when a pre-registered caution target person visits the store and detecting that the caution target person has visited the store in real time, and the store person takes suspicious behavior. In this case, it has a function of detecting the situation and informing the store clerk, and a function of instructing each store clerk to respond to the person to be alerted.
  • FIG. 1 is a schematic diagram showing the overall configuration of the crime prevention system of the present embodiment.
  • FIG. 2 is the schematic diagram which showed the state which has arrange
  • a face authentication collation device 1 that performs face authentication collation processing for collating a store visitor image captured by the camera Cn with a pre-stored image of the attention target person, and a face authentication collation device 1 and a network NW (Internet)
  • NW Internet
  • the stores are divided into a lattice pattern and divided into a plurality of areas (A1 to A5, B1 to B5, C1 to C5, D1 to D5, and E1 to E5).
  • a store entrance imaging camera CE1 and a store exit imaging camera CE2 are provided for entrance / exit imaging.
  • the camera CE1 is installed at a position where the face of the person entering the store from the entrance can be imaged
  • the camera CE2 is installed at a position where the face of the person leaving the store from the entrance can be imaged.
  • Each camera Cn is installed at a different location in the store, and is installed at a location where the area of the store in charge (a predetermined number of areas) can be imaged.
  • the camera C1 and the camera C15 are installed at positions where a person passing through areas A5, B5, C5, D5, and E5 can be imaged.
  • the camera C6 and the camera C17 are installed at positions where a person passing through the areas A1, A2, A3, A4, and A5 can be imaged.
  • the two cameras CE1 and CE2 are provided for entrance / exit shooting.
  • 2 stores are provided for each entrance.
  • a camera for imaging the entrance of the base is provided.
  • the crime prevention system of this embodiment specifies which area the visitor has passed in the store from the images captured by the cameras C1... C17, and displays the visitor's behavior pattern (flow line). If there is a visitor having an action pattern similar to the action pattern registered in advance (for example, the action pattern of a person determined to have shoplifted in the past), the suspicious action is taken via the server device 3.
  • a function of notifying a store clerk's smartphone SP that there is a store visitor (store visitor monitoring function) is provided.
  • indicates the response
  • the smartphone SP is connected to the smartphone SP via the server device 3.
  • Correspondence contents to the attention target person determined for each user are provided.
  • each structure of the crime prevention system of this embodiment is demonstrated.
  • the face authentication verification device 1 includes a control unit 10, an image processing unit 11, a communication processing unit 12, a face authentication verification unit 13, an alarm transmission unit 14, an action monitoring unit 50, a watchful person database 60, A store visitor temporary storage database 61, store visit management database 62, detection history database 63, criminal action database 64, and area estimation table 65 are provided.
  • the hardware configuration of the face authentication verification device 1 is not particularly limited.
  • a central processing unit (CPU) a main storage device, an auxiliary storage device, an input / output I / F, and a communication I / F are included. It is comprised by the computer (one or several computer) provided.
  • the auxiliary storage device includes a program for realizing the functions of the respective units (the control unit 10, the image processing unit 11, the communication processing unit 12, the face authentication verification unit 13, the alarm transmission unit 14, and the behavior monitoring unit 50). Stored.
  • each of the above-mentioned databases (a watchful person database 60, a visitor temporary storage database 61, a visit management database 62, a detection history database 63, a criminal action database 64, an area estimation table 65) is provided.
  • the function of each part (the control part 10, the image processing part 11, the communication processing part 12, the face authentication collation part 13, the alarm transmission part 14, and the action monitoring part 50) is stored in the auxiliary storage device by the central processing unit (CPU).
  • This program is realized by loading the executed program into a main storage device and executing it.
  • control unit 10 controls the operation of the entire face authentication verification device 1 and accepts various settings for the face authentication verification device 1 via the management terminal P. Further, the image processing unit 11 acquires store visitor images captured by the cameras CE1, CE2, C1,..., C17, and performs image processing such as color adjustment.
  • the communication processing unit 12 exchanges various information with the information providing unit 31 of the server device 3 via the network NW.
  • the face authentication collation unit 13 acquires an image obtained by capturing the store visitor captured by the cameras C1... C17, the image obtained by capturing the acquired store visitor, and image data registered in the cautionary person database 60. And face authentication verification. Then, as a result of the face authentication collation process, when the image obtained by capturing the store visitor matches the image data registered in the person-of-interest database 60, the face authentication collation unit 13 transmits an alarm indicating data indicating that fact. The information is output to the unit 14, and the clerk's smartphone SP is notified through the server device 3 that a person requiring attention is coming to the store.
  • the alarm transmitter 14 When the alarm transmitter 14 receives the “data indicating that the image taken of the store visitor and the image data registered in the watchable person database 60 match” transmitted by the face authentication verification unit 13, A signal for instructing lighting is transmitted to light the rotating lamp L, and a signal for instructing alarm output to the buzzer B is transmitted to sound an alarm sound from the buzzer B.
  • the behavior monitoring unit 50 uses the number of pixels of the customer's face image extracted from the image captured by the cameras C1... C17 and the area estimation TB65 described later to determine which area (A1) To A5, B1 to B5, C1 to C5, D1 to D5, E1 to E5), register the specified area in the store management database 62 described later, and update the visitor's behavior pattern Go.
  • the behavior monitoring unit 50 compares the behavior pattern of the store visitor registered in the store visit management database 62 with the behavior pattern registered in the criminal behavior database 64 described later, and there is a store visitor having a similar behavior pattern. In this case, it is determined that there is a visitor who takes suspicious behavior, and information indicating that is transmitted to the face authentication verification unit 13.
  • the face authentication collating unit 13 When the face authentication collating unit 13 receives information indicating that there is a visitor who takes a suspicious action, the face authentication collation unit 13 notifies the clerk's smartphone SP that there is a visitor taking a suspicious action via the server device 3. It has become. The processing performed by the face authentication verification unit 13 and the behavior monitoring unit 50 will be described in detail later.
  • FIG. 3 is a schematic diagram of a sensitive person database used in the crime prevention system of the present embodiment.
  • the attention required person database 60 is associated with the attention target person ID for identifying the attention target person, the image data of the attention target person (image data showing the face), the name and gender of the attention target person.
  • This is a database for storing attribute information such as age and physical characteristics, crime history, store visit count and store history.
  • the caution required person database 60 includes a field 60a for registering the attention target person ID, and a field 60b for registering image data (for example, image data in the jpeg format) representing the face of the attention target person.
  • a field 60g for registering the physical characteristics of the subject of attention, a field 60h for registering the crime history (crime history) of the subject of attention, a field 60i for registering the number of visits of the subject of attention, and a store history of the subject of attention Are composed of records having a field 60j for registering (consisting of a plurality of records).
  • the caution target person ID is unique data assigned to each caution target person registered in the attention required person database 60, and is composed of alphanumeric characters or the like.
  • criminal acts shoplifting, etc.
  • the contents of criminal acts shoplifted products (books, clothes, etc.)
  • the number of visits to the field 60i is updated by the face authentication collation unit 13 every time an attention target person's visit is detected
  • the store visit history in the field 60j is updated every time an attention person's visit is detected. Added by the authentication verification unit 13.
  • FIG. 4 is a schematic diagram of a store visitor temporary storage database used in the crime prevention system of this embodiment.
  • the store visitor temporary storage database 61 is a database for temporarily storing a face image of a person who has visited the store until the person leaves the store, and is associated with a store visitor ID for identifying the store visitor. , An image (face image) obtained by imaging the store visitor, date and time of entry, estimated gender and estimated age are stored. This store visitor temporary storage database 61 is used to grasp the behavior pattern of the store visitor.
  • the store visitor temporary storage database 61 includes a field 61a for registering a store visitor ID, a field 61b for registering image data (for example, image data in jpeg format) representing the store visitor's face, and a store visitor.
  • image data for example, image data in jpeg format
  • a field 61d for registering the estimated sex of the store visitor and a field 61e for registering the estimated age of the store visitor (consisting of a plurality of records).
  • image data showing a visitor's face several examples in which facial feature values are scored may be registered in the field 61b.
  • the visitor ID is unique data assigned to each visitor registered in the visitor database 61, and is composed of alphanumeric characters or the like.
  • the face image of the visitor registered in the field 61b is extracted from an image captured by the camera (entrance-capturing camera) CE1 when the visitor enters the store through the entrance / exit.
  • the estimated gender and estimated age registered in the fields 61d and 61e are the gender and age estimated by the face authentication collation unit 13 using an image captured by the camera CE1.
  • FIG. 5 is a schematic diagram of a store visit management database used in the crime prevention system of this embodiment.
  • the store visit management database 62 is a database for registering an action pattern in the store of a person who has visited the store (an action pattern in which passage areas in the store are arranged in time series), and is associated with the visitor ID.
  • the visitor's behavior pattern in the store, the staying time in the store, the estimated gender of the visitor, the estimated age of the visitor, and the attention person flag are stored.
  • This store management database 62, together with the criminal action database 64 described later, is used to determine whether or not a store visitor is taking suspicious behavior.
  • the store management database 62 includes a field 62a for registering a store visitor ID, a field 62b for registering a visitor's behavior pattern, a field 62c for registering a visitor's stay time, and the estimated sex of the store visitor. Is recorded with a field 62d for registering the estimated age of the store visitor, and a field 62f for registering the attention person flag (consisting of a plurality of records).
  • the behavior pattern registered in the field 62b is a pattern in which an area where a visitor has passed in the store and the passage time of the area are registered in time series.
  • the action pattern indicating that the vehicle has passed the area D5 ” is registered at 11:05.
  • the behavior pattern (traffic line) in the store of the store visitor. We are trying to grasp it.
  • the behavior pattern registered in the field 62b is additionally registered and updated every time the behavior monitoring unit 50 specifies the passing area of the store visitor. Further, “NULL” is normally registered in the field 62f, and “1” is registered as a flag when the behavior monitoring unit 50 determines that the behavior pattern registered in the field 62b is suspicious. It has come to be.
  • FIG. 6 is a schematic diagram of a detection history database used in the crime prevention system of this embodiment.
  • the detection history database 63 is a database for registering the detection history of the attention target person registered in the attention required person database 60.
  • the registered face image, the captured face image, and the authentication are associated with the attention target person ID.
  • the accuracy and detection date and time are stored.
  • the detection history database 63 includes a field 63a for registering the attention target person ID, a field 63b for registering the face image of the attention target person registered in the attention required person database 60, and the camera Cn. Is a record having a field 63c for registering the face image of the attention subject imaged in the field, a field 63d for registering the authentication accuracy of the face authentication verification process performed by the face authentication verification unit 13, and a field 63e for registering the detection date and time. Consists (consists of multiple records).
  • FIG. 7 is a schematic diagram of a crime operation database used in the crime prevention system according to the second embodiment.
  • the criminal action database 64 is a database for registering “behavior patterns (behavior patterns in which passage areas in the store are arranged in time series)” in a store that is considered suspicious, and behavior that is considered suspicious. In association with the pattern ID for identifying the pattern, the suspicious behavior pattern, estimated gender, estimated age, and crime content are stored. In the present embodiment, the behavior pattern registered in the criminal behavior database 64 is compared with the behavior pattern registered in the store visit management database 62, and whether or not they are similar to each other by a predetermined value (for example, whether there is a predetermined match point or more). Whether or not the visitor's behavior is suspicious is determined.
  • a predetermined value for example, whether there is a predetermined match point or more
  • the criminal action database 64 includes a field 64a for registering a pattern ID, a field 64b for registering an action pattern specified by the pattern ID, a field 64c for registering a staying time, and a field for registering an estimated gender. 64d, a field 64e for registering the estimated age, and a field 64f for registering the crime content (consisting of a plurality of records).
  • the pattern ID is unique data assigned to each behavior pattern registered in the criminal action database 64, and is composed of alphanumeric characters or the like.
  • data created by the administrator of the system based on the behavior of shoplifting addicts at past stores is registered.
  • the system administrator analyzes the data registered in the store visitor management database 62 and the data captured by the camera Cn, and the “behavior pattern, The “estimated gender, estimated age, crime content” may be extracted from the customer management database 62 and registered.
  • NULL may be registered.
  • FIG. 8 is a schematic diagram of an area estimation table used in the crime prevention system of this embodiment.
  • the area estimation table 65 is a store area (A1 to A5, B1 to B5, C1 to C5, D1 to D5, E1 to E1) in which a visitor is imaged (passed) from the face image of the visitor captured by the camera Cn. E5) is used to specify information indicating the area of the store corresponding to each pixel number range of the face image in association with each camera ID for identifying the camera Cn.
  • the area estimation table 65 includes a field 65a for registering a camera ID, a field 65b for registering an area corresponding to a face image in the first pixel number range, and a field for registering an area corresponding to a face image in the second pixel number range.
  • 65c a field 65d for registering an area corresponding to a face image in the third pixel number range, a field 65e for registering an area corresponding to a face image in the fourth pixel number range, and a face image in the fifth pixel number range. It comprises a record having a field 65f for registering the corresponding store area (consisting of a plurality of records).
  • the camera ID is unique data assigned to each of the cameras C1 to Cn, CE1, and CE2 used in this embodiment, and is composed of alphanumeric characters or the like.
  • the first pixel number range is smaller than the second pixel number range (first pixel number range ⁇ second pixel number range), and the second pixel number range is smaller than the third pixel number range (second pixel number range ⁇ second pixel number range).
  • the third pixel number range is smaller than the fourth pixel number range (third pixel number range ⁇ fourth pixel number range), and the fourth pixel number range is smaller than the fifth pixel number range (fourth pixel). Number range ⁇ fifth pixel number range).
  • the cameras C1 to Cn, CE1, and CE2 each have an area that can be imaged in a store (see FIG. 2). Therefore, it is possible to estimate the area (imaged area) where the customer was present from the size (number of pixels) of the face image extracted from the customer image captured by the cameras C1 to Cn, CE1, and CE2. .
  • the camera C1 is installed at a position where it can image the areas A5, B5, C5, D5, and E5 in the store, and the lens and installation angle are adjusted. Therefore, the store visitor imaged by the camera C1 is in any position in the areas A5, B5, C5, D5, and E5.
  • the number of pixels of the face image extracted from the store visitor image captured in the area A5 by the camera C1 is larger than the number of pixels of the face image extracted from the store visitor image captured in the area B5. . Further, the number of pixels of the face image extracted from the store visitor image captured in the area B5 by the camera C1 is larger than the number of pixels of the face image extracted from the store visitor image captured in the area C5. .
  • the number of pixels of the face image extracted from the store visitor image captured in the area C5 (or D5) by the camera C1 is the face extracted from the store visitor image captured in the area D5 (or E5). It becomes larger than the number of pixels of the image.
  • the passing area of the person captured by the camera CE1 is an area E5 where the entrance is located.
  • the camera CE2 is set so as to capture the face of a person who leaves the store from the entrance, the passing area of the person captured by the camera CE2 is an area E5 where the entrance is located.
  • the store visitor is taken from the image and the area estimation table 65 which the camera Cn imaged. It is possible to estimate which area has passed. For example, if the size (number of pixels) of the face image extracted from the image of the customer imaged by the camera C1 is within the first pixel number range, the customer is estimated to have been imaged at the area E5. . Further, for example, if the size (number of pixels) of the face image extracted from the store visitor image captured by the camera C2 is within the fifth pixel count range, the store visitor is presumed to have been captured in the area A4. Is done.
  • the server device 3 includes a control unit 30, an information providing unit 31, a watchable person database 60, and a terminal database 70.
  • the hardware configuration of the server device 3 is not particularly limited.
  • a computer including a central processing unit (CPU), a main storage device, an auxiliary storage device, an input / output I / F, and a communication I / F (One or a plurality of computers).
  • the auxiliary storage device stores programs for realizing the functions of the respective units (the control unit 30 and the information providing unit 31).
  • a required person database 60 and a terminal database 70 are stored in a predetermined area of the auxiliary storage device.
  • the function of each part is implement
  • the control unit 30 controls the overall operation of the server device 3.
  • the information providing unit 31 receives the store visitor image and the store ID transmitted by the face authentication verification device 1
  • the information providing unit 31 refers to the terminal database 70, identifies the smartphone SP associated with the store ID, and identifies the identified smartphone.
  • Information about the person (visitor who takes suspicious behavior) is provided (the website shown in FIGS. 16B and 17B is provided).
  • the cautionary person database 60 is configured in the same manner as the cautionary person database 60 of the face authentication verification device 1, and similar data is registered. That is, the attention required person database 60 is associated with the attention target person ID for identifying the attention target person, and the image data (image data showing the face) of the attention target and the name, sex, age, Attribute information such as physical characteristics, crime history, store visit count, and store history are stored.
  • the cautionary person database 60 is generated as follows, for example. That is, image data of a person requiring attention (corresponding to the “sex” and “age” of the person to be watched is copied in each face authentication matching device 1 of a plurality of stores (not shown). Image data) is registered, and the image data is transmitted to the server device 3.
  • the server device 3 generates the sensitive person database 60 by aggregating the image data transmitted from the face authentication verification device 1 of each store, and transmits the generated person database 60 to the face authentication verification device 1 of each store. And memorize it.
  • the terminal database 70 includes, for each “user ID” of the store clerk who holds the smartphone SP, the “login password”, “device token (terminal identification information)”, “store ID”, “gender and age”, and “caution” of the user.
  • Correspondence instruction information for instructing a correspondence to the subject ” is stored in association with each other.
  • the terminal database 70 includes a field 70a for registering a user ID, a field 70b for registering a password (login password), a field 70c for registering a device token, and a store ID. It is composed of a record having a field 70d for registration, a field 70e for registering gender and age, and a field 70f for registering information indicating the contents of correspondence to the attention target (consisting of a plurality of records). .
  • FIG. 9 is a schematic diagram of a terminal database used in the crime prevention system according to this embodiment.
  • the user ID registered in the field 70a is unique data (alphanumeric data) assigned to each clerk holding the smartphone SP, and the password registered in the field 70b is an alphanumeric character set by the clerk.
  • the device token registered in the field 70c is terminal identification information for identifying the smartphone SP, and the store ID registered in the field 70d is a unique number assigned to each store to which the store clerk holding the smartphone SP belongs. Data (alphanumeric data, etc.).
  • the gender and age of the user (clerk) who holds the smartphone SP are registered in the field 70e, and the "correspondence contents to the attention target person" corresponding to the gender and age registered in the field 70e are registered in the field 70f.
  • Information to be displayed ” is registered.
  • the user takes into account the safety of the user (store clerk) by registering “information indicating the contents of correspondence to the person to be alerted” according to the gender and age of the user (store clerk) holding the smartphone SP. Can promote crime prevention activities.
  • a dedicated application program (security system cooperation application 20) can be installed on the smartphone SP of the store clerk, and the smartphone SP can function in cooperation with the security system. It is necessary to set as follows.
  • the crime prevention system cooperation application 20 When the crime prevention system cooperation application 20 is activated, the smart phone SP receives a push notification from the server device 3, and also visits the caution target person or suspicious behavior provided by the server measure 3.
  • the site showing the person's image (FIG. 16B, FIG. 17B) is accessed, and the site can be displayed on the display unit of the smartphone SP.
  • a user of the smartphone SP installs the crime prevention system cooperation application 20 on the smartphone SP from an application server (for example, an Apple Inc. application server) (not shown) and performs initial setting.
  • an application server for example, an Apple Inc. application server
  • the clerk first activates the crime prevention system cooperation application 20 installed on the smartphone SP
  • a registration request is transmitted to a push notification server (not shown) via the OS (Operating System) of the smartphone SP.
  • the push notification server generates a device token of the smartphone SP that has requested registration, and transmits the device token to the smartphone SP.
  • the smartphone SP When the smartphone SP receives the device token from the push notification server, the smartphone SP displays an initial setting screen (not shown) provided by the crime prevention system cooperation application 20, and a user ID (unique data including alphanumeric characters).
  • the store ID of the store to which the clerk belongs, the sex of the clerk, and the age are entered.
  • the smartphone SP Upon receiving the user ID, password, store ID, store clerk's gender and age, the smartphone SP registers “user ID, password, store ID, gender and age” in the terminal database 70 of the information providing server 3 (server
  • the information providing unit 31 of the device 3 receives information (user ID, password, store ID, sex, and age) from the smartphone SP and registers it in the terminal database 70).
  • the information providing unit 31 of the server device 3 is associated with the record for registering the received information for each “gender and age”. ". For example, if the received “age is over 30”, the information providing unit 31 registers “information indicating that the voice is urged” for both men and women. Register information indicating that monitoring is to be promoted. Also, for example, if “age is 20's and female”, “information indicating that monitoring is urged” is registered, and if “age is 20's and male”, “showing that monitoring is urged” is indicated. Register Information.
  • the smartphone SP stores a device token from the push notification server in a built-in memory.
  • the user of smart phone SP shall acquire user ID and store ID which need to be input by initial setting from the provider who provides the crime prevention system of this embodiment prior to this initial setting.
  • the smartphone SP displays a login screen that prompts the user ID and password to be input. Further, the store clerk inputs the user ID and password on the login screen and performs login processing.
  • the smartphone SP when receiving an input of “user ID and password” from the store clerk, the smartphone SP transmits “user ID and password” to the information providing unit 31 of the server device 3. If the “user ID and password” transmitted from the smartphone SP matches the terminal database 70 and the “user ID and password” is correct, the information providing unit 31 transmits a login success screen to the smartphone SP, and sends it to the smartphone SP. Display the login success screen. On the other hand, if the received “user ID and password” does not match that registered in the terminal database 70 as a result of the collation, the information providing unit 31 transmits a login failure screen to the smartphone SP, and sends it to the smartphone SP. The login failure screen is displayed, the above-described login screen is displayed again, and the store clerk is prompted to re-enter the “user ID and password”.
  • the smartphone SP that has displayed the login success screen transmits the device token stored in its own internal memory to the information processing unit 31 of the server device 2.
  • the information processing unit 31 of the server device 3 receives the device token transmitted from the smartphone SP
  • the information processing unit 31 accesses the terminal database 70 and receives the received “user ID and password” in the record registered. Register a device token.
  • the smartphone SP functions in cooperation with the security system by the security system cooperation application 20. That is, the smartphone SP detects that there is a visitor who takes a suspicious action each time a sensitive person entering the store (a visitor who takes a suspicious action) is detected. Information) is pushed, and a site showing an image of a person who needs attention (image when visiting the store) can be accessed.
  • FIG. 10 is a flowchart showing the procedure of the store visitor temporary registration process performed by the crime prevention system of the present embodiment.
  • the target person registered in the person-of-interest database 60 not only whether or not the target person registered in the person-of-interest database 60 has visited the store, but also monitors whether or not all the store visitors are suspicious. I am doing so. Therefore, while the store visitor is at the store, the store visitor's face image is temporarily registered (temporarily stored), and the store visitor is tracked by the face authentication collation process in which area the store is located. The behavior pattern (flow line) of is being grasped.
  • a visitor who enters the store from the entrance of the store is imaged by a camera (camera imaging camera) CE1, and the camera CE1 selects a visitor who enters the store.
  • the image capturing date and time information indicating the date and time when the store visitor is imaged, the camera ID for identifying itself and the captured image are transmitted to the face authentication verification device 1.
  • the image processing unit 11 of the face authentication collation apparatus 1 acquires “imaging date information”, “camera ID”, and “captured image” from the camera CE1 (S40), and performs color adjustment on the acquired “captured image”.
  • “image capturing date / time information”, “camera ID”, and “captured image subjected to image processing” are transmitted to the face authentication verification unit 13.
  • the face authentication verification unit 13 receives the “camera ID” from the camera CE1. Since it can be determined that the image has been transmitted, it is recognized that “store visitor temporary registration processing” is to be performed.
  • the face authentication collation unit 13 performs a face image detection process of detecting and extracting a face image from the captured image acquired from the image processing unit 11 (S41, S42), and if a face image can be detected, the process proceeds to S43. If it cannot be detected, the process returns to S40.
  • the face image detection process for detecting and extracting the face image from the captured image uses a known technique, and thus detailed description thereof is omitted.
  • the face authentication collation unit 13 estimates the age and sex of the customer from the face image detected and extracted in S41.
  • a well-known technique is used for the process which estimates the age and sex of a visitor.
  • the face authentication verification unit 13 gives a visitor ID for identifying the face image detected and extracted in S41 (S44).
  • the face authentication collation unit 13 stores in the store temporary storage database 61 (FIG. 4) the store visitor ID assigned in S44, the face image detected in S41, the “imaging date and time (entrance date and time)” received in S41, The “estimated age and estimated gender” estimated in S43 is stored (S45). Specifically, the face authentication collating unit 13 registers the store visitor ID given in S44 in the field 61a, registers the face image detected in S41 in the field 61b, and stores the imaging date and time (input) received in S41 in the field 61c. Stored date / time) is registered, a record in which the estimated age and estimated gender estimated in S43 are registered in the fields 61c and 61d is created, and the created record is registered in the store temporary storage database 61.
  • the face authentication collation unit 13 accesses the store visit management database 62 (FIG. 5), and the store visitor ID given in S44, “imaging date / time (date entered)” received in S41, and estimation in S43.
  • the process of storing the “estimated age and estimated gender” is also performed.
  • the face authentication collation unit 13 registers the store visitor ID given in S44 in the field 62a, and registers E5 indicating the entrance / exit area and imaging date / time information (entrance date / time) in the action pattern of the field 62b.
  • the estimated age and estimated gender estimated in S43 are registered in the fields 61d and 61f, and a record in which “NULL” is registered in the fields 62c and 62f is created, and the record is stored in the store management database 62.
  • FIG. 11 is a flowchart showing the procedure of the temporary store registration deletion process performed by the crime prevention system of this embodiment.
  • the facial image of the customer is temporarily registered (temporarily registered). Therefore, when a visitor leaves the store, it is necessary to delete the temporarily registered (temporarily stored) face image.
  • a visitor who exits from the entrance of the store is imaged by an entrance / exit imaging camera (a store exit imaging camera) CE2, and the camera CE2 is a person who exits the store.
  • the image capturing date / time information, the camera ID for identifying itself, and the captured image are transmitted to the face authentication verification device 1.
  • the image processing unit 11 of the face authentication collation apparatus 1 acquires “imaging date information, camera ID and captured image” from the camera CE2 (S50), and performs image processing such as color adjustment on the acquired “captured image”.
  • “image capturing date / time information”, “camera ID”, and “captured image subjected to image processing” are transmitted to the face authentication verification unit 13.
  • the face authentication collation unit 13 receives “image capturing date / time information”, “camera ID”, and “captured image subjected to image processing” transmitted from the image processing unit 11, the face authentication collation unit 13 exits the store using the “camera ID”. Since it can be determined that the image is transmitted from the camera CE2 that images the person, it is recognized that the “visitor temporary registration deletion process” is performed. Then, the face authentication collation unit 13 detects a face image from the captured image acquired from the image processing unit 11 and executes a face image detection process (S51, S52). If the face image can be detected, the process proceeds to S53. If not detected, return to S50. Note that the processing of S51 and S52 is the same as S41 and S42 of FIG.
  • the face image collation unit 13 performs face authentication on the face image of the store clerk detected and extracted in S51 and the face image registered in the field 61b of each record of the store visitor temporary storage database 61 (FIG. 4). Collation is performed by the collation process (S53, S54).
  • the face authentication collation unit 13 performs a process of deleting the record in which the face image matching the face image of the store clerk is registered from the store visitor temporary storage database 61, and ends the store keeper temporary registration deletion process. To do.
  • the face authentication collation unit 13 stores the information of the store clerk in the store management database 62 (before deleting the record in which the face image matching the store clerk's face image is registered from the store visitor temporary storage database 61.
  • the process of registering in FIG. 5) is performed.
  • the face authentication verification unit 13 accesses the store visitor temporary storage database 15 and reads the store visitor ID from a record in which a face image that matches the store visitor's face image is registered.
  • the face authentication collation unit 13 accesses the store management database 62, and in the action pattern of the field 62b of the record in which the read store visitor ID is registered, E5 indicating the entrance / exit area and the imaging date / time information (store exit date / time) ).
  • the stay time is calculated from the information registered in the action pattern of the field 62b, and the calculated stay time is registered in the field 62c.
  • FIG. 12 is a flowchart showing the procedure of a watch-for-person detection process performed by the crime prevention system of the present embodiment.
  • FIG. 14 is a schematic diagram showing a process of processing in which the server device configuring the crime prevention system of the present embodiment provides information related to a person requiring attention to the smartphone.
  • FIG. 16 is a schematic diagram illustrating a screen that displays information on a person requiring attention provided to the smartphone by the crime prevention system according to the present embodiment.
  • the face authentication verification device 1 acquires a captured image of a customer in the store that is transmitted from the camera Cn (S60). Specifically, when the camera Cn images a visitor inside the store, the camera Cn transmits to the face authentication verification device 1 imaging date / time information indicating the date and time when the customer was imaged, a camera ID for identifying itself, and a captured image. . Then, the image processing unit 11 of the face authentication verification device 1 receives “imaging date information, camera ID and captured image” transmitted from the camera Cn, and performs image processing such as color adjustment on the received “captured image”. The captured image subjected to imaging date / time information, camera ID, color adjustment, and the like is transmitted to the face authentication verification unit 13.
  • the face authentication collation unit 13 is an image transmitted from the camera Cn by “camera ID”. It is determined that there is, and it is recognized that “attention person detection processing and store visitor monitoring processing” is performed. Then, the face authentication collation unit 13 executes a face image detection process of detecting and extracting a face image from the captured image acquired from the image processing unit 11 (S61, S62), and if a face image can be detected, the process proceeds to S63. If not detected, the process returns to S60. Note that the processing of S61 and 62 is the same as S41 and S42 of FIG. 10 described above.
  • the face image collation unit 13 collates the face image of the visitor detected in S61 with the face image registered in the field 60b of each record in the watchable person database 60 (FIG. 3) by face authentication collation processing. (S63, S64).
  • FIG. It shifts to the store visitor monitoring process shown.
  • the face image of the visitor matches the face image registered in the watchable person database 60 as a result of the face authentication collation processing in S63, 64 (that is, the visitor's watchful person database 60 contains the visitor's face image). If there is a record in which a face image matching the face image is registered), the process proceeds to S65.
  • the face authentication collation unit 13 sends to the information providing unit 31 of the server device 3 via the communication processing unit 12 “the customer's face image captured by the camera Cn (the store visitor detected and extracted in S61 (ie, , Attention target) face image, detailed information of the matching store visitor (attention target) (information such as visitor name, gender, age, contact information, physical characteristics, crime history, number of visits, visit history, etc.) , And a store ID for identifying the store in which the face authentication verification device 1 is installed ”, and the process proceeds to S66.
  • the detailed information on the store visitor is extracted from the record in the person-of-care database 60 in which a face image that matches the face image of the store visitor detected and extracted in S61 is registered.
  • the store ID is stored in advance in the face authentication verification device 1. Furthermore, in S65, the face authentication collation unit 13 also performs a process of registering the detection history in the detection history database 63 (FIG. 6). Specifically, the face authentication verification unit 13 extracts “attention target person ID” and “face image” from the fields 60 a and 60 b of the record 60 in which face images that match the store visitor's face image are registered. Then, the face authentication collation unit 13 stores in the detection history database 63 “attention person ID”, “face image”, “face image of the visitor detected and extracted in S61”, “authentication accuracy of face authentication collation process”. Register “Detection date”.
  • the face authentication verification unit 13 transmits the alarm transmission instruction information to the alarm transmission unit 14.
  • the alarm transmission unit 14 turns on the rotating lamp L and the buzzer B outputs an alarm sound until a response completion signal described later is received from the server device 3 ( S66, S67).
  • information regarding a person to be watched (a person who needs attention) is provided to the smartphone SP held by the store clerk.
  • FIG. 14 a process for providing information related to the attention target to the smartphone SP of the store clerk will be described.
  • the information providing unit 31 of the server device 3 transmits the “face image of the visitor imaged by the camera Cn”, “detailed information of the matched visitor”, and “
  • the smartphone SP associated with the received store ID is identified using the received information and the terminal database 70, and the push notification server is identified for the identified smartphone SP.
  • Push notification of “information indicating that the target person is coming to the store” and “access information to the target site for detailed information indicating the detailed information of the target person” (S81) ).
  • the information providing unit 31 of the server device 3 refers to the terminal database 70, extracts a record in which the received store ID is registered, and displays the “attention target person visits store” on the smartphone SP of the device token of the record. "Information indicating that the user is doing” and “access information of the attention target person detailed site” are transmitted (push notification).
  • the information providing unit 31 refers to the terminal database 70, selects all the records in which the received “store ID” is registered, and stores the “device token” and the registered in the selected record. “Correspondence instruction information for instructing the attention target person” is extracted. Then, the information providing unit 31 uses the information received in S80 and the extracted “corresponding instruction information for instructing the correspondence to the attention target person”, “the captured image of the attention target person captured by the camera Cn”, “visit to the store” A detailed site for the attention target including the detailed information of the person (attention target) ”and“ corresponding instruction information for instructing the response to the attention target ”.
  • the information providing unit 31 uses the information received in S80 to provide push notification information ("information indicating that the person to be noted is coming to the store" and "access to the person to be noted in detail"). Information ") and the extracted device token are generated, and the notification package is transmitted to a push notification server (not shown). A notification package is created for each attention target person detail site.
  • the push notification server receives the above notification package, the push notification server sends “notification that the target person is visiting” and “to the target site for the target person” for the smartphone SP specified by the device token included in the notification package. Access information ".
  • the smartphone SP to which “information indicating that the attention target person is visiting” and “access information of the attention target person detailed site” is sent from the server device 3 performs the following processing. Specifically, when the smartphone SP receives the received “information indicating that the caution target person is visiting” and “access information of the caution target person detail site” by the crime prevention system cooperation application 20, the display of the smartphone SP is displayed.
  • the attention target person notification screen 210 shown in FIG. 16A is displayed on the screen (S90).
  • the smartphone SP is configured to vibrate or sound when receiving information from the server device 3.
  • the attention target person notification screen 210 includes an area 211 in which information indicating that the attention target person is visiting the store is provided, and a view button 212 for requesting detailed information of the attention target person. Is provided.
  • the smartphone SP accesses the information providing unit 31 of the server device 3 and the information providing unit 31 receives the attention target.
  • a request is made to provide a person detail site (S91).
  • the information providing unit 31 of the server device 3 When receiving the request for providing the detailed site from the smartphone SP, the information providing unit 31 of the server device 3 transmits the attention target person detailed site generated in S81 to the requesting smartphone SP (S82).
  • the smartphone SP receives the “attention target person detail site” transmitted from the information providing unit 31, and displays the attention target person detail site 220 shown in FIG. 16B on the display unit of the smartphone SP ( S92).
  • the attention target person detail site 220 includes an area 221 for displaying an image of the attention target person captured by the camera Cn, an area 222 for displaying information instructing correspondence to the attention target person, and an attention target. And an area 223 for displaying detailed information (name, age, sex, contact information, physical characteristics, crime history, number of visits, visit history, etc.) of the person.
  • the attention target person detail screen 220 is provided with a button 224 for accepting completion of the response.
  • the present embodiment it is possible to notify each clerk in real time that the caution target person has visited the store, and provide each clerk with an image of the caution target person (an image captured at the store). can do.
  • the detailed information name, age, gender, contact information, physical characteristics, crime history, number of visits, visit history, etc.
  • the store clerk can easily determine which customer should be monitored by looking at the image of the subject of attention (image captured at the store) at hand when the subject of attention has visited the store. Can grasp.
  • since it is possible to instruct the store clerk to deal with specific details and prompt the attention target person to respond it is possible to effectively prevent the attention target person from performing criminal acts such as shoplifting.
  • the server device 3 Upon receiving “information indicating that the correspondence has been completed” from the smartphone SP, the server device 3 sends “information indicating that the correspondence has been completed” to the face authentication verification device 1 that has transmitted the information in S80. Transmit (S83).
  • the face authentication collation apparatus 1 receives “information indicating that the correspondence has been completed” from the server apparatus 3 and stops the alarm sound output from the buzzer B. Then, turn off the rotating lamp and return to S60.
  • FIG. 13 is a flowchart showing a procedure of store visitor monitoring processing performed by the crime prevention system of the present embodiment.
  • FIG. 15 is a schematic diagram illustrating a process of processing in which the server device configuring the crime prevention system according to the present embodiment provides information related to a suspicious person to a smartphone.
  • FIG. 17 is a schematic diagram showing a screen for displaying information on a suspicious person provided to the smartphone by the crime prevention system according to the present embodiment.
  • the store visitor monitoring process of the present embodiment is started when the face image of the store visitor and the face image registered in the watchable person database 60 do not match in S63 and S64 of the above-mentioned watchful eye detection process.
  • the face authentication verification unit 13 is registered in the store visitor's face image detected and extracted in S61 of FIG. 12 and the field 61b of each record of the store visitor temporary storage database 61 (FIG. 4).
  • the face image is collated by face authentication collation processing (S70, S71).
  • the face authentication collating unit 13 reads out the visitor ID from the record in which the matching face image is registered, and monitors the visitor ID in action. It transmits to the part 50 and progresses to the process of S72.
  • the behavior monitoring unit 50 uses the “camera ID” acquired in S61, the “face image” of the customer detected in S61, and the area estimation table 65 (FIG. 8) to pass the customer ( The imaged area (the area in the store shown in FIG. 2) is specified.
  • the behavior monitoring unit 50 acquires “the face image of the customer detected in S61” and “the imaging date / time information acquired in S61” from the face authentication verification unit. Then, the behavior monitoring unit 50 calculates the number of pixels of the acquired face image, accesses the area estimation table 65 (FIG. 8), and associates it with the calculated number of pixels from the record in which the acquired camera ID is registered. Identified area. For example, if the camera ID is “C1” and the calculated number of pixels is a value in the first pixel number range, it is specified that the area where the visitor is imaged is “E5”. For example, if the camera ID is “C2” and the calculated number of pixels is a value in the fifth pixel number range, the area where the store visitor is imaged is identified as “A4”.
  • the behavior monitoring unit 50 accesses the store visitor management database 62 (FIG. 5), and updates the behavior pattern in the field 62b of the record in which the store visitor ID read in S70 and S71 is registered (S73). ).
  • the behavior monitoring unit 50 accesses the store visitor management database 62 and reads a record in which the store visitor ID read in the processes of S70 and S71 is registered.
  • the behavior monitoring unit 50 additionally registers in the field 62b of the read record in association with the area information specified in S72 in association with the imaging date / time information acquired in S61. For example, “E5 (11:00) ⁇ E4 (11:01) ⁇ E5 (11:03) ⁇ D5 (11:05)” is registered in the field 62b of the read record. ”Is specified, and the acquired imaging information is“ 11:08 ”.
  • the behavior monitoring unit 50 adds “C4 (11:08)” after “D5 (11:05)” in the field 62b of the read record, and sets the field 62b to “E5 (11:00) ⁇ E4 (11:01) ⁇ E5 (11:03) ⁇ D5 (11:05) ⁇ C4 (11:08) ”.
  • the behavior monitoring unit 50 compares the behavior pattern updated in S73 with the behavior pattern registered in the criminal action database 64 to determine whether or not the behavior of the store visitor is suspicious (S74, S75). Specifically, if the behavior monitoring unit 50 has a behavior pattern registered in the criminal behavior database 64 that is similar to the behavior pattern updated in S73, the behavior of the store visitor is suspicious. If there is nothing similar, it is determined that the behavior of the visitor is not suspicious. In addition, when the behavior monitoring unit 50 determines that the visitor's behavior is suspicious, the behavior monitoring unit 50 extracts the crime content from a record in which a similar behavior pattern is registered in the crime operation database 64.
  • the determination of whether or not the behavior pattern is similar is set as appropriate. For example, as shown below, the behavior pattern of the visitor is not registered in the criminal action database 64. If there is a part that matches the natural behavior pattern, it may be determined that the behavior of the store visitor is suspicious. Specifically, in the criminal action database 64, “... ⁇ C4 (11:03) ⁇ C3 (11:05) ⁇ C4 (11:08) ⁇ C3 (11:08) ⁇ C4 (11:10) ⁇ It is assumed that an action pattern including an operation of repeatedly moving the same area C3, C4 over and over, such as “C3 (11:12) ⁇ C4 (11:14) ⁇ C3 (11:16). . Then, in the action pattern updated in S73, “...
  • the behavior monitoring unit 50 is similar to the unnatural motion, and therefore the behavior of the visitor It is determined that the behavior is suspicious.
  • the process returns to S60 in FIG.
  • the behavior monitoring unit 50 informs the face authentication verification unit 13 of the information indicating the fact and the crime content information of a similar behavior pattern (shoplifting). , And so on), and the process proceeds to S76.
  • the face authentication collation unit 13 receives “information indicating that there is a customer who takes suspicious behavior” and “criminal content information” from the behavior monitoring unit 50. Then, the face authentication verification unit 13 sends “information indicating that there is a visitor taking a suspicious action”, “criminal content information”, “ The store visitor's face image captured by the camera Cn (the store visitor's face image detected and extracted in S61) and the store ID identifying the store in which the face authentication verification device 1 is installed are transmitted, and the process of S77 Proceed to Note that the processing of S77, S78, and S79 is the same as S66, S67, and S68 of FIG.
  • the server device 3 to which “information indicating that there is a visitor taking suspicious behavior”, “criminal content information”, “face image of visitor”, and “store ID” is transmitted by the process of S76 is shown in FIG.
  • information on the store visitor who takes a suspicious action on the smartphone SP of the store clerk is provided.
  • a process for providing information related to a customer who takes a suspicious action on the smartphone SP of the store clerk will be described.
  • the information providing unit 31 of the server device 3 transmits “information indicating that there is a visitor who takes a suspicious action”, “face image of the visitor”, and “store” transmitted from the face authentication verification device 1.
  • the received information and the terminal database 70 are used to identify the smartphone SP associated with the received store ID, and the push notification server (Not shown) Push “Information indicating that there is a visitor taking suspicious behavior” and “Access information to the caution target person detailed site indicating detailed information of the visitor taking suspicious behavior” Notification is made (S101).
  • the information providing unit 31 refers to the terminal database 70, selects all the records in which the received “store ID” is registered, and registers the “device token” and the registered in the selected record. “Correspondence instruction information for instructing the attention target person” is extracted. Then, the information providing unit 31 uses the information received in S100 and the extracted “corresponding instruction information”, “the person to be watched by the camera Cn (visitor taking suspicious behavior)”, “corresponding instruction information”. , Generating a caution target person detail site including “criminal content explanation information (for example, explanation that the behavior pattern similar to the crime content of the behavior pattern determined to be suspicious behavior is taken)”.
  • the “corresponding instruction information for instructing the attention target person” is different depending on the store clerk holding the smartphone, and therefore the correspondence instruction information is different, and there are multiple types of attention target person detailed site information. Generated.
  • the information providing unit 31 uses the information received in S100 to provide push notification information (“information indicating that there is a visitor taking suspicious behavior”) and “attention target person detail site”.
  • a notification package including the access information ") and the extracted device token is generated, and the notification package is transmitted to a push notification server (not shown).
  • the push notification server indicates to the smartphone SP specified by the device token included in the notification package that “there is a visitor who takes suspicious behavior” and “attention person detailed site Send access information to
  • the smartphone SP to which “there is a visitor who takes suspicious behavior” and “access information to the attention target person detail site” from the server device 3 performs the following processing. Specifically, when the smartphone SP receives the received “notice that there is a customer who takes suspicious behavior” and “access information to the attention target person detailed site” by the crime prevention system cooperation application 20, the display unit of the smartphone SP In addition, the notice person notification screen 310 shown in FIG. 17A is displayed (S110).
  • the attention target person notification screen 310 requests an area 311 in which information indicating that there is a person (attention target person) taking a suspicious action in the store and detailed information of the attention target person.
  • a View button 312 is provided.
  • the smartphone SP accesses the information providing unit 31 of the server device 3 and the information providing unit 31 receives the attention target.
  • a request is made to provide a person detail site (S111).
  • the information providing unit 31 of the server device 3 When receiving the request for providing the detailed site from the smartphone SP, the information providing unit 31 of the server device 3 transmits the attention target person detailed site generated in S101 to the requesting smartphone SP (S102).
  • the smartphone SP receives the “attention target person detailed site” transmitted from the information providing unit 31, and displays the attention target person detailed site 320 illustrated in FIG. 25B on the display unit of the smartphone SP ( S112).
  • the attention target person detail site 320 presents an area 321 for displaying an image of the attention target person (store visitor taking suspicious behavior) imaged by the camera Cn and the corresponding contents to the attention target person.
  • An area 322 and an area 323 for displaying an explanation that the action pattern similar to the crime content of the action pattern determined to be suspicious is taken.
  • the attention target person detail screen 320 is provided with a button 324 for accepting completion of the response.
  • the crime prevention system monitors whether or not a customer who is not registered as a watched person is taking suspicious behavior, and determines that there is a customer who takes suspicious behavior.
  • the dedicated security system cooperation application 20 is installed in the smartphone SP, and the device token of each smartphone SP is registered in the server device 3 in advance.
  • the push notification that the target person has visited the store is provided, the present invention is not limited to this.
  • the e-mail address of each smartphone SP is registered in the terminal database 36 of the server device 3, and the server device 3 notifies the smartphone SP that the attention target person has visited the store by e-mail. Good. In this case, if “access information to an image obtained by imaging a store visitor” is described in the e-mail, the same effect as the above-described embodiment can be obtained.
  • the present invention is not limited to this.
  • the image information of a child who has been lost as a person to be watched is registered in the person-of-care database 60, and the camera C is installed in facilities such as large stores, amusement parks, beaches, and swimming pools.
  • the information (device token and email address) of the smartphone SP may be registered in the server apparatus 3. According to this configuration, it is possible to notify the facility employees that a lost child has been found, and it is possible to provide an image of the person to be alerted (lost child), and early protection of the lost child is expected. Is less likely to occur.
  • the configuration of the server device 3 of the above-described embodiment is merely an example.
  • the function of the server device 3 may be provided in the cloud.
  • an alarm sound is output from the buzzer B and the rotating lamp L is lit.
  • the means are only examples.
  • a light or a flash is connected to the face authentication device 1 so that the warning transmitter 14 turns on the light or the flash when a warning target person or a visitor taking a suspicious action is detected. Good.
  • a speaker is connected to the face authentication device 1 and the alarm transmission unit 14 detects a person to be watched or a visitor who takes a suspicious action
  • An audio signal indicating that a visitor who takes a particular action is visiting the store may be output.
  • the audio signal may be expressed as an expression that can be understood only by the store clerk (expression such as business communication XX number).
  • the behavior pattern registered in the criminal action database 64 is set as appropriate.
  • the following behavior pattern is registered so that a person who performs suspicious behavior can be detected.
  • the criminal action database 64 not only an action pattern in which passage areas in a store are arranged in time series, but also an action pattern indicated by an action content “do not move from the same area for a predetermined time” or “to the toilet”
  • the action pattern indicated by the action content “Long time (predetermined time) is stored” is registered.
  • the behavior monitoring unit 50 can detect a visitor who does not move from the same area for a predetermined time or a visitor who stays in the bathroom for a long time (predetermined time) as a person who performs suspicious behavior.
  • the person can be encouraged to respond to the person. Further, an action pattern indicated by the action content “leave the store without passing through the cash register” may be registered in the criminal action database 64. According to this configuration, the behavior monitoring unit 50 can identify a person who leaves the store without passing through the cash register as a person who takes suspicious behavior, and prompts the store clerk to carefully monitor the person. Can do.

Abstract

カメラＣが撮像した人物の画像と予め記憶している注意対象者の画像とを照合する顔認証照合処理を行う顔認証照合装置１と、顔認証照合装置１とネットワークＮＷを介して接続されているサーバ装置３とを備える防犯システムであって、顔認証照合装置１は、顔認証照合処理により、カメラＣが撮像した人物の画像が記憶している注意対象者の画像と一致した場合、サーバ装置３に、一致した人物の撮像画像を送信する。また、サーバ装置３は、顔認証照合装置１が送信した画像を受信すると、予め登録されたスマートフォンＳＰに対して、ネットワークＮＷを介して、注意対象者が検知された旨をプッシュ通知すると共に、顔認証照合装置１から送信された人物の撮像画像を含む注意対象者に関する情報を提供する。

Description

防犯システム
　本発明は、防犯システムに関し、例えば、顔認証照合処理を利用して注意対象者を検知し、検知した注意対象者に関する情報を提供することにより万引き等の犯罪を防止する防犯システムに関する。
　物品販売小売業者は、万引き被害に悩まされており、万引きを防止するために各種対策が採られている。例えば、特許文献１には、顧客が入店したときに撮影された画像を入店顧客画像ファイル部より読出し、万引き犯データベースに登録された常習者画像と順次リアルタイムに顔認証照合し、一致した場合該当人物を万引き常習者と特定し、アラームにより店員に知らせる「顔認証応用万引き検知システム」が開示されている。
特開２００８－２５７４８７号公報
　しかしながら、上述した従来技術（特許文献１に記載の発明）は、以下に示す技術的課題を有している。
　具体的には、上述した「顔認証応用万引き検知システム」は、顔認証照合処理により、万引き犯データベースに登録された常習者が来店したと判定された際に、アラームにより店員に知らせるようになっているが、店員が認証された常習者の顔や特徴を覚えていないと、対応することができないという技術的課題を有している。特に、大型店舗などでは、来店者の数も多いため、店員は、常習者が来店していることを知らされただけでは、来店者のうちでどの人物を監視対象にするのか判断することは難しく、十分な防犯対策が取れない虞がある。また、従来技術では、経験の浅い店員等が、どのような対応をとればよいのかを判断できない虞がある。
　本発明は、上記技術的課題に鑑みてなされたものであり、その目的は、店舗を訪れる来店者を監視して、不審な行動をとる来店者を検知し、検知した来店者に関する情報を携帯端末に提供することにより効果的な防犯対策を可能にする防犯システムを提供することにある。
　上記課題を解決するためになされた本発明は、店舗の出入口を通過して入店する人物を撮像する入店者撮像用カメラと、店舗の出入口を通過して退店する人物を撮像する退店者撮像用カメラと、店舗内の人物を撮像する複数の店舗内撮像用カメラと、顔認証照合処理機能を有する顔認証照合装置と、前記顔認証照合装置とネットワークを介して接続されているサーバ装置とを備える防犯システムに適用される。ここで、前記店舗は複数のエリアに分割されており、複数の前記店舗内撮像用カメラは、それぞれ、店舗の異なる位置に設置され、撮像する対応エリアが所定数設定されており、店舗内で人物を撮像すると、前記顔認証照合装置に、自身を識別するカメラＩＤ及び店舗内の人物の撮像画像を送信する。
　そして、前記顔認証照合装置は、来店してきた人物に割り当てた来店者ＩＤに対応付けて、入店者撮像用カメラで撮像された人物の顔画像を一時的に記憶する一時記憶データベースと、前記来店者ＩＤ毎に、該来店者ＩＤにより特定される人物が店舗内で通過したエリアを時系列で並べた行動パターンを記憶した来店管理データベースと、店舗内撮像用カメラを識別する各カメラＩＤに、顔画像の画素数毎に店舗のエリアを関連付けて記憶しているエリア推定テーブルと、予め定めた不審な行動パターンを記憶している犯行動作データベースとを有し、
　前記顔認証照合装置は、前記入店者撮像用カメラから送信されたカメラＩＤ及び人物の撮像画像を受信すると、該受信した撮像画像から顔画像を抽出し、該顔画像に来店者ＩＤを割り当て、前記一時記憶データベースに該来店者ＩＤに対応付けて該顔画像を記憶させると共に、前記退店者撮像用カメラから送信されたカメラＩＤ及び撮像画像を受信すると、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とを顔認証照合処理により照合し、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とが一致した場合、該一時記憶データベースから一致した顔画像及び対応する来店者ＩＤを消去し、
　前記店舗内撮像用カメラから送信されたカメラＩＤ及び前記店舗内の人物の撮像画像を受信すると、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とを顔認証照合処理により照合し、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とが一致した場合、前記一時記憶データベースから一致した顔画像に対応付けられた来店者ＩＤを読み出し、前記受信したカメラＩＤ、前記抽出した顔画像の画素数及び前記エリア推定テーブルを用いて、該受信した撮像画像の人物が通過したエリアを特定し、前記来店管理データベースにアクセスして、読み出した来店者ＩＤに対応付けられた行動パターンに前記特定したエリアを追加登録して更新し、該更新した行動パターンと、前記犯行動作データベースが記憶した行動パターンとが類似しているか否かを判定し、該類似していると判定した場合、前記サーバ装置に、前記受信した店舗内の人物の撮像画像、不審な行動をとる来店者がいる旨を示す情報及び自身が設置されている店舗を識別する店舗ＩＤを送信し、
　前記サーバ装置は、店員の保持している携帯端末を識別する端末識別情報と、その店員の所属する店舗を識別する店舗ＩＤと、注意対象者への対応を指示する対応指示情報とを対応付けて記憶した端末データベースと、前記携帯端末に該ネットワークを介して注意対象者に関する情報を提供する情報提供部とを有し、前記情報提供部は、前記顔認証照合装置が送信した前記店舗内の人物の撮像画像、不審な行動をとる来店者がいる旨を示す情報及び店舗ＩＤを受信すると、前記端末データベースを参照し、前記店舗ＩＤに対応付けられた携帯端末を特定すると共に、該店舗ＩＤに対応付けられた対応指示情報を読み出し、特定した携帯端末に、不審な行動をとる来店者がいる旨を通知すると共に、前記顔認証照合装置から送信された店舗内の人物の撮像画像と前記読み出した対応指示情報を含む注意対象者に関する情報を提供することを特徴とする。
　上記の構成によれば、店舗の来店者に対して不審な行動をとっているかどうかを監視して、不審な行動をとる来店者がいると判定した場合に、各店員に、不審な行動をとる来店者の画像を提供することができる。また、不審な行動をとる来店者に対して、どのように対応するのかを指示することができる。
　したがって、本発明によれば、店員は、不審な行動をとる来店者がいるときに、その人物の画像（店舗で撮像した画像）を手元で見て、どの来店者を監視すればよいのかを容易に把握することができる。また、店員に具体的な対応内容を指示できるため、不審な行動をとる来店者が行う万引きなどの犯罪行為を効果的に防止することができる。
　また、前記顔認証照合装置は、前記注意対象者の顔画像毎に、その注意対象者の氏名、年齢、性別及び身体的特徴、犯歴、店舗への訪問履歴を含む詳細情報を対応付けて記憶した人物データベースを有し、前記一時記憶データベースに記憶された顔画像と前記受信した撮像画像から抽出した顔画像とを照合する顔認証照合処理の前に、前記人物データベースに登録された注意対象者の顔画像と前記受信した撮像画像から抽出した顔画像とを照合する顔認証照合処理を行い、前記注意対象者の顔画像と前記受信した撮像画像から抽出した顔画像とが一致した場合、前記サーバ装置に、前記受信した撮像画像から抽出した顔画像、注意対象者が来店している旨を示す情報、前記一致した注意対象者の顔画像に対応付けられた詳細情報及び自身が設置されている店舗を識別する店舗ＩＤを送信し、
　前記サーバ装置の情報提供部は、前記顔認証照合装置が送信した顔画像、前記注意対象者が来店している旨を示す情報、前記詳細情報及び前記店舗ＩＤを受信すると、前記端末データベースを参照し、前記店舗ＩＤに対応付けられた携帯端末を特定すると共に、該店舗ＩＤに対応付けられた対応指示情報を読み出し、特定した携帯端末に、注意対象者が来店している旨を通知すると共に、前記携帯端末に、前記顔認証照合装置から送信された顔画像及び詳細情報と前記読み出した対応指示情報とを含む注意対象者に関する情報を提供することが望ましい。
　本発明によれば、店舗を訪れる来店者を監視して、不審な行動をとる来店者を検知し、検知した来店者に関する情報を携帯端末に提供することにより効果的な防犯対策を可能にする防犯システムを提供することができる。
本実施形態の防犯システムの全体構成を示した模式図である。 本実施形態の防犯システムを設置する店舗を格子状に区分けした店舗平面に、カメラを配置した状態を示した模式図である。 本実施形態の防犯システムで用いられる要注意人物データベースの模式図である。 本実施形態の防犯システムで用いられる来店者一時記憶データベースの模式図である。 本実施形態の防犯システムで用いられる来店管理データベースの模式図である。 本２実施形態の防犯システムで用いられる検知履歴データベースの模式図である。 本実施形態の防犯システムで用いられる犯行動作データベースの模式図である。 本実施形態の防犯システムで用いられるエリア推定テーブルの模式図である。 本実施形態の防犯システムで用いられる端末データベースの模式図である。 本２実施形態の防犯システムが行う来店者仮登録処理の手順を示したフローチャートである。 本実施形態の防犯システムが行う退店者仮登録抹消処理の手順を示したフローチャートである。 本実施形態の防犯システムが行う要注意人物検知処理の手順を示したフローチャートである。 本実施形態の防犯システムが行う来店者監視処理の手順を示したフローチャートである。 本実施形態の防犯システムを構成するサーバ装置が、スマートフォンに要注意人物に関する情報を提供する処理の工程を示した模式図である。 本実施形態の防犯システムを構成するサーバ装置が、スマートフォンに不審な行動とる来店者に関する情報を提供する処理の工程を示した模式図である。 本実施形態の防犯システムがスマートフォンに提供する要注意人物に関する情報を表示する画面を示した模式図である。 本実施形態の防犯システムがスマートフォンに提供する不審な行動をとる来店者に関する情報を表示する画面を示した模式図である。
　以下、本発明の実施形態について図面を用いて説明する。先ず、本発明の実施形態の防犯システムの構成について図１～図３を用いて説明する。
　尚、以下の説明は、本実施形態の防犯システムが、店舗における万引き防止対策に用いられる場合の例を示している。
　本実施形態の防犯システムは、予め登録した注意対象者が来店した場合、注意対象者が来店したことを検知して、そのことを店員にリアルタイムで知らせる機能と、来店者が不審な行動をとった場合に、それを検知して店員に知らせる機能と、各店員に注意対象者への対応を指示する機能とを備えたものである。
　先ず、本実施形態の構成について、図１及び図２を用いて説明する。
　ここで、図１は、本実施形態の防犯システムの全体構成を示した模式図である。また、図２は、本実施形態の防犯システムを設置する店舗を格子状に区分けした店舗平面に、カメラを配置した状態を示した模式図である。
　図１に示すように、本実施形態の防犯システムは、店舗の出入口の近傍に設置されたカメラＣＥ１、ＣＥ２と、店舗内に設置されたカメラＣｎ（図示する例では、ｎ＝１～１７）と、カメラＣｎが撮像した来店者の画像と予め記憶している注意対象者の画像とを照合する顔認証照合処理を行う顔認証照合装置１と、顔認証照合装置１とネットワークＮＷ（インターネット）を介して接続されているサーバ装置３とを備えている。
　また、本実施形態では、図２に示すように、店舗が格子状に区分けされ、複数のエリア（Ａ１～Ａ５、Ｂ１～Ｂ５、Ｃ１～Ｃ５、Ｄ１～Ｄ５、Ｅ１～Ｅ５）に分割されている。
　また、出入口撮像用として、入店者撮像用カメラＣＥ１と、退店者撮像用カメラＣＥ２とが設けられている。ここで、カメラＣＥ１は、出入口から入店してくる人物の顔が撮像できる位置に設置され、カメラＣＥ２は、出入口から退店していく人物の顔が撮像できる位置に設置されている。また、カメラＣｎは、それぞれ、店舗の異なる位置に設置され、担当する店舗のエリア（所定数のエリア）を撮像できる位置に設置されている。例えば、図示する例では、カメラＣ１及びカメラＣ１５は、エリアＡ５、Ｂ５、Ｃ５、Ｄ５、Ｅ５を通る人物を撮像できる位置に設置されている。また、例えば、カメラＣ６及びカメラＣ１７は、エリアＡ１、Ａ２、Ａ３、Ａ４、Ａ５を通る人物を撮像できる位置に設置されている。
　尚、図２では、出入口が１つの店舗を例にしているため、出入口撮影用として、２台のカメラＣＥ１、ＣＥ２が設けられているが、出入口が複数ある店舗の場合、出入口毎に、２台の出入口撮像用カメラを設けておく。
　そして、本実施形態の防犯システムは、各カメラＣ１・・・Ｃ１７が撮像した画像から、来店者が店舗内でどのエリアを通過したかを特定して、来店者の行動パターン（動線）を把握して、予め登録された行動パターン（例えば、過去に万引きしたと判断される人物の行動パターン等）と類似する行動パターンの来店者がいる場合、サーバ装置３を介して、不審な行動をとる来店者がいる旨を店員のスマートフォンＳＰに通知する機能（来店者監視機能）が設けられている。
　また、本実施形態では、サーバ装置３の端末データベース７０に、スマートフォンＳＰのユーザ毎に定めた、注意対象者への対応を指示する情報が登録されるようになっている。そして、本実施形態では、注意対象者（予め登録した要注意人物や不審な行動をとる来店者）が店舗にいると認定した場合、サーバ装置３を介して、スマートフォンＳＰに対して、スマートフォンＳＰのユーザ毎に定めた、注意対象者への対応内容が提供されるようになっている。
　以下、本実施形態の防犯システムの各構成を説明していく。
　先ず、顔認証照合装置１の構成を説明する。
　顔認証照合装置１は、制御部１０と、画像処理部１１と、通信処理部１２と、顔認証照合部１３と、警報発信部１４と、行動監視部５０と、要注意人物データベース６０と、来店者一時記憶データベース６１と、来店管理データベース６２と、検知履歴データベース６３と、犯行動作データベース６４と、エリア推定テーブル６５とを有している。
　尚、顔認証照合装置１のハードウェア構成は、特に限定されるものではないが、例えば、中央処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入出力Ｉ/Ｆ及び通信Ｉ/Ｆを備えるコンピュータ（１台或いは複数台のコンピュータ）により構成される。
　また、上記補助記憶装置には、各部（制御部１０、画像処理部１１、通信処理部１２、顔認証照合部１３、警報発信部１４、行動監視部５０）の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置の所定領域には、上記各データベース（要注意人物データベース６０、来店者一時記憶データベース６１、来店管理データベース６２、検知履歴データベース６３、犯行動作データベース６４、エリア推定テーブル６５）が格納されている。そして、各部（制御部１０、画像処理部１１、通信処理部１２、顔認証照合部１３、警報発信部１４、行動監視部５０）の機能は、中央処理装置（ＣＰＵ）が補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
　次に、本実施形態の顔認証照合装置１の各構成部を説明する。
　具体的には、制御部１０は、顔認証照合装置１全体の動作を制御すると共に、管理端末Ｐを介して、顔認証照合装置１に対する各種設定を受け付ける。
　また、画像処理部１１は、カメラＣＥ１、ＣＥ２、Ｃ１、・・・、Ｃ１７が撮像した来店者の画像を取得して、色調整などの画像処理を行う。また、通信処理部１２は、ネットワークＮＷを介して、サーバ装置３の情報提供部３１との間で各種情報の授受を行う。
　また、顔認証照合部１３は、カメラＣ１・・・Ｃ１７が撮像した来店者を撮像した画像を取得し、取得した来店者を撮像した画像と、要注意人物データベース６０に登録されている画像データとを顔認証照合する処理を行う。そして、顔認証照合部１３は、顔認証照合処理の結果、来店者を撮像した画像と、要注意人物データベース６０に登録されている画像データとが一致した場合、その旨を示すデータを警報発信部１４に出力すると共に、サーバ装置３を介して、要注意人物が来店している旨を店員のスマートフォンＳＰに通知するようになっている。
　警報発信部１４は、顔認証照合部１３が送信する「来店者を撮像した画像と、要注意人物データベース６０に登録されている画像データとが一致した旨を示すデータ」を受信すると、回転灯Ｌに対して点灯を指示する信号を送信して回転灯Ｌを点灯させると共に、ブザーＢにアラーム出力を指示する信号を送信して、ブザーＢからアラーム音を鳴らす。
　また、行動監視部５０は、カメラＣ１・・・Ｃ１７が撮像した画像から抽出した来店者の顔画像のピクセル数と、後述するエリア推定ＴＢ６５とを用いて、来店者が店舗のどのエリア（Ａ１～Ａ５、Ｂ１～Ｂ５、Ｃ１～Ｃ５、Ｄ１～Ｄ５、Ｅ１～Ｅ５）を通過したかを特定し、後述する来店管理データベース６２に特定したエリアを登録して来店者の行動パターンを更新していく。そして、行動監視部５０は、来店管理データベース６２に登録された来店者の行動パターンと、後述する犯行動作データベース６４に登録された行動パターンとを比較して、類似する行動パターンの来店者がいる場合、不審な行動をとる来店者がいると判定し、その旨示す情報を顔認証照合部１３に送信する。顔認証照合部１３は、不審な行動をとる来店者がいる旨を示す情報を受けると、サーバ装置３を介して、不審な行動をとる来店者がいる旨を店員のスマートフォンＳＰに通知するようになっている。
　尚、顔認証照合部１３及び行動監視部５０が行う処理は、後段で詳細に説明する。
　次に、要注意人物データベース６０について、図３を参照しながら説明する。
　尚、図３は、本実施形態の防犯システムで用いられる要注意人物データベースの模式図である。
　図示するように、要注意人物データベース６０は、注意対象者を識別する注意対象者ＩＤに対応付けて、注意対象者の画像データ（顔が写った画像データ）と、注意対象者の氏名、性別、年齢、身体的特徴等の属性情報と、犯行履歴と、来店回数及び来店履歴とを記憶するデータベースである。
　具体的には、要注意人物データベース６０は、注意対象者ＩＤを登録するためのフィールド６０ａと、注意対象者の顔を写した画像データ（例えば、ｊpeg形式の画像データ）を登録するフィールド６０ｂと、注意対象者の氏名を登録するフィールド６０ｃと、注意対象者の性別を登録するフィールド６０ｄと、注意対象者の年齢を登録するフィールド６０ｅと、注意対象者の連絡先を登録するフィールド６０ｆと、注意対象者の身体的特徴を登録するフィールド６０ｇと、注意対象者の犯行履歴（犯歴）を登録するフィールド６０ｈと、注意対象者の来店回数を登録するフィールド６０ｉと、注意対象者の来店履歴を登録するフィールド６０ｊとを有するレコードで構成されている（複数のレコードにより構成されている）。
　ここで、注意対象者ＩＤとは、要注意人物データベース６０に登録される注意対象者毎に割り当てた一意のデータであり、英数字等で構成される。また、フィールド６０ｈには、犯行履歴として、犯罪行為（万引き等）と、犯罪行為の内容（万引きした製品（書籍、洋服等））が登録される。また、フィールド６０ｉの来店回数は、注意対象者の来店が検知されるたびに、顔認証照合部１３により更新され、フィールド６０ｊの来店履歴は、注意対象者の来店が検知されるたびに、顔認証照合部１３により追加される。
　次に、来店者一時記憶データベース６１について、図４を参照しながら説明する。
　尚、図４は、本実施形態の防犯システムで用いられる来店者一時記憶データベースの模式図である。
　来店者一時記憶データベース６１は、店舗に来店した人物の顔画像を、その人物が退店するまで一時的に記憶しておくためのデータベースであり、来店者を識別する来店者ＩＤに対応付けて、その来店者を撮像した画像（顔画像）、入店日時、推定性別及び推定年齢を記憶している。この来店者一時記憶データベース６１は、来店者の店舗における行動パターンを把握するために用いられる。
　具体的には、来店者一時記憶データベース６１は、来店者ＩＤを登録するフィールド６１ａと、来店者の顔を写した画像データ（例えば、ｊpeg形式の画像データ）を登録するフィールド６１ｂと、来店者の入店日時を登録するフィールド６１ｃと、来店者の推定性別を登録するフィールド６１ｄと、来店者の推定年齢を登録するフィールド６１ｅとを有するレコードで構成されている（複数のレコードにより構成されている）。
　尚、個人を特定しないために、フィールド６１ｂに、「来店者の顔を写した画像データ」の代わりに、顔の特徴値をスコア化した数例を登録するようにしてもよい。
　ここで、来店者ＩＤとは、来店者データベース６１に登録される来店者毎に割り当てた一意のデータであり、英数字等で構成される。また、フィールド６１ｂに登録される来店者の顔画像は、来店者が出入口を通り入店してきた際に、カメラ（入店者撮像用カメラ）ＣＥ１で撮像された画像から抽出したものである。フィールド６１ｄ、６１ｅに登録される推定性別、推定年齢とは、顔認証照合部１３が、カメラＣＥ１で撮像された画像を用いて推定した性別及び年齢である。
　次に、来店管理データベース６２について、図５を参照しながら説明する。
　尚、図５は、本実施形態の防犯システムで用いられる来店管理データベースの模式図である。
　来店管理データベース６２は、店舗に来店した人物の店舗内における行動パターン（店舗内での通過エリアを時系列で並べた行動パターン）を登録するためのデータベースであり、来店者ＩＤに対応付けて、その来店者の店舗での行動パターン、店舗における滞在時間、その来店者の推定性別、その来店者の推定年齢及び注意人物フラグを記憶している。この来店管理データベース６２は、後述する犯行動作データベース６４と共に、来店者が不審な行動をとっているか否かの判定に用いられる。
　具体的には、来店管理データベース６２は、来店者ＩＤを登録するフィールド６２ａと、来店者の行動パターンを登録するフィールド６２ｂと、来店者の滞在時間を登録するフィールド６２ｃと、来店者の推定性別を登録するフィールド６２ｄと、来店者の推定年齢を登録するフィールド６２ｅと、注意人物フラグを登録するフィールド６２ｆとを有するレコードで構成されている（複数のレコードにより構成されている）。
　フィールド６２ｂに登録される行動パターンとは、来店者が店舗内で通過したエリア及びそのエリアの通過時間を時系列に並べて登録したものである。図示する最上段のレコードのフィールド６２ｂには、「２０１４年５月２日、１１：００にエリアＥ５を通過し、１１：０１にエリアＥ４を通り、１１：０３に再びエリアＥ５を通過し、１１：０５にエリアＤ５を通過したことを示す行動パターン」が登録されている。このように本実施形態では、来店者が、いつ（何時何分）、店舗のどのエリアを通過したのか時系列で登録しておくことで、来店者の店舗内における行動パターン（動線）を把握できるようにしている。
　尚、フィールド６２ｂに登録される行動パターンは、行動監視部５０により、来店者の通過エリアを特定する度に、そのエリア及び時間情報が追加登録され更新されていく。
　また、フィールド６２ｆには、通常「ＮＵＬＬ」が登録されており、行動監視部５０により、フィールド６２ｂに登録されている行動パターンが不審であると認定された場合に、フラグとして「１」が登録されるようになっている。
　次に、検知履歴データベース６３について、図６を参照しながら説明する。
　尚、図６は、本実施形態の防犯システムで用いられる検知履歴データベースの模式図である。
　検知履歴データベース６３は、要注意人物データベース６０に登録された注意対象者の検知履歴を登録するためのデータベースであり、注意対象者ＩＤに対応付けて、登録した顔画像、撮像した顔画像、認証精度及び検知日時を記憶している。
　具体的には、検知履歴データベース６３は、注意対象者ＩＤを登録するためのフィールド６３ａと、要注意人物データベース６０に登録された注意対象者の顔画像を登録するフィールド６３ｂと、カメラＣｎにより実際に撮像された注意対象者の顔画像を登録するフィールド６３ｃと、顔認証照合部１３が行う顔認証照合処理の認証精度を登録するフィールド６３ｄと、検知日時を登録するフィールド６３ｅとを有するレコードで構成されている（複数のレコードにより構成されている）。
　次に、犯行動作データベース６４について、図７を参照しながら説明する。
　尚、図７は、本２実施形態の防犯システムで用いられる犯行動作データベースの模式図である。
　犯行動作データベース６４は、不審であると考えられる店舗における「行動パターン（店舗内での通過エリアを時系列で並べた行動パターン）」を登録しておくためのデータベースであり、不審と考えられる行動パターンを識別するパターンＩＤに対応付けて、不審な行動パターン、推定性別、推定年齢及び犯行内容を記憶している。本実施形態では、犯行動作データベース６４に登録された行動パターンと、来店管理データベース６２に登録された行動パターンとを比較し、所定以上類似しているか否か（例えば、一致点が所定以上あるか否か）により、来店者の行動が不審であるか否かを判定するようになっている。
　具体的には、犯行動作データベース６４は、パターンＩＤを登録するフィールド６４ａと、パターンＩＤにより特定される行動パターンを登録するフィールド６４ｂと、滞在時間を登録するフィールド６４ｃと、推定性別を登録するフィールド６４ｄと、推定年齢を登録するフィールド６４ｅと、犯行内容を登録するフィールド６４ｆとを有するレコードで構成されている（複数のレコードにより構成されている）。
　パターンＩＤとは、犯行動作データベース６４に登録される行動パターン毎に割り当てた一意のデータであり、英数字等で構成される。また、フィールド６４ｂ～６４ｆには、本システムの管理者が、過去の店舗における万引き常習者の行動等を元に作成したデータが登録される。また、フィールド６４ｂ～６４ｆには、システム管理者が、来店者管理データベース６２に登録されたデータ及びカメラＣｎが撮像したデータを分析して、万引きが行われたと推定される人物の「行動パターン、推定性別、推定年齢、犯行内容」を来店者管理データベース６２から抽出して登録するようにしてもよい。
　尚、システム管理者が、過去の店舗における万引き常習者の行動等を元に作成したデータを登録する場合、滞在時間、推定性別、推定年齢、犯行内容については、具体的な内容を登録せずに「ＮＵＬＬ」を登録するようにしてもよい。
　次に、エリア推定テーブル６５について、図８を参照しながら説明する。
　尚、図８は、本実施形態の防犯システムで用いられるエリア推定テーブルの模式図である。
　エリア推定テーブル６５は、カメラＣｎが撮像した来店者の顔画像から、来店者が撮像された（通過した）店舗のエリア（Ａ１～Ａ５、Ｂ１～Ｂ５、Ｃ１～Ｃ５、Ｄ１～Ｄ５、Ｅ１～Ｅ５）を特定するために用いられるものであり、カメラＣｎを識別する各カメラＩＤに、顔画像の画素数範囲毎に対応する店舗のエリアを示す情報を関連付けて記憶している。
　エリア推定テーブル６５は、カメラＩＤを登録するフィールド６５ａと、第１画素数範囲の顔画像に対応するエリアを登録するフィールド６５ｂと、第２画素数範囲の顔画像に対応するエリアを登録するフィールド６５ｃと、第３画素数範囲の顔画像に対応するエリアを登録するフィールド６５ｄと、第４画素数範囲の顔画像に対応するエリアを登録するフィールド６５ｅと、第５画素数範囲の顔画像に対応する店舗のエリアを登録するフィールド６５ｆとを有するレコードで構成されている（複数のレコードにより構成されている）。
　ここで、カメラＩＤとは、本実施形態で用いられるカメラＣ１～Ｃｎ、ＣＥ１、ＣＥ２毎に割り当てた一意のデータであり、英数字等で構成される。
　尚、第１画素数範囲が第２画素数範囲より小さく（第１画素数範囲＜第２画素数範囲）、第２画素数範囲が第３画素数範囲より小さく（第２画素数範囲＜第３画素数範囲）、第３画素数範囲が第４画素数範囲より小さく（第３画素数範囲＜第４画素数範囲）、第４画素数範囲が第５画素数範囲より小さい（第４画素数範囲＜第５画素数範囲）ものとする。
　次に、エリア推定テーブル６５の役割を説明する。
　本実施形態では、カメラＣ１～Ｃｎ、ＣＥ１、ＣＥ２は、それぞれ、店舗における撮像できるエリアが定められている（図２参照）。そのため、カメラＣ１～Ｃｎ、ＣＥ１、ＣＥ２で撮像した来店者の画像から抽出した顔画像の大きさ（画素数）により、来店者がいたエリア（撮像されたエリア）を推定できるようになっている。
　例えば、カメラＣ１は、店舗内のエリアＡ５、Ｂ５、Ｃ５、Ｄ５、Ｅ５を撮像できる位置に設置され、レンズや設置角度が調節されている。したがって、カメラＣ１で撮像された来店者は、エリアＡ５、Ｂ５、Ｃ５、Ｄ５、Ｅ５のいずれかの位置にいたことになる。
　そして、カメラＣ１により、エリアＡ５で撮像された来店者の画像から抽出された顔画像の画素数は、エリアＢ５で撮像された来店者の画像から抽出された顔画像の画素数よりも大きくなる。また、カメラＣ１により、エリアＢ５で撮像された来店者の画像から抽出された顔画像の画素数は、エリアＣ５で撮像された来店者の画像から抽出された顔画像の画素数よりも大きくなる。また、カメラＣ１により、エリアＣ５（又はＤ５）で撮像された来店者の画像から抽出された顔画像の画素数は、エリアＤ５（又はＥ５）で撮像された来店者の画像から抽出された顔画像の画素数よりも大きくなる。
　尚、カメラＣＥ１は、出入口から入店してくる人物の顔を撮像するように設定されているため、カメラＣＥ１で撮像された人物の通過エリアは出入口があるエリアＥ５になる。同様に、カメラＣＥ２は、出入口から退店していく人物の顔を撮像するように設定されているため、カメラＣＥ２で撮像された人物の通過エリアは出入口があるエリアＥ５になる。
　そして、各カメラＩＤに、顔画像の画素数範囲毎に対応する店舗のエリアを示す情報を関連付けたエリア推定テーブル６５を設けることで、カメラＣｎが撮像した画像及びエリア推定テーブル６５から、来店者がどのエリアを通過したか推定できるようになる。
　例えば、カメラＣ１で撮像した来店者の画像から抽出した顔画像の大きさ（画素数）が、第１画素数範囲であれば、来店者は、エリアＥ５にいたところを撮像されたと推定される。又、例えば、カメラＣ２で撮像した来店者の画像から抽出した顔画像の大きさ（画素数）が、第５画素数範囲であれば、来店者は、エリアＡ４にいたところを撮像されたと推定される。
　次に、本実施形態のサーバ装置３の構成について説明する。
　サーバ装置３は、制御部３０と、情報提供部３１と、要注意人物データベース６０と、端末データベース７０とを有している。
　尚、サーバ装置３のハードウェア構成は、特に限定されるものではないが、例えば、中央処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入出力Ｉ/Ｆ及び通信Ｉ/Ｆを備えるコンピュータ（１台或いは複数台のコンピュータ）により構成される。
　また、上記補助記憶装置には、各部（制御部３０、情報提供部３１）の機能を実現するためのプログラムが格納されている。また、前記補助記憶装置の所定領域には、要注意人物データベース６０及び端末データベース７０が格納されている。そして、各部（制御部３０、情報提供部３１）の機能は、中央処理装置が補助記憶装置に格納された前記プログラムを主記憶装置にロードして実行することにより実現される。
　次に、サーバ装置３の各構成部を順に説明する。
　制御部３０は、サーバ装置３全体の動作を制御する。
　また、情報提供部３１は、顔認証照合装置１が送信した来店者の画像及び店舗ＩＤを受信すると、端末データベース７０を参照し、店舗ＩＤに対応付けられたスマートフォンＳＰを特定し、特定したスマートフォンＳＰに、注意対象者が来店している旨（不審な行動をとる来店者がいる旨）を通知すると共に、スマートフォンＳＰに、顔認証照合装置１から送信された来店者の画像を含む注意対象者（不審な行動をとる来店者）に関する情報を提供する（図１６（ｂ）、１７（ｂ）に示すＷｅｂサイトを提供する）。
　要注意人物データベース６０は、顔認証照合装置１の要注意人物データベース６０と同様に構成されており、同様のデータが登録されている。すなわち、要注意人物データベース６０は、注意対象者を識別する注意対象者ＩＤに対応付けて、注意対象者の画像データ（顔が写った画像データ）と、注意対象者の氏名、性別、年齢、身体的特徴等の属性情報と、犯行履歴と、来店回数及び来店履歴とが記憶されている。
　なお、要注意人物データベース６０は、例えば、以下のように生成される。すなわち、複数の店舗（図示せず）の各顔認証照合装置１で要注意人物の画像データ（注意対象者の「性別」及び「年齢」に対応付けて、その注意対象者の顔を写した画像データ）等を登録し、その画像データをサーバ装置３に送信する。サーバ装置３は、各店舗の顔認証照合装置１から送信された画像データを集計することにより要注意人物データベース６０を生成し、生成した人物データベース６０を、各店舗の顔認証照合装置１に送信して記憶させる。
　このように要注意人物データベース６０を作成することにより、他の店舗で問題を起こした人物が来店してきた場合においても監視を行うことができるため、効果的な防犯対策が実現される。
　端末データベース７０は、スマートフォンＳＰを保持する店員の「ユーザＩＤ毎」に、そのユーザの「ログインパスワード」、「デバイストークン（端末識別情報）」、「店舗ＩＤ」、「性別及び年齢」及び「注意対象者への対応を指示する対応指示情報」を対応付けて記憶させたものである。
　具体的には、図９に示すように、端末データベース７０は、ユーザＩＤを登録するフィールド７０ａと、パスワード（ログインパスワード）を登録するフィールド７０ｂと、デバイストークンを登録するフィールド７０ｃと、店舗ＩＤを登録するフィールド７０ｄと、性別及び年齢を登録するフィールド７０ｅと、注意対象者への対応内容を示す情報を登録するフィールド７０ｆとを有するレコードにより構成されている（複数のレコードにより構成されている）。尚、図９は、本実施形態の防犯システムで用いられる端末データベースの模式図である。
　また、フィールド７０ａに登録されるユーザＩＤは、スマートフォンＳＰを保持する店員毎に割り当てた一意のデータ（英数字等のデータ）であり、フィールド７０ｂに登録されるパスワードは、店員が設定した英数字等のデータである。また、フィールド７０ｃに登録されるデバイストークンは、スマートフォンＳＰを識別する端末識別情報であり、フィールド７０ｄに登録される店舗ＩＤは、スマートフォンＳＰを保持する店員が所属している店舗毎に割り当てた一意のデータ（英数字等のデータ）である。
　また、フィールド７０ｅには、スマートフォンＳＰを保持するユーザ（店員）の性別及び年齢が登録され、フィールド７０ｆには、フィールド７０ｅに登録された性別及び年齢に対応する「注意対象者への対応内容を示す情報」が登録される。
　このように、スマートフォンＳＰを保持するユーザ（店員）の性別及び年齢に応じて、「注意対象者への対応内容を示す情報」を登録しておくことにより、ユーザ（店員）の安全に配慮した防犯活動を促すことができる。
　次に、本実施形態の防犯システムが行う処理内容について説明する。
〈スマートフォンＳＰの設定処理〉
　先ず、本実施形態の防犯システムを利用するためのスマートフォンＳＰの設定処理について説明する。
　本実施形態の防犯システムを利用するためには、店舗の店員が持つスマートフォンＳＰに、専用のアプリケ－ションプログラム（防犯システム連携アプリ２０）をインストールし、スマートフォンＳＰを防犯システムと連携して機能できるように設定する必要がある。
　この防犯システム連携アプリ２０を起動させた状態にすると、スマートフォンＳＰは、サーバ装置３からのプッシュ通知が受信されるようになると共に、サーバ措置３が提供する注意対象者や不審な行動をとる来店者の画像を示したサイト（図１６（ｂ）、図１７（ｂ））にアクセスし、スマートフォンＳＰの表示部に前記サイト表示できるようになる。
　具体的には、先ず、スマートフォンＳＰのユーザ（店員）は、図示しないアプリケーションサーバ（例えば、米国アップル社のアプリケーションサーバ）から防犯システム連携アプリ２０をスマートフォンＳＰにインストールして、初期設定をする。
　ここで初期設定について説明する。店員が、スマートフォンＳＰにインストールした防犯システム連携アプリ２０を最初に起動させると、スマートフォンＳＰのＯＳ（Operating System）を介して、プッシュ通知サーバ（図示せず）に登録要求が送信される。この登録要求に対し、プッシュ通知サーバは、登録要求をしたスマートフォンＳＰのデバイストークンを生成し、スマートフォンＳＰにデバイストークンを送信する。スマートフォンＳＰは、プッシュ通知サーバからのデバイストークンを受信すると、防犯システム連携アプリ２０により提供される初期設定画面（図示せず）を表示させ、ユーザＩＤ（英数字などで構成される一意のデータ）、パスワード及び店員が所属する店舗の店舗ＩＤ、店員の性別及び年齢を入力させる。スマートフォンＳＰは、ユーザＩＤ、パスワード、店舗ＩＤ、店員の性別及び年齢の入力を受け付けると、「ユーザＩＤ、パスワード、店舗ＩＤ、性別及び年齢」を情報提供サーバ３の端末データベース７０に登録する（サーバ装置３の情報提供部３１がスマートフォンＳＰからの情報（ユーザＩＤ、パスワード、店舗ＩＤ、性別及び年齢）を受け付けて、端末データベース７０に登録する）。このとき、サーバ装置３の情報提供部３１は、受け付けた情報を登録するレコードに、「性別及び年齢」毎に対応付けられた「注意対象者への対応内容を指示する情報（対応指示情報）」を登録する。
　例えば、情報提供部３１は、受け付けた「年齢が３０代以上」であれば、男女ともに「声かけを促す旨を示す情報」を登録し、「年齢が１０代」であれば、男女ともに「監視を促す旨を示す情報」を登録する。また、例えば、「年齢が２０代で、女性」であれば、「監視を促す旨を示す情報」を登録し、「年齢が２０代で、男性」であれば、「監視を促す旨を示す情報」を登録する。
　また、スマートフォンＳＰは、内蔵のメモリに、プッシュ通知サーバからのデバイストークンを記憶させる。
　なお、スマートフォンＳＰのユーザは、この初期設定に先だって、本実施形態の防犯システムを提供する事業者から、初期設定で入力する必要があるユーザＩＤや店舗ＩＤを取得しているものとする。
　上記の初期設定を終了してから、店員が防犯システム連携アプリ２０を起動すると、スマートフォンＳＰは、ユーザＩＤ及びパスワードの入力を促すログイン画面を表示する。また、店員は、ログイン画面上で、ユーザＩＤ及びパスワードを入力してログイン処理をする。
　具体的には、スマートフォンＳＰは、店員から「ユーザＩＤ及びパスワード」の入力を受け付けると、サーバ装置３の情報提供部３１に「ユーザＩＤ及びパスワード」を送信する。情報提供部３１は、スマートフォンＳＰから送信された「ユーザＩＤ及びパスワード」と、端末データベース７０を照合して「ユーザＩＤ及びパスワード」が正しければ、スマートフォンＳＰにログイン成功画面を送信し、スマートフォンＳＰにログイン成功画面を表示させる。
　一方、情報提供部３１は、照合の結果、受信した「ユーザＩＤ及びパスワード」が端末データベース７０に登録されているものと一致しなければ、スマートフォンＳＰにログイン失敗画面を送信して、スマートフォンＳＰにログイン失敗画面を表示させて、再度、上述したログイン画面を表示し、店員に、「ユーザＩＤ及びパスワード」の再入力を促す。
　また、ログイン成功画面を表示させたスマートフォンＳＰは、サーバ装置２の情報処理部３１に、自身の内蔵メモリに記憶しているデバイストークンを送信する。
　また、サーバ装置３の情報処理部３１は、スマートフォンＳＰから送信されたデバイストークンを受信すると、端末データベース７０にアクセスし、上記の入力された「ユーザＩＤ及びパスワード」を登録したレコードに、受信したデバイストークンを登録する。
　この処理が終わると、スマートフォンＳＰは、防犯システム連携アプリ２０により、防犯システムと連携して機能する。すなわち、スマートフォンＳＰは、入店する要注意人物（不審な行動をとる来店者）が検知される度に、要注意人物が来店したことを示す情報（不審な行動をとる来店者がいる旨を示す情報）がプッシュ通知されると共に、要注意人物の画像（来店してきたときの画像）を示すサイトにアクセスできるようになる。
〈来店者仮登録処理〉
　次に、本実施形態の防犯システムが行う来店者仮登録処理について、図１０を用いて説明する。図１０は、本実施形態の防犯システムが行う来店者仮登録処理の手順を示したフローチャートである。
　本実施形態では、要注意人物データベース６０に登録された注意対象者が来店したか否かを監視するだけでなく、全ての来店者に対して、不審な行動をしているか否かを監視するようにしている。そのため、来店者が店舗にいる間は、その来店者の顔画像を仮登録（一時記憶）しておいて、顔認証照合処理により、来店者が店舗のどのエリアにいるかを追跡して来店者の行動パターン（動線）を把握するようにしている。
　具体的には、店舗の出入口から入店してくる来店者は、カメラ（入店者撮像用カメラ）ＣＥ１により撮像されるようになっており、カメラＣＥ１は、入店してくる来店者を撮像すると、その来店者を撮像した日時を示す撮像日時情報、自身を識別するカメラＩＤ及び撮像画像を顔認証照合装置１に送信する。
　そして、顔認証照合装置１の画像処理部１１は、カメラＣＥ１からの「撮像日時情報」、「カメラＩＤ」及び「撮像画像」を取得し（Ｓ４０）、取得した「撮像画像」に色調整などの画像処理を施し、顔認証照合部１３に、「撮像日時情報」、「カメラＩＤ」及び「画像処理を施した撮像画像」を送信する。
　次に、顔認証照合部１３は、画像処理部１１から送信される「撮像日時情報」、「カメラＩＤ」及び「画像処理を施した撮像画像」を受信すると、「カメラＩＤ」によりカメラＣＥ１から送信された画像であると判定できるため、「来店者仮登録処理」を行うものと認識する。
　また、顔認証照合部１３は、画像処理部１１から取得した撮像画像の中から顔画像を検知して抽出する顔画像の検知処理を実行し（Ｓ４１、Ｓ４２）、顔画像が検知できればＳ４３に進み、検知できなければＳ４０に戻る
　尚、撮像画像の中から顔画像を検知して抽出する顔画像の検知処理は、公知技術を用いるため詳細な説明を省略する。
　Ｓ４３では、顔認証照合部１３は、Ｓ４１で検知して抽出した顔画像から来店者の年齢及び性別を推定する。
　尚、来店者の年齢及び性別を推定する処理は公知技術が用いられる。
　次に、顔認証照合部１３は、Ｓ４１で検知して抽出した顔画像を識別する来店者ＩＤを付与する（Ｓ４４）。
　その後、顔認証照合部１３は、来店者一時記憶データベース６１（図４）に、Ｓ４４で付与した来店者ＩＤ、Ｓ４１で検知した顔画像、Ｓ４１で受信した「撮像日時（入店日時）」、Ｓ４３で推定した「推定年齢及び推定性別」を記憶させる（Ｓ４５）。
　具体的には、顔認証照合部１３は、フィールド６１ａにＳ４４で付与した来店者ＩＤが登録され、フィールド６１ｂにＳ４１で検知した顔画像が登録され、フィールド６１ｃにＳ４１で受信した撮像日時（入店日時）が登録され、フィールド６１ｃ、６１ｄに、Ｓ４３で推定した推定年齢及び推定性別が登録されたレコードを作成し、来店者一時記憶データベース６１に、作成したレコードを登録する。
　また、Ｓ４５では、顔認証照合部１３は、来店管理データベース６２（図５）にアクセスして、Ｓ４４で付与した来店者ＩＤ、Ｓ４１で受信した「撮像日時（入店日時）」、Ｓ４３で推定した「推定年齢及び推定性別」を記憶させる処理も行う。
　具体的には、顔認証照合部１３は、フィールド６２ａにＳ４４で付与した来店者ＩＤが登録され、フィールド６２ｂの行動パターンに、出入口のエリアを示すＥ５及び撮像日時情報（入店日時）が登録され、フィールド６１ｄ、６１ｆに、Ｓ４３で推定した推定年齢及び推定性別が登録され、フィールド６２ｃ、６２ｆに「ＮＵＬＬ」が登録されたレコードを作成し、来店管理データベース６２に、そのレコードを記憶させる。
〈退店者仮登録抹消処理〉
　次に、本実施形態の防犯システムが行う退店者仮登録抹消処理について、図１１を用いて説明する。図１１は、本実施形態の防犯システムが行う退店者仮登録抹消処理の手順を示したフローチャートである。
　本実施形態は、店舗に来た全ての来店者に対して、不審な行動をとるか否かを監視する目的で来店者が店舗にいる間は、その来店者の顔画像を仮登録（一時記憶）しているため、来店者が退店したときには、仮登録（一時記憶）している顔画像を抹消する必要がある。
　具体的には、店舗の出入口から出て行く来店者は、出入口撮像用のカメラ（退店者撮像用カメラ）ＣＥ２により撮像されるようになっており、カメラＣＥ２は、退店していく人物を撮像すると、撮像日時情報、自身を識別するカメラＩＤ及び撮像画像を顔認証照合装置１に送信する。
　そして、顔認証照合装置１の画像処理部１１は、カメラＣＥ２からの「撮像日時情報、カメラＩＤ及び撮像画像」を取得し（Ｓ５０）、取得した「撮像画像」に色調整などの画像処理を施し、顔認証照合部１３に、「撮像日時情報」、「カメラＩＤ」及び「画像処理を施した撮像画像」を送信する。
　次に、顔認証照合部１３は、画像処理部１１から送信される「撮像日時情報」、「カメラＩＤ」及び「画像処理を施した撮像画像」を受信すると、「カメラＩＤ」により、退店者を撮像するカメラＣＥ２から送信された画像であると判定できるため、「来店者仮登録抹消処理」を行うものと認識する。
　そして、顔認証照合部１３は、画像処理部１１から取得した撮像画像の中から顔画像を検知して抽出する顔画像の検知処理を実行し（Ｓ５１、Ｓ５２）、顔画像が検知できればＳ５３に進み、検知できなければＳ５０に戻る。尚、Ｓ５１、５２の処理は、上述した図１８のＳ４１、Ｓ４２と同じである。
　次に、顔画像照合部１３は、Ｓ５１で検知し抽出した退店者の顔画像と、来店者一時記憶データベース６１（図４）の各レコードのフィールド６１ｂに登録された顔画像とを顔認証照合処理により照合していく（Ｓ５３、Ｓ５４）。
　Ｓ５３、Ｓ５４の顔認証照合処理の結果、Ｓ５１で検知して抽出した退店者の顔画像と、来店者一時記憶データベース６１に登録されている画像データとが一致しなければ、Ｓ５０の処理に戻る。
　一方、Ｓ５３、５４の顔認証照合処理の結果、退店者の顔画像と、来店者一時記憶データベース６１に登録されている画像データとが一致した場合（即ち、来店者一時記憶データベース６１に、退店者の顔画像と一致する顔画像が登録されたレコードがあれば）、Ｓ５５の処理に進む。
　Ｓ５５では、顔認証照合部１３は、来店者一時記憶データベース６１から、退店者の顔画像と一致する顔画像が登録されたレコードを消去する処理を行い、退店者仮登録抹消処理を終了する。
　尚、顔認証照合部１３は、来店者一時記憶データベース６１から、退店者の顔画像と一致する顔画像が登録されたレコードを消去する前に、退店者の情報を来店管理データベース６２（図５）に登録する処理を行う。具体的には、顔認証照合部１３は、来店者一時記憶データベース１５にアクセスし、退店者の顔画像と一致する顔画像が登録されたレコードから来店者ＩＤを読み出す。また、顔認証照合部１３は、来店管理データベース６２にアクセスして、読み出した来店者ＩＤが登録されたレコードのフィールド６２ｂの行動パターンに、出入口のエリアを示すＥ５及び撮像日時情報（退店日時）を登録する。また、フィールド６２ｂの行動パターンに登録された情報から滞在時間を算出して、フィールド６２ｃに算出した滞在時間を登録する。
〈要注意人物検知処理〉
　次に、本実施形態の防犯システムが行う要注意人物検知処理について、図１２、図１４、図１６を用いて説明する。
　尚、図１２は、本実施形態の防犯システムが行う要注意人物検知処理の手順を示したフローチャートである。また、図１４は、本実施形態の防犯システムを構成するサーバ装置が、スマートフォンに要注意人物に関する情報を提供する処理の工程を示した模式図である。図１６は、本実施形態の防犯システムがスマートフォンに提供する要注意人物に関する情報を表示する画面を示した模式図である。
　図１２に示すように、顔認証照合装置１は、カメラＣｎから送信される店舗内部にいる来店者の撮像画像を取得する（Ｓ６０）。
　具体的には、カメラＣｎは、店舗内部にいる来店者を撮像すると、その来店者を撮像した日時を示す撮像日時情報、自身を識別するカメラＩＤ及び撮像画像を顔認証照合装置１に送信する。そして、顔認証照合装置１の画像処理部１１は、カメラＣｎから送信される「撮像日時情報、カメラＩＤ及び撮像画像」を受信し、受信した「撮像画像」に色調整などの画像処理を施し、顔認証照合部１３に、撮像日時情報、カメラＩＤ、色調整などを施した撮像画像を送信する。
　次に、顔認証照合部１３は、画像処理部１１から送信される「撮像日時情報」、「撮像画像」、「カメラＩＤ」を受信すると、「カメラＩＤ」によりカメラＣｎから送信された画像であると判定し、「要注意人物検知処理及び来店者監視処理」を行うことを認識する。
　そして、顔認証照合部１３は、画像処理部１１から取得した撮像画像の中から顔画像を検知して抽出する顔画像の検知処理を実行し（Ｓ６１、Ｓ６２）、顔画像が検知できればＳ６３に進み、検知できなければＳ６０に戻る。尚、Ｓ６１、６２の処理は、上述した図１０のＳ４１、Ｓ４２と同じである。
　次に、顔画像照合部１３は、Ｓ６１で検知した来店者の顔画像と、要注意人物データベース６０（図３）の各レコードのフィールド６０ｂに登録された顔画像とを顔認証照合処理により照合していく（Ｓ６３、Ｓ６４）。
　そして、Ｓ６３、Ｓ６４の顔認証照合処理の結果、Ｓ６１で検知し抽出した来店者の顔画像と、要注意人物データベース６０に登録されている顔画像とが一致しなければ、後述する図１３に示す来店者監視処理に移行する。
　一方、Ｓ６３、６４の顔認証照合処理の結果、来店者の顔画像と、要注意人物データベース６０に登録されている顔画像とが一致した場合（即ち、要注意人物データベース６０に、来店者の顔画像と一致する顔画像が登録されたレコードがあれば）、Ｓ６５の処理に進む。
　Ｓ６５では、顔認証照合部１３は、通信処理部１２を介して、サーバ装置３の情報提供部３１に、「カメラＣｎが撮像した来店者の顔画像（Ｓ６１で検知し抽出した来店者（即ち、注意対象者）の顔画像、一致した来店者（注意対象者）の詳細情報（来店者の氏名、性別、年齢、連絡先、身体的特徴、犯行履歴、訪問回数、訪問履歴等の情報）、及び顔認証照合装置１が設置されている店舗を識別する店舗ＩＤ」を送信し、Ｓ６６の処理に進む。
　尚、上記の来店者の詳細情報は、Ｓ６１で検知し抽出した来店者の顔画像と一致する顔画像が登録された要注意人物データベース６０のレコードから抽出したものである。また、店舗ＩＤは、顔認証照合装置１に予め記憶されている。
　さらに、Ｓ６５では、顔認証照合部１３は、検知履歴データベース６３（図６）に検知履歴を登録する処理も行う。具体的には、顔認証照合部１３は、来店者の顔画像と一致する顔画像が登録されたレコード６０のフィールド６０ａ、６０ｂから「注意対象者ＩＤ」及び「顔画像」を抽出する。そして、顔認証照合部１３は、検知履歴データベース６３に、「注意対象者ＩＤ」、「顔画像」、「Ｓ６１で検知し抽出した来店者の顔画像」、「顔認証照合処理の認証精度」「検知日時」を登録する。
　次に、顔認証照合部１３は、警報発信部１４に警報発信指示情報を送信する。警報発信部１４は、警報発信指示情報を受信すると、サーバ装置３から後述する対応完了信号を受信するまで、警報発信部１４に回転灯Ｌを点灯させると共に、ブザーＢにアラーム音を出力させる（Ｓ６６、Ｓ６７）。
　また、Ｓ６５の処理により、顔認証照合装置１から、「カメラＣｎが撮像した来店者の顔画像」、「一致した来店者の詳細情報」及び「店舗ＩＤ」を送信されたサーバ装置３は、図１４に示す処理手順により、店員が持つスマートフォンＳＰに対して注意対象者（要注意人物）に関する情報を提供する。
　以下、図１４を参照しながら、店員が持つスマートフォンＳＰに注意対象者に関する情報を提供する処理について説明する。
　図１４に示すように、サーバ装置３の情報提供部３１は、顔認証照合装置１から送信された「カメラＣｎが撮像した来店者の顔画像」、「一致した来店者の詳細情報」及び「店舗ＩＤ」を受信すると（Ｓ８０）、その受信した情報と、端末データベース７０とを用いて、受信した店舗ＩＤに対応付けられたスマートフォンＳＰを特定し、特定したスマートフォンＳＰに対して、プッシュ通知サーバ（図示せず）を介して、「注意対象者が来店している旨を示す情報」及び「注意対象者の詳細情報を示した注意対象者詳細サイトへのアクセス情報」をプッシュ通知する（Ｓ８１）。
　Ｓ８１では、サーバ装置３の情報提供部３１は、端末データベース７０を参照し、受信した店舗ＩＤが登録されているレコードを抽出し、そのレコードのデバイストークンのスマートフォンＳＰに、「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」を送信する（プッシュ通知する）。
　具体的には、Ｓ８１では、情報提供部３１は、端末データベース７０を参照し、受信した「店舗ＩＤ」が登録されているレコードを全て選択し、選択したレコードに登録された「デバイストークン」及び「注意対象者への対応を指示する対応指示情報」を抽出する。
　そして、情報提供部３１は、Ｓ８０で受信した情報及び抽出した「注意対象者への対応を指示する対応指示情報」を用いて、「カメラＣｎが撮像した注意対象者の撮像画像」、「来店者（注意対象者）の詳細情報」、「注意対象者への対応を指示する対応指示情報」が含まれる注意対象者詳細サイトを生成する。尚、本実施形態では、「注意対象者への対応を指示する対応指示情報」が、スマートフォンを保持する店員により異なっているため、対応指示情報が異なる、複数通りの注意対象者詳細サイト（Ｗｅｂページ）が生成される。
　また、情報提供部３１は、Ｓ８０で受信した情報を用いて、スプッシュ通知で提示するプッシュ通知情報（「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトへのアクセス情報」）と、抽出したデバイストークンとが含まれる通知パッケージを生成し、その通知パッケージを図示しないプッシュ通知サーバに送信する。尚、通知パッケージは、注意対象者詳細サイト毎に作成される。
　前記プッシュ通知サーバは、上記の通知パッケージを受信すると、通知パッケージに含まれるデバイストークンにより特定されるスマートフォンＳＰに対して、「注意対象者が来店している旨」及び「注意対象者詳細サイトへのアクセス情報」を送信する。
　また、サーバ装置３から「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」が送られたスマートフォンＳＰは以下の処理を行う。
　具体的には、スマートフォンＳＰは、防犯システム連携アプリ２０により、受信した「注意対象者が来店している旨を示す情報」及び「注意対象者詳細サイトのアクセス情報」を受信するとスマートフォンＳＰの表示部に、図１６（ａ）に示す注意対象人物通知画面２１０を表示する（Ｓ９０）。尚、スマートフォンＳＰは、サーバ装置３からの情報を受信すると、振動（バイブレート）したり或いはサウンドを鳴らすようになっている。
　図示するように、注意対象人物通知画面２１０には、店舗に注意対象者が来店している旨を示す情報が提供される領域２１１と、注意対象者の詳細情報を要求するためのＶｉｅｗボタン２１２が設けられている。
　スマートフォンＳＰに表示された注意対象人物通知画面２１０を見た店員により、Ｖｉｅｗボタン２１２が押されると、スマートフォンＳＰは、サーバ装置３の情報提供部３１にアクセスし、情報提供部３１に、注意対象者詳細サイトの提供を要求する（Ｓ９１）。
　サーバ装置３の情報提供部３１は、スマートフォンＳＰからの詳細サイト提供の要求を受けると、当該要求してきたスマートフォンＳＰに対して、Ｓ８１で生成した注意対象者詳細サイトを送信する（Ｓ８２）。
　そして、スマートフォンＳＰは、情報提供部３１から送信された「注意対象者詳サイト」を受信して、スマートフォンＳＰの表示部に、図１６（ｂ）に示す注意対象者詳細サイト２２０を表示する(Ｓ９２)。
　図示する例では、注意対象者詳細サイト２２０には、カメラＣｎが撮像した注意対象者の画像を表示する領域２２１と、注意対象者への対応を指示する情報を表示する領域２２２と、注意対象者の詳細情報（氏名、年齢、性別、連絡先、身体的特徴、犯行履歴、訪問回数、訪問履歴等の情報）を表示する領域２２３とが設けられている。
　また、注意対象者詳細画面２２０には、対応完了を受け付けるボタン２２４が設けられている。
　このように、本実施形態によれば、各店員に、注意対象者が来店したことをリアルタイムで知らせることができると共に、各店員に、注意対象者の画像（店舗で撮像された画像）を提供することができる。また、注意対象者の詳細情報（氏名、年齢、性別、連絡先、身体的特徴、犯行履歴、訪問回数、訪問履歴等の情報）を提示すると共に、どのように対応するのかを指示する情報が提示される。
　したがって、本実施形態によれば、店員は、注意対象者が来店してきたときに、注意対象者の画像（店舗で撮像した画像）を手元で見て、どの顧客を監視すればよいのかを容易に把握することができる。また、店員に具体的な対応内容を指示でき、注意対象者に対応するように促すことができるため、注意対象者が万引きなどの犯罪行為を行うことを効果的に防止することができる。
　例えば、図１６では、注意対象者への対応内容を提示する領域２２２に、「声かけをして下さい」と提示され（声かけを促す情報が提示され）、領域２２３に氏名等が提示されている。
　そのため、注意対象者詳細サイト２２０を見た店員は、注意対象者の名前を呼んだ声かけ（「○○さん、こんにちは」等の声がけ）を行うことで、注意対象者が万引きなどを行うことを躊躇させることができる。その結果、本実施形態では、万引きによる深刻な損害の発生を未然に防止でき、導入した店舗の経営を安定させることできる。また、本実施形態によれば、万引き常習者に対して、常習性のある万引き犯罪を繰り返させないという作用効果が期待される。
　また、注意対象者への声かけ等の対応した店員が、注意対象者詳細サイト２２０のボタン２２４を押すと、スマートフォンＳＰからサーバ装置３に、「対応が完了した旨を示す情報」が送信される（Ｓ９３、Ｓ９４）。
　サーバ装置３は、スマートフォンＳＰからの「対応が完了した旨を示す情報」を受信すると、Ｓ８０において情報を送信してきた顔認証照合装置１に対して、「対応が完了した旨を示す情報」を送信する（Ｓ８３）。
　その後、図１２のＳ６７、６８に示すように、顔認証照合装置１は、サーバ装置３から「対応が完了した旨を示す情報」を受信し、ブザーＢから出力しているアラーム音を停止して、回転灯を消灯させてＳ６０に戻る。
〈来店者監視処理〉
　次に、本実施形態の防犯システムが行う来店者監視処理について、図１３、図１５、図１７を用いて説明する。
　尚、図１３は、本実施形態の防犯システムが行う来店者監視処理の手順を示したフローチャートである。また、図１５は、本実施形態の防犯システムを構成するサーバ装置が、スマートフォンに不審行動者に関する情報を提供する処理の工程を示した模式図である。図１７は、本実施形態の防犯システムがスマートフォンに提供する不審行動者に関する情報を表示する画面を示した模式図である。
　本実施形態の来店者監視処理は、上述した要注意人物検出処理のＳ６３、Ｓ６４において、来店者の顔画像と、要注意人物データベース６０に登録されている顔画像とが一致しない場合に開始される。
　具体的には、先ず、顔認証照合部１３は、図１２のＳ６１で検出し抽出した来店者の顔画像と、来店者一時記憶データベース６１（図４）の各レコードのフィールド６１ｂに登録された顔画像とを顔認証照合処理により照合していく（Ｓ７０、Ｓ７１）。
　そして、Ｓ７０、Ｓ７１の顔認証照合処理の結果、Ｓ６１で検知し抽出した来店者の顔画像と、来店者一時記憶データベース６１に登録されている顔画像とが一致しなければ、図１２のＳ６０に戻る。
　一方、Ｓ７０、７１の顔認証照合処理の結果、来店者の顔画像と、来店者一時記憶データベース６１に登録されている顔画像とが一致した場合（即ち、来店者一時記憶物データベース６１に、来店者の顔画像と一致する顔画像が登録されたレコードがあれば）、顔認証照合部１３は、一致する顔画像が登録されたレコードから来店者ＩＤを読み出して、来店者ＩＤを行動監視部５０に送信して、Ｓ７２の処理に進む。
　Ｓ７２では、行動監視部５０は、Ｓ６１で取得した「カメラＩＤ」、Ｓ６１で検知した来店者の「顔画像」と、エリア推定テーブル６５（図８）とを用いて、来店者が通過した（撮像され）たエリア（図２に示す店舗内におけるエリア）を特定する。
　具体的には、行動監視部５０は、顔認証照合部から「Ｓ６１で検知した来店者の「顔画像」及び「Ｓ６１で取得した撮像日時情報」を取得する。そして、行動監視部５０は、取得した顔画像の画素数を算出し、エリア推定テーブル６５（図８）にアクセスして、取得したカメラＩＤが登録されたレコードから、算出した画素数に対応付けられたエリアを特定する。
　例えば、カメラＩＤが「Ｃ１」であり、算出した画素数が第１画素数範囲の値であれば、来店者が撮像されたエリアが「Ｅ５」であると特定する。また、例えば、カメラＩＤが「Ｃ２」であり、算出した画素数が第５画素数範囲の値であれば、来店者が撮像されたエリアが「Ａ４」であると特定する。
　次に、行動監視部５０は、来店者管理データベース６２（図５）にアクセスして、Ｓ７０、Ｓ７１で読み出された来店者ＩＤが登録されたレコードのフィールド６２ｂの行動パターンを更新する（Ｓ７３）。
　具体的には、行動監視部５０は、来店者管理データベース６２にアクセスし、Ｓ７０、Ｓ７１の処理において読み出した来店者ＩＤが登録されたレコードを読み出す。また、行動監視部５０は、読み出したレコードのフィールド６２ｂに、Ｓ７２で特定したエリア情報に、Ｓ６１で取得した撮像日時情報を関連付けて追加登録する。
　例えば、読み出したレコードのフィールド６２ｂに「Ｅ５（１１：００）→Ｅ４（１１：０１）→Ｅ５（１１：０３）→Ｄ５（１１：０５）」と登録されており、Ｓ７２でエリアとして「Ｃ４」が特定され、取得した撮像情報が「１１：０８」だったとする。この場合、行動監視部５０は、読み出したレコードのフィールド６２ｂの「Ｄ５（１１：０５）」の後に「Ｃ４（１１：０８）」を追加して、フィールド６２ｂを「Ｅ５（１１：００）→Ｅ４（１１：０１）→Ｅ５（１１：０３）→Ｄ５（１１：０５）→Ｃ４（１１：０８）」に更新する。
　次に、行動監視部５０は、Ｓ７３で更新した行動パターンと、犯行動作データベース６４に登録された行動パターンとを比較して、来店者の行動が不審であるか否かを判定する（Ｓ７４、Ｓ７５）。
　具体的には、行動監視部５０は、犯行動作データベース６４に登録された行動パターンのなかに、Ｓ７３で更新した行動パターンに類似しているものがあれば、来店者の行動が不審であると判定し、類似しているものがなければ、来店者の行動が不審ではないと判定する。また、行動監視部５０は、来店者の行動が不審であると判定した場合、犯行動作データベース６４の類似した行動パターンが登録されたレコードから犯行内容を抽出する。
　尚、行動パターン類似しているか否かの判定は、適宜設定されるものであるが、例えば、以下に示すように、来店者の行動パターンの中に、犯行動作データベース６４に登録されている不自然な行動パターンと一致する部分があれば、来店者の行動が不審であると判定されるようになっていても良い。
　具体的には、犯行動作データベース６４に「・・・→Ｃ４（１１：０３）→Ｃ３（１１：０５）→Ｃ４（１１：０８）→Ｃ３（１１：０８）→Ｃ４（１１：１０）→Ｃ３（１１：１２）→Ｃ４（１１：１４）→Ｃ３（１１：１６）・・・」のようじ同じエリアＣ３、Ｃ４を何度も繰り返して移動する動作を含む行動パターンが登録されていたとする。そして、Ｓ７３で更新した行動パターンに「・・・→Ｃ４（１５：０３）→Ｃ３（１５：０６）→Ｃ４（１５：０９）→Ｃ３（１５：１０）→Ｃ４（１５：１３）→Ｃ３（１５：１５）」のように同じエリアＣ３、Ｃ４を繰り返して移動する動作が含まれていたとする、この場合、行動監視部５０は、不自然な動作が類似しているため、来店者の行動が不審であると判定される。
　そして、Ｓ７４、Ｓ７５において、来店者の行動が不審ではないと判定された場合、図１２のＳ６０に戻る。また、Ｓ７４、Ｓ７５において、来店者の行動が不審であると判定された場合、行動監視部５０は、顔認証照合部１３に、その旨を示す情報及び類似する行動パターンの犯行内容情報（万引き、単行本等）を送信して、Ｓ７６の処理に進む。
　Ｓ７６では、顔認証照合部１３は、行動監視部５０からの「不審な行動をとる来店者がいる旨を示す情報」及び「犯行内容情報」を受信する。そして、顔認証照合部１３は、通信処理部１２を介して、サーバ装置３の情報提供部３１に、「不審な行動をとる来店者がいる旨を示す情報」、「犯行内容情報」、「カメラＣｎが撮像した来店者の顔画像（Ｓ６１で検知し抽出した来店者の顔画像）」、及び顔認証照合装置１が設置されている店舗を識別する店舗ＩＤ」を送信し、Ｓ７７の処理に進む。
　尚、Ｓ７７、Ｓ７８、Ｓ７９の処理は、図１２のＳ６６、Ｓ６７、Ｓ６８と同じであるため、説明を省略する。
　尚、Ｓ７６処理により、「不審な行動をとる来店者がいる旨を示す情報」、「犯行内容情報」、「来店者の顔画像」及び「店舗ＩＤ」を送信されたサーバ装置３は、図１５に示す処理手順により、店員が持つスマートフォンＳＰに対して不審な行動をとる来店者に関する情報を提供する。
　以下、図１５を参照しながら、店員が持つスマートフォンＳＰに不審な行動をとる来店者に関する情報を提供する処理について説明する。
　図示するように、サーバ装置３の情報提供部３１は、顔認証照合装置１から送信された「不審な行動をとる来店者がいる旨を示す情報」、「来店者の顔画像」及び「店舗ＩＤ」を受信すると（Ｓ１００）、その受信した情報と、端末データベース７０とを用いて、受信した店舗ＩＤに対応付けられたスマートフォンＳＰを特定し、特定したスマートフォンＳＰに対して、プッシュ通知サーバ（図示せず）を介して、「不審な行動をとる来店者がいる旨を示す情報」及び「不審な行動をとる来店者の詳細情報を示した注意対象者詳細サイトへのアクセス情報」をプッシュ通知する（Ｓ１０１）。
　具体的には、Ｓ１０１では、情報提供部３１は、端末データベース７０を参照し、受信した「店舗ＩＤ」が登録されているレコードを全て選択し、選択したレコードに登録された「デバイストークン」及び「注意対象者への対応を指示する対応指示情報」を抽出する。
　そして、情報提供部３１は、Ｓ１００で受信した情報及び抽出した「対応指示情報」を用いて、「カメラＣｎが撮像した注意対象者（不審な行動をとる来店者）」、「対応指示情報」、「犯行内容説明情報（例えば、不審な行動と判定した行動パターンの犯罪内容と似ている行動パターンをとっている旨の説明等）」が含まれる注意対象者詳細サイトを生成する。尚、本実施形態では、「注意対象者への対応を指示する対応指示情報」が、スマートフォンを保持する店員により異なっているため、対応指示情報が異なる、複数通りの注意対象者詳細サイト情報が生成される。
　また、情報提供部３１は、Ｓ１００で受信した情報を用いて、スプッシュ通知で提示するプッシュ通知情報（「不審な行動をとる来店者がいる旨を示す情報」及び「注意対象者詳細サイトへのアクセス情報」）と、抽出したデバイストークンとが含まれる通知パッケージを生成し、その通知パッケージを図示しないプッシュ通知サーバに送信する。
　前記プッシュ通知サーバは、上記の通知パッケージを受信すると、通知パッケージに含まれるデバイストークンにより特定されるスマートフォンＳＰに対して、「不審な行動をとる来店者がいる旨」及び「注意対象者詳細サイトへのアクセス情報」を送信する
　また、サーバ装置３からの「不審な行動をとる来店者がいる旨」及び「注意対象者詳細サイトへのアクセス情報」が送られたスマートフォンＳＰは以下の処理を行う。
　具体的には、スマートフォンＳＰは、防犯システム連携アプリ２０により、受信した「不審な行動をとる来店者がいる旨」及び「注意対象者詳細サイトへのアクセス情報」を受信するとスマートフォンＳＰの表示部に、図１７（ａ）に示す注意対象人物通知画面３１０を表示する（Ｓ１１０）。
　図示するように、注意対象人物通知画面３１０には、店舗に不審な行動をとる人物（注意対象者）がいる旨を示す情報が提供される領域３１１と、注意対象者の詳細情報を要求するためのＶｉｅｗボタン３１２が設けられている。
　スマートフォンＳＰに表示された注意対象人物通知画面３１０を見た店員により、Ｖｉｅｗボタン３１２が押されると、スマートフォンＳＰは、サーバ装置３の情報提供部３１にアクセスし、情報提供部３１に、注意対象者詳細サイトの提供を要求する（Ｓ１１１）。
　サーバ装置３の情報提供部３１は、スマートフォンＳＰからの詳細サイト提供の要求を受けると、当該要求してきたスマートフォンＳＰに対して、Ｓ１０１で生成した注意対象者詳細サイトを送信する（Ｓ１０２）。
　そして、スマートフォンＳＰは、情報提供部３１から送信された「注意対象者詳サイト」を受信して、スマートフォンＳＰの表示部に、図２５（ｂ）に示す注意対象者詳細サイト３２０を表示する(Ｓ１１２)。
　図示する例では、注意対象者詳細サイト３２０には、カメラＣｎが撮像した注意対象者（不審な行動をとる来店者）の画像を表示する領域３２１と、注意対象者への対応内容を提示する領域３２２と、不審な行動と判定した行動パターンの犯罪内容と似ている行動パターンをとっている旨の説明を表示する領域３２３とが設けられている。
　また、注意対象者詳細画面３２０には、対応完了を受け付けるボタン３２４が設けられている。
　尚、Ｓ１１３、Ｓ１１４、Ｓ１０３の処理の内容は、図１４に示すＳ９３、Ｓ９４、Ｓ８３と同じであるため、説明を省略する。
　このように本実施形態の防犯システムは、要注意人物として登録されていない来店者に対しても、不審な行動をとっているかどうかを監視して、不審な行動をとる来店者がいると判定した場合に、各店員に、不審な行動をとる来店者の画像を提供することができる。また、不審な行動をとる来店者に対して、どのように対応するのかを指示することができる。
　したがって、本実施形態によれば、店員は、不審な行動をとる来店者がいるときに、その人物の画像（店舗で撮像した画像）を手元で見て、どの顧客を監視すればよいのかを容易に把握することができる。また、店員に具体的な対応内容を指示できるため、不審な行動をとる来店者の万引きなどの犯罪行為を効果的に防止することができる。
　尚、本発明は、上述した実施形態に限定されるものではなく、その要旨の範囲内において種々の変更が可能である。例えば、上述した実施形態では、スマートフォンＳＰに専用の防犯システム連携アプリ２０をインストールしておいて、サーバ装置３に、各スマートフォンＳＰのデバイストークンを予め登録しておくことにより、サーバ装置３からスマートフォンに、注意対象者が来店したことをプッシュ通知しているが特にこれに限定されるものではない。
　例えば、サーバ装置３の端末データベース３６に、各スマートフォンＳＰのメールアドレスを登録しておいて、サーバ装置３から、スマートフォンＳＰに、電子メールで注意対象者が来店したことを通知するようにしてもよい。この場合、電子メールに、来店者を撮像した画像へのアクセス情報」を記載しておけば、上述した実施形態と同様の効果が得られる。
　また、上述した実施形態では、要注意人物データベース６０に、万引き常習者を撮像した画像を登録する例を示しているが、特にこれに限定されるものではない。例えば、要注意人物データベース６０に、注意対象者として迷子になった児童の画像情報を登録し、且つカメラＣを大型店舗、遊園地、海水浴場、プールなどの施設に設置すると共に、施設従業員のスマートフォンＳＰの情報（デバイストークンやメールアドレス）をサーバ装置３に登録しておくようにしても良い。この構成によれば、施設の従業員に、迷子が見つかったことを知らせることができると共に、注意対象者（迷子）の画像を提供することができ、迷子の早期保護が期待され、事故や事件が起きる可能性が低減される。
　また、上述した実施形態のサーバ装置３の構成は、一例に過ぎない。サーバ装置３の機能がクラウドで提供されるようになっていてもよい。
　また、上述した実施形態では、予め登録した注意対象者や不審な行動をとる来店者を検知した場合に、ブザーＢからアラーム音を出力し、回転灯Ｌを点灯させているが、これらの警告手段は一例に過ぎない。例えば、顔認証装置１にライトやフラッシュを接続しておき、警報発信部１４で、注意対象者や不審な行動をとる来店者が検知された場合に、ライトやフラッシュを点灯さるようにしてもよい。また、例えば、顔認証装置１にスピーカを接続しておき、警報発信部１４で、注意対象者や不審な行動をとる来店者が検知された場合に、スピーカから「注意対象者（或いは、不審な行動をとる来店者）が来店している旨の音声信号」を出力させるようにしてもよい。この場合の音声信号は、店員にだけ判る内容の表現（業務連絡○○番です等の表現）にしても良い。
　また、上述した通り、犯行動作データベース６４に登録される行動パターンは適宜設定されるものであるが、例えば、以下のような行動パターンを登録し、不審な行動をとる人物を検知できるようにしても良い。
　具体的には、犯行動作データベース６４に、店舗内での通過エリアを時系列で並べた行動パターンだけではなく、「同じエリアから所定時間移動しない」という行動内容で示した行動パターンや「トイレに長時間（所定時間）篭もる」という行動内容で示した行動パターンを登録しておく。この構成によれば、行動監視部５０は、同じエリアから所定時間移動しない来店者や、トイレに長時間（所定時間）篭もる来店者を不審な行動をとる人物として検知でき、店員に対して、その人物に声かけなどの対応をするように促すことができる。
　また、犯行動作データベース６４に、「レジを通過せずに退店する」という行動内容で示した行動パターンを登録しておいても良い。この構成によれば、行動監視部５０は、レジを通過せずに退店する人物を不審な行動をとる人物として認定でき、店員に対して、その人物を注意深く監視する等の対応を促すことができる。
Ｂ…ブザー
ＣＥ１、ＣＥ２…カメラ（出入口撮像用カメラ）
Ｃｎ（ｎ＝１～１７）…カメラ
Ｌ…回転灯
ＳＰ…スマートフォン
ＴＢ…タブレット端末
Ｐ…管理端末
１…顔認証照合装置
１０…制御部
１１…画像処理部
１２…通信処理部
１３…顔認証照合部
１４…警報発信部
２０…防犯システム連携アプリ
３…サーバ装置
３０…制御部
３１…情報提供部
５０…行動監視部
６０…要注意人物データベース
６１…来店者一時記憶データベース
６２…来店管理データベース
６３…検知履歴データベース
６４…犯行行動パターンデータベース
６５…エリア推定テーブル
７０…端末データベース

Claims (2)

  1. 　店舗の出入口を通過して入店する人物を撮像する入店者撮像用カメラと、店舗の出入口を通過して退店する人物を撮像する退店者撮像用カメラと、店舗内の人物を撮像する複数の店舗内撮像用カメラと、顔認証照合処理機能を有する顔認証照合装置と、前記顔認証照合装置とネットワークを介して接続されているサーバ装置とを備える防犯システムであって、
    　前記店舗は複数のエリアに分割されており、
    　複数の前記店舗内撮像用カメラは、それぞれ、店舗の異なる位置に設置され、撮像する対応エリアが所定数設定されており、店舗内で人物を撮像すると、前記顔認証照合装置に、自身を識別するカメラＩＤ及び店舗内の人物の撮像画像を送信し、
    　前記顔認証照合装置は、
    　来店してきた人物に割り当てた来店者ＩＤに対応付けて、入店者撮像用カメラで撮像された人物の顔画像を一時的に記憶する一時記憶データベースと、
    　前記来店者ＩＤ毎に、該来店者ＩＤにより特定される人物が店舗内で通過したエリアを時系列で並べた行動パターンを記憶した来店管理データベースと、
    　店舗内撮像用カメラを識別する各カメラＩＤに、顔画像の画素数毎に店舗のエリアを関連付けて記憶しているエリア推定テーブルと、
    　予め定めた不審な行動パターンを記憶している犯行動作データベースとを有し、
    　前記顔認証照合装置は、
    　前記入店者撮像用カメラから送信されたカメラＩＤ及び人物の撮像画像を受信すると、該受信した撮像画像から顔画像を抽出し、該顔画像に来店者ＩＤを割り当て、前記一時記憶データベースに該来店者ＩＤに対応付けて該顔画像を記憶させると共に、前記退店者撮像用カメラから送信されたカメラＩＤ及び撮像画像を受信すると、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とを顔認証照合処理により照合し、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とが一致した場合、該一時記憶データベースから一致した顔画像及び対応する来店者ＩＤを消去し、
    　前記店舗内撮像用カメラから送信されたカメラＩＤ及び前記店舗内の人物の撮像画像を受信すると、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とを顔認証照合処理により照合し、前記一時記憶データベースに記憶された顔画像と、前記受信した撮像画像から抽出した顔画像とが一致した場合、前記一時記憶データベースから一致した顔画像に対応付けられた来店者ＩＤを読み出し、前記受信したカメラＩＤ、前記抽出した顔画像の画素数及び前記エリア推定テーブルを用いて、該受信した撮像画像の人物が通過したエリアを特定し、前記来店管理データベースにアクセスして、読み出した来店者ＩＤに対応付けられた行動パターンに前記特定したエリアを追加登録して更新し、該更新した行動パターンと、前記犯行動作データベースが記憶した行動パターンとが類似しているか否かを判定し、該類似していると判定した場合、前記サーバ装置に、前記受信した店舗内の人物の撮像画像、不審な行動をとる来店者がいる旨を示す情報及び自身が設置されている店舗を識別する店舗ＩＤを送信し、
    　前記サーバ装置は、店員の保持している携帯端末を識別する端末識別情報と、その店員の所属する店舗を識別する店舗ＩＤと、注意対象者への対応を指示する対応指示情報とを対応付けて記憶した端末データベースと、前記携帯端末に該ネットワークを介して注意対象者に関する情報を提供する情報提供部とを有し、
    　前記情報提供部は、前記顔認証照合装置が送信した前記店舗内の人物の撮像画像、不審な行動をとる来店者がいる旨を示す情報及び店舗ＩＤを受信すると、前記端末データベースを参照し、前記店舗ＩＤに対応付けられた携帯端末を特定すると共に、該店舗ＩＤに対応付けられた対応指示情報を読み出し、特定した携帯端末に、不審な行動をとる来店者がいる旨を通知すると共に、前記顔認証照合装置から送信された店舗内の人物の撮像画像と前記読み出した対応指示情報を含む注意対象者に関する情報を提供することを特徴とする防犯システム。
  2. 　前記顔認証照合装置は、
    　前記注意対象者の顔画像毎に、その注意対象者の氏名、年齢、性別及び身体的特徴、犯歴、店舗への訪問履歴を含む詳細情報を対応付けて記憶した人物データベースを有し、
    　前記一時記憶データベースに記憶された顔画像と前記受信した撮像画像から抽出した顔画像とを照合する顔認証照合処理の前に、前記人物データベースに登録された注意対象者の顔画像と前記受信した撮像画像から抽出した顔画像とを照合する顔認証照合処理を行い、前記注意対象者の顔画像と前記受信した撮像画像から抽出した顔画像とが一致した場合、前記サーバ装置に、前記受信した撮像画像から抽出した顔画像、注意対象者が来店している旨を示す情報、前記一致した注意対象者の顔画像に対応付けられた詳細情報及び自身が設置されている店舗を識別する店舗ＩＤを送信し、
    　前記サーバ装置の情報提供部は、前記顔認証照合装置が送信した顔画像、前記注意対象者が来店している旨を示す情報、前記詳細情報及び前記店舗ＩＤを受信すると、前記端末データベースを参照し、前記店舗ＩＤに対応付けられた携帯端末を特定すると共に、該店舗ＩＤに対応付けられた対応指示情報を読み出し、特定した携帯端末に、注意対象者が来店している旨を通知すると共に、前記携帯端末に、前記顔認証照合装置から送信された顔画像及び詳細情報と前記読み出した対応指示情報とを含む注意対象者に関する情報を提供することを特徴とする請求項１記載の防犯システム。
PCT/JP2015/070671 2014-12-01 2015-07-21 防犯システム WO2016088401A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014243293A JP5747116B1 (ja) 2013-12-02 2014-12-01 防犯システム
JP2014-243293 2014-12-01

Publications (1)

Publication Number Publication Date
WO2016088401A1 true WO2016088401A1 (ja) 2016-06-09

Family

ID=56095670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/070671 WO2016088401A1 (ja) 2014-12-01 2015-07-21 防犯システム

Country Status (1)

Country Link
WO (1) WO2016088401A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181499A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 店舗管理装置および店舗管理方法
WO2020000396A1 (en) 2018-06-29 2020-01-02 Baidu.Com Times Technology (Beijing) Co., Ltd. Theft proof techniques for autonomous driving vehicles used for transporting goods
TWI682368B (zh) * 2018-07-03 2020-01-11 緯創資通股份有限公司 利用多維度感測器資料之監控系統及監控方法
US10657782B2 (en) 2017-12-21 2020-05-19 At&T Intellectual Property I, L.P. Networked premises security
WO2021079549A1 (ja) * 2019-10-24 2021-04-29 日本金銭機械株式会社 ネットワークシステム、不審者検知装置、および不審者検知方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279540A (ja) * 2001-03-16 2002-09-27 Victor Co Of Japan Ltd 画像監視システム及びネットワークを用いた画像監視システム
JP2010157097A (ja) * 2008-12-26 2010-07-15 Sogo Keibi Hosho Co Ltd 情報生成装置および情報生成方法
JP2011233133A (ja) * 2010-04-09 2011-11-17 Miyake Inc 万引き防止システム
JP2012104022A (ja) * 2010-11-12 2012-05-31 Omron Corp 監視システム、および監視サーバ
JP2013133010A (ja) * 2011-12-27 2013-07-08 Denso Corp 車両防犯方法及び車両防犯システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279540A (ja) * 2001-03-16 2002-09-27 Victor Co Of Japan Ltd 画像監視システム及びネットワークを用いた画像監視システム
JP2010157097A (ja) * 2008-12-26 2010-07-15 Sogo Keibi Hosho Co Ltd 情報生成装置および情報生成方法
JP2011233133A (ja) * 2010-04-09 2011-11-17 Miyake Inc 万引き防止システム
JP2012104022A (ja) * 2010-11-12 2012-05-31 Omron Corp 監視システム、および監視サーバ
JP2013133010A (ja) * 2011-12-27 2013-07-08 Denso Corp 車両防犯方法及び車両防犯システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657782B2 (en) 2017-12-21 2020-05-19 At&T Intellectual Property I, L.P. Networked premises security
JPWO2019181499A1 (ja) * 2018-03-20 2021-03-11 日本電気株式会社 店舗管理装置および店舗管理方法
JP7371614B2 (ja) 2018-03-20 2023-10-31 日本電気株式会社 店舗管理装置および店舗管理方法
TWI800613B (zh) * 2018-03-20 2023-05-01 日商日本電氣股份有限公司 商店管理裝置以及商店管理方法
WO2019181499A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 店舗管理装置および店舗管理方法
CN111868773A (zh) * 2018-03-20 2020-10-30 日本电气株式会社 商店管理设备及商店管理方法
CN111052193A (zh) * 2018-06-29 2020-04-21 百度时代网络技术（北京）有限公司 用于运输货物的自动驾驶车辆的防盗技术
EP3815061A4 (en) * 2018-06-29 2022-01-26 Baidu.com Times Technology (Beijing) Co., Ltd. ANTI-THEFT TECHNIQUES FOR AUTOMATED DRIVING VEHICLES USED TO TRANSPORT GOODS
CN111052193B (zh) * 2018-06-29 2022-08-19 百度时代网络技术（北京）有限公司 用于运输货物的自动驾驶车辆的防盗技术
WO2020000396A1 (en) 2018-06-29 2020-01-02 Baidu.Com Times Technology (Beijing) Co., Ltd. Theft proof techniques for autonomous driving vehicles used for transporting goods
TWI682368B (zh) * 2018-07-03 2020-01-11 緯創資通股份有限公司 利用多維度感測器資料之監控系統及監控方法
WO2021079549A1 (ja) * 2019-10-24 2021-04-29 日本金銭機械株式会社 ネットワークシステム、不審者検知装置、および不審者検知方法
JP2021068201A (ja) * 2019-10-24 2021-04-30 日本金銭機械株式会社 ネットワークシステム、不審者検知装置、および不審者検知方法

Similar Documents

Publication Publication Date Title
JP5747116B1 (ja) 防犯システム
KR101812115B1 (ko) 2차원 코드에 기초하여 피후견인을 찾는 방법 및 시스템
JP5871296B1 (ja) スマートセキュリティ・デジタルシステム、方法及びプログラム
WO2016088401A1 (ja) 防犯システム
JP6915542B2 (ja) 情報処理装置、通知システム、情報送信方法及びプログラム
JP5500303B1 (ja) 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
JP7405200B2 (ja) 人物検出システム
US8917939B2 (en) Verifying vendor identification and organization affiliation of an individual arriving at a threshold location
JP6440327B2 (ja) 防犯システム、防犯方法、及びロボット
JP5826422B2 (ja) 防犯システム
JP2018181159A (ja) 防犯システム、防犯方法、及びロボット
JP2007060528A (ja) 施設における利用者管理システムおよび利用者管理方法
WO2015140953A1 (ja) デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
JP2018201176A (ja) アラート出力制御プログラム、アラート出力制御方法およびアラート出力制御装置
JP5813829B1 (ja) 防犯システム
JP4032908B2 (ja) 入場者管理システムおよびプログラム
WO2021079549A1 (ja) ネットワークシステム、不審者検知装置、および不審者検知方法
JP6517480B2 (ja) 接客管理システム、顧客端末、サーバー装置、接客管理方法、及び接客方法
CN111754655A (zh) 一种区域访问管理方法、系统及计算机可读存储介质
JP2014016969A (ja) 顔照合システム
JP7095876B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7142443B2 (ja) 画像認証システム、画像認証方法および画像認証プログラム
JPWO2020066444A1 (ja) 顧客情報登録装置
KR102049244B1 (ko) 안면인식을 이용한 회원관리 및 방문객 모니터링 장치 및 방법
JP2008021112A (ja) 防犯システム、端末装置及び防犯方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865221

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15865221

Country of ref document: EP

Kind code of ref document: A1