WO2021079549A1 - ネットワークシステム、不審者検知装置、および不審者検知方法 - Google Patents

ネットワークシステム、不審者検知装置、および不審者検知方法 Download PDF

Info

Publication number
WO2021079549A1
WO2021079549A1 PCT/JP2020/020212 JP2020020212W WO2021079549A1 WO 2021079549 A1 WO2021079549 A1 WO 2021079549A1 JP 2020020212 W JP2020020212 W JP 2020020212W WO 2021079549 A1 WO2021079549 A1 WO 2021079549A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
control unit
camera
cpu
suspicious
Prior art date
Application number
PCT/JP2020/020212
Other languages
English (en)
French (fr)
Inventor
剛 大濱
義幸 上野
Original Assignee
日本金銭機械株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本金銭機械株式会社 filed Critical 日本金銭機械株式会社
Publication of WO2021079549A1 publication Critical patent/WO2021079549A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for detecting a suspicious person at a product display place or the like.
  • Patent Document 1 discloses a control device, a control method, and a control program.
  • the control device is searched by a search unit that searches for advertisement information that is information about an advertisement output as a response message based on the characteristics of sound in a conversation between the dialogue agent system and the user, and a search unit. It is characterized by including an output control unit that controls to output an advertisement related to the advertisement information as a response message. Therefore, the control device can output a message suitable for the user.
  • An object of one aspect of the present invention is to provide a technique for efficiently detecting a suspicious person.
  • a camera for photographing the vicinity of the place where the product is placed and a person performing a predetermined operation are detected based on the image of the camera, and the person is identified.
  • a suspicious person detection system including a control unit for counting the number of detected times for each person and outputting a warning when the predetermined number of times is reached is provided.
  • a technique for efficiently detecting a suspicious person is provided.
  • the network system 1 mainly controls a server 100 for realizing a suspicious person detection service, a camera 300 for photographing the surroundings of a product display shelf 700, and controls the camera 300 and handles product purchase data. It includes a store terminal 200 for performing a service, a settlement machine 500 for performing a settlement process for purchasing a product, and the like. ⁇ Outline of operation of network system 1>
  • the camera 300 photographs the surroundings of the product display shelf 700 in the store, and transmits the captured image to the store terminal 200 by wired communication or wireless communication.
  • the store terminal 200 transmits the captured image to the server 100 via the Internet, a carrier network, or the like.
  • the server 100 detects a person who is suspiciously behaving based on the captured image, and notifies the store terminal 200, the administrator terminal 400, or the like of a warning when the person is repeatedly detected.
  • the network system 1 automatically recognizes that a person who has repeated suspicious behavior has been detected, and reports the information to that effect to the administrator or the like.
  • a specific configuration of the network system 1 for realizing such a function will be described in detail.
  • the configuration of the server 100 constituting the network system 1 will be described with reference to FIG. First, the configuration of the server 100 will be described.
  • the server 100 includes a CPU (Central Processing Unit) 110, a memory 120, an operation unit 140, and a communication interface 160 as main components.
  • CPU Central Processing Unit
  • the CPU 110 controls each part of the camera 300 by executing a program stored in the memory 120 or an external storage medium.
  • the memory 120 is realized by various RAMs (RandomAccessMemory), various ROMs (ReadOnlyMemory), and the like.
  • the memory 120 includes a volatile memory 121 and a non-volatile memory 122.
  • the memory 120 may be included in the server 100, may be detachable from various interfaces of the server 100, or may be a recording medium of another device accessible from the server 100. You may.
  • the memory 120 stores a program executed by the CPU 110, data generated by executing the program by the CPU 110, input data, and other databases used for processing and services according to the present embodiment.
  • the non-volatile memory 122 stores suspicious person data 122A as shown in FIG.
  • the suspicious person data 122A includes a person ID, feature data such as a face for identifying the person, face image data itself, and suspicious for each visitor who has been determined to behave suspiciously. Stores the correspondence with the number of times it is determined that the person is acting and is identified as the person.
  • the operation unit 140 receives a command from a service administrator or the like and inputs it to the CPU 110.
  • the communication interface 160 is realized by a communication module such as a wireless LAN or a wired LAN.
  • the communication interface 160 exchanges data with the camera 300, another server, or the like by wired communication or wireless communication.
  • the store terminal 200 has a CPU 210, a memory 220, a display 230, an operation unit 240, a communication interface 260, a speaker 270, and a microphone 280 as main components. And include.
  • the CPU 210 controls each part of the store terminal 200 by executing a program stored in the memory 220.
  • the memory 220 is realized by various RAMs, various ROMs, and the like.
  • the memory 220 stores application programs for various services, data generated by executing programs by the CPU 210, data received from the server 100 and the camera 300, data input via the operation unit 240, and the like.
  • the display 230 displays an image or text based on the data from the CPU 210.
  • the operation unit 240 is composed of a pointing device, a switch, and the like, and inputs various commands from the user to the CPU 210.
  • the store terminal 200 may have a touch panel 250 including a display 230 and an operation unit 240.
  • the communication interface 260 is realized by wireless communication conforming to WiFi (registered trademark), an antenna for wireless communication with a station on the carrier network, a connector for wired communication, and the like.
  • the CPU 210 receives the captured moving image data from the camera 300 via the communication interface 260, uploads the captured moving image data to the server 100 via the router or the Internet, and notifies the server 100 of a warning about a suspicious person. Is received, payment information and purchase information from the settlement machine 500 are received, and the payment information and purchase information are transmitted to the server 100.
  • the speaker 270 outputs sound based on the signal from the CPU 210.
  • the microphone 280 acquires voice and inputs a voice signal to the CPU 210.
  • the configuration of the camera 300 will be described with reference to FIG.
  • the camera 300 includes a CPU 310, a memory 320, an image sensor 330, a communication interface 360, and the like as main components.
  • the CPU 310 controls each part of the camera 300 by executing a program stored in the memory 320 or an external storage medium.
  • the memory 320 is realized by various RAMs, various ROMs, and the like.
  • the memory 320 stores a program executed by the CPU 310, data generated by executing the program by the CPU 310, image data acquired by the image sensor 330, and the like.
  • the image sensor 330 captures a moving image or a still image based on a signal from the CPU 310 and delivers it to the CPU 310.
  • the communication interface 360 is realized by a communication module such as a wireless LAN or a wired LAN.
  • the communication interface 360 exchanges data with other devices such as a server by wired communication or wireless communication.
  • the CPU 310 uploads the image data obtained by taking a picture using the image sensor 330 to the server 100 via the communication interface 360.
  • the settlement machine 500 includes a CPU 510, a memory 520, a settlement unit 530, a communication interface 560, and the like as main components.
  • the CPU 510 controls each part of the settlement machine 500 by executing a program stored in the memory 520 or an external storage medium.
  • the memory 520 is realized by various RAMs, various ROMs, and the like.
  • the memory 520 stores a program executed by the CPU 510, data generated by executing the program by the CPU 510, and the like.
  • the settlement unit 530 has an optical sensor, a contact sensor, a short-range communication antenna, etc., and detects inserted coins and banknotes based on a signal from the CPU 510, reads a bar code of a product, and performs a QR code (QR code).
  • the acquired information is input to the CPU 510 by reading a registered trademark), reading an IC card, or communicating with an RFID tag.
  • the communication interface 560 is realized by a communication module such as a wireless LAN or a wired LAN.
  • the communication interface 560 exchanges data with other devices such as a store terminal 200 and a payment server by wired communication or wireless communication.
  • the CPU 510 transmits payment information to the payment server or store terminal 200 via the communication interface 560 based on the information acquired via the payment unit 530, or the product management server or store terminal. Send purchase information to 200.
  • the administrator terminal 400 constituting the network system 1 according to the present embodiment includes a personal computer and a server of a head office or a security company that controls the store, a head office manager, a store manager, a security guard, or the like. It is a device used by a person who needs information that a suspicious person has been detected, such as a smartphone or tablet held by the company. As shown in FIG. 7, the administrator terminal 400 according to the present embodiment may have the same configuration as the store terminal 200, and the description will not be repeated here. ⁇ Information processing in network system 1>
  • the CPU 310 of the camera 300 uses the image sensor 330 to take a picture of the vicinity of the product display shelf 700 (step S102).
  • the CPU 310 transmits the captured moving image data to the store terminal 200 via the communication interface 260 (step S104).
  • the CPU 210 of the store terminal 200 receives the moving image data via the communication interface 260 (step S112).
  • the CPU 210 transmits moving image data to the server 100 via the communication interface 260 (step S114).
  • the CPU 110 of the server 100 receives the moving image data from the store terminal 200 via the communication interface 160 (step S122). At this time, the CPU 110 temporarily stores the moving image data in the volatile memory 121. Based on the moving image data, the CPU 110 determines whether or not there is a person who behaves suspiciously around the product display shelf 700 (step S124).
  • the method of determining whether or not there is a person who is suspicious is not particularly limited.
  • the CPU 110 is programmed with a plurality of judgment steps for identifying suspicious behavior such as hand movement, face movement, and movement path, and performs suspicious behavior when a predetermined condition is satisfied. You may judge that.
  • the CPU 110 may prepare a large number of moving image data corresponding to the sluggish behavior as teacher data and detect the suspicious behavior by using AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • step S124 the CPU 110 ends the process related to the moving image from the store terminal 200 this time.
  • the CPU 110 cuts out the face portion of the person from the moving image data and creates feature data for identifying the person (step S126). At this time, the CPU 110 temporarily stores the face image data and the feature data in the volatile memory 121.
  • the CPU 110 creates feature data by cutting out a plurality of, for example, five face images at timings from the moving image data.
  • the CPU 110 refers to the suspicious person data 122A and searches whether a suspicious person matching the feature data has already been registered (step S128).
  • the CPU 110 increases the number of times the suspicious person is detected (step S130). If a suspicious person matching the feature data has not been registered yet, new suspicious person data is created based on the feature data this time.
  • the CPU 110 determines whether or not the target person has purchased the product (step S132). For example, if the target person is in front of the checkout machine 500 and the purchase information is acquired from the checkout machine 500, it is determined that the target person has purchased the product.
  • the CPU 110 When the target person purchases the product (YES in step S132), the CPU 110 resets the number of detections to 0 (step S142). The CPU 110 ends the processing related to the moving image from the store terminal 200 this time.
  • Step S134 When the target person leaves without purchasing the product (NO in step S132), it is determined whether or not the number of detections is a predetermined number of times, for example, 5 times or more. (Step S134).
  • the CPU 110 ends the process related to the moving image from the store terminal 200 this time.
  • the CPU 110 stores the face image data in the specific area of the memory 120 as suspicious person information (step S136). For example, the CPU 110 temporarily stores the moving image data received in step S122 and the face image data cut out in step S126 in the volatile memory 121, and in step S136, the image data of the face portion and the moving image It is preferable to store the image data itself and the like in the non-volatile memory 122.
  • the CPU 110 notifies the store terminal 200 and the administrator terminal 400 of a warning that a suspicious person has been detected via the communication interface 160 (step S138). At this time, the CPU 110 may transmit a suspicious person's face image, moving image, or the like as suspicious person information to the store terminal 200 or the administrator terminal 400. As a result, in the store terminal 200 and the administrator terminal 400, the CPUs 210 and 410 display a warning message indicating that a suspicious person has been detected on the displays 230 and 430, and the speakers 270 and 470 indicate that a suspicious person has been detected. The warning is output as a voice (step S151).
  • the network system 1 by searching for a suspicious person with the feature point data of the face image, the privacy is improved as compared with the case where the face image data itself of all the visitors is saved. Can be protected. Then, when suspicious behavior is detected more than a predetermined number of times, the face image data can be warned as suspicious person information, so that security can be ensured.
  • the image data acquired by the server 100 is temporarily stored, and when a predetermined condition is satisfied as a suspicious person, the image data is non-volatilely stored or registered as a suspicious person. It was something to do.
  • the CPU 110 may also have a configuration in which the moving image data received in step S122 and the face image data cut out in step S126 are stored in the non-volatile memory 122.
  • step S124 when no suspicious behavior is detected (NO in step S124), it is preferable that the CPU 110 erases the target moving image data and face image data from the non-volatile memory 122 (step). S244).
  • the CPU 110 When the number of detections is less than a predetermined number (NO in step S134), the CPU 110 preferably erases the target moving image data and face image data from the non-volatile memory 122 (step S244). ).
  • the data transmitted from the store terminal 200 to the server 100 may be restricted.
  • the parts different from the first embodiment will be described, and the description will not be repeated for the same parts.
  • the CPU 210 of the store terminal 200 receives the moving image data via the communication interface 260 (step S112).
  • the CPU 210 masks the face portion and then transmits the moving image data to the server 100 via the communication interface 260 (step S314).
  • the CPU 110 of the server 100 receives the moving image data from the store terminal 200 via the communication interface 160 (step S122). Based on the moving image data, the CPU 110 determines whether or not there is a person who behaves suspiciously around the product display shelf 700 (step S124).
  • step S124 the CPU 110 ends the process related to the moving image from the store terminal 200 this time.
  • the CPU 110 When a suspicious behavior is detected (YES in step S124), the CPU 110 requests the store terminal 200 for the characteristic data of the person via the communication interface 160 (step S326).
  • the CPU 210 of the store terminal 200 receives the request from the server 100 (step S316).
  • the CPU 210 cuts out a face portion of a person from the moving image data and creates feature data for identifying the person (step S318).
  • the CPU 210 transmits the feature data to the server 100 via the communication interface 260 (step S320).
  • the CPU 110 receives the feature data (step S327), refers to the suspicious person data 122A, and searches whether a suspicious person matching the feature data has already been registered (step S128).
  • the CPU 110 increases the number of times the suspicious person is detected (step S130). If a suspicious person matching the feature data has not been registered yet, new suspicious person data is created based on the feature data this time.
  • the CPU 110 determines whether or not the target person has purchased the product (step S132). For example, if the target person is in front of the checkout machine 500 and the purchase information is acquired from the checkout machine 500, it is determined that the target person has purchased the product.
  • the CPU 110 When the target person purchases the product (YES in step S132), the CPU 110 resets the number of detections to 0 (step S142). The CPU 110 ends the processing related to the moving image from the store terminal 200 this time.
  • Step S134 When the target person leaves without purchasing the product (NO in step S132), it is determined whether or not the number of detections is a predetermined number of times, for example, 5 times or more. (Step S134).
  • the CPU 110 ends the process related to the moving image from the store terminal 200 this time.
  • the CPU 110 requests face image data from the store terminal 200 via the communication interface 160 (step S335).
  • the CPU 210 of the store terminal 200 receives the request from the server 100 (step S336).
  • the CPU 210 cuts out a face portion from the moving image data and transmits the face image data to the server 100 via the communication interface 260 (step S337).
  • the CPU 110 stores the received face image data as suspicious person information in a specific area of the memory 120 (step S136). ⁇ Fourth Embodiment>
  • Other devices may play a part or all of the roles of each device constituting the network system 1 of the above embodiment.
  • a part or all of the roles of one device may be shared by a plurality of devices, or a part or all of the roles of a plurality of devices may be shared by one device.
  • the role of the server 100 may be played by a plurality of servers on the cloud.
  • the CPU 310 of the camera 300 uses the image sensor 330 to take a picture of the surroundings of the product display shelf 700 (step S102).
  • the CPU 310 transmits the captured moving image data to the store terminal 200 via the communication interface 260 (step S104).
  • the CPU 210 of the store terminal 200 receives the moving image data via the communication interface 260 (step S112). Based on the moving image data, the CPU 210 determines whether or not there is a person who behaves suspiciously around the product display shelf 700 (step S424).
  • step S424 the CPU 210 ends the process related to the current moving image.
  • the CPU 210 cuts out the face portion of the person from the moving image data and creates feature data for identifying the person (step S426).
  • the CPU 210 refers to the suspicious person data 122A and searches whether a suspicious person matching the feature data has already been registered (step S428).
  • the CPU 210 increases the number of times the suspicious person is detected (step S430). If a suspicious person matching the feature data has not been registered yet, new suspicious person data is created based on the feature data this time.
  • the CPU 210 determines whether or not the target person has purchased the product (step S432). For example, if the target person is in front of the checkout machine 500 and the purchase information is acquired from the checkout machine 500, it is determined that the target person has purchased the product.
  • step S432 When the target person purchases the product (YES in step S432), the CPU 210 resets the number of detections to 0 (step S442). The CPU 210 ends the processing related to the moving image this time.
  • Step S434 When the target person leaves without purchasing the product (NO in step S432), it is determined whether or not the number of detections is a predetermined number of times, for example, 5 times or more. (Step S434).
  • the CPU 210 ends the process related to the moving image this time.
  • the CPU 210 cuts out a face portion from the moving image data and uses the face image data as suspicious person information as suspicious person information on the server 100. (Step S436).
  • the CPU 210 displays a warning message indicating that a suspicious person has been detected on the display 230, or causes the speaker 270 to output a warning message indicating that a suspicious person has been detected by voice (step S151). ..
  • the CPU 110 of the server 100 receives the face image data from the store terminal 200 via the communication interface 160 (step S435).
  • the CPU 110 stores the face image data as suspicious person information in a specific area of the memory 120 (step S136).
  • the CPU 110 notifies the administrator terminal 400 of a warning that a suspicious person has been detected via the communication interface 160 (step S138).
  • the CPU 410 displays a warning message indicating that a suspicious person has been detected on the display 430, and causes the speaker 470 to output a warning message indicating that a suspicious person has been detected by voice.
  • the image is stored in the non-volatile memory 122 and the number of times is counted only when a suspicious behavior is detected.
  • the number of times may be counted each time a person is detected, and a warning may be output when the count reaches a predetermined number of times. Then, the number of detections may be reset when the purchase of the product is accepted.
  • the CPU 310 of the camera 300 uses the image sensor 330 to take a picture of the surroundings of the product display shelf 700 (step S102).
  • the CPU 310 transmits the captured moving image data or still image data to the store terminal 200 via the communication interface 260 (step S104).
  • the CPU 210 of the store terminal 200 receives moving image data or still image data via the communication interface 260 (step S112).
  • the CPU 210 transmits moving image data or still image data to the server 100 via the communication interface 260 (step S114).
  • the CPU 110 of the server 100 receives moving image data or still image data from the store terminal 200 via the communication interface 160 (step S122). At this time, the CPU 110 temporarily stores the moving image data or the still image data in the volatile memory 121.
  • the CPU 110 cuts out a face portion of a person from moving image data or still image data, and creates feature data for identifying the person (step S126). At this time, the CPU 110 temporarily stores the face image data in the volatile memory 121.
  • the CPU 110 refers to the suspicious person data 122A and searches whether a suspicious person matching the feature data has already been registered (step S128).
  • the CPU 110 increases the number of times the suspicious person is detected (step S130). If a suspicious person matching the feature data has not been registered yet, new suspicious person data is created based on the feature data this time.
  • the CPU 110 determines whether or not the target person has purchased the product (step S132). For example, if the target person is in front of the checkout machine 500 and the purchase information is acquired from the checkout machine 500, it is determined that the target person has purchased the product.
  • the CPU 110 When the target person purchases the product (YES in step S132), the CPU 110 resets the number of detections to 0 (step S142). The CPU 110 ends the processing related to the moving image from the store terminal 200 this time.
  • Step S134 When the target person leaves without purchasing the product (NO in step S132), it is determined whether or not the number of detections is a predetermined number of times, for example, 5 times or more. (Step S134).
  • the CPU 110 ends the process related to the image from the store terminal 200 this time.
  • the CPU 110 cuts out a face portion from the moving image data or the still image data and stores it in a specific area of the memory 120 as suspicious person information. (Step S136). For example, the CPU 110 temporarily stores the moving image data or still image data received in step S122 and the face image data cut out in step S126 in the volatile memory 121, and in step S136, the image of the face portion.
  • the data, the moving image data itself, and the like are stored in the non-volatile memory 122 for a long period of time.
  • the CPU 110 notifies the store terminal 200 and the administrator terminal 400 of a warning that a suspicious person has been detected (step S138).
  • the CPUs 210 and 410 display a warning message indicating that a suspicious person has been detected on the displays 230 and 430, and the speakers 270 and 470 indicate that a suspicious person has been detected.
  • the warning is output as a voice (step S151).
  • the CPUs 110 and 210 preferably store the date and time of the suspicious behavior in the memories 120 and 220 when the suspicious behavior is determined. For example, as shown in FIG. 13, the CPUs 110 and 210 may accumulate the history of the detection date and time for each suspicious person as suspicious person information, or for each store or display area without associating with the suspicious person. The date and time when the suspicious behavior occurred may be accumulated.
  • step S138 the CPU 110 notifies the store terminal 200 and the administrator terminal 400 of a warning such as the fact that a suspicious person has been detected and the date and time when the suspicious behavior has occurred.
  • the CPUs 210 and 410 display warning messages such as the fact that a suspicious person has been detected on the displays 230 and 430, the date and time when the suspicious behavior occurred, and the speaker.
  • a warning such as the fact that a suspicious person has been detected in 270 or 470 and the date or time when the suspicious behavior has occurred is output by voice (step S151).
  • the CPU 110 determines the date and time when the store terminal 200 or the administrator terminal 400 has a suspicious behavior. Notify a warning (step S125).
  • the CPUs 210 and 410 display warning messages such as the date and time when the displays 230 and 430 have suspicious behavior, and the speakers 270 and 470 have suspicious behavior.
  • a warning such as a date or time is output as a voice (step S127).
  • the store where there is no clerk near the product display shelf 700 has been described, but the same configuration and control process may be executed for the unmanned vending machine.
  • the unmanned vending machine as shown in FIG. 15, a product display shelf 700, a camera 300, a checkout machine 500, a store terminal 200, and the like are included in one device or housing. It may be. That is, for example, as shown in FIG. 16, the store terminal 200A as a vending machine is equipped with an image sensor 330, a settlement unit 530, and the like.
  • the suspicious person detection function of the network system 1 can be used even in a store having a clerk as shown in FIG. ⁇ Summary>
  • a camera for photographing the vicinity of the place where the product is placed and a person performing a predetermined operation are detected based on the image of the camera, and the relevant person is detected.
  • a suspicious person detection system including a control unit for counting the number of times detected for each person by identifying the person and outputting a warning when the predetermined number of times is reached is provided.
  • control unit is realized by a communication terminal locally connected to the camera.
  • the communication terminal provides the server with image data of a person who has reached a predetermined number of times.
  • control unit is realized by a communication device locally connected to the camera and a server connected to the communication device via a communication network.
  • the server stores the image data of the person who has reached a predetermined number of times in the non-volatile memory.
  • control unit is realized by a communication device locally connected to the camera and a server connected to the communication device via a communication network.
  • the server deletes the image data of the person who has not reached the predetermined number of times from the memory.
  • control unit resets the number of times it has been counted.
  • control unit detects a person performing a predetermined operation based on the image of the camera, creates feature data, identifies the person, and counts the number of times detected for each person. I will do it.
  • control unit also outputs the timing when a predetermined operation is performed.
  • an image is acquired from the camera via the communication interface and the communication device interface, a person performing a predetermined operation is detected from the image, and the person is identified.
  • a suspicious person detection device including a control unit for counting the number of times and outputting a warning when a predetermined number of times is reached is provided.
  • a suspicious person detection method includes a step in which the camera takes a picture of the place where the product is placed, a step in which the control unit detects a person performing a predetermined operation based on the image taken by the camera, and a control unit. However, it includes a step of counting the number of times detected for each person by identifying the person, and a step of outputting a warning when the control unit reaches a predetermined number of times.
  • a suspicious person detection method includes a step in which the control unit acquires an image captured by the camera via a communication interface and a step in which the control unit detects a person performing a predetermined operation based on the image captured by the camera.
  • the control unit includes a step of counting the number of times detected for each person by identifying the person, and a step of outputting a warning when the control unit reaches a predetermined number of times.
  • a camera for photographing the vicinity of the place where the product is placed and the number of times detected for each person by identifying the photographed person based on the image of the camera are obtained.
  • a suspicious person detection system is provided that counts, outputs a warning when a predetermined number of times is reached, and when a specified person purchases a product, a control unit for resetting the number of times accumulated up to that point is provided.
  • control unit counts the number of detections only for a person performing a predetermined operation.
  • Network system 100 Server 110: CPU 120: Memory 121: Volatile memory 122: Non-volatile memory 122A: Suspicious person data 140: Operation unit 160: Communication interface 200: Store terminal 200A: Vending machine 210: CPU 220: Memory 230: Display 240: Operation unit 250: Touch panel 260: Communication interface 270: Speaker 280: Microphone 300: Camera 310: CPU 320: Memory 330: Image sensor 360: Communication interface 400: Administrator terminal 420: CPU 430: Display 470: Speaker 500: Settlement machine 510: CPU 520: Memory 530: Settlement unit 560: Communication interface 700: Display shelf

Abstract

商品が載置されている場所の近傍を撮影するためのカメラ（３００）と、カメラ（３００）の画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部（１１０）と、を備える不審者検知システム（１）が提供される。

Description

ネットワークシステム、不審者検知装置、および不審者検知方法
　本発明は、商品の陳列場所などにおける不審者を検知するための技術に関する。
　従来から、商品の販売所などにおける不審者を検知するための技術が知られている。たとえば、特開号公報（特許文献１）には、制御装置、制御方法および制御プログラムが開示されている。特許文献１によると、制御装置は、対話エージェントシステムとユーザとの会話における音の特徴に基づいて、応答メッセージとして出力する広告に関する情報である広告情報を検索する検索部と、検索部によって検索された広告情報に関する広告を応答メッセージとして出力するよう制御する出力制御部と、を備えたことを特徴とする。このため、制御装置は、ユーザに適したメッセージを出力することができる。
特開２０１９－１１０４７４号公報
　本発明の一態様の目的は、効率的に不審者を検知するための技術を提供することにある。
　本発明の一態様に従うと、商品が載置されている場所の近傍を撮影するためのカメラと、カメラの画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部と、を備える不審者検知システムが提供される。
　以上のように、本発明の一態様によれば、効率的に不審者を検知するための技術が提供される。
第１の実施の形態にかかるネットワークシステム１の全体構成を示す図である。 第１の実施の形態にかかるネットワークシステム１を構成するサーバ１００の構成を示すブロック図である。 第１の実施の形態にかかる不審者データ１２２Ａを示すイメージ図である。 第１の実施の形態にかかる店舗端末２００の構成を示すブロック図である。 第１の実施の形態にかかるカメラ３００の構成を示すブロック図である。 第１の実施の形態にかかる精算機５００の構成を示すブロック図である。 第１の実施の形態にかかる管理者端末４００の構成を示すブロック図である。 第１の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。 第２の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。 第３の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。 第４の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。 第５の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。 第６の実施の形態にかかる不審者データ１２２Ａを示すイメージ図である。 第６の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。 第７の実施の形態にかかるネットワークシステム１の全体構成を示す図である。 第７の実施の形態にかかる自動販売機の構成を示すブロック図である。 第８の実施の形態にかかるネットワークシステム１の全体構成を示す図である。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　＜第１の実施の形態＞
　＜ネットワークシステム１の全体構成＞
　まず、図１を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。ネットワークシステム１は、主に、不審者検知サービスを実現するためのサーバ１００と、商品の陳列棚７００の周囲を撮影するためのカメラ３００と、カメラ３００を制御したり商品の購買データを取り扱ったりするための店舗端末２００と、商品の購入の清算処理を行うための精算機５００などを含む。
　＜ネットワークシステム１の動作概要＞
　次に、本実施の形態にかかるネットワークシステム１の動作概要について説明する。図１を参照して、カメラ３００が店舗内の商品の陳列棚７００の周囲を撮影して、有線通信または無線通信によって、撮影画像を店舗端末２００に送信する。店舗端末２００は、インターネットやキャリア網などを介して、撮影画像をサーバ１００に送信する。サーバ１００は、撮影画像に基づいて、不審な行動をしている人物を検知したり、当該人物を繰り返し検知した場合に店舗端末２００や管理者端末４００などに警告を通知したりする。
　なお、不審な行動をしていると判断された人物であっても、商品が購買された場合には、警告を通知しないように構成することが好ましい。
　このように本実施の形態にかかるネットワークシステム１は、不審な行動を繰り返した人物を検知したことを自動的に認識し、管理者などにその旨の情報を報告するものである。以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
　＜サーバ１００の構成＞
　図２を参照して、ネットワークシステム１を構成するサーバ１００の構成について説明する。まず、サーバ１００の構成について説明する。サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。
　ＣＰＵ１１０は、メモリ１２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、カメラ３００の各部を制御する。
　メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read Only Memory）などによって実現される。換言すれば、メモリ１２０は、揮発性メモリ１２１と、不揮発性メモリ１２２とを含む。メモリ１２０は、サーバ１００に内包されているものであってもよいし、サーバ１００の各種インターフェイスに着脱可能なものであってもよいし、サーバ１００からアクセス可能な他の装置の記録媒体であってもよい。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかる処理やサービスに利用されるデータベースなどを記憶する。
　たとえば不揮発性メモリ１２２は、図３に示すような、不審者データ１２２Ａを格納する。不審者データ１２２Ａは、不審な行動をしていると判断されたことがある来訪者毎に、人物ＩＤと、人物を特定するための顔などの特徴データと、顔画像データ自体と、不審な行動をしていると判断されて当該人物として特定された回数との対応関係を格納する。
　図２に戻って、操作部１４０は、サービスの管理者などからの命令を受け付けてＣＰＵ１１０に入力する。
　通信インターフェイス１６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス１６０は、有線通信あるいは無線通信によって、カメラ３００や他のサーバなどとの間でデータをやり取りする。
　＜店舗端末２００の構成＞
　次に、本実施の形態にかかるネットワークシステム１を構成する店舗端末２００の構成について説明する。図４を参照して、本実施の形態にかかる店舗端末２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０と、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０とを含む。
　ＣＰＵ２１０は、メモリ２２０に記憶されているプログラムを実行することによって、店舗端末２００の各部を制御する。
　メモリ２２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ２２０は、各種サービスのためのアプリケーションプログラムや、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、サーバ１００やカメラ３００から受信したデータ、操作部２４０を介して入力されたデータなどを記憶する。
　ディスプレイ２３０は、ＣＰＵ２１０からのデータに基づいて、画像やテキストを表示する。操作部２４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの各種の命令をＣＰＵ２１０に入力する。なお、店舗端末２００は、ディスプレイ２３０と操作部２４０とを含むタッチパネル２５０を有してもよい。
　通信インターフェイス２６０は、ＷｉＦｉ（登録商標）に準拠した無線通信や、キャリア網の局と無線通信を行うためのアンテナや、有線通信を行うためのコネクタなどによって実現される。ＣＰＵ２１０は、通信インターフェイス２６０を介して、カメラ３００から撮影動画像データを受信したり、当該撮影動画像データをルータやインターネットを介してサーバ１００にアップロードしたり、サーバ１００から不審者に関する警告の通知を受信したり、精算機５００からの決済情報や購買情報を受信したり、当該決済情報や購買情報をサーバ１００に送信したりする。
　スピーカ２７０は、ＣＰＵ２１０からの信号に基づいて、音声を出力する。マイク２８０は、音声を取得して音声信号をＣＰＵ２１０に入力する。
　＜カメラ３００の構成＞
　図５を参照して、カメラ３００の構成について説明する。カメラ３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、画像センサ３３０と、通信インターフェイス３６０などを含む。
　ＣＰＵ３１０は、メモリ３２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、カメラ３００の各部を制御する。
　メモリ３２０は、各種のＲＡＭや各種のＲＯＭなどによって実現される。メモリ３２０は、ＣＰＵ３１０によって実行されるプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータや画像センサ３３０で取得された画像データなどを記憶する。
　画像センサ３３０は、ＣＰＵ３１０からの信号に基づいて、動画像や静止画像を撮影してＣＰＵ３１０に受け渡す。
　通信インターフェイス３６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス３６０は、有線通信あるいは無線通信によって、サーバなどの他の装置などとの間でデータをやり取りする。本実施の形態においては、ＣＰＵ３１０は、画像センサ３３０を用いて撮影することによって得られた画像データを、通信インターフェイス３６０を介して、サーバ１００にアップロードする。
　＜精算機５００の構成＞
　図６を参照して、精算機５００の構成について説明する。精算機５００は、主たる構成要素として、ＣＰＵ５１０と、メモリ５２０と、精算部５３０と、通信インターフェイス５６０などを含む。
　ＣＰＵ５１０は、メモリ５２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、精算機５００の各部を制御する。
　メモリ５２０は、各種のＲＡＭや各種のＲＯＭなどによって実現される。メモリ５２０は、ＣＰＵ５１０によって実行されるプログラムや、ＣＰＵ５１０によるプログラムの実行により生成されたデータなどを記憶する。
　精算部５３０は、光学センサや接触センサや近距離通信アンテナなどを有し、ＣＰＵ５１０からの信号に基づいて、投入された硬貨や紙幣を検知したり、商品のバーコードを読み取ったり、ＱＲコード（登録商標）を読み取ったり、ＩＣカードを読み取ったり、ＲＦＩＤタグと通信したりして、取得した情報をＣＰＵ５１０に入力する。
　通信インターフェイス５６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス５６０は、有線通信あるいは無線通信によって、店舗端末２００や決済サーバなどの他の装置などとの間でデータをやり取りする。本実施の形態においては、ＣＰＵ５１０は、精算部５３０を介して取得した情報に基づいて、通信インターフェイス５６０を介して、決済サーバや店舗端末２００に決済情報を送信したり、商品管理サーバや店舗端末２００に購買情報を送信したりする。
　＜管理者端末４００の構成＞
　次に、本実施の形態にかかるネットワークシステム１を構成する管理者端末４００は、店舗を統括する本社や警備会社などのパーソナルコンピュータおよびサーバや、本社の管理者や店舗の管理者や警備員などが保持するスマートフォンやタブレットなどであって、不審者を検知した旨の情報を必要とする者が利用する装置である。本実施の形態にかかる管理者端末４００は、図７に示すように、店舗端末２００の構成と同様であってもよく、ここでは説明を繰り返さない。
　＜ネットワークシステム１における情報処理＞
　次に、図８を参照して、本実施の形態にかかるネットワークシステム１における各装置の情報処理について説明する。
　まず、カメラ３００のＣＰＵ３１０が、画像センサ３３０を利用して、商品の陳列棚７００の近傍を撮影する（ステップＳ１０２）。ＣＰＵ３１０は、通信インターフェイス２６０を介して、撮影した動画像データを店舗端末２００に送信する（ステップＳ１０４）。
　店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データをサーバ１００に送信する（ステップＳ１１４）。
　サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００から動画像データを受信する（ステップＳ１２２）。このとき、ＣＰＵ１１０は、動画像データを揮発性メモリ１２１に一時的に格納する。ＣＰＵ１１０は、動画像データに基づいて、商品の陳列棚７００の周囲に不審な行動をする人物がいるか否かを判断する（ステップＳ１２４）。
　不審な行動をしている人物がいるか否かの判断手法は特に限定するものではない。たとえば、ＣＰＵ１１０は、手の動きや、顔の動きや、移動経路など、不審な行動を特定するための複数の判断ステップがプログラムされ、所定の条件が満たされた場合に、不審な行動をしたと判断してもよい。あるいは、ＣＰＵ１１０は、不振な行動に対応する多数の動画像データを教師データとして準備しておき、ＡＩ（Artificial Intelligence）を利用して、不審な行動を検知してもよい。
　不審な行動を検知しなかった場合（ステップＳ１２４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　不審な行動を検知した場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１０は、動画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ１２６）。このとき、ＣＰＵ１１０は、顔画像データや特徴データを揮発性メモリ１２１に一時的に格納する。
　なお、特徴データを作成するためには、複数の画像を利用することが好ましい。すなわち、ＣＰＵ１１０は、動画像データから複数、たとえば５つなど、のタイミングの顔画像を切り出すことによって、特徴データを作成することが好ましい。
　ＣＰＵ１１０は、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ１２８）。
　ＣＰＵ１１０は、特徴データにマッチする不審者が既に登録されていれば当該不審者の検知回数を増加させる（ステップＳ１３０）。なお、特徴データにマッチする不審者が未だ登録されていない場合は、今回の特徴データに基づいて新しい不審者のデータを作成する。
　ＣＰＵ１１０は、対象となっている人物が商品を購入したか否かを判断する（ステップＳ１３２）。たとえば、対象となっている人物が精算機５００の前にいるときに、精算機５００から購買情報を取得すると、当該対象となっている人物が商品を購入したと判断する。
　対象となっている人物が商品を購入した場合（ステップＳ１３２にてＹＥＳである場合）、ＣＰＵ１１０は、検知回数を０にリセットする（ステップＳ１４２）。ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　対象となっている人物が商品を購入せずに去っていった場合（ステップＳ１３２にてＮＯである場合）、検知回数が所定の回数、たとえば５回など、以上であるか否かを判断する（ステップＳ１３４）。
　検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　検知回数が所定の回数以上である場合（ステップＳ１３４にてＹＥＳである場合）、ＣＰＵ１１０は、不審者情報として、顔画像データをメモリ１２０の特定領域に格納する（ステップＳ１３６）。たとえば、ＣＰＵ１１０は、ステップＳ１２２で受信した動画像データや、ステップＳ１２６で切り出した顔画像データは、揮発性メモリ１２１に一時的に記憶しておき、ステップＳ１３６において、顔部分の画像データや、動画像データ自体などを不揮発性メモリ１２２に保存させることが好ましい。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００や管理者端末４００に、不審者が検知された旨の警告を通知する（ステップＳ１３８）。このとき、ＣＰＵ１１０は、不審者の顔画像や動画像などを不審者情報として、店舗端末２００や管理者端末４００に送信してもよい。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ２７０，４７０に不審者が検知された旨の警告を音声出力させたりする（ステップＳ１５１）。
　このように、本実施の形態にかかるネットワークシステム１に関しては、顔画像の特徴点データで不審者を検索することにより、すべての来店者の顔画像データ自体を保存する場合と比較してプライバシーを保護することができる。そして、所定回数以上の不審行動を検知した場合に、顔画像データを不審者情報として警告することができるので、セキュリティを確保することができる。
　＜第２の実施の形態＞
　第１の実施の形態においては、サーバ１００が取得した画像データを一時的に記憶しておき、不審者として所定の条件を満たした場合に、画像データを不揮発に記憶したり、不審者として登録したりするものであった。しかしながら、図９に示すように、ＣＰＵ１１０は、ステップＳ１２２で受信した動画像データや、ステップＳ１２６で切り出した顔画像データも、不揮発性メモリ１２２に記憶する構成であってもよい。
　この場合は、不審な行動を検知しなかった場合（ステップＳ１２４にてＮＯである場合）、ＣＰＵ１１０は、対象となる動画像データや顔画像データを不揮発性メモリ１２２から消去することが好ましい（ステップＳ２４４）。
　また、検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、対象となる動画像データや顔画像データを不揮発性メモリ１２２から消去することが好ましい（ステップＳ２４４）。
　＜第３の実施の形態＞
　あるいは、図１０に示すように、店舗端末２００からサーバ１００に送信するデータを制限してもよい。以下では、第１の実施の形態と異なる部分のみについて説明するものとし、同様の部分については説明を繰り返さない。
　店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、顔の部分にマスク処理を施してから、通信インターフェイス２６０を介して、動画像データをサーバ１００に送信する（ステップＳ３１４）。
　サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００から動画像データを受信する（ステップＳ１２２）。ＣＰＵ１１０は、動画像データに基づいて、商品の陳列棚７００の周囲に不審な行動をする人物がいるか否かを判断する（ステップＳ１２４）。
　不審な行動を検知しなかった場合（ステップＳ１２４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　不審な行動を検知した場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００に人物の特徴データを要求する（ステップＳ３２６）。
　店舗端末２００のＣＰＵ２１０は、サーバ１００からの要求を受信する（ステップＳ３１６）。ＣＰＵ２１０は、動画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ３１８）。ＣＰＵ２１０は、通信インターフェイス２６０を介して、特徴データをサーバ１００に送信する（ステップＳ３２０）。
　ＣＰＵ１１０は、特徴データを受信して（ステップＳ３２７）、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ１２８）。
　ＣＰＵ１１０は、特徴データにマッチする不審者が既に登録されていれば当該不審者の検知回数を増加させる（ステップＳ１３０）。なお、特徴データにマッチする不審者が未だ登録されていない場合は、今回の特徴データに基づいて新しい不審者のデータを作成する。
　ＣＰＵ１１０は、対象となっている人物が商品を購入したか否かを判断する（ステップＳ１３２）。たとえば、対象となっている人物が精算機５００の前にいるときに、精算機５００から購買情報を取得すると、当該対象となっている人物が商品を購入したと判断する。
　対象となっている人物が商品を購入した場合（ステップＳ１３２にてＹＥＳである場合）、ＣＰＵ１１０は、検知回数を０にリセットする（ステップＳ１４２）。ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　対象となっている人物が商品を購入せずに去っていった場合（ステップＳ１３２にてＮＯである場合）、検知回数が所定の回数、たとえば５回など、以上であるか否かを判断する（ステップＳ１３４）。
　検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　検知回数が所定の回数以上である場合（ステップＳ１３４にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００に顔画像データを要求する（ステップＳ３３５）。
　店舗端末２００のＣＰＵ２１０は、サーバ１００からの要求を受信する（ステップＳ３３６）。ＣＰＵ２１０は、動画像データから顔部分を切り出して、通信インターフェイス２６０を介して、顔画像データをサーバ１００に送信する（ステップＳ３３７）。
　ＣＰＵ１１０は、受信した顔画像データを不審者情報としてメモリ１２０の特定領域に格納する（ステップＳ１３６）。
　＜第４の実施の形態＞
　上記の実施の形態のネットワークシステム１を構成する各装置の役割の一部や全部を、他の装置が担ってもよい。あるいは、１つの装置の役割の一部や全部を、複数の装置で分担して担ったり、複数の装置の役割の一部や全部を、１つの装置で担ったりしてもよい。たとえば、サーバ１００の役割を、クラウド上の複数のサーバで担ってもよい。
　以下では、一例として、サーバ１００の役割の一部を店舗端末２００が担う場合について説明する。本実施の形態においては、店舗端末２００とサーバ１００とが不審者データ１２２Ａを保持することが好ましい。図１１を参照して、本実施の形態にかかるネットワークシステム１における各装置の情報処理について説明する。
　まず、カメラ３００のＣＰＵ３１０が、画像センサ３３０を利用して、商品の陳列棚７００の周囲を撮影する（ステップＳ１０２）。ＣＰＵ３１０は、通信インターフェイス２６０を介して、撮影した動画像データを店舗端末２００に送信する（ステップＳ１０４）。
　店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、動画像データに基づいて、商品の陳列棚７００の周囲に不審な行動をする人物がいるか否かを判断する（ステップＳ４２４）。
　不審な行動を検知しなかった場合（ステップＳ４２４にてＮＯである場合）、ＣＰＵ２１０は、今回の動画像に関しての処理を終了する。
　不審な行動を検知した場合（ステップＳ４２４にてＹＥＳである場合）、ＣＰＵ２１０は、動画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ４２６）。
　ＣＰＵ２１０は、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ４２８）。
　ＣＰＵ２１０は、特徴データにマッチする不審者が既に登録されていれば当該不審者の検知回数を増加させる（ステップＳ４３０）。なお、特徴データにマッチする不審者が未だ登録されていない場合は、今回の特徴データに基づいて新しい不審者のデータを作成する。
　ＣＰＵ２１０は、対象となっている人物が商品を購入したか否かを判断する（ステップＳ４３２）。たとえば、対象となっている人物が精算機５００の前にいるときに、精算機５００から購買情報を取得すると、当該対象となっている人物が商品を購入したと判断する。
　対象となっている人物が商品を購入した場合（ステップＳ４３２にてＹＥＳである場合）、ＣＰＵ２１０は、検知回数を０にリセットする（ステップＳ４４２）。ＣＰＵ２１０は、今回の動画像に関しての処理を終了する。
　対象となっている人物が商品を購入せずに去っていった場合（ステップＳ４３２にてＮＯである場合）、検知回数が所定の回数、たとえば５回など、以上であるか否かを判断する（ステップＳ４３４）。
　検知回数が所定の回数未満である場合（ステップＳ４３４にてＮＯである場合）、ＣＰＵ２１０は、今回の動画像に関しての処理を終了する。
　検知回数が所定の回数以上である場合（ステップＳ４３４にてＹＥＳである場合）、ＣＰＵ２１０は、動画像データから顔部分を切り出して、通信インターフェイス１６０を介して顔画像データを不審者情報としてサーバ１００に送信する（ステップＳ４３６）。
　そして、店舗端末２００では、ＣＰＵ２１０が、ディスプレイ２３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ２７０に不審者が検知された旨の警告を音声出力させたりする（ステップＳ１５１）。
　サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、顔画像データを店舗端末２００から受信する（ステップＳ４３５）。ＣＰＵ１１０は、顔画像データを不審者情報として、メモリ１２０の特定領域に格納する（ステップＳ１３６）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して管理者端末４００に、不審者が検知された旨の警告を通知する（ステップＳ１３８）。これによって、管理者端末４００においては、ＣＰＵ４１０が、ディスプレイ４３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ４７０に不審者が検知された旨の警告を音声出力させたりする。
　＜第５の実施の形態＞
　上記の実施の形態においては、不審な行動を検知した場合のみ、画像を不揮発性メモリ１２２に記憶したり、回数をカウントしたりするものであった。しかしながら、図１２に示すように、人物を検知するたびに回数をカウントして、当該カウントが所定回数に達すると警告を出力してもよい。そして商品の購入を受け付けた際に検知回数をリセットするものであってもよい。以下では、第１の実施の形態と異なる部分のみについて説明するものとし、同様の部分については説明を繰り返さない。
　まず、カメラ３００のＣＰＵ３１０が、画像センサ３３０を利用して、商品の陳列棚７００の周囲を撮影する（ステップＳ１０２）。ＣＰＵ３１０は、通信インターフェイス２６０を介して、撮影した動画像データまたは静止画像データを店舗端末２００に送信する（ステップＳ１０４）。
　店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データまたは静止画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データまたは静止画像データをサーバ１００に送信する（ステップＳ１１４）。
　サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００から動画像データまたは静止画像データを受信する（ステップＳ１２２）。このとき、ＣＰＵ１１０は、動画像データまたは静止画像データを揮発性メモリ１２１に一時的に格納する。
　ＣＰＵ１１０は、動画像データまたは静止画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ１２６）。このとき、ＣＰＵ１１０は、顔画像データを揮発性メモリ１２１に一時的に格納する。
　ＣＰＵ１１０は、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ１２８）。
　ＣＰＵ１１０は、特徴データにマッチする不審者が既に登録されていれば当該不審者の検知回数を増加させる（ステップＳ１３０）。なお、特徴データにマッチする不審者が未だ登録されていない場合は、今回の特徴データに基づいて新しい不審者のデータを作成する。
　ＣＰＵ１１０は、対象となっている人物が商品を購入したか否かを判断する（ステップＳ１３２）。たとえば、対象となっている人物が精算機５００の前にいるときに、精算機５００から購買情報を取得すると、当該対象となっている人物が商品を購入したと判断する。
　対象となっている人物が商品を購入した場合（ステップＳ１３２にてＹＥＳである場合）、ＣＰＵ１１０は、検知回数を０にリセットする（ステップＳ１４２）。ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。
　対象となっている人物が商品を購入せずに去っていった場合（ステップＳ１３２にてＮＯである場合）、検知回数が所定の回数、たとえば５回など、以上であるか否かを判断する（ステップＳ１３４）。
　検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの画像に関しての処理を終了する。
　検知回数が所定の回数以上である場合（ステップＳ１３４にてＹＥＳである場合）、ＣＰＵ１１０は、動画像データまたは静止画像データから顔部分を切り出して、不審者情報として、メモリ１２０の特定領域に格納する（ステップＳ１３６）。たとえば、ＣＰＵ１１０は、ステップＳ１２２で受信した動画像データまたは静止画像データや、ステップＳ１２６で切り出した顔画像データは、揮発性メモリ１２１に一時的に記憶しておき、ステップＳ１３６において、顔部分の画像データや、動画像データ自体などを不揮発性メモリ１２２に長期間保存させる。
　ＣＰＵ１１０は、店舗端末２００や管理者端末４００に、不審者が検知された旨の警告を通知する（ステップＳ１３８）。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ２７０，４７０に不審者が検知された旨の警告を音声出力させたりする（ステップＳ１５１）。
　＜第６の実施の形態＞
　上記の不審挙動の検知回数に加えて、ＣＰＵ１１０，２１０は、不審挙動と判断した場合に、不審挙動があった日付や時刻をメモリ１２０，２２０に蓄積していくことが好ましい。たとえば、図１３に示すように、ＣＰＵ１１０，２１０は、不審者情報として、不審者毎に検知日時の履歴を蓄積してもよいし、不審者に紐づけずに、店舗毎や陳列エリア毎に不審挙動があった日付や時刻を蓄積していってもよい。
　そして、ＣＰＵ１１０は、ステップＳ１３８において、店舗端末２００や管理者端末４００に、不審者が検知された旨や、不審挙動があった日付や時刻などの警告を通知する。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審者が検知された旨や、不審挙動があった日付や時刻などの警告メッセージを表示させたり、スピーカ２７０，４７０に不審者が検知された旨や、不審挙動があった日付や時刻などの警告を音声出力させたりする（ステップＳ１５１）。
　あるいは、図１４に示すように、不審な行動を検知した場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１０は、店舗端末２００や管理者端末４００に、不審挙動があった日付や時刻などの警告を通知する（ステップＳ１２５）。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審挙動があった日付や時刻などの警告メッセージを表示させたり、スピーカ２７０，４７０に不審挙動があった日付や時刻などの警告を音声出力させたりする（ステップＳ１２７）。
　＜第７の実施の形態＞
　上記の実施の形態においては、商品の陳列棚７００の近くに店員がいない店舗に関して説明したが、無人の自動販売機に関しても同様の構成および制御処理を実行すればよい。なお、無人の自動販売機に関しては、図１５に示すように、商品の陳列棚７００や、カメラ３００や、精算機５００や、店舗端末２００などが１つの装置や筐体に含まれているものであってもよい。つまり、たとえば、図１６に示すように、自動販売機としての店舗端末２００Ａが、画像センサ３３０や、精算部５３０などを搭載するものである。
　＜第８の実施の形態＞
　また、上記のネットワークシステム１の不審者検知機能は、図１７に示すような、店員がいる店舗などにおいても利用することが可能である。
　＜まとめ＞
　以上の通り、上記の実施の形態においては、商品が載置されている場所の近傍を撮影するためのカメラと、カメラの画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部と、を備える不審者検知システムが提供される。
　好ましくは、制御部は、カメラとローカルで接続される通信端末によって実現される。通信端末は、所定回数に達した人物の画像データをサーバに提供する。
　好ましくは、制御部は、カメラとローカルで接続される通信装置と、当該通信装置と通信ネットワークを介して接続されるサーバと、によって実現される。サーバは、所定回数に達した人物の画像データを不揮発メモリに格納する。
　好ましくは、制御部は、カメラとローカルで接続される通信装置と、当該通信装置と通信ネットワークを介して接続されるサーバと、によって実現される。サーバは、未だ所定回数に達していない人物の画像データをメモリから削除する。
　好ましくは、制御部は、特定された人物が商品を購入すると、それまでカウントした回数をリセットする。
　好ましくは、制御部は、カメラの画像に基づいて、所定の動作をしている人物を検知し、特徴データを作成することによって、当該人物を特定することによって当該人物毎に検知した回数をカウントしていく。
　好ましくは、制御部は、所定の動作がされたタイミングも出力する。
　上記の実施の形態においては、通信インターフェイスと、通信装置インターフェイスを介してカメラから画像を取得して、当該画像から所定の動作をしている人物を検知し、当該人物を特定することによって検知した回数をカウントしていき、所定回数に達すると警告を出力するために制御部と、を備える不審者検知装置が提供される。
　上記の実施の形態においては、不審者検知方法が提供される。不審者検知方法は、カメラが商品が載置されている場所を撮影するステップと、制御部が、カメラの撮影画像に基づいて、所定の動作をしている人物を検知するステップと、制御部が、当該人物を特定することによって当該人物毎に検知した回数をカウントするステップと、制御部が、所定回数に達すると警告を出力するステップと、を備える。
　上記の実施の形態においては、不審者検知方法が提供される。不審者検知方法は、制御部が、通信インターフェイスを介して、カメラの撮影画像を取得するステップと、制御部が、カメラの撮影画像に基づいて、所定の動作をしている人物を検知するステップと、制御部が、当該人物を特定することによって当該人物毎に検知した回数をカウントするステップと、制御部が、所定回数に達すると警告を出力するステップと、を備える。
　上記の実施の形態においては、商品が載置されている場所の近傍を撮影するためのカメラと、カメラの画像に基づいて、撮影された人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力し、特定された人物が商品を購入すると、それまで貯まった回数をリセットするための制御部と、を備える不審者検知システムが提供される。
　好ましくは、制御部は、所定の動作をしている人物に関してだけ、検知した回数をカウントする。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１　　　　：ネットワークシステム
１００　　：サーバ
１１０　　：ＣＰＵ
１２０　　：メモリ
１２１　　：揮発性メモリ
１２２　　：不揮発性メモリ
１２２Ａ　：不審者データ
１４０　　：操作部
１６０　　：通信インターフェイス
２００　　：店舗端末
２００Ａ　：自動販売機
２１０　　：ＣＰＵ
２２０　　：メモリ
２３０　　：ディスプレイ
２４０　　：操作部
２５０　　：タッチパネル
２６０　　：通信インターフェイス
２７０　　：スピーカ
２８０　　：マイク
３００　　：カメラ
３１０　　：ＣＰＵ
３２０　　：メモリ
３３０　　：画像センサ
３６０　　：通信インターフェイス
４００　　：管理者端末
４２０　　：ＣＰＵ
４３０　　：ディスプレイ
４７０　　：スピーカ
５００　　：精算機
５１０　　：ＣＰＵ
５２０　　：メモリ
５３０　　：精算部
５６０　　：通信インターフェイス
７００　　：陳列棚

Claims (10)

  1. 　商品が載置されている場所の近傍を撮影するためのカメラと、
    　前記カメラの画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部と、を備える不審者検知システム。
  2. 　前記制御部は、カメラとローカルで接続される通信端末によって実現され、
    　前記通信端末は、所定回数に達した人物の画像データをサーバに提供する、請求項１に記載のネットワークシステム。
  3. 　前記制御部は、カメラとローカルで接続される通信装置と、当該通信装置と通信ネットワークを介して接続されるサーバと、によって実現され、
    　前記サーバは、所定回数に達した人物の画像データを不揮発メモリに格納する、請求項１に記載のネットワークシステム。
  4. 　前記制御部は、カメラとローカルで接続される通信装置と、当該通信装置と通信ネットワークを介して接続されるサーバと、によって実現され、
    　前記サーバは、未だ所定回数に達していない人物の画像データをメモリから削除する、請求項１に記載のネットワークシステム。
  5. 　前記制御部は、特定された人物が商品を購入すると、それまでカウントした回数をリセットする、請求項１から４のいずれか１項に記載のネットワークシステム。
  6. 　前記制御部は、前記カメラの画像に基づいて、所定の動作をしている人物を検知し、特徴データを作成することによって、当該人物を特定することによって当該人物毎に検知した回数をカウントしていく、請求項１から５のいずれか１項に記載のネットワークシステム。
  7. 　前記制御部は、前記所定の動作がされたタイミングも出力する、請求項１から６のいずれか１項に記載のネットワークシステム。
  8. 　通信インターフェイスと、
    　前記通信装置インターフェイスを介してカメラから画像を取得して、当該画像から所定の動作をしている人物を検知し、当該人物を特定することによって検知した回数をカウントしていき、所定回数に達すると警告を出力するために制御部と、を備える不審者検知装置。
  9. 　不審者検知方法であって、
    　カメラが商品が載置されている場所を撮影するステップと、
    　制御部が、前記カメラの撮影画像に基づいて、所定の動作をしている人物を検知するステップと、
    　前記制御部が、当該人物を特定することによって当該人物毎に検知した回数をカウントするステップと、
    　前記制御部が、所定回数に達すると警告を出力するステップと、を備える不審者検知方法。
  10. 　不審者検知方法であって、
    　制御部が、通信インターフェイスを介して、カメラの撮影画像を取得するステップと、
    　前記制御部が、前記カメラの撮影画像に基づいて、所定の動作をしている人物を検知するステップと、
    　前記制御部が、当該人物を特定することによって当該人物毎に検知した回数をカウントするステップと、
    　前記制御部が、所定回数に達すると警告を出力するステップと、を備える不審者検知方法。
PCT/JP2020/020212 2019-10-24 2020-05-22 ネットワークシステム、不審者検知装置、および不審者検知方法 WO2021079549A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019193245A JP6795667B1 (ja) 2019-10-24 2019-10-24 ネットワークシステム、不審者検知装置、および不審者検知方法
JP2019-193245 2019-10-24

Publications (1)

Publication Number Publication Date
WO2021079549A1 true WO2021079549A1 (ja) 2021-04-29

Family

ID=73544690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020212 WO2021079549A1 (ja) 2019-10-24 2020-05-22 ネットワークシステム、不審者検知装置、および不審者検知方法

Country Status (2)

Country Link
JP (1) JP6795667B1 (ja)
WO (1) WO2021079549A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7064642B1 (ja) 2021-07-14 2022-05-10 日本コンピュータビジョン株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2024038653A (ja) * 2022-09-08 2024-03-21 株式会社Ｊｖｃケンウッド 人物検索装置および人物検索方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
JP2011227677A (ja) * 2010-04-19 2011-11-10 Secom Co Ltd 通報装置
WO2016088401A1 (ja) * 2014-12-01 2016-06-09 Ｌｙｋａｏｎ株式会社 防犯システム
WO2016147770A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 監視システム及び監視方法
WO2018110165A1 (ja) * 2016-12-15 2018-06-21 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2018156160A (ja) * 2017-03-15 2018-10-04 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6573185B1 (ja) * 2018-12-07 2019-09-11 株式会社鈴康 情報処理システム、情報処理方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4622702B2 (ja) * 2005-05-27 2011-02-02 株式会社日立製作所 映像監視装置
JP6273185B2 (ja) * 2014-09-30 2018-01-31 日本電信電話株式会社 監視情報共有システム、監視装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
JP2011227677A (ja) * 2010-04-19 2011-11-10 Secom Co Ltd 通報装置
WO2016088401A1 (ja) * 2014-12-01 2016-06-09 Ｌｙｋａｏｎ株式会社 防犯システム
WO2016147770A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 監視システム及び監視方法
WO2018110165A1 (ja) * 2016-12-15 2018-06-21 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2018156160A (ja) * 2017-03-15 2018-10-04 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6573185B1 (ja) * 2018-12-07 2019-09-11 株式会社鈴康 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP6795667B1 (ja) 2020-12-02
JP2021068201A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
TWI730524B (zh) 身份認證方法、裝置和系統
JP6915542B2 (ja) 情報処理装置、通知システム、情報送信方法及びプログラム
US8107676B2 (en) Line length estimation
JP5747116B1 (ja) 防犯システム
WO2021079549A1 (ja) ネットワークシステム、不審者検知装置、および不審者検知方法
JP6440327B2 (ja) 防犯システム、防犯方法、及びロボット
CN108897996B (zh) 标识信息关联方法及装置、电子设备及存储介质
JP2014170314A (ja) 情報処理システム、情報処理方法およびプログラム
JP2018181159A (ja) 防犯システム、防犯方法、及びロボット
WO2019178817A1 (zh) 一种产品销量提报方法、支付方法和终端设备
CN111090327A (zh) 商品信息的处理方法、装置及电子设备
WO2016088401A1 (ja) 防犯システム
JP2002368888A (ja) ドアフォン装置
TWM499605U (zh) 使用電子標籤之信息推送系統
KR20180001529A (ko) 매장 관리 장치 및 방법
TW201629868A (zh) 使用電子標籤之信息推送系統及方法
JPWO2018074027A1 (ja) 異常検出装置、制御方法、及びプログラム
CN113284137B (zh) 纸张褶皱检测方法、装置、设备及存储介质
JP2009151485A (ja) 不審行動検出システム，不審行動検出方法及び不審行動検出プログラム
JP2014016969A (ja) 顔照合システム
JP6210554B2 (ja) 認識装置、認識プログラム及び認識方法
US11659273B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
CN114742561A (zh) 人脸识别方法、装置、设备及存储介质
US20230252479A1 (en) Method of automatically detecting abnormal transactions online
JP2021033338A (ja) 電子決済端末を利用した監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20880000

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20880000

Country of ref document: EP

Kind code of ref document: A1