WO2018012148A1 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
WO2018012148A1
WO2018012148A1 PCT/JP2017/021031 JP2017021031W WO2018012148A1 WO 2018012148 A1 WO2018012148 A1 WO 2018012148A1 JP 2017021031 W JP2017021031 W JP 2017021031W WO 2018012148 A1 WO2018012148 A1 WO 2018012148A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
user
monitoring device
monitoring
abnormality
Prior art date
Application number
PCT/JP2017/021031
Other languages
English (en)
French (fr)
Inventor
礼子 岸
増田　誠
秀人 小池
Original Assignee
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 沖電気工業株式会社 filed Critical 沖電気工業株式会社
Priority to US16/302,434 priority Critical patent/US10629036B2/en
Publication of WO2018012148A1 publication Critical patent/WO2018012148A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D9/00—Counting coins; Handling of coins not provided for in the other groups of this subclass
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/205—Housing aspects of ATMs
    • G07F19/2055—Anti-skimming aspects at ATMs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • This disclosure relates to a monitoring device that monitors an operation unit of an automatic transaction device.
  • an automatic teller machine (ATM) of a financial institution and an automatic teller machine (CD: Cash Dispenser) are known.
  • Automatic transaction apparatuses are installed in branches of financial institutions such as banks and stores such as convenience stores. A user can perform transactions such as deposit, withdrawal, and balance inquiry by performing various operations with an input key or a touch panel according to the display screen of the operation unit of the automatic transaction apparatus.
  • an abnormal behavior detection device that can take an appropriate action such as preventing an illegal act by a person to be detected by obtaining an output of information related to an abnormal act or an abnormal position that leads to a cheating act of a person (Japanese Patent Laid-Open No. 2012). -141989).
  • a monitoring control system that makes it easy to grasp the situation for controlling a controlled object even when the number of persons and events to be controlled is large and the amount of information to be monitored is large (Japanese Patent Application Laid-Open No. 2003-044127). Publication).
  • a monitoring device image a user who operates an automatic transaction device using a surveillance camera, and analyze the moving image to trouble such as criminal behavior such as skimming, confusion behavior of the user, forgetting to remove cards, etc. There are things that detect actions.
  • This disclosure provides a monitoring device capable of improving the accuracy of abnormal operation detection for various operations of the user in the operation unit of the automatic transaction apparatus and capable of dealing with various abnormalities.
  • a first aspect of the present disclosure is a monitoring device that monitors an operation unit of an automatic transaction apparatus, and a learning holding unit that learns and holds a standard scene data group obtained by dividing a standard operation for each series of action items;
  • a feature extraction unit that extracts actual target motion data from real scene data of a series of operation items of a user's operation obtained from an imaging unit that faces and captures the operation unit, and along the series of operation items
  • a detection unit that correlates the actual target motion data with the standard scene data group, compares each of the motion items, determines an abnormal level of the user's operation, and outputs an abnormality occurrence signal in response thereto ,including.
  • the standard operation (normal operation model) of the automatic transaction apparatus is previously learned as the standard scene data for each operation item and each analysis area, and the criminal behavior in the actual operation Anomalies are detected by comparing actual target motion data extracted from a moving image (actual scene data) obtained by capturing abnormal motions of the user in real time, such as trouble or trouble, with standard scene data for each motion item.
  • an abnormal level is determined according to the abnormal value and the importance (weighting) of the action item in which the abnormality has occurred, and an abnormality is handled according to the abnormal level.
  • the 1st mode of this indication can improve the accuracy of abnormal operation detection about various operations of the user in the operation part of an automatic transaction device.
  • the monitoring device of the present disclosure can include various abnormality handling units such as issuing an alarm and calling a guard.
  • FIG. 1 is a block diagram illustrating a configuration of a monitoring device for an automatic transaction device according to a first exemplary embodiment.
  • FIG. 2 is a schematic perspective view showing the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 3 is a diagram showing an automatic transaction apparatus according to the first exemplary embodiment and a user operating the automatic transaction apparatus.
  • FIG. 4 is an overhead view mainly looking down at the front of the external configuration of the operation unit of the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 5A is an overhead view showing an example of normal operation A mainly for the external configuration of the operation unit of the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 5B is an overhead view showing an example of an abnormal operation B mainly for the external configuration of the operation unit of the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 6 is a graph showing a relationship between a normal motion model and detection data in a feature space used in motion determination performed by the monitoring device of the first exemplary embodiment.
  • FIG. 7 is a chart showing a flow of normal operation performed by the monitoring apparatus of the first exemplary embodiment.
  • FIG. 8 is an overhead view illustrating an example of how to divide analysis areas in which operations are performed in the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 9 is an overhead view illustrating an example of an operation that can occur in the analysis area “card slot” in which the operation is performed in the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 10 is a chart showing an operation learned in the monitoring apparatus of the first exemplary embodiment.
  • FIG. 11 is a flowchart showing an operation flow performed by the monitoring apparatus according to the first exemplary embodiment.
  • FIG. 12 is a flowchart illustrating an operation flow of operation determination performed by the monitoring apparatus according to the first exemplary embodiment.
  • FIG. 13 is a flowchart illustrating an operation flow of the abnormality handling process performed by the monitoring apparatus according to the first exemplary embodiment.
  • FIG. 14 is a chart illustrating an example of an abnormality level and an abnormality response performed by the monitoring apparatus according to the first exemplary embodiment.
  • FIG. 15 is a block diagram illustrating a configuration of an automatic transaction apparatus equipped with a monitoring apparatus according to the second exemplary embodiment of the present disclosure.
  • FIG. 15 is a block diagram illustrating a configuration of an automatic transaction apparatus equipped with a monitoring apparatus according to the second exemplary embodiment of the present disclosure.
  • FIG. 16 is a flowchart showing an operation flow performed in the monitoring device of the second exemplary embodiment.
  • FIG. 17 is a block diagram showing a configuration of an automatic transaction apparatus equipped with a monitoring apparatus according to the third exemplary embodiment.
  • FIG. 18 is a schematic perspective view showing an automatic transaction apparatus according to the third exemplary embodiment.
  • FIG. 19 is a diagram showing a user's image acquired by the face imaging camera in the third exemplary embodiment.
  • FIG. 20 is a flowchart illustrating an operation flow of operation determination performed by the monitoring apparatus according to another exemplary embodiment.
  • ATM automatic transaction apparatus
  • the monitoring device of this exemplary embodiment uses a technique for checking whether there is an abnormality according to the operation flow of the user's operation because the operation flow of the user operating the ATM is often determined to some extent. .
  • various operations such as inserting a card, touching the screen, and inserting a bill occur in the series of operation flow.
  • various movements that are confused by the operation such as placing a hand on the device by a user, occur. Therefore, when learning all these operations as normal operations, it is possible that the monitoring device may miss the abnormal behavior or may be erroneously detected even if the normal behavior is performed.
  • the movement and the position are different depending on the operation, so that it is difficult to detect an abnormal operation with a fine difference.
  • the monitoring apparatus of the first exemplary embodiment when using ATM, the fact that the operation flow is determined to some extent is used, and the normal operation flow is divided into a plurality of operation items. Divide and learn individually for each action item to build a normal action model (standard scene data group), compare it with the normal action model for each action item of the user's operation, and check whether there is any abnormality to decide. Therefore, in the monitoring apparatus of the first exemplary embodiment, the action items are arranged along the operation sequence, a plurality of analysis areas are determined in advance in the moving image in which each action item occurs, and the action items are operated for each analysis area. Learning is performed for each item, and a normal operation model of normal operation is prepared.
  • the monitoring device of the second exemplary embodiment recognizes the change point (start and end) of each action item in combination with the status information of ATM. For example, if the card is read in the status information of ATM at the timing when the user performs the operation “card insertion”, it can be determined that the operation “card insertion” is completed.
  • an ATM skimming criminals is caught, a suspicious person wearing a mask or sunglasses is watched, an elderly person's operation is detected, and an elderly person's transfer is detected.
  • the method of detecting abnormal behavior in combination with the detection of the user attribute of detecting fraud is to be incorporated. This realizes stable abnormal motion detection by combining the first and second exemplary embodiments with information obtained by detecting and collating the user's face from another face detection camera.
  • FIG. 1 is a block diagram illustrating a configuration of a monitoring device 11 according to the first exemplary embodiment and an ATM 13 used by a monitoring target user 10.
  • FIG. 2 is a schematic perspective view showing the ATM 13 of the first exemplary embodiment and the monitoring camera 15 of the monitoring device.
  • FIG. 3 is a schematic diagram showing the ATM 13 of the first exemplary embodiment and the user 10 who is operating it.
  • a monitoring camera 15 of the monitoring device 11 is attached to a ceiling or the like above the operation unit of the ATM 13.
  • the card 25 is a general ATM-dedicated card that can be inserted into the ATM 13 and used for a financial transaction with a financial institution, and is returned to the user 10 when the use is completed.
  • the operation unit outside the ATM 13 housing is provided with a banknote deposit / withdrawal port shutter 13a, a card port 13b, a receipt port 13c, a screen 13d such as a liquid crystal display, and an input unit number key 13e. ing.
  • the user 10 operates these directly and performs a transaction at ATM13.
  • ATM13 performs the financial transaction with a financial institution via a communication line by operation via the operation part of the user 10.
  • the monitoring camera 15 mainly captures a moving image at hand of the user 10 by imaging the operation unit of the ATM 13.
  • the monitoring device 11 detects an abnormality in the operation of the user 10 from the moving image of the camera 15, but in the first exemplary embodiment, the ATM 13 and the abnormal operation detection unit 17 are directly connected. It has no configuration.
  • FIG. 4 is a single moving image (overhead view) that mainly looks down at the front of the external configuration of the operation unit of the ATM 13 that is a moving image captured by the camera 15.
  • the camera 15 is installed at a location where an operation sequence of the user 10 can be captured so that a moving image of the operation unit of the ATM 13 can be acquired from the camera 15.
  • the camera 15 is connected to the monitoring device 11 by at least one of wired and wireless.
  • FIG. 5A and FIG. 5B are examples of one image of a moving image captured by the monitoring device 11 of the camera 15 to be monitored, and normal operation (FIG. 5A) and abnormal operation (FIG. 5B) mainly for the operation unit of the ATM 13.
  • FIG. 5A normal operation
  • FIG. 5B abnormal operation
  • Normal operation using the ATM 13 can be considered as inserting / removing a card as shown in FIG. 5A, inputting a password, operating a screen, inserting a bill, receiving a receipt, and the like. Further, the state where there is no operation such as the unattended state or the waiting state ATM 13 in FIG. 4 is also handled as a normal operation.
  • FIG. 5B shows a state in which the skimming device is attached to the card insertion slot with the right hand using a tool with the right hand. Note that the first exemplary embodiment is intended to detect criminal behavior among abnormal operations.
  • the monitoring apparatus 11 shown in FIG. 1 includes a camera 15 that images the operation unit of the ATM 13 and an abnormality detection unit 17 that performs abnormality detection based on the captured moving image of the operation unit space and outputs an abnormality occurrence signal.
  • the camera 15 is a form of a moving image input unit that acquires data of the moving image, and is a digital moving image camera or the like. The camera 15 outputs the acquired moving image data.
  • the abnormality detection unit 17 includes a moving image input unit (not shown) that acquires moving image data from the camera 15, for example, a cable interface, and a feature extraction unit 17a connected thereto.
  • the feature extraction unit 17a extracts a feature amount (actual target motion data) from moving image data of an actual scene captured by a user or the like of the operation unit space input from the camera 15.
  • the feature extraction unit 17a converts the moving image of the actual scene data into a form that can be easily analyzed, and extracts and accumulates the feature amount of the moving image as detection data.
  • the abnormality detection unit 17 includes a learning unit 17b and a storage unit 17d.
  • the learning unit 17b acquires a plurality of feature amounts of a plurality of normal operations of the user of the operation unit from the feature extraction unit 17a, obtains a plurality of normal operation models (standard scene data group), and obtains these normal behavior dictionaries. Is stored in the storage unit 17d. It is also possible to prepare a plurality of normal behavior dictionaries 17d including normal operation models learned by changing parameters (for example, processing parameters for haze reduction (image sharpening)). Each of the plurality of normal operation models is obtained by learning the normal operation separately for each specific analysis area in the moving image for each operation item.
  • a plurality of analysis areas are determined in advance in a moving image in which action items occur in accordance with an operation sequence, learning is performed for each analysis area and action item, and a normal action model of normal action is obtained.
  • feature quantities are extracted, and feature quantities that exist in common with one normal operation are stored in advance as normal operation models.
  • Each normal operation model is automatically calculated by a statistical method from the collected moving images by the feature extraction unit 17a.
  • the abnormality detection unit 17 shown in FIG. 1 also has a detection unit 17c.
  • the detection unit 17c is based on the target feature amount extracted by the feature extraction unit 17a from the moving image of the operation sequence of the target user 10 acquired by the camera 15, and the normal operation model held by the learning unit 17b.
  • the abnormality level is determined, and an abnormality occurrence signal corresponding to the abnormality level is output.
  • the detection unit 17c calculates an abnormal value by comparing with a normal operation model held for each operation item according to the target feature amount and the operation sequence, and when this is equal to or greater than a predetermined threshold value.
  • the abnormal value is weighted with the importance for each action item to determine an abnormal level, and an abnormality occurrence signal corresponding to the abnormal level is output.
  • some feature amount is extracted from the moving image in the operation unit space to be recognized.
  • the feature amount for example, the shape of an object in a moving image such as the inclination of the edge of the card port 13b or the receipt port 13c in the moving image, the curvature, the area, or the like is used.
  • the feature amount is usually expressed as a feature vector.
  • a space formed by a plurality of feature vectors is called a feature space, and each feature vector is represented as one point on the feature space.
  • Fig. 6 shows an image of normal operation model and detection data in a simplified feature space.
  • the feature space is two-dimensional (actually 251 dimensions), and the normal operation partial space P is one-dimensional.
  • a group for each number is formed.
  • the obtained normal operation subspace S is present in the vicinity including the feature amount of normal operation. Since the vertical distance L with respect to the normal motion partial space S is large, the abnormal value of the abnormal motion feature amount A deviates is determined based on the vertical distance L.
  • a plurality of points are scattered finely and a cluster is a normal operation model (a feature vector group of a certain normal operation).
  • a large circle A hit by one point is the position of the detection data (a feature vector of an abnormal operation different from a normal operation).
  • the detection unit 17c obtains the distance between the normal operation model and the position of the detection data (feature amount) using the normal action dictionary 17d created by learning in advance, and sets this as an abnormal value.
  • the abnormal value increases as the distance between the normal operation model and the position of the detection data (L in FIG. 6) increases.
  • the monitoring device 11 can include an alarm unit 18 that generates a warning plan according to an abnormality occurrence signal from the detection unit 17 c and a communication unit 19 that outputs the abnormality occurrence signal to the outside. .
  • the alarm unit 18 is an abnormality response unit that issues an alarm by sound such as an alarm bell.
  • the communication unit 19 transmits, for example, moving image data from the camera to the monitoring center and leaves a moving image log, a configuration for calling a monitoring person, a guard, or a clerk, or communication with the ATM 13 to interrupt the processing.
  • it can function as a part of an anomaly handling unit such as a configuration that starts over from the beginning, or a configuration that communicates with the ATM 13 to alert a user by recording or from a remote voice.
  • the log is moving image data or character data in which generated information and the like are accumulated in a time series in a certain format.
  • the monitoring device 11 is a computer including a CPU and a memory (ROM, RAM, HDD, etc.), and controls the components in the abnormality detection unit 17 by cooperation of the CPU and the memory based on a program installed in the memory. And various data such as measurement data between them are written, read and processed.
  • the series of processes by the components in the abnormality detection unit 17 in the monitoring device 11 may be realized using any of software, hardware, and a combination of software and hardware.
  • a program constituting the software is stored in advance in a memory provided in the apparatus. Each program is read into a RAM when executed by a computer and executed by a CPU, for example.
  • ATM13 various operations (operation sequences) are performed in one transaction of the user 10.
  • the ATM 13 will be described as an example of an automated teller machine that can only deposit cash.
  • FIG. 7 is a table showing the relationship between the normal operation flow of the user performed by the ATM 13 in the deposit operation sequence, the analysis area, and the importance. Information of such a table is stored in the storage unit 17d of the monitoring device 11.
  • the importance is determined so that a criminal act can be found as much as possible by determining the content of a specific operation in the operation unit, for example, the degree to which the criminal act is easily performed.
  • the purpose is to detect criminal behavior, but the importance can be adjusted in accordance with the purpose of detecting an abnormal operation.
  • the depositing operation sequence starts when the user 10 inserts the card 25 into the card slot as the operation item 1. Since an instruction to input a personal identification number is displayed on the ATM screen 13d, the user inputs the personal identification number as the operation item 2 using the number key 13e. When the password is correct, the ATM 13 automatically opens the shutter 13a as the operation item 3. The user 10 inserts a cash bill into the shutter opening as the operation item 4. The ATM 13 automatically closes the shutter 13a as the operation item 5. Since the ATM 13 discharges the receipt from the receipt port 13c, the user 10 receives the receipt as the operation item 6. Since the ATM 13 ejects the card 25 from the card slot 13b (operation item 7), the transaction ends when the user 10 receives the card 25 as the operation item 8.
  • a plurality of action items in accordance with a standard operation sequence correspond to a plurality of normal action videos obtained by imaging normal actions during a standard user transaction. Therefore, the learning unit 17b and the storage unit 17d shown in FIG. 1 do not learn a series of operations as one normal operation and build a normal operation model, but here, the learning is divided into operations for each operation item. Multiple normal operation models.
  • the areas where the operations are performed are associated with each other.
  • different operations are performed in the four analysis areas of the card port, number key, shutter, and receipt port, respectively.
  • FIG. 8 shows images of four analysis areas. A plurality of analysis regions are provided in one moving image.
  • the “card opening area” surrounded by the broken line A in (1) of FIG. 8 is an area including the card opening 13b.
  • a “number key area” surrounded by a broken line B in (2) of FIG. 8 is an area including the number key 13e.
  • a “shutter region” surrounded by a broken line C in (3) of FIG. 8 is a region including the shutter 13a.
  • a “receipt port area” surrounded by a broken line D in (4) of FIG. 8 is an area including the receipt port 13c.
  • an area can be provided in a place where the operation is frequently performed, in addition to a method of dividing the area for each operation. That is, the area may be set according to the frequency of operation in the operation unit. It is preferable that the analysis area is provided in a place where a specific action in the operation unit, for example, a criminal act is easily performed. Also, for example, there is an idea that criminal devices are not often attached to a receipt mouth, and thus are not necessary for the receipt mouth.
  • the abnormal operation detection of the present disclosure for example, when it is desired to detect the content of a specific operation in the operation unit such as a mistake or confusion about the user's ATM operation, forgetting to take a card or a receipt, etc. Can set an analysis region at a specific location of the operation unit where mistakes, hesitations and forgets are likely to appear.
  • the analysis area can be set in a security-related part such as a password or a card slot, or in a specific place important for security.
  • the learning unit 17b shown in FIG. 1 learns a moving image within the range of each region, and the normal operation model learned in the same region when detected by the detection unit 17c. Compare.
  • the action items are divided by “by place where the action is performed”. Can do.
  • the area is the same “card slot”. Different operations may be performed at the same location.
  • FIG. 9 An example of operations that can occur in the area “card slot” is shown in FIG.
  • the “no operation” state as in (1) of FIG. 9 the “card insertion” state of the normal operation flow as in (2) of FIG. 9, the (3) of FIG.
  • Such actions as “card receipt” state, “pointing to (screen)” state as shown in FIG. 9 (4), and “holding ATM” state as shown in (5) in FIG. 9 can also occur.
  • the operation (1) in FIG. 9 is “no operation”
  • FIG. 10 is a table showing the relationship between the learning area and the operation in the learning unit 17b and the storage unit 17d shown in FIG.
  • learning of two types of operations “card insertion” and “card receipt”, is performed in the card slot area.
  • Each of the other three areas (number key, shutter, receipt port) is also subjected to learning of one type of operation (password entry, bill insertion, receipt receipt).
  • learning of “no action” state and “other normal behavior” is performed in each region.
  • a total of 13 operations are individually learned in four regions, and a normal operation model of each operation is constructed in the storage unit 17d. “No action” can be used to determine whether an action is occurring.
  • “Other normal behavior” can be used to detect whether or not an abnormality has occurred in another region while an operation is occurring in a certain region.
  • the monitoring device 11 of the first exemplary embodiment shown in FIG. 1 can include various abnormality handling units.
  • the abnormality handling unit will be described.
  • the alarm reporting unit of the alarm unit 18 described above is included as an abnormality handling unit that operates according to an abnormality occurrence signal from the detection unit 17c in the monitoring device 11. Further, the monitoring device 11 includes the communication unit 19 described above.
  • the communication unit 19 functions as a part of the abnormality response unit, but works in response to the abnormality occurrence signal, a response unit that alerts the user by recording or remote sound, and a moving image captured by the imaging unit in the monitoring center
  • Corresponding unit that transmits data, corresponding unit that keeps a record of moving image data captured by the image capturing unit, corresponding unit that notifies the person of the supervisor, guard, or clerk, and the user who interrupts the use of the automatic transaction apparatus
  • the monitoring device 11 may include a corresponding unit that restarts the operation from the beginning.
  • a communication unit and an application corresponding to the abnormality occurrence signal are provided respectively.
  • the configuration of the abnormality handling unit that works in response to a further abnormality occurrence signal of the monitoring device 11 is used by visual display of light emission or display notation (for example, a second display individually arranged in ATM) according to the abnormality occurrence signal. It may be configured to notify the person and the surrounding people of the abnormality.
  • the configuration of the abnormality handling unit that works in response to a further abnormality occurrence signal of the monitoring device 11 may be a configuration that urges the monitoring monitor to be alerted visually or audibly. For example, when a moving image is seen at a monitoring center, it is conceivable to use a sound or highlight that pays attention to the monitoring monitor to cause the monitoring person to pay attention.
  • the configuration of the abnormality handling unit that works in response to a further abnormality occurrence signal of the monitoring device 11 may be a configuration that disables the automatic transaction device. For example, it can be considered that the ATM 13 cannot be used by the user 10.
  • the configuration of the abnormality handling unit that works in response to a further abnormality occurrence signal of the monitoring device 11 records the data information of the card number of the user 10 together with the actual target operation data, the abnormal value, the abnormal level, etc., that is, the log It may be configured to save.
  • the configuration of the abnormality handling unit that operates in response to a further abnormality occurrence signal of the monitoring device 11 may be a configuration that images the user's face and stores the image data. For example, it is conceivable to store face information of the user 10 captured from another angle.
  • the system automatically determines the response method, but it is also possible to select a response method by a person such as a monitor after confirming a moving image in which the monitor has detected an abnormality. It is.
  • the configuration of the abnormality handling unit that works according to the further abnormality occurrence signal of the monitoring device 11 includes all of the above-described abnormality handling units of the monitoring device, or at least two corresponding units, and monitors according to the abnormality occurrence signal. You may comprise so that the selection part which selects at least one corresponding part of an apparatus may be included.
  • the selection unit of the monitoring device 11 includes an external unit that preferentially selects at least one corresponding unit of the monitoring device 11 by an external signal from a person such as a monitor.
  • abnormality handling units it is possible to select any one of a plurality of abnormality handling units and automatically determine the abnormality handling unit according to the abnormality occurrence signal (abnormal level).
  • the configuration of the abnormality handling unit that works according to the further abnormality occurrence signal of the monitoring device 11 includes all of the above-described abnormality handling units of the monitoring device, or at least two corresponding units, and monitors according to the abnormality occurrence signal. You may comprise so that the selection part which selects at least one corresponding part of an apparatus may be included.
  • the abnormality detection unit 17 of the monitoring device starts the operation from waiting each component as step S1.
  • the abnormality detection unit 17 detects whether or not there is movement in any of the four regions (FIG. 8) from the moving image data from the camera 15 (step S2), and starts detecting abnormal operation when the movement is detected. Otherwise, the process returns to step S1 and the monitoring device waits until an operation is detected again.
  • the abnormality detection unit 17 performs a card insertion operation determination step S3.
  • the method of determining the operation is the same as the subsequent steps S6, S9, S12, and S15, and will be described later.
  • step S4 it is determined whether or not the result of the card insertion operation determination step S3 is abnormal (step S4).
  • step S17 If the abnormality detection unit 17 determines that there is an abnormality, the abnormality detection unit 17 proceeds to step S17 and performs an abnormality handling process.
  • step S17 of the abnormality handling process for example, an alarm is issued by the alarm unit 18 or a guard is called. Details of the abnormality handling step S17 will be described later. After the abnormality handling process, the process flow ends.
  • the abnormality detection unit 17 determines whether there is no movement in the card slot area and there is movement in the number key area (step S5). If the result is NO, the process returns to the card insertion operation determination (step S3).
  • step S6 If the abnormality detection unit 17 determines that there is no movement in the card slot area and that there is movement in the number key area, the process proceeds to step S6, and the operation for inputting the password is performed.
  • step S7 it is determined whether or not the result of the operation determination step S6 for inputting the password is abnormal.
  • the abnormality detection unit 17 determines that there is an abnormality, the abnormality detection unit 17 proceeds to step S17 and performs an abnormality handling process. After the abnormality handling process, the process flow ends.
  • the abnormality detection unit 17 determines whether or not the shutter has been opened (step S8). Here, if the answer is no, the process returns to the operation determination of the password input (step S6).
  • step S9 the bill insertion operation is determined.
  • step S10 it is determined whether or not the result of the bill insertion operation determination step S9 is abnormal (step S10).
  • the abnormality detection unit 17 determines that there is an abnormality, the abnormality detection unit 17 proceeds to step S17 and performs an abnormality handling process. After the abnormality handling process, the process flow ends.
  • the abnormality detection unit 17 determines whether the shutter is closed (step S11). Here, if it is no, it will return to operation
  • the abnormality detection unit 17 proceeds to step S12 and determines receipt receipt operation.
  • step S13 it is determined whether or not the result of the receipt determination operation determination step S12 is abnormal (step S13).
  • the abnormality detection unit 17 determines that there is an abnormality, the abnormality detection unit 17 proceeds to step S17 and performs an abnormality handling process. After the abnormality handling process, the process flow ends.
  • the abnormality detection unit 17 determines whether or not the card has been ejected (step S14). If no, the process returns to the receipt receipt operation determination (step S12).
  • the abnormality detection unit 17 proceeds to step S15 and performs a card receiving operation determination.
  • step S16 it is determined whether or not the result of the card receiving operation determination step S15 is abnormal.
  • the abnormality detection unit 17 determines that there is an abnormality, the abnormality detection unit 17 proceeds to step S17 and performs an abnormality handling process. After the abnormality handling process, the process flow ends.
  • step S16 If the abnormality detection unit 17 determines that there is no abnormality in step S16, the process ends.
  • FIG. 12 is a flowchart showing an operation flow of operation determination performed by the automatic transaction apparatus according to the first exemplary embodiment.
  • step S21 a moving image is read from the camera 15 and used as actual scene data.
  • the actual scene data input in step S22 is processed into a form that can be easily analyzed. For example, moving image resizing, cropping, gray scale conversion, and the like are performed to prepare for subsequent processing.
  • step S23 the feature amount of the moving image is extracted as detection data from each of the four areas in the actual scene data, and each is accumulated.
  • step S24 the position of the detection data in the feature space is obtained individually for the feature amounts in the four areas.
  • step S25 the distance between the normal operation model to be determined and the position of the detection data is obtained (FIG. 6).
  • step S25 in the case of step S3, since the card insertion operation is determined, the feature amount of the card slot area is compared with the normal operation model of “card insertion”, and the feature amount of the other areas is “others”. Compare with the normal behavior model of “normal behavior”.
  • step S25 if it is the case of step S6, it is a determination of the password input operation, so the number key area is compared with the normal operation model of "password input", and the other areas are "normal other normal” normal Compare with behavioral model. The same applies to step S25 in steps S9, S12, and S15.
  • this distance is set as an abnormal value. This is because there is a high possibility that the operation is different from the normal operation learned as the distance increases. An abnormal value is obtained for each region.
  • step S27 it is checked whether or not the abnormal value exceeds a predetermined threshold value for each area. When even one is exceeded, it is judged as “abnormal” and the process ends. Otherwise, the process proceeds to step S28. If it is determined that no operation is occurring in any area, the process ends as it is. If the operation continues, the process returns to step S21.
  • FIG. 13 is a flowchart showing an operation flow of an abnormality handling process performed by the automatic transaction apparatus according to the first exemplary embodiment.
  • FIG. 14 is a chart showing an example of an abnormality level and abnormality handling performed by the automatic transaction apparatus according to the first exemplary embodiment.
  • the abnormal level A is the highest abnormal level
  • the abnormal level E is the lowest abnormal level.
  • the importance (FIG. 7) of the action item in which an abnormality has occurred is checked in step S31.
  • an “abnormal level” serving as an index of the degree of abnormality is determined from the obtained abnormal value and the magnitude of importance.
  • the “abnormal level” can be determined only by the abnormal value.
  • step S33 an abnormality corresponding to the abnormality level as shown in FIG. 14 is performed.
  • the communication unit 19 notifies the guard.
  • step S33 if an alarm of an abnormal level B is issued, an alarm is issued from the alarm unit 18.
  • step S33 the communication unit 19 instructs the ATM 13 to redo the operation.
  • step S33 If the moving image log of abnormal level D is left in step S33, the moving image data is sent from the communication unit 19 to the monitoring center. Leave a video log.
  • step S33 In the case of alerting with an abnormal level E voice in step S33, a command is sent from the communication unit 19 to the ATM 13 for voice alerting.
  • the change point of the action item is determined based on the presence or absence of movement in the moving image.
  • a method of determining the change point of the action item a method is used when motion is detected in the moving image (when motion is no longer detected), or when motion is detected in the region (motion is no longer detected). There is a method using
  • a method of determining the start (end) of a series of ATM operations a method is used in which a user is imaged with another camera and the user enters (leaps) before the ATM.
  • a method in which a user's face is imaged with another camera and face detection is used.
  • a monitoring camera is attached to an automatic transaction apparatus, and a feature amount (actual target motion data) of a moving image (actual scene data) is calculated.
  • a feature amount (actual target motion data) of a moving image actual scene data
  • the abnormal behavior is automatically judged to be stable automatically, Various actions can be taken against abnormalities.
  • the abnormality detection unit 17 is independent of the ATM 13, it is necessary to detect from the moving image data when the operation of the user 10 changes.
  • the second exemplary embodiment is configured such that the abnormal operation detection unit 17 is electrically connected to the ATM 13 so that the abnormal operation detection unit 17 can obtain status information of the ATM 13.
  • the ATM status information is information that returns information when the ATM 13 recognizes the card 25, or information that returns information that has been input when a personal identification number is input.
  • the second exemplary embodiment by using the status information of the ATM, unlike the first exemplary embodiment, it is possible to determine the action item of the user.
  • FIG. 15 is a block diagram showing a configuration of an automatic transaction apparatus equipped with a monitoring apparatus of a second exemplary embodiment according to the present disclosure.
  • the configuration of the second exemplary embodiment is the same as the configuration of the first exemplary embodiment except that the monitoring device 11 is housed in the ATM 13 and connected to the ATM processing unit 13f as shown in FIG.
  • the monitoring device 11 can receive ATM status information.
  • steps S5, S8, S11, and S14 of the first exemplary embodiment are changed to steps S5a, S8a, and S11a, respectively, and step S17 (whether or not a card has been received).
  • steps S5a, S8a, S11a, and S17 of the second exemplary embodiment all grasp the state of the ATM, and can be determined by acquiring ATM status information from the ATM processing unit 13f.
  • information about the change point of the action item is acquired from the moving image in steps S5, S8, S11, and S14.
  • the change point of the action item is ATM. It is possible to determine the status information by acquiring the status information.
  • the contents that can be transacted by the ATM are only “deposit”, but the ATM can perform a plurality of transactions such as “deposit”, “transaction interruption”, “withdrawal”, There is something that can be done. In this case, in ATM, it is necessary to change the operation sequence to be compared for each transaction performed by the user.
  • this system can change the operation sequence to acquire status information from ATM and to detect based on this status information.
  • the user's face is imaged by another camera
  • the person's attribute information and the individual are determined by a method such as face detection and collation
  • the feature extraction unit of the monitoring device for example, A model parameter describing the relationship between a feature vector and a class, a probability distribution parameter such as a mean vector or a covariance matrix (hereinafter simply referred to as a parameter), or a normal action dictionary is changed or added.
  • FIG. 17 is a block diagram illustrating a configuration diagram of the third exemplary embodiment.
  • FIG. 18 is a schematic perspective view showing the external configuration of the ATM 13 of the third exemplary embodiment.
  • FIG. 19 shows a user's image acquired by the face imaging camera in the third exemplary embodiment.
  • a user imaging camera 31 is added.
  • the face imaging camera 31 is mounted on the screen 13 d of the ATM 13, for example, inside the casing on the back side of the rear confirmation half mirror so that it cannot be seen from the outside.
  • the camera 31 is arranged so that the user's face can be sufficiently imaged.
  • the third exemplary embodiment is a configuration in which a face imaging camera 31 and a face detection collation unit 33 are added to the second exemplary embodiment, and the others are the second exemplary embodiment.
  • the configuration is similar to that of the exemplary embodiment.
  • the face detection / collation unit 33 compares the detection unit 33a for detecting a person's face, the storage unit for the registration data 33b for storing the registered face data, and the registration data 33b and the detected face image data. And a collation unit 33c for collation.
  • the face detection collation unit 33 is also provided with a storage unit for a face detection dictionary 33d.
  • the face detection dictionary 33d stores information on the face model constructed when the face is learned in advance, and is used when the detection unit 33a detects the face.
  • the face detection dictionary 33d for example, a face image of a person wearing a mask or a person wearing sunglasses, a face image of a person wearing nothing, a face image of a specific individual such as a foreigner, etc. It is possible to store it in a plurality of parts.
  • the face detection collation unit 33 detects parameters of the detection unit 17c of the abnormal operation detection unit 17 For example, the abnormal value is changed so as to increase the threshold value.
  • the face detection / collation unit 33 changes the parameter of the feature extraction unit 17a, adds the normal action dictionary 17d (standard scene data group) of the abnormal operation detection unit 17, It is also possible to change from what is being used.
  • the face detection / collation unit 33 does not detect the concealment of the face but changes the parameters of the abnormal operation detection unit 17 according to the age and sex of the user determined by detecting the face of the user 10. It is also possible. In the face detection / collation unit 33, it is also possible to determine the user's gender and use the normal behavior dictionary 17d corresponding to the gender for detection.
  • the face detection / collation unit 33 for example, when the collation unit 33c is used for crime detection, the face of the addicted crime is registered in the registration data 33b in advance.
  • the matching unit 33c detects the face of the user 10 who matches or has a high degree of similarity with the face of the regular offender, the threshold value of the abnormal value of the detection unit 17c is increased or other parameters are increased. Is possible.
  • the abnormal operation detection unit 17 detects an abnormality
  • the face of the user 10 is detected and collated with the registration data 33b. If there is no person with a similar face in the registration data 33b, the user's face is registered as the registration data. 33b can be registered. If the detection unit 33a determines that the registration has already been made, the handling method can be changed.
  • a combination of information obtained by detecting and collating the user's face from another camera can prevent the crime from recurring due to a habitual crime, make it easier to detect a suspicious person, It is possible to detect using a normal behavior dictionary matched to attributes such as age and sex.

Abstract

本開示は、自動取引装置の操作部を監視する監視装置であって、標準操作を一連の動作項目ごとに分割した標準場面データ群を学習して保持する学習保持部と、操作部を臨んでこれを撮像する撮像部から得られる利用者の操作の一連の動作項目の実場面データから、実対象動作データを抽出する特徴抽出部と、一連の動作項目に沿って実対象動作データを標準場面データ群に対応させて、動作項目ごとに対比して、該利用者の操作の異常レベルを決定し、これに応じた異常発生信号を出力する検知部と、を含む、監視装置を提供する。

Description

監視装置
　本開示は、自動取引装置の操作部を監視する監視装置に関する。
　自動取引装置には、金融機関の現金自動預け払い機（ＡＴＭ：Automated Teller Machine）及び現金自動支払い機（ＣＤ：Cash Dispenser）等が知られている。自動取引装置は、銀行等の金融機関の支店やコンビニエンスストア等の店舗に設置されている。利用者は、自動取引装置の操作部の表示画面に応じて入力キーやタッチパネルで各種操作を行うことにより、入金、出金および残高照会等の取引を行うことができる。
　人物の不正行為につながる異常行為又は異常位置に係る情報の出力を得ることで、検知対象人物による不正行為を防止する等の適切な対応ができる異常行動検知装置が知られている（特開２０１２－１４１９８９号公報）。
　また、人物や事象の制御対象の数が多く監視すべき情報の量が多い場合でも制御対象を制御するための状況把握を容易にする監視制御システムが知られている（特開２００３－０４４１２７号公報）。
　監視装置として、監視カメラを用いて自動取引装置を操作する利用者を撮像して、その動画像の解析により、スキミング等の犯罪行動や、利用者の戸惑い行動やカード等の取り忘れ等のトラブル行為等を検知するものがある。
　しかし、特開２０１２－１４１９８９号公報の異常行動検知装置のように、動画像から検知対象の異常を検知する手法では、自動取引装置のように１つの操作部内で人物の様々な動作が行われる状況から、異常動作を見つけ出すことは難しい。
　特開２００３－０４４１２７号公報の監視制御システムの動作を監視する手法では、人物の行動が人それぞれ不安定で異なる動作が起こり易い状況において、異常動作の検知に誤報が起こりやすい。
　本開示は、自動取引装置の操作部における利用者の様々な動作についての異常動作検知の精度を向上でき、様々な異常対応が可能な監視装置を提供する。
　本開示の第１の態様は、自動取引装置の操作部を監視する監視装置であって、標準操作を一連の動作項目ごとに分割した標準場面データ群を学習して保持する学習保持部と、前記操作部を臨んでこれを撮像する撮像部から得られる利用者の操作の一連の動作項目の実場面データから、実対象動作データを抽出する特徴抽出部と、前記一連の動作項目に沿って前記実対象動作データを前記標準場面データ群に対応させて、前記動作項目ごとに対比して、該利用者の操作の異常レベルを決定し、これに応じた異常発生信号を出力する検知部と、を含む。
　本開示の第１の態様による監視装置によれば、予め自動取引装置の標準操作（正常動作モデル）を標準場面データとして動作項目ごと解析領域ごと個別に学習させておき、実際の操作における犯罪行動やトラブル等の利用者の異常動作をリアルタイムに撮像した動画像（実場面データ）から抽出した実対象動作データを、動作項目ごとの標準場面データと比較することで異常を検知する。そして、異常検知時には、異常値と異常が起こっている動作項目の重要度（重み付け）とに応じて異常レベルを判別し、異常レベルに応じた異常対応を行う。これにより、本開示の第１の態様は、自動取引装置の操作部における利用者の様々な動作についての異常動作検知の精度を向上できる。また、本開示の監視装置は、アラーム発報や警備員呼出しを行う等の様々な異常対応部を含むことができる。
図１は、第１の例示的実施形態の自動取引装置用の監視装置の構成を示すブロック図である。 図２は、第１の例示的実施形態に関わる自動取引装置を示す概略斜視図である。 図３は、第１の例示的実施形態に関わる自動取引装置と、これを操作している利用者を示す線図である。 図４は、第１の例示的実施形態に関わる自動取引装置の主に操作部の外部構成の正面を俯瞰する俯瞰図である。 図５Ａは、第１の例示的実施形態に関わる自動取引装置の主に操作部の外部構成に対する正常動作Ａの例を示す俯瞰図である。 図５Ｂは、第１の例示的実施形態に関わる自動取引装置の主に操作部の外部構成に対する異常動作Ｂの例を示す俯瞰図である。 図６は、第１の例示的実施形態の監視装置で行われる動作判定で用いる特徴空間での正常動作モデルと検知データの関係を示すグラフである。 図７は、第１の例示的実施形態の監視装置で行われる正常動作の流れを示す図表である。 図８は、第１の例示的実施形態に関わる自動取引装置において動作が行われる解析領域の分け方の例を説明する俯瞰図である。 図９は、第１の例示的実施形態に関わる自動取引装置において動作が行われる解析領域「カード口」で起こりうる動作の例を説明する俯瞰図である。 図１０は、第１の例示的実施形態の監視装置において学習する動作を示す図表である。 図１１は、第１の例示的実施形態の監視装置で行われる動作フローを示すフロー図である。 図１２は、第１の例示的実施形態の監視装置で行われる動作判定の動作フローを示すフロー図である。 図１３は、第１の例示的実施形態の監視装置で行われる異常対応処理の動作フローを示すフロー図である。 図１４は、第１の例示的実施形態の監視装置で行われる異常レベルと異常対応の例を示す図表である。 図１５は、本開示による第２の例示的実施形態の監視装置を内装した自動取引装置の構成を示すブロック図である。 図１６は、第２の例示的実施形態の監視装置で行われる動作フローを示すフロー図である。 図１７は、第３の例示的実施形態の監視装置を内装した自動取引装置の構成を示すブロック図である。 図１８は、第３の例示的実施形態に関わる自動取引装置を示す概略斜視図である。 図１９は、第３の例示的実施形態における顔撮像用カメラにより取得された利用者の画像イメージを示す線図である。 図２０は、他の例示的実施形態の監視装置で行われる動作判定の動作フローを示すフロー図である。
　以下、図面を参照しつつ本開示による例示的実施形態の現金を扱う自動取引装置（以下、ＡＴＭという）の監視装置の例について説明する。なお、本開示は以下の例示的実施形態に限定されるものではない。なお、例示的実施形態において、実質的に同一の機能および構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　本例示的実施形態の監視装置は、ＡＴＭを操作する利用者の動作フローがある程度決まっていることが多いため、利用者の操作の動作フローに応じて異常がないかを調べる手法を用いている。しかし、ＡＴＭを操作する利用者の動作フローがある程度のパターンに決まっているとはいえ、その一連の動作フロー内で、カードを入れる、画面を触る、紙幣を入れる等の様々な動作が発生し、また、利用者によっても装置に手を置く、操作に戸惑う様々な動きが発生する。よって、これらの動作を全て正常な動作だとして学習させる場合、異常な行動を見逃すことや、正常な行動を行っていても監視装置が誤検知してしまうことが起こりうる。ＡＴＭで起こりうるあらゆる動作を全て１つの正常行動として機械学習させると、動作によって動きも位置も異なるため、細かい違いを持った異常動作が検知され難くなってしまう。
　そこで、誤検知の解消する為に、第１の例示的実施形態の監視装置においては、ＡＴＭを利用する際、動作フローがある程度決まっていることを利用し、正常動作フローを複数の動作項目に分割して、動作項目ごとに個別に学習を行って正常動作モデル（標準場面データ群）を構築し、利用者の操作の動作項目ごとに正常動作モデルと比較し、異常があるか否かを判断する。そのため、第１の例示的実施形態の監視装置においては、動作項目は、操作シーケンスに沿って並べ、各動作項目が起こる動画像内で複数の解析領域を予め決めておき、解析領域ごとで動作項目ごとに学習を行い、正常動作の正常動作モデルを用意しておく。
　一方、ある程度のパターンが決まっている動作フローを用いると、各動作項目が何時終了したのか判断し難い場合がある。
　そこで、第２の例示的実施形態の監視装置では、ＡＴＭのステータス情報と組み合わせて各動作項目の変化時点（始まりや終わり）を認識している。例えば、「カード投入」という動作を利用者が行ったタイミングで、ＡＴＭのステータス情報にカードが読み込まれたら「カード段入」という動作が終了したと判断できる。
　また、第３の例示的実施形態の監視装置では、ＡＴＭスキミングの常習犯を捕まえる、マスクやサングラスを身に着けた怪しい人物には注意する、高齢者の操作の戸惑いを検知する、高齢者の振り込め詐欺を検知する、という利用者の属性の検出と組み合わせて異常動作検知を行う方法を、組みこむ事としている。これは、第１、２の例示的実施形態に、別の顔検出用カメラから利用者の顔を検知照合した情報を組み合わせて、安定な異常動作検知を実現している。
［第１の例示的実施形態］
　図１は、第１の例示的実施形態の監視装置１１と監視対象の利用者１０が利用するＡＴＭ１３との構成を示すブロック図である。図２は、第１の例示的実施形態のＡＴＭ１３とその監視装置の監視用カメラ１５を示す概略斜視図である。図３は、第１の例示的実施形態のＡＴＭ１３と、これを操作している利用者１０を示す概略線図である。
　図３に示すように、ＡＴＭ１３の操作部の上方には、監視装置１１の監視用カメラ１５が天井等に取り付けられている。カード２５は、一般的なＡＴＭ専用のカードであり、ＡＴＭ１３に挿入して金融機関との金融取引に使用することができ、利用終了時には利用者１０に返却される。
　ＡＴＭ１３の筐体外部の操作部には、紙幣入出金口用のシャッター１３ａ、カード口１３ｂと、領収書口１３ｃと、液晶ディスプレイ等の画面１３ｄと、入力部の番号キー１３ｅとが、設けられている。利用者１０は、これらを直接操作してＡＴＭ１３で取引を行う。ＡＴＭ１３は、利用者１０の操作部を介した操作で、金融機関との金融取引を、通信回線を介して実行する。
　監視用のカメラ１５は、ＡＴＭ１３の操作部を撮像して利用者１０の手元の動画像を主に取得する。本例示的実施形態では、監視装置１１は、カメラ１５の動画像から利用者１０の動作の異常を検知するが、第１の例示的実施形態ではＡＴＭ１３と異常動作検知部１７とは直接つながっていない構成となっている。
　図４は、カメラ１５に撮像された動画像であるＡＴＭ１３の主に操作部の外部構成の正面を俯瞰する１つの動画像（俯瞰図）である。カメラ１５は、ＡＴＭ１３の操作部の動画像がカメラ１５から取得できるように、利用者１０の操作シーケンスを撮像できる場所に設置されている。カメラ１５は、監視装置１１に有線又は無線の少なくとも一方でつながれている。
　図５Ａ，図５Ｂは、監視装置１１が監視対象であるカメラ１５を撮像された動画像の１つの画像、ＡＴＭ１３の主に操作部に対する正常動作（図５Ａ）と異常動作（図５Ｂ）の例を示す俯瞰図である。
　正常にＡＴＭ１３を使っている正常動作は、図５Ａのようなカードの出し入れ、暗証番号の入力、画面の操作、紙幣の投入、領収書の受け取り等が考えられる。また、図４の無人の状態や待ち状態のＡＴＭ１３等の動作がない状態も正常動作の扱いとなる。
　異常動作は、スキミングをはじめとする犯罪行動や、カード、領収書等の取り忘れや、トラブル行為等を対象としている。つまり異常動作は、正常動作の操作シーケンスに沿った行動ではない動きとする。一例として、図５Ｂは、右手で工具を用いてカード挿入口に右手でスキミング装置を取り付けている異常動作である様子を示している。なお、第１の例示的実施形態では異常動作の中でも犯罪行動検知を目的としたものとしている。
　図１に示す監視装置１１は、ＡＴＭ１３の操作部を撮像するカメラ１５と、撮像した操作部空間の動画像に基づいて異常検知を実行し異常発生信号を出力する異常検知部１７と、を含む。カメラ１５は当該動画のデータを取得する動画像入力部の一形態であり、デジタル動画カメラ等である。カメラ１５は、取得した動画のデータを出力する。
　異常検知部１７は、カメラ１５から動画像データを取得する動画像入力部（図示せず）例えばケーブルインターフェイス等と、これに接続された特徴抽出部１７ａを有する。特徴抽出部１７ａはカメラ１５から入力された操作部空間の利用者等の撮像された実場面の動画データから特徴量（実対象動作データ）を抽出する。特徴抽出部１７ａは、実場面データの動画を解析し易い形に直し、動画像の特徴量を検知データとして抽出し、蓄積する。
　異常検知部１７は、学習部１７ｂ及び記憶部１７ｄを有する。学習部１７ｂは、特徴抽出部１７ａから、操作部の利用者の複数の正常動作の複数の特徴量を取得して、複数の正常動作モデル（標準場面データ群）を求め、これを正常行動辞書として記憶部１７ｄに保持する。また、パラメータ（例えば、ヘイズリダクション（画像鮮明化）の処理パラメータ等）を変えて学習させた正常動作モデルを含む正常行動辞書１７ｄを、複数用意することも可能である。複数の正常動作モデルの各々は、予め正常動作を動画内の特定解析領域ごと動作項目ごとに分けて個別に学習したものである。学習に際しては、操作シーケンスに沿って動作項目が起こる動画像内で複数の解析領域を予め決めておき、解析領域ごと、動作項目ごとに学習を行い、正常動作の正常動作モデルを求めておく。このように、特徴量を抽出して１つの正常動作に共通して存在する特徴量を予め正常動作モデルとして保存しておく。各々の正常動作モデルは、収集された多数の動画像から特徴抽出部１７ａによって自動的に統計的手法で算出される。
　また、図１に示す異常検知部１７は検知部１７ｃも有する。検知部１７ｃは、カメラ１５で取得した対象の利用者１０の操作シーケンスの動画像から特徴抽出部１７ａによって抽出された対象特徴量と、学習部１７ｂで保持されている正常動作モデルとに基づいて、異常レベルを決定し、これに応じた異常発生信号を出力する。例えば、検知部１７ｃは、当該対象の特徴量と操作シーケンスに沿って動作項目ごとに対応する保持されている正常動作モデルと比較して異常値を算出し、これが所定の閾値以上となる場合は、この異常値に動作項目ごとの重要度で重みづけ処理を施して異常レベルを決定し、この異常レベルに応じた異常発生信号を出力する。
　利用者の異常動作をパターン認識するために、認識対象の操作部空間の動画像から何らかの特徴量を抽出している。特徴量としては、例えば、動画像内のカード口１３ｂや領収書口１３ｃのエッジの傾き、曲率、面積等の動画内の物の形や物の動き等が用いられる。特徴量は、通常、特徴ベクトルとして表される。一般に、複数の特徴ベクトルによる空間を特徴空間と呼び、各特徴ベクトルは、特徴空間上の１つの点として表される。パターン認識の１つの手法のモデルは、サンプルの動作のクラス（動作項目、解析領域）が同じ場合、それらの複数の特徴ベクトル（特徴量）は互いに似ており、異なる動作のクラスの特徴ベクトルは互いに異なるので、特徴空間上では、クラスごとにまとまった、クラスタ（点の塊）となる。この具体的な手法は、例えば、「大津展之“適用学習型汎用認識システム：ARGUS：その理論的構成と応用”，Synthesiology Vo.4(2), pp.70－79, May, 2011.「5.6異常検出」」に紹介されている。
　図６に簡略化した特徴空間での正常動作モデルと検知データのイメージを示す。図６は、説明を簡単にするために、特徴空間を２次元（実際には２５１次元）とし、正常動作の部分空間Ｐを１次元としたものであり、正常動作の特徴量が監視対象の個数ごとの集団を形成している。求められた正常動作部分空間Ｓは正常動作の特徴量を含む形で近傍に存在している。逸脱する異常動作の特徴量Ａは、正常動作部分空間Ｓとの垂直距離Ｌが大きくなるので、この垂直距離Ｌによって異常値を判定する。複数の点が細かく散らばってクラスタが正常動作モデル（或る正常動作の特徴ベクトル群）である。１点だけ打たれた大きな丸Ａが検知データ（或る正常動作と異なる異常動作の特徴ベクトル）の位置である。
　例えば、検知部１７ｃでは、予め学習によって作成した正常行動辞書１７ｄを用いて、正常動作モデルと検知データ（特徴量）の位置との距離を求めこれを異常値とする。異常値は正常動作モデルと検知データの位置との距離（図６のＬ）が大きいほど大きくなる。
　また、図１を参照すると、監視装置１１は、検知部１７ｃからの異常発生信号に応じて警告案を発生するアラーム部１８や、異常発生信号を外部に出力する通信部１９を含むことができる。
　検知部１７ｃは、予め決めた閾値より異常値が大きい場合、アラーム部１８と通信部１９の少なくとも一方に通知する。アラーム部１８は警報ベル等の音によるアラームを発報する異常対応部である。通信部１９は、例えば、監視センターにカメラからの動画像データを送信し、動画像のログを残させる構成や、監視員又は警備員又は行員を呼び出す構成や、ＡＴＭ１３と通信して処理を中断し最初からやりなおさせる構成や、ＡＴＭ１３と通信して録音又は遠隔からの音声による注意喚起をさせる構成といった異常対応部の一部として機能することができる。ここで、ログは、発生した情報等を一定の形式で時系列に蓄積した動画像データや文字データである。
　なお、監視装置１１は、ＣＰＵやメモリ（ＲＯＭ，ＲＡＭ，ＨＤＤ，etc.）を含むコンピュータで、メモリ搭載のプログラムに基づいてＣＰＵとメモリの協働により、異常検知部１７内の構成要素の制御と、それらの間の測定データ等の各種のデータの書込、読出および処理を行うように構成されている。監視装置１１における異常検知部１７内の構成要素による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、装置に設けられるメモリに予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵにより実行される。
　［操作シーケンス、動作項目及び重要度］
　利用者の異常動作をパターン認識するために、ある程度決まっている利用者のＡＴＭ操作の正常動作フローが用いられる。
　ＡＴＭ１３では利用者１０の１つの取引において様々な動作（操作シーケンス）が行われる。ここでは、ＡＴＭ１３は現金の預け入れしかできない現金自動預け入れ機を一例として説明する。
　図７は、預け入れ操作シーケンスにおけるＡＴＭ１３で行われる利用者の正常な動作フローと、解析領域と、重要度の関係を示すテーブルである。かかるテーブルの情報は、監視装置１１の記憶部１７ｄに格納されている。
　図７の重要度は、犯罪行為等の操作部における特定の動作の内容に応じてランキング設定されている。重要度について説明をすると、ある動作項目で異常を検知した時、小さな異常でもなるべく通知してほしい動作項目と、多少の異常では通知しなくてもよい動作項目がある。例えば、「カード投入」の動作で異常を検知した際は、犯罪行為の可能性があるが、「領収書受取」の動作で異常を検知した際は、ここまで取引しておりカードもまだＡＴＭ内に格納されているため、犯罪行為の可能性は低い。
　このように、重要度は、操作部における特定の動作の内容、例えば犯罪行為がお行われ易い度合で決めて、なるべく犯罪行為を見つけられるように設定することが好ましい。
　図７に記載の各動作項目の重要度の例は、数値が大きいほど重要度が高い。
　第１の例示的実施形態では犯罪行動の検知を目的としているが、この重要度は異常動作検知の目的に合わせて値を調整することが可能である。
　利用者の注意喚起を目的とした異常動作検知の場合は、「領収書受取」や「カード受取」という行為で異常が出たとき、取り忘れている可能性があるため重要度を上げる必要がある。利用者が間違え易い動作、迷い易い動作又は忘れ易い動作の場合も重要度を上げることができる。
　その他に、重要度について、不正防止を目的とする場合は、「暗証番号入力」や「カード投入」等のセキュリティ上重要な動作ほど高く設定することが好ましい。
　また、近年振り込め詐欺等の利用者を誘導した犯罪行為が存在する。そこで、利用者を誘導した犯罪行動の動作特徴が現れ易い特定の動作において重要度を上げて設定することが好ましい。
　図７に示すように、預け入れ操作シーケンスは、動作項目１として利用者１０がカード口へカード２５を入れることで始まる。ＡＴＭの画面１３ｄに暗証番号を入力する指示が出るので、動作項目２として、利用者は番号キー１３ｅを用いて暗証番号を入力する。暗証番号が正しい場合、動作項目３として、ＡＴＭ１３は自動的にシャッター１３ａを開ける。利用者１０は、動作項目４として、シャッター開口へ現金紙幣を投入する。ＡＴＭ１３は、動作項目５として、自動的にシャッター１３ａを閉じる。ＡＴＭ１３は、領収書口１３ｃから領収書を排出するので、動作項目６として、利用者１０は領収書を受け取る。ＡＴＭ１３はカード口１３ｂからカード２５を排出する（動作項目７）ので、動作項目８として、カード２５を利用者１０が受け取ることで取引は終了する。
　標準的な操作シーケンスに沿った複数の動作項目は、標準的な利用者の取引中の正常動作を撮像した複数の正常動作の動画にそれぞれ対応させる。よって、図１に示す学習部１７ｂ及び記憶部１７ｄにおいて、一連の動作を全て１つの正常動作として学習し正常動作モデルを構築するのではなく、ここでは、動作項目ごとの動作に分けて学習させて、複数の正常動作モデルを構築しておく。
　利用者の正常な１つの操作シーケンスにおいても、ＡＴＭ操作部のあらゆる場所（カード口、etc）で全く異なる動きを伴う。そのため、動画像範囲全体で解析するのではなく、ここでは、一連の動作を動作項目ごとに分けて、各動作ごとに、動画像範囲内を小面積に分けて解析する解析領域を設定する。以下、解析領域を単に「領域」ともいう。
　図７ではそれぞれ動作の行われる領域を対応させている。ここではカード口、番号キー、シャッター、領収書口の４つの解析領域において異なる動作がそれぞれ行われる。
　図８は４つの解析領域の画像を示す。１つの動画像内で解析領域を複数に設けている。図８の（１）のＡの破線で囲まれる「カード口領域」は、カード口１３ｂを含む領域である。図８の（２）のＢの破線で囲まれる「番号キー領域」は番号キー１３ｅを含む領域である。図８の（３）のＣの破線で囲まれる「シャッター領域」はシャッター１３ａを含む領域である。図８の（４）のＤの破線で囲まれる「領収書口領域」は領収書口１３ｃを含む領域である。
　領域を分ける方法は、動作する場所が異なるごとに分ける方法の他に、動作が頻繁に行われる場所に領域を設けることができる。すなわち、操作部における動作の頻度の高さに応じて領域を設定されていてもよい。解析領域は、操作部における特定の動作の内容、例えば、犯罪行為が行われ易い場所に領域を設けることが好ましい。また、例えば、犯罪装置が領収書口に取り付けられることはあまりないので、領収書口には必要ないという考え方もある。
　また、本開示の異常動作検知の目的の１つとして、例えば、利用者のＡＴＭ操作についての間違いや戸惑い、カードや領収書の取忘れ等、操作部における特定の動作の内容を検知したいという場合は、間違え、迷い、忘れが現れ易い操作部の特定の場所に解析領域を設定することができる。
　不正防止を目的とする場合は、暗証番号やカード口等のセキュリティに関わる部分、セキュリティ上重要な特定な場所に、解析領域を設定することができる。
　各動画像内で複数の領域を設けた場合は、図１に示す学習部１７ｂによって各領域の範囲内の動画を学習し、検知部１７ｃによって検知する際も同じ領域で学習した正常動作モデルと比較する。
　また、動作項目の分け方としては、上記の図７の動作項目で分けたような、「動作の内容ごと」に分ける方法の他に、「動作が行われる場所ごと」に動作項目を分けることができる。ただし、図７の動作項目１と８の「カード投入」と「カード受取」は異なる動作だが、領域は同じ「カード口」である。同じ場所で異なる動作が行われる場合がある。
　その他に、正常行動の中でも、様々な動作が起こりうる。領域「カード口」で起こりうる動作の例を図９に示す。正常動作フローの中で図９の（１）のような「何も動作がない」状態、図９の（２）のような正常動作フローの「カード投入」状態、図９の（３）のような「カード受取」状態、図９の（４）のような「画面を指す（押す）」状態、並びに図９の（５）のような「ＡＴＭに手をそえる」状態といった動作も起こりうる。よって、図１に示す学習部１７ｂ及び記憶部１７ｄにおいて、図９の（１）の動作は「何も動作がない」、図９の（１）、（４）、（５）の動作は「その他の正常行動」として学習し正常動作モデルを構築しておく。
　図１０に、図１に示す学習部１７ｂ及び記憶部１７ｄにおける学習する領域と動作の関係を示すデーブルである。
　図１０に示すように、カード口領域では「カード投入」と「カード受取」の２種類の動作の学習が行われる。その他の３つの領域（番号キー、シャッター、領収書口）にも各１種類の動作（暗証番号入力、紙幣投入、領収書受取）の学習がそれぞれ行われる。さらに、各領域で「何も動作がない」状態と「その他の正常行動」の学習が行われる。ここでは４つの領域において、計１３つの動作を個別に学習し、それぞれの動作の正常動作モデルを記憶部１７ｄに構築する。また、「何も動作がない」は動作が起きているかどうかの判別に用いることが可能である。「その他の正常行動」はある領域で動作が起きている最中に他の領域で異常が起きていないかどうかの検知に用いることが可能である。
　図１に示す第１の例示的実施形態の監視装置１１は、様々な異常対応部を含むことができる。異常対応部について説明する。
　監視装置１１における検知部１７ｃからの異常発生信号に応じて働く異常対応部として、上述のアラーム部１８のアラーム発報部が含まれている。また、監視装置１１には、上述の通信部１９が含まれている。通信部１９を異常対応部の一部として機能するが、異常発生信号に応じて働く、録音又は遠隔からの音声により利用者に注意喚起する対応部や、監視センターに撮像部で撮像された動画データを送信する対応部や、撮像部で撮像された動画データの記録を残す対応部や、監視員又は警備員又は行員の人間に通知する対応部や、自動取引装置の利用を中断し利用者に最初から操作をやり直させる対応部が、監視装置１１に含まれていてもよい。これら異常対応部の場合、異常発生信号に応じる通信部やアプリケーションがそれぞれに設けられる。
　監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、異常発生信号に応じて、ライト発光又はディスプレイ表記（例えばＡＴＭに個別配置されているセカンドディスプレイ）の視覚的により、利用者や周囲の人間に異常を知らせる構成でもよい。
　監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、監視モニタに視覚的又は聴覚的部で注意を促す構成でもよい。例えば、監視センターで動画像が見られる場合、監視モニタに注目するような音やハイライトを使って監視員に注目させることが考えられる。
　監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、自動取引装置を使用できなくする構成でもよい。例えば、利用者１０にＡＴＭ１３を使用できなくすることが考えられる。
　監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、利用者１０のカード番号のデータ情報等を、実対象動作データ、異常値、異常レベル等と共に記録する、すなわちログを取っておく構成でもよい。
　監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、利用者の顔を撮像しその画像データを保管する構成でもよい。例えば、別の角度から撮像した利用者１０の顔情報を保管しておくことが考えられる。
　また、本例示的実施形態ではシステムが対応方法を自動で判別するが、監視員等が異常を検知した動画像を確認したうえで、監視員等の人によって対応方法を選び決定する方法も可能である。
　そのために、監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、監視装置の上述した異常対応部の全て、又は少なくとも２つの対応部を含み、異常発生信号に応じ、監視装置の少なくとも１つの何れかの対応部を選択する選択部を含むように構成しもよい。この場合、監視装置１１の選択部は、監視員等の人による外部信号により監視装置１１の少なくとも１つの対応部を優先的に選択する外部部を備える。
　さらに、複数の異常対応部から何れかを選べる状態にしておき、異常発生信号（異常レベル）に応じて自動で異常対応部を決定することも可能である。
　そのために、監視装置１１の更なる異常発生信号に応じて働く異常対応部の構成は、監視装置の上述した異常対応部の全て、又は少なくとも２つの対応部を含み、異常発生信号に応じ、監視装置の少なくとも１つの何れかの対応部を選択する選択部を含むように構成しもよい。
　［異常検知処理］
　図１１、図１、図８を用いて本例示的実施形態の監視装置１１の動作フローを説明する。この動作フローは、背景には利用者１０による図７のような操作シーケンスの動作項目の流れ（現金自動預け入れ機の操作）に基づいている。
　監視装置の異常検知部１７は、ステップＳ１として各構成要素を待機させることから操作を開始する。
　利用者１０がＡＴＭにて取引を始めるためには操作部のカード口にカード２５を入れる必要がある。異常検知部１７が、カメラ１５からの動画データから４つの領域（図８）のいずれかで動きがあるか否かを検知し（ステップＳ２）、動きを検知した時、異常動作検知を始める。そうでない場合はステップＳ１へ戻り再度動作が検知されるまで監視装置は待機する。
　動きを検知してステップＳ３に進んだ場合は、異常検知部１７は、カード投入の動作判定ステップＳ３を行う。動作判定の方法は、後のステップＳ６、ステップＳ９、ステップＳ１２、ステップＳ１５と同じため後に述べる。
　次に、カード投入の動作判定ステップＳ３の結果が異常か否かを判定する（ステップＳ４）。
　異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理のステップＳ１７は、例えば、アラーム部１８のアラーム発報や警備員呼出し等を実行する。異常対応処理ステップＳ１７の詳細は後述する。異常対応処理の後、処理フローは終了する。
　異常検知部１７は、異常ではないと判定した場合、カード口領域で動きがなくなり、かつ、番号キー領域で動きがあるか否かを判定する（ステップＳ５）。ここで、否であれば、カード投入の動作判定（ステップＳ３）へ戻る。
　異常検知部１７は、カード口領域で動きがなくなり、かつ、番号キー領域で動きがあると判定した場合、ステップＳ６へ進み、暗証番号入力の動作判定を行う。
　　次に、暗証番号入力の動作判定ステップＳ６の結果が異常か否かを判定する（ステップＳ７）。
　異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。
　異常検知部１７は、異常ではないと判定した場合、シャッターが開口したか否かを判定する（ステップＳ８）。ここで、否であれば、暗証番号入力の動作判定（ステップＳ６）へ戻る。
　異常検知部１７は、シャッターが開口したと判定した場合、ステップＳ９へ進み、紙幣投入の動作判定を行う。
　次に、紙幣投入の動作判定ステップＳ９の結果が異常か否かを判定する（ステップＳ１０）。
　異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。
　異常検知部１７は、異常ではないと判定した場合、シャッターが閉じたか否かを判定する（ステップＳ１１）。ここで、否であれば、紙幣投入の動作判定（ステップＳ９）へ戻る。
　異常検知部１７は、シャッターが閉じたと判定した場合、ステップＳ１２へ進み、領収書受取の動作判定を行う。
　次に、領収書受取の動作判定ステップＳ１２の結果が異常か否かを判定する（ステップＳ１３）。
　異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。
　異常検知部１７は、異常ではないと判定した場合、カードを排出したか否かを判定する（ステップＳ１４）。ここで、否であれば、領収書受取の動作判定（ステップＳ１２）へ戻る。
　異常検知部１７は、カードを排出したと判定した場合、ステップＳ１５へ進み、カード受取の動作判定を行う。
　次に、カード受取の動作判定ステップＳ１５の結果が異常か否かを判定する（ステップＳ１６）。
　異常検知部１７は、異常と判定した場合、ステップＳ１７へ進み、異常対応処理を行う。異常対応処理の後、処理フローは終了する。
　異常検知部１７は、ステップＳ１６で異常ではないと判定した場合、終了する。
　［動作判定処理］
　動作判定ステップ（ステップＳ３、Ｓ６、Ｓ９、Ｓ１２、Ｓ１５）の詳細を述べる。図１２は、第１の例示的実施形態の自動取引装置で行われる動作判定の動作フローを示すフロー図である。
　ステップＳ２１でカメラ１５から動画像を読み込み実場面データとする。
　ステップＳ２２で入力された実場面データを解析し易い形に処理する。例えば、動画像のリサイズやクロッピング、グレースケール変換等を行い、以降の処理に備える。
　ステップＳ２３で実場面データ内の４つの各領域内から動画像の特徴量を検知データとして抽出し、それぞれ蓄積する。
　ステップＳ２４では特徴空間での検知データの位置を４つの各領域での特徴量について個別に求める。
　ステップＳ２５で判定したい正常動作モデルと検知データの位置との距離を求める（図６図）。
　ステップＳ２５について、ステップＳ３の場合であれば、カード投入動作の判定なので、カード口の領域の特徴量は「カード投入」の正常動作モデルと比較し、それ以外の領域の特徴量は「その他の正常行動」の正常動作モデルと比較する。
　ステップＳ２５について、ステップＳ６の場合であれば暗証番号入力動作の判定なので、番号キーの領域は「暗証番号入力」の正常動作モデルと比較し、それ以外の領域は「その他の正常行動」の正常動作モデルと比較する。なお、ステップＳ２５について、ステップＳ９、Ｓ１２、Ｓ１５の場合も同様である。
　図１２に戻ると、次に、ステップＳ２６でこの距離を異常値とする。距離が離れているほど学習した正常動作とは異なる動作である可能性が高いためである。異常値は各領域ごとにそれぞれ求まる。
　ステップＳ２７で各領域ごとに、異常値が予め決めた閾値を超えたか否かか調べる。１つでも超えていた場合は、「異常と判断」しで終了する。そうでない場合はステップＳ２８に進む。どの領域内でも動作が起きていない場合と判断した場合には、そのままで終了する。動作が続いている場合はステップＳ２１へ戻る。
　［異常対応処理］
　異常対応処理ステップＳ１７の詳細を説明する。
　図１３は、第１の例示的実施形態の自動取引装置で行われる異常対応処理の動作フローを示すフロー図である。図１４は、第１の例示的実施形態の自動取引装置で行われる異常レベルと異常対応の例を示す図表である。異常レベルＡが最も異常レベルが高いく、異常レベルＥが最も異常レベルが低い。
　異常対応処理において、ステップＳ３１で異常が起きている動作項目の重要度（図７）を調べる。
　ステップＳ３２では得られた異常値と重要度の大きさとから異常の度合の指標となる「異常レベル」を判定する。「異常レベル」は異常値だけで決めることも可能である。
　ステップＳ３３で図１４に示すような異常レベルに応じた異常対応を行う。異常動作検知部１７では、例えば、異常レベルＡの警備員呼出しの場合は、通信部１９から警備員に連絡する。
　ステップＳ３３で異常レベルＢのアラーム発報の場合は、アラーム部１８か、らアラームを発報する。
　ステップＳ３３で異常レベルＣのＡＴＭ操作やり直しの場合は、通信部１９からＡＴＭ１３へ操作をやり直しさせるように命令する。
　ステップＳ３３で異常レベルＤの動画像ログを残す場合は、通信部１９から動画像データを監視センターに送り。動画像ログを残させる。
　ステップＳ３３で異常レベルＥの音声による注意喚起の場合は、通信部１９からＡＴＭ１３に音声による注意喚起をするように命令を送る。
　ところで、第１の例示的実施形態では、図１１のステップＳ５，ステップＳ８，Ｓ１１，Ｓ１４において、動作項目の変化時点を動画像内の動きの有無でそれぞれ判断している。動作項目の変化時点を判断する方法としては、動画像内に動きが検知されたとき（動きが検知されなくなったとき）を用いる方法、領域内に動きが検知されたとき（動きが検知されなくなったとき）を用いる方法、がある。
　また、ＡＴＭの一連の動作の開始（終了）を判断する手法としては、別のカメラで利用者を撮像し、ＡＴＭの前に利用者が立ち入った（立去った）時を検知して用いる方法、別のカメラで利用者の顔を撮像し、顔の検知を用いる方法、がある。
　以上、第１の例示的実施形態によれば、自動取引装置に監視カメラを取付け、動画像（実場面データ）の特徴量（実対象動作データ）を算出し、例えば利用者の決められた行動や学習した正常な行動と異なる行為をした場合に、又は学習した異常な行動に当てはまる場合（標準場面データ群）に、異常な行動が行われていると自動で異常を安定して判断し、異常に対して様々な対応を実行できる。
［第２の例示的実施形態］
　第１の例示的実施形態では、異常検知部１７がＡＴＭ１３から独立している故に、利用者１０の動作が変わる時点を動画像データから検知する必要があった。第２の例示的実施形態は、異常動作検知部１７がＡＴＭ１３に電気的に接続され、異常動作検知部１７がＡＴＭ１３のステータス情報を取得することができるように構成されている。ここで、ＡＴＭのステータス情報とは、ＡＴＭ１３がカード２５を認識した際にはその情報を返す情報や、暗証番号が入力された際には入力済みである情報を返す情報、といったものである。第２の例示的実施形態では、このＡＴＭのステータス情報を利用することで、第１の例示的実施形態とは異なり、利用者の動作項目を判別することがでる。
　図１５は、本開示による第２の例示的実施形態の監視装置を内装した自動取引装置の構成を示すブロック図である。第２の例示的実施形態の構成は、図１５に示すとおり、ＡＴＭ１３に監視装置１１を内装しＡＴＭ処理部１３ｆに接続された以外、第１の例示的実施形態の構成と同一である。
　第２の例示的実施形態では、ＡＴＭ１３が現金処理等を行うＡＴＭ処理部１３ｆとつながっているため、監視装置１１は、ＡＴＭのステータス情報を受け取ることが可能である。
　第２の例示的実施形態の動作フローは、図１６に示すとおりである。第２の例示的実施形態の動作フローは、第１の例示的実施形態のステップＳ５，Ｓ８，Ｓ１１，Ｓ１４がステップＳ５ａ，Ｓ８ａ，Ｓ１１ａに夫々変わり、ステップＳ１７（カードが受け取られたか否か）が追加されている以外、第１の例示的実施形態の動作フロー構成と同一である。第２の例示的実施形態のステップＳ５ａ，Ｓ８ａ，Ｓ１１ａ，Ｓ１７のどれもＡＴＭの状態を把握するもので、ＡＴＭ処理部１３ｆからＡＴＭのステータス情報を取得することで判別することが可能である。第１の例示的実施形態では動作項目の変化時点について上記ステップＳ５，Ｓ８，Ｓ１１，Ｓ１４で動画から情報を取得していたが、第２の例示的実施形態では、動作項目の変化時点はＡＴＭからステータス情報を取得することで判別することが可能となる。
　［第２の例示的実施形態の変形例］
　第１の例示的実施形態、２では、ＡＴＭが取引できる内容が「お預入れ」のみとしたが、ＡＴＭは「お預入れ」、「取引中断」、「お引出し」等の複数の取引きができるものが一般的ある。この場合、ＡＴＭにおいて、比較する操作シーケンスを利用者が行っている取引ごとに変更する必要がある。
　取引が複数あるＡＴＭの場合、利用者にどの取引を行うか途中で選択させるのが一般的である。
　例えば図７の正常動作の流れで、動作２の「暗証番号入力」後に「お預入れ」「取引中断」「お引出し」を画面のタッチパネルから選択する動作がある場合を説明する。
　利用者が「お預入れ」を選ぶとその情報がＡＴＭのステータスに上書きされる。よって、本システムは、ＡＴＭからステータス情報を取得して、このステータス情報を基に検知させる操作シーケンスを変更することが可能になる。
　尚、ステータス情報を用いないで取引を判断するには、動作が分かれる項目で検知した動作に従って、操作シーケンスを変更するということが可能である。
第３の例示的実施形態
　第３の例示的実施形態では、別カメラにより利用者の顔を撮像し、顔検出照合等の手法により人物の属性情報や個人の判別を行い、その結果から監視装置の特徴抽出部の例えば、特徴ベクトルとクラスとの関係を記述するモデルのパラメータや、平均ベクトル、共分散行列等の確率分布のパラメータ等（以下、単にパラメータという）や正常行動辞書の変更や追加を行う。
　図１７は、第３の例示的実施形態の構成図を示すブロック図である。図１８は、第３の例示的実施形態のＡＴＭ１３の外部構成を示す概略斜視図である。図１９は、第３の例示的実施形態における顔撮像用カメラにより取得された利用者の画像イメージを示す。
　第３の例示的実施形態では、第２の例示的実施形態に用いたカメラの他に利用者の顔撮像用カメラ３１が加わっている。図１８に示すように、顔撮像用カメラ３１は、ＡＴＭ１３の画面１３ｄ上の例えば、後方確認ハーフミラーの背後側の筐体内部に、外部からは見えないように、実装されている。図１９に示すように、カメラ３１は、利用者の顔が十分に撮像できるように配置されている。
　図１７に示すように、第３の例示的実施形態は、第２の例示的実施形態に顔撮像用カメラ３１と顔検出照合部３３が加わった構成であって、それら以外は第２の例示的実施形態と同様の構成を有する。顔検出照合部３３には、人の顔を検出する検出部３３ａと、登録した顔データを格納する登録データ３３ｂの記憶部と、登録データ３３ｂと検出した顔画像データとを比較し同一人物か照合する照合部３３ｃと、が備えられている。また、顔検出照合部３３には顔検出辞書３３ｄの記憶部も備えられている。顔検出辞書３３ｄには、予め顔を学習した際に構築した顔モデルの情報が格納されており、検出部３３ａで顔を検知する際に用いる。
　顔検出辞書３３ｄには、例えば、マスクをつけた人や、サングラスをつけた人の顔の画像や、何もつけていない人の顔画像や、特定の個人例えば外国人の顔の画像等を複数に分けて格納しておくことが可能である。
　顔検出照合部３３は、利用者１０がその顔をマスクやサングラス、帽子等で一部又は大部分を隠ぺいし、その状態の顔を検知した場合、異常動作検知部１７の検知部１７ｃのパラメータ例えば異常値の閾値を高くするように、変更する。
　顔検出照合部３３は、異常値の閾値を高くする代わりに、特徴抽出部１７ａのパラメータを変更したり、異常動作検知部１７の正常行動辞書１７ｄ（標準場面データ群）を追加したり、通常使用しているものから変更することも可能である。
　また、顔検出照合部３３は、顔の隠ぺい検出ではなく、利用者１０の顔を検出して判別された当該利用者の年齢や性別に応じて、異常動作検知部１７のパラメータ等を変更することも可能である。また、顔検出照合部３３においては、利用者の性別を判別して、その性別に対応する正常行動辞書１７ｄを検知に使うというような方法も可能である。
　顔検出照合部３３において、例えば犯罪検知に照合部３３ｃを使う場合、常習犯の顔を登録データ３３ｂに予め登録しておく。照合部３３ｃが、該常習犯の顔と一致又は高い類似度を示した利用者１０がその顔を検出した場合は、検知部１７ｃの異常値の閾値を高くしたり、他のパラメータを高くすることが可能である。
　異常動作検知部１７において異常を検知した際、利用者１０の顔を検出し、登録データ３３ｂと照合し、登録データ３３ｂに類似の顔の人物がいない場合は、当該利用者の顔を登録データ３３ｂに登録することが可能である。検出部３３ａが既に登録済みと判定した場合は対応方法を変更することも可能である。
　第３の例示的実施形態によれば、別のカメラから利用者の顔を検知、照合した情報を組み合わせて、常習犯による犯罪の再発を防止したり、怪しい人物は検知しやすくしたり、利用者の年齢や性別等の属性に合わせた正常行動辞書を用いて検知したりすることが可能となる。
　［他の例示的実施形態の動作フロー］
　図２０を用いて他の例示的実施形態の監視装置１１の動作フローを説明する。上記第１の例示的実施形態～３では、異常検知の異常対応処理の後、処理フローは終了していた（図１１）が、他の例示的実施形態においては、図１９に示すように、ステップＳ４－Ｓ５間、ステップＳ７－Ｓ８間、ステップＳ１０－Ｓ１１間、ステップＳ１３－Ｓ１４間に異常対応処理ステップＳ１７をそれぞれ投入して、スキップ可能とすれば、異常を検知し異常対応処理ステップＳ１７へ進みながらも、終了せず操作を続けることもできる。
　日本出願特願２０１６－１３６４９８の開示は、その全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (35)

  1. 　自動取引装置の操作部を監視する監視装置であって、
    　標準操作を一連の動作項目ごとに分割した標準場面データ群を学習して保持する学習保持部と、
    　前記操作部を臨んでこれを撮像する撮像部から得られる利用者の操作の一連の動作項目の実場面データから、実対象動作データを抽出する特徴抽出部と、
    　前記一連の動作項目に沿って前記実対象動作データを前記標準場面データ群に対応させて、前記動作項目ごとに対比して、該利用者の操作の異常レベルを決定し、これに応じた異常発生信号を出力する検知部と、
    　を含む、監視装置。
  2. 　前記動作項目は、前記操作部における一連のアクセス動作の場面の組み合わせによって分類されている、請求項１に記載の監視装置。
  3. 　前記動作項目は、前記標準場面データ内の１つの場面内の部分領域の画像よって分類されている、請求項１に記載の監視装置。
  4. 　前記学習保持部は、前記標準場面データ内の前記操作部の一部分の画像を囲む少なくとも１つの解析領域を、前記動作項目に対応しかつ前記標準場面データに関連付けて保持する、請求項１～請求項３のいずれか１つに記載の監視装置。
  5. 　前記解析領域は、前記操作部における異なる動作に対応して異なる場所ごとに設定されている、請求項４に記載の監視装置。
  6. 　前記解析領域は、前記操作部における特定の動作の内容、又は、前記操作部における動作の頻度の高さに応じて設定されている、請求項５に記載の監視装置。
  7. 　前記特徴抽出部は、前記実場面データから前記実対象動作データとして特徴量を抽出し、前記検知部は、前記特徴量を前記標準場面データと比較して前記特徴量の異常値を求め、前記異常値と前記動作項目ごとの重要度とから前記異常レベルを決定する、請求項１～請求項６のいずれか１つに記載の監視装置。
  8. 　前記重要度は、前記操作部における特定の動作の内容に応じてランキング設定されている、請求項７に記載の監視装置。
  9. 　前記検知部は、前記実場面データの内容、又は、前記自動取引装置から取得したステータス情報に基づいて、前記動作項目の変化時点を判別する、請求項１～請求項８のいずれか１つに記載の監視装置。
  10. 　前記検知部は、前記自動取引装置で行える複数の処理の操作の種別を前記実場面データの内容に応じて判別する、請求項１～請求項９のいずれか１つに記載の監視装置。
  11. 　前記検知部は、前記自動取引装置で行える複数の処理の操作の種別を前記自動取引装置から取得したステータス情報に基づいて判別する、請求項１～請求項１０のいずれか１つに記載の監視装置。
  12. 　前記検知部は、前記実場面データによる動画像における利用者の動きがあった時に動作の開始タイミングを決定する、請求項１～請求項１１のいずれか１つに記載の監視装置。
  13. 　前記検知部は、前記実場面データによる動画像における利用者の動きがなくなった時に動作の終了タイミングを決定する、請求項１～請求項１２のいずれか１つに記載の監視装置。
  14. 　前記検知部は、前記実場面データによる動画像における利用者の一連の動作の開始又は終了の判断において、前記撮像部又は利用者を撮像する第２の撮像部によって、前記自動取引装置の前に人が立ち入る時又は退く時を検知して、動作の開始又は終了タイミングを決定する、請求項１～請求項１３のいずれか１つに記載の監視装置。
  15. 　前記操作部の前面の近傍を撮像する第３の撮像部と、利用者の顔と照合すべき人の顔の登録データを有している顔検出照合部とを更に備え、
    　前記顔検出照合部は、前記第３の撮像部によって顔検知をすることにより、前記自動取引装置の前に人が立ち入る時又は退く時を検知して、前記検知部に、動作の開始又は終了タイミングを通知する、請求項１～請求項１３のいずれか１つに記載の監視装置。
  16. 　前記顔検出照合部は、前記登録データに登録されている人物と高い類似度をもつ利用者の顔を検知した場合、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
  17. 　前記顔検出照合部は、利用者がその顔の一部又は大部分を隠ぺいしていることを検知した場合、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
  18. 　前記顔検出照合部は、利用者の顔を検出して判別された当該利用者の年齢や性別に応じて、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
  19. 　前記顔検出照合部は、利用者の顔が登録されている特定の個人の顔と判定された場合、前記特徴抽出部又は前記検知部のパラメータを変更する、請求項１５に記載の監視装置。
  20. 　請求項１５～請求項１９のいずれか１つに記載の監視装置において、前記顔検出照合部は、前記特徴抽出部又は前記検知部のパラメータを変更する代わりに、前記学習保持部に保持されている前記標準場面データ群に対して追加又は変更を加える、請求項１５に記載の監視装置。
  21. 　請求項１５～請求項１９のいずれか１つに記載の監視装置において、前記顔検出照合部は、前記特徴抽出部又は前記検知部のパラメータを変更し、かつ、前記学習保持部に保持されている前記標準場面データ群に対して追加又は変更を加える、請求項１５に記載の監視装置。
  22. 　前記顔検出照合部は、前記検知部から異常発生信号を取得した際の検知してある利用者の顔を、前記登録データと照合し、前記登録データに類似の人物がいない場合、当該利用者の顔を前記登録データに登録する、請求項１５～請求項１９のいずれか１つに記載の監視装置。
  23. 　前記異常発生信号に応じて、録音又は遠隔からの音声により利用者に注意喚起する対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  24. 　前記異常発生信号に応じて、アラーム発報による注意喚起により、利用者や周囲の人間に異常を知らせる対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  25. 　前記異常発生信号に応じて、ライト発光又はディスプレイ表記の視覚的により、利用者や周囲の人間に異常を知らせる対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  26. 　前記異常発生信号に応じて、監視センターに前記撮像部で撮像された動画データを送信する対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  27. 　前記異常発生信号に応じて、前記撮像部で撮像された動画データの記録を残す対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  28. 　前記異常発生信号に応じて、監視モニタに視覚的又は聴覚的部で注意を促す対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  29. 　前記異常発生信号に応じて、監視員又は警備員又は行員の人間に通知する対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  30. 　前記異常発生信号に応じて、前記自動取引装置を使用できなくする対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  31. 　前記異常発生信号に応じて、前記自動取引装置の利用を中断し利用者に最初から操作をやり直させる対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  32. 　前記異常発生信号に応じて、利用者のカード番号のデータを、前記実対象動作データと前記異常レベルと共に記録する対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  33. 　前記異常発生信号に応じて、利用者の顔を撮像しその画像データを保管する対応部を更に含む、請求項１～請求項２２のいずれか１つに記載の監視装置。
  34. 　請求項２３～請求項３３に記載の監視装置における少なくとも２つの前記対応部を含み、前記監視装置の少なくとも１つの前記対応部を前記異常レベルに応じて選択する選択部を含む、監視装置。
  35. 　請求項２３～請求項３３に記載の監視装置における少なくとも２つの前記対応部を含み、前記監視装置の少なくとも１つの前記対応部を、外部信号により前記監視装置の少なくとも１つの前記対応部を優先的に選択する外部部を含む、請求項３４に記載の監視装置。
PCT/JP2017/021031 2016-07-11 2017-06-06 監視装置 WO2018012148A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/302,434 US10629036B2 (en) 2016-07-11 2017-06-06 Surveillance device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016136498A JP6702045B2 (ja) 2016-07-11 2016-07-11 監視装置
JP2016-136498 2016-07-11

Publications (1)

Publication Number Publication Date
WO2018012148A1 true WO2018012148A1 (ja) 2018-01-18

Family

ID=60952884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021031 WO2018012148A1 (ja) 2016-07-11 2017-06-06 監視装置

Country Status (3)

Country Link
US (1) US10629036B2 (ja)
JP (1) JP6702045B2 (ja)
WO (1) WO2018012148A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6953331B2 (ja) * 2018-03-07 2021-10-27 日立チャネルソリューションズ株式会社 自動取引装置
JP6969468B2 (ja) * 2018-03-22 2021-11-24 沖電気工業株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
WO2020003477A1 (ja) * 2018-06-29 2020-01-02 株式会社オプティム コンピュータシステム、振込詐欺防止方法及びプログラム
JP7160602B2 (ja) * 2018-08-28 2022-10-25 ファナック株式会社 工具識別装置及び工具識別システム
CN109493540A (zh) * 2018-10-12 2019-03-19 深圳市雷凌广通技术研发有限公司 一种基于区块链技术的具有调节功能的atm机
WO2020148889A1 (ja) * 2019-01-18 2020-07-23 日本電気株式会社 情報処理装置
US20200388116A1 (en) * 2019-06-06 2020-12-10 Hewlett Packard Enterprise Development Lp Internet of automated teller machine
CN111242632A (zh) * 2020-01-07 2020-06-05 石化盈科信息技术有限责任公司 一种识别套现账户的方法、存储介质及电子设备
CN113420601B (zh) * 2021-05-27 2023-07-18 南方电网调峰调频发电有限公司 异常场景的监控方法、装置、计算机设备和存储介质
WO2023021550A1 (ja) * 2021-08-16 2023-02-23 日本電気株式会社 イベント検出システム、監視システム、イベント検出方法及び非一時的なコンピュータ可読媒体
US20220108591A1 (en) * 2021-10-13 2022-04-07 Pranav Jayabalan ATM Frauds Detection by Machine Learning System: SentryWare and SentryManager
US11881088B2 (en) * 2022-02-04 2024-01-23 Ncr Corporation Hand action tracking for card slot tampering
JP2024032618A (ja) * 2022-08-29 2024-03-12 富士通株式会社 異常送信プログラム、異常送信方法および情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312469A (ja) * 2000-05-01 2001-11-09 Ntt Data Corp 認証装置
JP2010079740A (ja) * 2008-09-26 2010-04-08 Secom Co Ltd 監視システム及び監視装置
JP2010079749A (ja) * 2008-09-26 2010-04-08 Secom Co Ltd 取引監視装置
JP2011154519A (ja) * 2010-01-27 2011-08-11 Nippon Atm Kk 監視カメラシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
JP2003044127A (ja) 2001-08-02 2003-02-14 Mitsubishi Heavy Ind Ltd プラント監視制御システム
JP4945297B2 (ja) * 2007-04-19 2012-06-06 株式会社日立製作所 端末監視装置
DE102008031281A1 (de) * 2008-07-02 2010-01-07 Wincor Nixdorf International Gmbh Selbstbedienungsgerät mit Überwachungsvorrichtung
JP5524250B2 (ja) 2012-01-18 2014-06-18 株式会社東芝 異常行動検知装置、監視システム、異常行動検知方法及びプログラム
CN103049955B (zh) * 2012-12-28 2015-09-23 广州广电运通金融电子股份有限公司 一种自助设备视频监控处理方法及装置
JP6447234B2 (ja) * 2015-02-26 2019-01-09 沖電気工業株式会社 端末監視装置、端末監視方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312469A (ja) * 2000-05-01 2001-11-09 Ntt Data Corp 認証装置
JP2010079740A (ja) * 2008-09-26 2010-04-08 Secom Co Ltd 監視システム及び監視装置
JP2010079749A (ja) * 2008-09-26 2010-04-08 Secom Co Ltd 取引監視装置
JP2011154519A (ja) * 2010-01-27 2011-08-11 Nippon Atm Kk 監視カメラシステム

Also Published As

Publication number Publication date
US10629036B2 (en) 2020-04-21
JP2018010332A (ja) 2018-01-18
JP6702045B2 (ja) 2020-05-27
US20190279468A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
WO2018012148A1 (ja) 監視装置
US10460300B2 (en) Method of preventing fraud and theft during automated teller machine transactions and related system
JP4686153B2 (ja) 情報処理装置、不正者検出方法および現金自動預け払い装置
JP4945297B2 (ja) 端末監視装置
CN103714631B (zh) 基于人脸识别的atm取款机智能监控系统
WO2017107734A1 (zh) 一种金融终端安全防护方法及系统
CN109345375B (zh) 一种可疑洗钱行为识别方法及装置
JP4961158B2 (ja) 自動取引装置および不審物検知システム
US11501301B2 (en) Transaction terminal fraud processing
CN101197676A (zh) 认证系统的管理方法
CN106340138A (zh) 一种交易行为检测方法及装置
JP5752882B2 (ja) 監視カメラシステム
WO2020167155A1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
CN111968315A (zh) 自动柜员机atm监控方法及装置、存储介质及电子设备
KR101494044B1 (ko) 부정 감시 방법 및 부정 감시 기능이 있는 현금 자동 거래 장치
JP2960490B2 (ja) 現金自動取引方式及び現金自動取引装置
US20240119809A1 (en) Hand action tracking for card slot tampering
JP2007087316A (ja) 自動取引装置及び自動取引システム
JP5192324B2 (ja) 監視システム及び自動取引装置
JP6900766B2 (ja) 接客要否判定装置、接客要否判定方法、及びプログラム
JP2010244570A (ja) 情報処理装置、不正者検出方法および現金自動預け払い装置
JP2007094588A (ja) 顔認証システム
JP3990879B2 (ja) Ａｔｍ監視システム
WO2019181140A1 (ja) 画像処理装置、画像処理方法、記録媒体および画像処理システム
JP5899300B2 (ja) 監視カメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17827280

Country of ref document: EP

Kind code of ref document: A1