WO2016136013A1 - 端末監視装置、端末監視方法及び記憶媒体 - Google Patents

端末監視装置、端末監視方法及び記憶媒体 Download PDF

Info

Publication number
WO2016136013A1
WO2016136013A1 PCT/JP2015/078361 JP2015078361W WO2016136013A1 WO 2016136013 A1 WO2016136013 A1 WO 2016136013A1 JP 2015078361 W JP2015078361 W JP 2015078361W WO 2016136013 A1 WO2016136013 A1 WO 2016136013A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
acquisition unit
information acquisition
information
state
Prior art date
Application number
PCT/JP2015/078361
Other languages
English (en)
French (fr)
Inventor
尚樹 栗田
増田　誠
秀人 小池
Original Assignee
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 沖電気工業株式会社 filed Critical 沖電気工業株式会社
Priority to CN201580073925.1A priority Critical patent/CN107209978A/zh
Priority to US15/545,236 priority patent/US20170372144A1/en
Priority to RU2017131511A priority patent/RU2680747C1/ru
Publication of WO2016136013A1 publication Critical patent/WO2016136013A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D9/00—Counting coins; Handling of coins not provided for in the other groups of this subclass
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a terminal monitoring device, a terminal monitoring method, and a storage medium.
  • confidential information examples include card information stored in a magnetic medium such as a credit card or a cash card, a personal identification number for personal authentication, and the like.
  • a device capable of reading card information hereinafter also referred to as a skimmer
  • ATM Automatic Teller Machine
  • Patent Document 1 a card insertion slot where a skimmer is installed, a card operation, and an ATM front panel or a surveillance camera that captures the periphery of the ATM front panel and its surroundings where the key input is likely to be voyeurized are used.
  • a technique is disclosed in which a suspicious object is automatically detected by photographing a certain interval from the end of a transaction to the start of the next transaction based on the transaction information and taking the difference.
  • Patent Document 2 discloses a technique for detecting a change in the shape of the front panel of the ATM by attaching a skimmer by irradiating an infrared pattern onto the front panel of the ATM and comparing the patterns.
  • Patent Document 3 an entry / exit detection sensor, a camera for monitoring a financial institution booth, and a camera for monitoring an ATM are linked to detect and monitor a user's behavior to detect suspicious behavior. And a technique for reporting a captured image to a management terminal are disclosed.
  • Patent Document 4 a verb representing the type of suspicious person's action and a noun related to the suspicious action are extracted, and a frequent action and a combination of nouns are detected to register the frequently appearing action as a suspicious action.
  • a technique for improving the clearance rate for subsequent suspicious behavior is disclosed.
  • an object of the present invention is to provide a new and improved terminal capable of detecting a suspicious operation on a terminal device with higher accuracy.
  • an operation information acquisition unit that acquires operation information indicating a user's operation on a terminal device, and the operation information acquired by the operation information acquisition unit Acquired by the extraction unit that extracts the user's specific operation, the state information acquisition unit that acquires the state information indicating the state of the terminal device, and the specific operation and the state information acquisition unit extracted by the extraction unit And a determination unit that determines whether or not the specific operation is a normal operation based on a correspondence relationship with the state information.
  • the determination unit may determine whether the specific operation is a normal operation based on whether the specific operation is an operation corresponding to a state of the terminal device.
  • the determination unit may determine whether the specific operation is a normal operation based on presence / absence of a state transition corresponding to the specific operation in the terminal device.
  • the terminal monitoring apparatus may further include a notification unit that notifies a determination result by the determination unit.
  • the state information acquisition unit may acquire the state information from a signal output from the terminal device.
  • the state information acquisition unit may acquire the state information from sensor information output from a sensor device whose sensing target is the terminal device.
  • the state information acquisition unit may acquire the state information from the sensor information obtained by sensing information notified from a notification device provided in the terminal device.
  • the notification device may be provided at a position higher than the card insertion slot of the terminal device.
  • the motion information acquisition unit may acquire the motion information from a camera that acquires a moving image.
  • the terminal device may be an automatic transaction device.
  • the operation information indicating the user's operation with respect to the terminal device is acquired, and the specific operation of the user is acquired from the acquired operation information.
  • Acquiring the state information indicating the state of the terminal device, and the specific operation is a normal operation based on the correspondence between the extracted specific operation and the acquired state information.
  • a computer is acquired by an operation information acquisition unit that acquires operation information indicating a user's operation on a terminal device, and the operation information acquisition unit.
  • An extraction unit that extracts the specific operation of the user from the operation information that has been performed, a state information acquisition unit that acquires state information indicating the state of the terminal device, and the specific operation and the state extracted by the extraction unit
  • a storage medium storing a program for functioning as a determination unit that determines whether the specific operation is a normal operation based on a correspondence relationship with the state information acquired by the information acquisition unit Provided.
  • FIG. 1 is a diagram illustrating an example of a terminal monitoring system 1 according to the present embodiment.
  • the terminal monitoring system 1 includes a terminal monitoring device 100, a sensor device 200, and a monitoring target terminal device 300.
  • the terminal device 300 is a customer operation type terminal device that executes money transactions based on an operation by a user.
  • the terminal device 300 can be realized by, for example, an ATM, an automatic passbook carryover machine, or a credit card processing terminal.
  • the terminal device 300 is an ATM.
  • the ATM 300 is installed in various facilities such as a financial institution sales store, a convenience store, a station premises, a hotel, a hospital, an amusement park, a restaurant, and an office building.
  • the passbook insertion port 311 inserts and discharges the user's passbook.
  • the card insertion slot 312 inserts and discharges a user's card.
  • the coin outlet 313 functions as a coin depositing port for the user and a coin dispensing port for the user.
  • the banknote outlet 314 functions as a banknote deposit port for the user and a banknote withdrawal port for the user.
  • the operation display unit 315 includes a function as a display unit that displays a guidance screen for an operation by the user and an operation unit that detects an operation by the user.
  • the function as the display unit is realized by, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, or an OLED (Organic Light Emitting Diode) device.
  • the function as an operation part is implement
  • the ATM 300 may be provided with a statement discharge port for discharging a statement describing transaction details.
  • the specification discharge port may be provided below the card insertion port 312, or may be provided instead of the passbook insertion port 311 for the ATM 300 that does not handle the passbook.
  • the sensor device 200 is a device that uses the ATM 300 as a sensing target.
  • the sensor device 200 can be realized by, for example, a camera that captures a moving image / still image, an infrared sensor, a distance sensor, a radio wave sensor, or the like.
  • the sensor device 200 recognizes an image of the shielding object when the user performs an operation of holding the shielding object between the card insertion slot 312 and the sensor device 200, for example, and performs an abnormal operation. Can help to detect as.
  • the sensor device 200 is realized as a distance sensor, the sensor device 200 can accurately detect, for example, whether or not the user raises his hand at the height of the card insertion slot 312. In the example illustrated in FIG.
  • the sensor device 200 is a camera that captures a moving image.
  • the terminal monitoring system 1 may include a plurality of cameras 200, or a plurality of ATMs 300 may be monitored.
  • the terminal monitoring system 1 may monitor one ATM 300 with a plurality of cameras 200 or may monitor a plurality of ATM 300 with one camera 200.
  • the camera 200 takes a picture of the user operating the ATM 300 and outputs the taken moving image to the terminal monitoring apparatus 100.
  • the shooting range may be set to include the entire ATM 300, or may be set to an area operated by a user (hereinafter also referred to as an operation area) in the ATM 300. Similarly, the shooting range may be set to include the entire user or may be set to include a part of the users. In any case, the shooting range may be a range in which the specific operation can be shot. Specific operations include transactions such as operation of a transaction start button, insertion of a card, insertion of a passbook, input of a personal identification number, input of a transaction amount, receipt of banknotes, receipt of a card, receipt of a passbook, receipt of a statement, etc. Refers to user actions that are assumed to be performed during Here, an example of the shooting range of the camera 200 will be described with reference to FIG.
  • FIG. 2 is a diagram illustrating an example of a shooting range of the camera 200 according to the present embodiment.
  • the shooting range 330 of the camera 200 is set so that a user's hand performing a specific operation such as insertion or receipt of a card can be shot.
  • an area including the passbook insertion slot 311, the card insertion slot 312, the coin outlet 313, the banknote outlet 314, and the operation display unit 315 is an imaging range 320.
  • the camera 200 is installed at a position higher than the ATM 300 and photographs the user and the ATM 300 from above, but the present invention is not limited to this example.
  • the camera 200 may be installed so as to photograph the user and the ATM 300 from the lateral direction. In that case, since it becomes difficult for the camera 200 to clearly capture the key input by the user, the card surface, and the contents of the description, the safety of the user can be improved.
  • the camera 200 may be formed integrally with the ATM 300. In that case, the calibration of the camera 200 becomes easy, and learning by the terminal monitoring apparatus 100 described later becomes easier.
  • the terminal monitoring device 100 is a device that detects an abnormal operation such as attaching a skimmer to the ATM 300 to be monitored.
  • the terminal monitoring apparatus 100 detects an abnormal operation based on the correspondence between the user's operation photographed by the camera 200 and the state of the ATM 300.
  • the terminal monitoring apparatus 100 acquires information indicating the state of the ATM 300 from a signal output from the ATM 300.
  • FIG. 3 is a block diagram illustrating an example of a logical configuration of the terminal monitoring apparatus 100 according to the present embodiment.
  • the terminal monitoring apparatus 100 includes an operation information acquisition unit 110, an extraction unit 120, a state information acquisition unit 130, a determination unit 140, and a notification unit 150.
  • Operation information acquisition unit 110 has a function of acquiring operation information indicating a user's operation on the ATM 300.
  • the operation information acquisition unit 110 is connected to the camera 200 by wire or wireless, directly or indirectly via another device.
  • the motion information acquisition unit 110 acquires a motion image (time-series image sequence) in which a user's motion is captured by the camera 200 as motion information.
  • the extraction unit 120 has a function of extracting a user's specific operation from the operation information acquired by the operation information acquisition unit 110.
  • the extraction unit 120 extracts a specific operation by performing image recognition processing on a moving image in which a user's operation is captured.
  • image recognition processing There are various techniques for extracting a specific action from a moving image. For example, “Takuya Minamisato, Nobuyuki Otsu,“ Detection of abnormal motion from multiple human moving images, ”Information Processing Society of Japan, Journal of Computer Vision and Image Media, 46 (SIG — 15 (CVIM — 12)), 43-50, 2005-10-15 The method described in “.” May be applied.
  • a frequently performed operation is regarded as a normal operation, and a non-normal operation is defined as an abnormal operation.
  • an image feature value called a CHLAC (stereoscopic higher order local autocorrelation) feature is extracted from an input image sequence in which a large number of normal motions for learning a normal motion are captured, and a subspace is extracted from the image feature amount of a normal motion.
  • the normal operation or the abnormal operation is identified by the CLAFIC method (subspace method). Since the abnormal motion can be defined as deviating from the partial space of the normal motion, when the image feature amount extracted from the image sequence of the abnormal motion is projected onto the normal motion partial space, the projection length becomes large.
  • an abnormal operation can be detected by thresholding the projection length. Further, due to the linearity of the CHLAC and the subspace, even if a CHLAC feature extracted from an input image in which a plurality of normal operations are reflected is projected onto the subspace, the distance from the subspace does not change significantly.
  • the extraction unit 120 performs learning regarding one or more specific operations in advance, and determines whether or not a specific operation has been performed from the operation information acquired from the operation information acquisition unit 110. Then, the extraction unit 120 outputs information indicating the specific operation determined to have been performed to the state information acquisition unit 130.
  • the state information acquisition unit 130 has a function of acquiring state information indicating the state of the ATM 300.
  • the terminal monitoring apparatus 100 can recognize the internal state of the ATM 300 by acquiring the state information.
  • the ATM 300 in this embodiment has one or more states that are classified according to the type of processing executed in the ATM 300, what operation is accepted from the user, and the like.
  • the state transition of the ATM 300 may be synchronized with the screen transition displayed on the operation display unit 315, for example.
  • FIG. 4 is a flowchart showing an example of state transition of the ATM 300 when making a withdrawal.
  • the ATM 300 enters a standby state (step S102) and waits until the transaction button is operated (step S104 / NO).
  • the ATM 300 shifts to a card insertion standby state (step S106) and waits until a card is inserted (step S108 / NO).
  • the ATM 300 transitions to a transaction start processing state and performs transaction start processing such as reading card information from the inserted card (step S110). .
  • the ATM 300 shifts to a password receiving state (step S112) and waits until the password is input (step S114 / NO).
  • the ATM 300 shifts to the transaction amount acceptance state (step S116) and waits until the transaction amount is input (step S118 / NO).
  • the ATM 300 transits to the withdrawal processing state, and communicates with the financial institution server and authenticates to withdraw the amount corresponding to the input transaction amount. And the like are performed (step S120).
  • the ATM 300 transits to the banknote / coin discharge processing state, dispenses banknotes and coins to the banknote outlet 314 and the coin outlet 313 (step S122), and waits until the banknotes and coins are received (step S122).
  • S124 / NO When bills and coins are received by the user (step S124 / YES), the ATM 300 transits to the medium discharge processing state, discharges the card and the specification (step S126), and waits until the card and the specification are received. (Step S128 / NO). Thereafter, when the card and the statement are received by the user (step S128 / YES), the ATM 300 transitions to the standby state again (step S102).
  • state transition described above is merely an example, and one or more of the above-described states may be omitted, or another state may be added.
  • the state information acquisition unit 130 acquires state information from a signal output from the ATM 300.
  • the state information acquisition unit 130 according to the present embodiment is connected to the ATM 300 by wire or wireless, directly or indirectly via another device.
  • the state information acquisition unit 130 may receive a signal indicating the state information via a wired communication or wireless communication interface provided in the ATM 300. Thereby, the status information acquisition unit 130 can acquire accurate status information as compared with a second embodiment described later.
  • the determination unit 140 has a function of determining whether the specific operation is a normal operation based on the correspondence between the specific operation extracted by the extraction unit 120 and the state information acquired by the state information acquisition unit 130. Have. As described above, the operation of attaching the skimmer inside the card insertion slot 312 is considered to be similar to the operation of inserting the card into the card insertion slot 312 normally. Therefore, the operation of attaching the skimmer can also be extracted as the specific operation. In this regard, the determination unit 140 determines whether the specific operation is a normal operation corresponding to the state information (for example, an operation of normally inserting the card into the card insertion slot 312) or an abnormal operation not corresponding to the state information (for example, the card insertion slot). It is possible to determine whether the skimmer is attached to the interior of 312.
  • the state information for example, an operation of normally inserting the card into the card insertion slot 312
  • an abnormal operation not corresponding to the state information for example, the card insertion slot
  • the determination unit 140 may determine whether or not the specific operation is a normal operation based on whether or not the specific operation is an operation corresponding to the state of the ATM 300. For example, when a specific operation for inserting a card is extracted in the card insertion standby state (step S106 in FIG. 4), the determination unit 140 determines that the specific operation is a normal operation. On the other hand, when a specific operation for inserting a card is extracted in a state other than the card insertion standby state, the determination unit 140 determines that the specific operation is an abnormal operation. Thereby, the determination unit 140 can determine, for example, an operation for attaching a skimmer in a state other than the card insertion standby state as an abnormal operation.
  • the determination unit 140 may determine whether the specific operation is a normal operation based on the presence / absence of a state transition corresponding to the specific operation in the ATM 300. For example, when the determination unit 140 transitions to a transaction start process (step S110 in FIG. 4) after a specific operation for inserting a card is extracted in the card insertion standby state (step S106 in FIG. 4), the specific operation is Determined to be normal operation. This is because the state is considered to change because the card is actually inserted. On the other hand, the determination unit 140 determines that the specific operation is an abnormal operation when the specific operation for inserting the card in the card insertion standby state is not extracted and then transitioned to the transaction start process.
  • the determination unit 140 can determine, for example, an operation for attaching a skimmer in a card insertion standby state as an abnormal operation.
  • the determination unit 140 outputs information indicating the determination result to the notification unit 150.
  • the determination result by the determination unit 140 may be stepwise, and for example, a plurality of steps may be set from a definite step to a suspicious step.
  • the notification unit 150 has a function of notifying the determination result by the determination unit 140.
  • the notification unit 150 notifies the administrator who manages the ATM 300 of the determination result.
  • the administrator can stop using the ATM 300 in which the abnormal operation is detected, or allow the security guard to check the ATM 300.
  • the notification unit 150 may have a wired / wireless interface, and may notify the determination result to another terminal such as an administrator terminal or a guard terminal.
  • the notification unit 150 may include a display unit and / or a voice output unit, and may output a determination result to the user of the terminal monitoring apparatus 100.
  • FIG. 5 is a flowchart illustrating an example of a flow of terminal monitoring processing executed in the terminal monitoring apparatus 100 according to the present embodiment.
  • the motion information acquisition unit 110 acquires motion information (step S202), and the extraction unit 120 extracts a user's specific motion from the motion information acquired by the motion information acquisition unit 110 (step S204). ). Further, the state information acquisition unit 130 acquires the state information of the ATM 300 from the signal output from the ATM 300 (step S206).
  • the determination unit 140 determines whether or not the specific operation is an operation corresponding to the state of the ATM 300 (step S208). Further, the determination unit 140 determines whether or not there is a state transition corresponding to the specific operation in the ATM 300 (step S210).
  • the determination unit 140 determines the specific operation. Is determined to be a normal operation (step S212).
  • the determination unit 140 determines that the specific operation is an abnormal operation (step S214).
  • the notification part 150 notifies the determination result which shows whether specific operation
  • movement (step S216).
  • the terminal monitoring apparatus 100 acquires information indicating the state of the ATM 300 from the appearance of the ATM 300.
  • FIG. 6 is a block diagram illustrating an example of a logical configuration of the terminal monitoring apparatus 100 according to the present embodiment. As shown in FIG. 6, the terminal monitoring apparatus 100 has the same configuration as the terminal monitoring apparatus 100 according to the first embodiment shown in FIG. Hereinafter, a characteristic configuration of the terminal monitoring apparatus 100 according to the present embodiment will be described.
  • the state information acquisition unit 130 acquires state information from sensor information output from a sensor device whose ATM 300 is a sensing target.
  • the state information acquisition unit 130 acquires state information from a moving image of the ATM 300 captured by the camera 200.
  • the state information acquisition unit 130 may estimate the state information from the screen transition of the operation display unit 315.
  • the sensor device for the motion information acquisition unit 110 and the sensor device for the state information acquisition unit 130 may be the same or different.
  • an interface for outputting a signal indicating state information to the ATM 300 may not be provided. For this reason, this embodiment can improve the independence and safety
  • the status information acquisition unit 130 may acquire status information from sensor information obtained by sensing information notified from a notification device provided in the ATM 300. Thereby, even if the signal which shows a state is not output from ATM300, the terminal monitoring apparatus 100 can acquire more exact state information, and can detect abnormal operation
  • the state information acquisition unit 130 can acquire the state information from, for example, an image obtained by capturing a display indicating the state of the display device, or from sound indicating the state of the sound output device.
  • the notification device may be replaced with an existing device that the ATM 300 has.
  • the notification device may be realized by an operation display unit 315 or a lamp provided around the card insertion slot 312. Further, the notification device may be newly installed in the ATM 300.
  • an example of a notification device newly provided in the ATM 300 will be described with reference to FIG.
  • FIG. 7 is a diagram for explaining an example of a notification device provided in the ATM 300 according to the present embodiment.
  • a notification device 400 is provided in the ATM 300.
  • the notification device 400 is a lamp (display device).
  • the lamp 400 blinks in a different pattern depending on the state of the ATM 300.
  • the lamp 400 can notify a plurality of states of the ATM 300 based on, for example, a color, a blinking pattern, or a blinking speed.
  • the lamp 400 is provided at a position higher than the card insertion slot 312 of the ATM 300.
  • the camera 200 can easily photograph the lamp 400 as compared with the case where the lamp provided around the card insertion slot 312 is photographed.
  • a plurality of notification devices 400 may be provided, or may be provided separately from the ATM 300.
  • the state information acquisition unit 130 performs image analysis on an image sequence captured by the camera 200 and acquires background information by taking a background difference.
  • FIG. 8 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 8 can realize the terminal monitoring apparatus 100 illustrated in FIGS. 3 and 6, for example.
  • Information processing by the terminal monitoring apparatus 100 according to the present embodiment is realized by cooperation between software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the extraction unit 120, the state information acquisition unit 130, and the determination unit 140 illustrated in FIGS. 3 and 6.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device and the audio output device can form, for example, the notification unit 150 illustrated in FIGS. 3 and 6.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form, for example, the operation information acquisition unit 110, the state information acquisition unit 130, and the notification unit 150 illustrated in FIGS.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium that is, a storage medium
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the terminal monitoring apparatus 100 extracts the user's specific action from the action information indicating the user's action on the ATM 300, and specifies the specific action based on the correspondence between the extracted specific action and the state information of the ATM 300. It is determined whether the operation is a normal operation. Thereby, even if the recent downsized skimmer is attached by an operation similar to the normal operation, the terminal monitoring apparatus 100 can accurately detect the abnormal operation without being confused with the normal operation.
  • the terminal monitoring device 100 and the camera 200 are realized as separate devices, but the present invention is not limited to such an example.
  • the terminal monitoring apparatus 100 and the camera 200 may be integrally formed.
  • attaching a skimmer to the card insertion slot 312 is a monitoring target, but the present invention is not limited to such an example.
  • the terminal monitoring apparatus 100 attaches a skimmer to the passbook insertion slot 311, attaches a skimmer to a credit card processing terminal, or attaches a device for voyeurizing a user's fingerprint or password input operation. May be monitored.
  • the installation of a sheet that is installed on the top surface of the operation display unit 315 and acquires the operation content while transmitting the user's touch operation to the operation display unit 315 may be a monitoring target. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

【課題】端末装置への不審な動作をより精度よく検知することが可能な端末監視装置、端末監視方法及び記憶媒体を提案する。 【解決手段】端末装置に対する利用者の動作を示す動作情報を取得する動作情報取得部と、前記動作情報取得部により取得された前記動作情報から前記利用者の特定動作を抽出する抽出部と、前記端末装置の状態を示す状態情報を取得する状態情報取得部と、前記抽出部により抽出された前記特定動作と前記状態情報取得部により取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定する判定部と、を備える端末監視装置。

Description

端末監視装置、端末監視方法及び記憶媒体
　本発明は、端末監視装置、端末監視方法及び記憶媒体に関する。
　近年、情報化社会の進展に伴い、個々人の機密情報を安全に運用するための技術が求められている。機密情報としては、例えばクレジットカードやキャッシュカード等の磁気媒体に格納されたカード情報や、本人認証のための暗証番号等がある。機密情報に関し、例えば、カード情報を読み取ることが可能な装置（以下、スキマーとも称する）を端末装置のカード挿入口に取り付け、端末装置の利用中に利用者のカード情報を不正に取得することで、偽造カードを作製する等の犯罪が発生している。このような犯罪が行われ得る端末装置の一例として、自動取引装置（ＡＴＭ：Ａｕｔｏｍａｔｉｃ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ）がある。
　このような犯罪を防止するための技術として、例えばスキマーを取り付けるといった不審な行動を検出する技術や、取り付けられたスキマー等の不審物を検出する技術等の多様な技術が開発されている。
　例えば、下記特許文献１では、スキマーの設置が行われるカード挿入口、カードの操作、及び暗証番号のキー入力が盗撮されやすいＡＴＭの前面パネルやその周辺を撮影対象とする監視カメラにより、ＡＴＭの取引情報をもとに取引終了から次の取引開始までを一定間隔で撮影し、その差分を取ることで不審物を自動的に検知する技術が開示されている。
　下記特許文献２では、赤外線パターンをＡＴＭの前面パネルへ照射し、そのパターンを比較することで、スキマーの取り付けによるＡＴＭの前面パネルの形状の変化を検知する技術が開示されている。
　下記特許文献３では、入退室検知センサ、金融機関ブースを監視するカメラ及びＡＴＭを監視するカメラを連動させることにより、利用者の行動を追跡監視して不審行動を検知し、利用者の不審行動と撮像画像とを管理端末に通報する技術が開示されている。
　下記特許文献４では、不審者の動作の種類を表す動詞と不審な動作に関連する名詞とを抽出し、頻出する動詞及び名詞の組み合わせを検知することで、頻出する行動を不審行動として登録し、その後の不審行動の検挙率を向上させる技術が開示されている。
特開２００７－２８０３１７号公報 特開２００８－２７２５９号公報 特開２００８－１５６８６号公報 特開２０１０－１４６２９８号公報
　しかしながら、近年のスキマーは小型化されてきており、カード挿入口内部に取り付けることが可能になってきている。このため、上記特許文献１及び２に開示された技術では、取り付けられたスキマーをＡＴＭの前面パネルの外観やその形状から検知することは困難になってきている。また、カード挿入口内部にスキマーを取り付ける動作は、正常にカードをカード挿入口に入れる動作と類似すると考えられる。このため、上記特許文献３及び４に開示された技術では、スキマーを取り付ける動作自体を不審行動として検知することが困難な場合がある。
　そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、端末装置への不審な動作をより精度よく検知することが可能な、新規かつ改良された端末監視装置、端末監視方法及び記憶媒体を提供することにある。
　上記課題を解決するために、本発明のある観点によれば、端末装置に対する利用者の動作を示す動作情報を取得する動作情報取得部と、前記動作情報取得部により取得された前記動作情報から前記利用者の特定動作を抽出する抽出部と、前記端末装置の状態を示す状態情報を取得する状態情報取得部と、前記抽出部により抽出された前記特定動作と前記状態情報取得部により取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定する判定部と、を備える端末監視装置が提供される。
　前記判定部は、前記特定動作が前記端末装置の状態に対応する動作であるか否かに基づいて、前記特定動作が正常な動作であるか否かを判定してもよい。
　前記判定部は、前記端末装置における前記特定動作に対応する状態遷移の有無に基づいて、前記特定動作が正常な動作であるか否かを判定してもよい。
　前記端末監視装置は、前記判定部による判定結果を通知する通知部をさらに備えてもよい。
　前記状態情報取得部は、前記端末装置から出力された信号により前記状態情報を取得してもよい。
　前記状態情報取得部は、前記端末装置をセンシング対象とするセンサ装置から出力されたセンサ情報により前記状態情報を取得してもよい。
　前記状態情報取得部は、前記端末装置に設けられた通知装置から通知された情報をセンシングした前記センサ情報により前記状態情報を取得してもよい。
　前記通知装置は、前記端末装置のカード挿入口よりも高い位置に設けられてもよい。
　前記動作情報取得部は、動画像を取得するカメラから前記動作情報を取得してもよい。
　前記端末装置は、自動取引装置であってもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、端末装置に対する利用者の動作を示す動作情報を取得することと、取得された前記動作情報から前記利用者の特定動作を抽出することと、前記端末装置の状態を示す状態情報を取得することと、抽出された前記特定動作と取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定することと、を含む、情報処理装置により実行される端末監視方法が提供される。
　また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、端末装置に対する利用者の動作を示す動作情報を取得する動作情報取得部と、前記動作情報取得部により取得された前記動作情報から前記利用者の特定動作を抽出する抽出部と、前記端末装置の状態を示す状態情報を取得する状態情報取得部と、前記抽出部により抽出された前記特定動作と前記状態情報取得部により取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定する判定部と、として機能させるためのプログラムが記憶された記憶媒体が提供される。
　以上説明したように本発明によれば、端末装置への不審な動作をより精度よく検知することが可能である。
本実施形態に係る端末監視システムの一例を示す図である。 本実施形態に係るカメラの撮影範囲の一例を示す図である。 本実施形態に係る端末監視装置の論理的な構成の一例を示すブロック図である。 出金をする際のＡＴＭの状態遷移の一例を示すフローチャートである。 本実施形態に係る端末監視装置において実行される端末監視処理の流れの一例を示すフローチャートである。 本実施形態に係る端末監視装置の論理的な構成の一例を示すブロック図である。 本実施形態に係るＡＴＭに設けられる通知装置の一例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　＜＜１．概要＞＞
　まず、図１及び図２を参照して、本発明の一実施形態に係る端末監視システムの概要を説明する。
　図１は、本実施形態に係る端末監視システム１の一例を示す図である。図１に示すように、端末監視システム１は、端末監視装置１００、センサ装置２００、及び監視対象の端末装置３００を含む。
　端末装置３００は、利用者による操作に基づいて金銭の取引を実行する顧客操作型の端末装置である。端末装置３００は、例えばＡＴＭ、自動通帳繰越機、又はクレジットカードの処理端末機等により実現され得る。図１に示した例では、端末装置３００はＡＴＭである。ＡＴＭ３００は、金融機関の営業店、コンビニエンスストア、駅構内、ホテル、病院、アミューズメントパーク、飲食店、オフィスビルディングなどの多様な施設に設置される。
　通帳挿入口３１１は、利用者の通帳の挿入および排出を行う。カード挿入口３１２は、利用者のカードの挿入及び排出を行う。硬貨取出口３１３は、利用者による硬貨の入金口、及び利用者への硬貨の出金口として機能する。紙幣取出口３１４は、利用者による紙幣の入金口、及び利用者への紙幣の出金口として機能する。操作表示部３１５は、利用者による操作の誘導画面を表示する表示部および利用者による操作を検知する操作部としての機能を包含する。表示部としての機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置により実現される。また、操作部としての機能は、例えば、タッチパネルにより実現される。なお、図１においては、表示部および操作部の機能が一体的に構成される例を示しているが、表示部及び操作部の機能は分離して構成されていてもよい。
　なお、図１では図示していないが、ＡＴＭ３００には、取引内容を記載した明細書を排出する明細書排出口が設けられていてもよい。例えば、明細書排出口は、カード挿入口３１２の下部に設けられていてもよいし、通帳を取り扱わないＡＴＭ３００に関しては通帳挿入口３１１の代わりに設けられていてもよい。
　センサ装置２００は、ＡＴＭ３００をセンシング対象とする装置である。センサ装置２００は、例えば動画像／静止画像を撮影するカメラ、赤外線センサ、距離センサ、又は電波センサ等により実現され得る。センサ装置２００がカメラとして実現される場合、センサ装置２００は、例えば利用者が遮蔽物をカード挿入口３１２とセンサ装置２００との間にかざす動作をした場合、遮蔽物を画像認識して異常動作として検知することに資することができる。センサ装置２００が距離センサとして実現される場合、センサ装置２００は、例えば利用者がカード挿入口３１２の高さに手を挙げているか否かを、精度よくセンシングすることができる。図１に示した例では、センサ装置２００は動画像を撮影するカメラである。なお、端末監視システム１は、複数のカメラ２００を含んでいてもよいし、複数のＡＴＭ３００を監視対象としてもよい。また、端末監視システム１は、複数のカメラ２００でひとつのＡＴＭ３００を監視してもよいし、ひとつのカメラ２００で複数のＡＴＭ３００を監視してもよい。
　カメラ２００は、利用者がＡＴＭ３００を操作する様子を撮影して、撮影した動画像を端末監視装置１００に出力する。撮影範囲は、ＡＴＭ３００全体を含むよう設定されてもよいし、ＡＴＭ３００のうち利用者が操作する領域（以下、操作領域とも称する）に設定されてもよい。同様に、撮影範囲は、利用者全体を含むよう設定されてもよいし、利用者のうち一部を含むよう設定されてもよい。いずれにしろ、撮影範囲は、特定動作が撮影可能な範囲であればよい。特定動作とは、例えば取引開始ボタンの操作、カードの挿入、通帳の挿入、暗証番号の入力、取引金額の入力、紙幣の受け取り、カードの受け取り、通帳の受け取り及び明細書の受け取り等の、取引の際に行うものと想定される利用者の動作を指す。ここで、図２を参照して、カメラ２００の撮影範囲との一例を説明する。
　図２は、本実施形態に係るカメラ２００の撮影範囲の一例を示す図である。図２に示した例では、カメラ２００の撮影範囲３３０は、カードの挿入又は受け取りといった特定動作を行う利用者の手を撮影可能に設定されている。なお、図１に示した例では、通帳挿入口３１１、カード挿入口３１２、硬貨取出口３１３、紙幣取出口３１４、及び操作表示部３１５を含む領域が撮影範囲３２０となっている。
　図１に示した例では、カメラ２００はＡＴＭ３００よりも高い位置に設置され、利用者及びＡＴＭ３００を上方向から撮影しているが、本発明はかかる例に限定されない。例えば、カメラ２００は、利用者及びＡＴＭ３００を横方向から撮影するよう設置されてもよい。その場合、カメラ２００は、利用者によるキー入力やカード表面、明細書の内容を明瞭に撮影することが困難になるため、利用者の安全性を高めることができる。また、カメラ２００は、ＡＴＭ３００と一体的に形成されてもよい。その場合、カメラ２００のキャリブレーションが容易となり、また後述する端末監視装置１００による学習がより容易となる。
　端末監視装置１００は、監視対象のＡＴＭ３００にスキマーを取り付けるといった異常動作を検知する装置である。例えば、端末監視装置１００は、カメラ２００により撮影された利用者の動作とＡＴＭ３００の状態との対応関係に基づいて、異常動作を検知する。
　以上、本実施形態に係る端末監視システム１の概要を説明した。続いて、図３～図５を参照して、第１の実施形態について説明する。
　＜＜２．第１の実施形態＞＞
　本実施形態は、端末監視装置１００が、ＡＴＭ３００の状態を示す情報をＡＴＭ３００から出力された信号により取得する形態である。
　　＜２．１．構成例＞
　図３は、本実施形態に係る端末監視装置１００の論理的な構成の一例を示すブロック図である。図３に示すように、端末監視装置１００は、動作情報取得部１１０、抽出部１２０、状態情報取得部１３０、判定部１４０及び通知部１５０を有する。
　　（１）動作情報取得部１１０
　動作情報取得部１１０は、ＡＴＭ３００に対する利用者の動作を示す動作情報を取得する機能を有する。動作情報取得部１１０は、カメラ２００と有線又は無線により、直接的に又は他の装置を経由して間接的に接続される。例えば、動作情報取得部１１０は、カメラ２００により利用者の動作が撮影された動画像（時系列の画像列）を、動作情報として取得する。
　　（２）抽出部１２０
　抽出部１２０は、動作情報取得部１１０により取得された動作情報から利用者の特定動作を抽出する機能を有する。例えば、抽出部１２０は、利用者の動作が撮影された動画像を対象とした画像認識処理を行うことで、特定動作を抽出する。動画像から特定動作を抽出する技術は多様に考えられる。例えば、「南里卓也，大津展之，“複数人動画像からの異常動作検出，”情報処理学会論文誌　コンピュータビジョンとイメージメディア，４６（ＳＩＧ＿１５（ＣＶＩＭ＿１２）），４３－５０，２００５－１０－１５．」に記載された手法が適用されてもよい。
　上記文献に記載された手法について詳しく説明する。本手法では、よく行われる動作が通常動作とみなされ、通常動作以外が異常動作と定義されている。本手法では、通常動作を学習するための多数の通常動作が写る入力画像列から、ＣＨＬＡＣ（立体高次局所自己相関）特徴と呼ばれる画像特徴量を抽出し、正常動作の画像特徴量から部分空間を学習する。通常動作か異常動作かは、ＣＬＡＦＩＣ法（部分空間法）により識別される。異常動作は、正常動作の部分空間から逸脱するものとして定義できるため、異常動作の画像列から抽出された画像特徴量を通常動作の部分空間に射影すると、その射影長は大きくなる。そのため、本手法では、当該射影長を閾値処理することで異常動作を検知することができる。また、ＣＨＬＡＣと部分空間の線形性により、複数の通常動作が写る入力画像から抽出されたＣＨＬＡＣ特徴を部分空間に射影しても、部分空間からの距離は大きく変わらない。
　抽出部１２０は、予めひとつ以上の特定動作に関する学習を行っておき、動作情報取得部１１０から取得された動作情報から、特定動作が行われたか否かを判定する。そして、抽出部１２０は、行われたと判定した特定動作を示す情報を状態情報取得部１３０へ出力する。
　　（３）状態情報取得部１３０
　状態情報取得部１３０は、ＡＴＭ３００の状態を示す状態情報を取得する機能を有する。端末監視装置１００は、状態情報を取得することで、ＡＴＭ３００内部の状態を認識することが可能となる。本実施形態におけるＡＴＭ３００は、ＡＴＭ３００内部で実行される処理の種別や、利用者からどのような操作を受け付けるか等によって区分される、ひとつ以上の状態を有する。ＡＴＭ３００の状態遷移は、例えば操作表示部３１５に表示される画面遷移と同期していてもよい。以下、図４を参照して、ＡＴＭ３００の状態及び状態遷移の一例を説明する。
　図４は、出金をする際のＡＴＭ３００の状態遷移の一例を示すフローチャートである。図４に示すように、まず、ＡＴＭ３００は、待機状態となり（ステップＳ１０２）、取引ボタンが操作されるまで待機する（ステップＳ１０４／ＮＯ）。取引ボタンが操作されると（ステップＳ１０４／ＹＥＳ）、ＡＴＭ３００は、カード挿入待ち受け状態に遷移し（ステップＳ１０６）、カードが挿入されるまで待機する（ステップＳ１０８／ＮＯ）。カード挿入口３１２にカードが挿入されると（ステップＳ１０８／ＹＥＳ）、ＡＴＭ３００は、取引開始処理状態に遷移して、挿入されたカードからカード情報を読み取る等の取引開始処理を行う（ステップＳ１１０）。次いで、ＡＴＭ３００は、暗証番号受付状態に遷移して（ステップＳ１１２）、暗証番号が入力されるまで待機する（ステップＳ１１４／ＮＯ）。暗証番号が入力されると（ステップＳ１１４／ＹＥＳ）、ＡＴＭ３００は、取引金額受付状態に遷移して（ステップＳ１１６）、取引金額が入力されるまで待機する（ステップＳ１１８／ＮＯ）。取引金額が入力されると（ステップＳ１１８／ＹＥＳ）、ＡＴＭ３００は、出金処理状態に遷移して、入力された取引金額に相当する金額を出金するための、金融機関サーバとの通信や認証等の出金処理を行う（ステップＳ１２０）。そして、ＡＴＭ３００は、紙幣／硬貨の排出処理状態に遷移して、紙幣取出口３１４及び硬貨取出口３１３に紙幣及び硬貨を出金し（ステップＳ１２２）、紙幣及び硬貨が受け取られるまで待機する（ステップＳ１２４／ＮＯ）。利用者により紙幣及び硬貨が受け取られると（ステップＳ１２４／ＹＥＳ）、ＡＴＭ３００は、媒体排出処理状態に遷移して、カード及び明細書を排出し（ステップＳ１２６）、カード及び明細書が受け取られるまで待機する（ステップＳ１２８／ＮＯ）。その後、利用者によりカード及び明細書が受け取られると（ステップＳ１２８／ＹＥＳ）、ＡＴＭ３００は再度待機状態に遷移する（ステップＳ１０２）。
　以上説明した状態遷移は、あくまで一例であり、上述した状態のうちひとつ以上が省略されてもよいし、他の状態が追加されてもよい。
　本実施形態では、状態情報取得部１３０は、ＡＴＭ３００から出力された信号により状態情報を取得する。本実施形態に係る状態情報取得部１３０は、ＡＴＭ３００と有線又は無線により、直接的に又は他の装置を経由して間接的に接続される。状態情報取得部１３０は、ＡＴＭ３００に設けられた有線通信又は無線通信用のインタフェースを経由して、状態情報を示す信号を受信してもよい。これにより、状態情報取得部１３０は、後述する第２の実施形態と比較して正確な状態情報を取得することが可能である。
　　（４）判定部１４０
　判定部１４０は、抽出部１２０により抽出された特定動作と状態情報取得部１３０により取得された状態情報との対応関係に基づいて、特定動作が正常な動作であるか否かを判定する機能を有する。上述したように、カード挿入口３１２の内部にスキマーを取り付ける動作は、正常にカードをカード挿入口３１２に入れる動作と類似すると考えられる。そのため、スキマーを取り付ける動作も、特定動作として抽出され得る。この点、判定部１４０は、特定動作が、状態情報と対応する正常動作（例えば、正常にカードをカード挿入口３１２に入れる動作）なのか、状態情報と対応しない異常動作（例えば、カード挿入口３１２の内部にスキマーを取り付ける動作）なのかを判定可能である。
　例えば、判定部１４０は、特定動作がＡＴＭ３００の状態に対応する動作であるか否かに基づいて、特定動作が正常な動作であるか否かを判定してもよい。例えば、判定部１４０は、カード挿入待ち受け状態（図４のステップＳ１０６）においてカードを挿入する特定動作が抽出された場合、当該特定動作は正常動作であると判定する。一方で、判定部１４０は、カード挿入待ち受け状態以外の状態においてカードを挿入する特定動作が抽出された場合、当該特定動作は異常動作であると判定する。これにより、判定部１４０は、例えばカード挿入待ち受け状態以外の状態においてスキマーを取り付ける動作を、異常動作として判定することができる。
　例えば、判定部１４０は、ＡＴＭ３００における特定動作に対応する状態遷移の有無に基づいて、特定動作が正常な動作であるか否かを判定してもよい。例えば、判定部１４０は、カード挿入待ち受け状態（図４のステップＳ１０６）においてカードを挿入する特定動作が抽出された後、取引開始処理（図４のステップＳ１１０）に遷移する場合に、特定動作は正常動作であると判定する。実際にカードが挿入されたからこそ、状態が遷移すると考えられるためである。一方で、判定部１４０は、カード挿入待ち受け状態においてカードを挿入する特定動作が抽出された後、取引開始処理に遷移しない場合に、特定動作は異常動作であると判定する。実際には、スキマーを取り付ける等の動作が行われ、カードの挿入がされていないからこそ、状態が遷移しないと考えらえるためである。これにより、判定部１４０は、例えばカード挿入待ち受け状態においてスキマーを取り付ける動作を、異常動作として判定することができる。
　判定部１４０は、判定結果を示す情報を通知部１５０に出力する。なお、判定部１４０による判定結果は段階的であってもよく、例えば異常動作であることが確定的な段階から疑わしい段階まで複数段階が設定されてもよい。
　　（５）通知部１５０
　通知部１５０は、判定部１４０による判定結果を通知する機能を有する。例えば、通知部１５０は、ＡＴＭ３００を管理する管理者へ判定結果を通知する。これにより、管理者は、異常動作が検知されたＡＴＭ３００を利用停止にしたり、警備員に点検させたりすることができる。通知部１５０は、有線／無線のインタフェースを有していてもよく、管理者用の端末又は警備員用の端末等の他の端末へ判定結果を通知してもよい。また、通知部１５０は、表示部及び／又は音声出力部を有していてもよく、端末監視装置１００の使用者に判定結果を出力してもよい。
　以上、本実施形態に係る端末監視装置１００の構成例を説明した。続いて、図５を参照して、本実施形態に係る端末監視装置１００の動作処理例を説明する。
　　＜２．２．動作処理例＞
　図５は、本実施形態に係る端末監視装置１００において実行される端末監視処理の流れの一例を示すフローチャートである。
　図５に示すように、動作情報取得部１１０は動作情報を取得し（ステップＳ２０２）、抽出部１２０は動作情報取得部１１０により取得された動作情報から利用者の特定動作を抽出する（ステップＳ２０４）。また、状態情報取得部１３０は、ＡＴＭ３００から出力された信号によりＡＴＭ３００の状態情報を取得する（ステップＳ２０６）。
　次いで、判定部１４０は、特定動作がＡＴＭ３００の状態に対応する動作であるか否かを判定する（ステップＳ２０８）。また、判定部１４０は、ＡＴＭ３００において特定動作に対応する状態遷移があるか否かを判定する（ステップＳ２１０）。
　特定動作がＡＴＭ３００の状態に対応する動作であり（ステップＳ２０８／ＹＥＳ）、且つＡＴＭ３００において特定動作に対応する状態遷移がある（ステップＳ２１０／ＹＥＳ）と判定された場合、判定部１４０は、特定動作は正常動作であると判定する（ステップＳ２１２）。
　一方で、特定動作がＡＴＭ３００の状態に対応する動作でない（ステップＳ２０８／ＮＯ）、又はＡＴＭ３００において特定動作に対応する状態遷移がない（ステップＳ２１０／ＮＯ）と判定された場合、判定部１４０は、特定動作は異常動作であると判定する（ステップＳ２１４）。
　そして、通知部１５０は、特定動作が正常動作であるか異常動作であるかを示す判定結果を通知する（ステップＳ２１６）。
　＜＜３．第２の実施形態＞＞
　本実施形態は、端末監視装置１００が、ＡＴＭ３００の状態を示す情報をＡＴＭ３００の外観から取得する形態である。
　図６は、本実施形態に係る端末監視装置１００の論理的な構成の一例を示すブロック図である。図６に示すように、端末監視装置１００は、図３に示した第１の実施形態に係る端末監視装置１００と同様の構成を有する。以下では、本実施形態に係る端末監視装置１００に特徴的な構成について説明する。
　本実施形態に係る状態情報取得部１３０は、ＡＴＭ３００をセンシング対象とするセンサ装置から出力されたセンサ情報により状態情報を取得する。図６に示した例では、状態情報取得部１３０は、カメラ２００により撮影されたＡＴＭ３００の動画像から、状態情報を取得する。例えば、状態情報取得部１３０は、操作表示部３１５の画面遷移から状態情報を推定してもよい。なお、動作情報取得部１１０のためのセンサ装置と状態情報取得部１３０のためのセンサ装置は同一であってもよいし、異なっていてもよい。本実施形態では、端末監視装置１００による異常動作の検知を実現するために、ＡＴＭ３００に状態情報を示す信号を出力するためのインタフェースを設けなくてもよい。このため、本実施形態は、第１の実施形態と比較してＡＴＭ３００の独立性及び安全性を高めることができる。
　例えば、状態情報取得部１３０は、ＡＴＭ３００に設けられた通知装置から通知された情報をセンシングしたセンサ情報により、状態情報を取得してもよい。これにより、端末監視装置１００は、ＡＴＭ３００から状態を示す信号が出力されない場合であっても、より正確な状態情報を取得して異常動作を検知することが可能である。状態情報取得部１３０は、例えば表示装置による状態を示す表示を撮影した画像から、又は音声出力装置による状態を示す音声から、状態情報を取得し得る。
　通知装置は、ＡＴＭ３００が有する既存の装置で代用されてもよい。例えば、通知装置は、操作表示部３１５や、カード挿入口３１２周辺に設けられたランプにより実現されてもよい。また、通知装置は、ＡＴＭ３００に新設されてもよい。以下、図７を参照して、ＡＴＭ３００に新設される通知装置の一例を説明する。
　図７は、本実施形態に係るＡＴＭ３００に設けられる通知装置の一例を説明するための図である。図７に示すように、ＡＴＭ３００に通知装置４００が設けられている。図７に示した例では、通知装置４００は、ランプ（表示装置）である。例えば、ランプ４００は、ＡＴＭ３００の状態に応じて異なるパターンで点滅する。ランプ４００は、例えば色、点滅パターン、又は点滅速度等によって、複数通りのＡＴＭ３００の状態を通知することができる。図７に示した例では、ランプ４００は、ＡＴＭ３００のカード挿入口３１２よりも高い位置に設けられている。この場合、カメラ２００は、カード挿入口３１２周辺に設けられたランプを撮影する場合と比較して、ランプ４００を容易に撮影することができる。なお、通知装置４００は複数設けられていてもよいし、ＡＴＭ３００と分離して設けられていてもよい。
　なお、通知装置４００が図７に示すような表示装置である場合、状態情報取得部１３０は、カメラ２００により撮影された画像列を画像解析し、背景差分を取ることにより状態情報を取得する。
　以上、本実施形態に係る端末監視装置１００の構成例を説明した。動作処理例は、図５を参照して上記説明した第１の実施形態と同様であるため、ここでの詳細な説明は省略する。
　＜＜４．ハードウェア構成例＞＞
　最後に、図８を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図８は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図８に示す情報処理装置９００は、例えば、図３及び図６にそれぞれ示した端末監視装置１００を実現し得る。本実施形態に係る端末監視装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３及び図６に示す抽出部１２０、状態情報取得部１３０及び判定部１４０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び音声出力装置は、例えば、図３及び図６に示す通知部１５０を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図３及び図６に示す動作情報取得部１１０、状態情報取得部１３０及び通知部１５０を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体（即ち、記憶媒体）も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜５．まとめ＞＞
　以上、図１～図８を参照して、本発明の一実施形態について詳細に説明した。上記説明したように、端末監視装置１００は、ＡＴＭ３００に対する利用者の動作を示す動作情報から利用者の特定動作を抽出し、抽出した特定動作とＡＴＭ３００の状態情報との対応関係に基づいて、特定動作が正常動作であるか否かを判定する。これにより、端末監視装置１００は、近年の小型化されたスキマーが正常動作と類似する動作により取り付けられる場合であっても、正常動作と混同することなく異常動作を精度よく検知することができる。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、端末監視装置１００とカメラ２００とが分離した装置として実現されるものとしたが、本発明はかかる例に限定されない。例えば、端末監視装置１００とカメラ２００とが一体的に形成されてもよい。
　また、上記実施形態では、カード挿入口３１２にスキマーを取り付けることを監視対象としたが、本発明はかかる例に限定されない。例えば、端末監視装置１００は、通帳挿入口３１１にスキマーを取り付けることや、クレジットカードの処理端末にスキマーを取り付けること、利用者の指紋や暗証番号の入力操作等を盗撮するための装置を取り付けることを監視対象としてもよい。他にも、操作表示部３１５の天面に設置するシートであって、利用者のタッチ操作を操作表示部３１５に透過しつつ操作内容を取得するシートの設置が、監視対象とされてもよい。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　１　　　　端末監視システム
　１００　　端末監視装置
　１１０　　動作情報取得部
　１２０　　抽出部
　１３０　　状態情報取得部
　１４０　　判定部
　１５０　　通知部
　２００　　カメラ
　３００　　ＡＴＭ
　３１１　　通帳挿入口
　３１２　　カード挿入口
　３１３　　硬貨取出口
　３１４　　紙幣取出口
　３１５　　操作表示部
　４００　　通知装置
 

Claims (12)

  1. 　端末装置に対する利用者の動作を示す動作情報を取得する動作情報取得部と、
    　前記動作情報取得部により取得された前記動作情報から前記利用者の特定動作を抽出する抽出部と、
    　前記端末装置の状態を示す状態情報を取得する状態情報取得部と、
    　前記抽出部により抽出された前記特定動作と前記状態情報取得部により取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定する判定部と、
    を備える端末監視装置。
  2. 　前記判定部は、前記特定動作が前記端末装置の状態に対応する動作であるか否かに基づいて、前記特定動作が正常な動作であるか否かを判定する、請求項１に記載の端末監視装置。
  3. 　前記判定部は、前記端末装置における前記特定動作に対応する状態遷移の有無に基づいて、前記特定動作が正常な動作であるか否かを判定する、請求項１に記載の端末監視装置。
  4. 　前記端末監視装置は、前記判定部による判定結果を通知する通知部をさらに備える、請求項１に記載の端末監視装置。
  5. 　前記状態情報取得部は、前記端末装置から出力された信号により前記状態情報を取得する、請求項１に記載の端末監視装置。
  6. 　前記状態情報取得部は、前記端末装置をセンシング対象とするセンサ装置から出力されたセンサ情報により前記状態情報を取得する、請求項１に記載の端末監視装置。
  7. 　前記状態情報取得部は、前記端末装置に設けられた通知装置から通知された情報をセンシングした前記センサ情報により前記状態情報を取得する、請求項６に記載の端末監視装置。
  8. 　前記通知装置は、前記端末装置のカード挿入口よりも高い位置に設けられる、請求項７に記載の端末監視装置。
  9. 　前記動作情報取得部は、動画像を取得するカメラから前記動作情報を取得する、請求項１に記載の端末監視装置。
  10. 　前記端末装置は、自動取引装置である、請求項１に記載の端末監視装置。
  11. 　端末装置に対する利用者の動作を示す動作情報を取得することと、
    　取得された前記動作情報から前記利用者の特定動作を抽出することと、
    　前記端末装置の状態を示す状態情報を取得することと、
    　抽出された前記特定動作と取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定することと、
    を含む、情報処理装置により実行される端末監視方法。
  12. 　コンピュータを、
    　端末装置に対する利用者の動作を示す動作情報を取得する動作情報取得部と、
    　前記動作情報取得部により取得された前記動作情報から前記利用者の特定動作を抽出する抽出部と、
    　前記端末装置の状態を示す状態情報を取得する状態情報取得部と、
    　前記抽出部により抽出された前記特定動作と前記状態情報取得部により取得された前記状態情報との対応関係に基づいて、前記特定動作が正常な動作であるか否かを判定する判定部と、
    として機能させるためのプログラムが記憶された記憶媒体。
PCT/JP2015/078361 2015-02-26 2015-10-06 端末監視装置、端末監視方法及び記憶媒体 WO2016136013A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580073925.1A CN107209978A (zh) 2015-02-26 2015-10-06 终端监视装置、终端监视方法及存储介质
US15/545,236 US20170372144A1 (en) 2015-02-26 2015-10-06 Terminal surveillance device, automatic teller machine, decision method, and program on a storage medium
RU2017131511A RU2680747C1 (ru) 2015-02-26 2015-10-06 Устройство наблюдения за терминалом, банкомат, способ принятия решения и программа

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-036607 2015-02-26
JP2015036607A JP6447234B2 (ja) 2015-02-26 2015-02-26 端末監視装置、端末監視方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2016136013A1 true WO2016136013A1 (ja) 2016-09-01

Family

ID=56788093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078361 WO2016136013A1 (ja) 2015-02-26 2015-10-06 端末監視装置、端末監視方法及び記憶媒体

Country Status (5)

Country Link
US (1) US20170372144A1 (ja)
JP (1) JP6447234B2 (ja)
CN (1) CN107209978A (ja)
RU (1) RU2680747C1 (ja)
WO (1) WO2016136013A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460300B2 (en) * 2016-06-01 2019-10-29 Multimedia Image Solution Limited Method of preventing fraud and theft during automated teller machine transactions and related system
JP6702045B2 (ja) * 2016-07-11 2020-05-27 沖電気工業株式会社 監視装置
JP6888312B2 (ja) * 2017-02-02 2021-06-16 沖電気工業株式会社 情報処理装置、情報処理方法、およびプログラム
CN107979699B (zh) * 2017-11-24 2018-10-23 山东创惠电子科技有限责任公司 扩展型多功能手机平台
WO2019220387A1 (en) * 2018-05-17 2019-11-21 BODDEDA, Apparao System and method for detecting currency geniuness
JP6959704B2 (ja) * 2018-06-29 2021-11-05 株式会社オプティム コンピュータシステム、振込詐欺防止方法及びプログラム
KR101966171B1 (ko) * 2018-10-16 2019-04-05 주식회사 젠다카디언 카드 복제 방지 장치
JP7199928B2 (ja) * 2018-11-14 2023-01-06 日立チャネルソリューションズ株式会社 キャッシュセンタの監視システムおよび監視方法
US10599964B1 (en) 2019-01-15 2020-03-24 Capital One Services, Llc System and method for transmitting financial information via color matrix code
RU2713876C1 (ru) * 2019-02-12 2020-02-07 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
US10628638B1 (en) * 2019-03-22 2020-04-21 Capital One Services, Llc Techniques to automatically detect fraud devices
CN113633278A (zh) * 2021-07-20 2021-11-12 深圳市爱都科技有限公司 运动监测方法、终端设备以及计算机可读存储介质
US11875652B2 (en) 2021-10-22 2024-01-16 Kyndryl, Inc. Card skimming detection
US20230132132A1 (en) * 2021-10-22 2023-04-27 International Business Machines Corporation Card skimming detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538030A (ja) * 2005-03-29 2008-10-02 ストップリフト インコーポレイテッド ビデオ分析を使用して不審挙動を検出する方法及び装置
JP2009151482A (ja) * 2007-12-19 2009-07-09 Mitsubishi Electric Corp 警備装置及び現金自動預け払い装置及びプログラム及び不審者判定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
RU2315352C2 (ru) * 2005-11-02 2008-01-20 Самсунг Электроникс Ко., Лтд. Способ и система для автоматического обнаружения трехмерных образов
JP2008027259A (ja) * 2006-07-24 2008-02-07 Hitachi Omron Terminal Solutions Corp 不審物又は形状変化検知システム
JP4945297B2 (ja) * 2007-04-19 2012-06-06 株式会社日立製作所 端末監視装置
CN101303781B (zh) * 2008-06-16 2011-08-10 北京邮电大学 一种金融卡防盗刷的方法和设备
RU84148U1 (ru) * 2009-01-19 2009-06-27 Общество С Ограниченной Ответственностью "Конструкторское Бюро "Дорс" (Ооо "Кб "Дорс") Система наблюдения для банковской машины самообслуживания
CN101794481A (zh) * 2009-02-04 2010-08-04 深圳市先进智能技术研究所 Atm自助银行监控系统和方法
RU108136U1 (ru) * 2010-09-06 2011-09-10 Открытое Акционерное Общество "Научно-Производственное Объединение "Волго" Комплекс панорамного видеонаблюдения и контроля территории
CN102176266A (zh) * 2011-01-24 2011-09-07 武汉大学 Atm银行卡视觉行为预警提示方法及系统
RU124016U1 (ru) * 2011-10-20 2013-01-10 Общество с ограниченной ответственностью "Итерион" Интеллектуальная система видеонаблюдения
CN103714631B (zh) * 2013-12-26 2016-07-06 苏州清研微视电子科技有限公司 基于人脸识别的atm取款机智能监控系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538030A (ja) * 2005-03-29 2008-10-02 ストップリフト インコーポレイテッド ビデオ分析を使用して不審挙動を検出する方法及び装置
JP2009151482A (ja) * 2007-12-19 2009-07-09 Mitsubishi Electric Corp 警備装置及び現金自動預け払い装置及びプログラム及び不審者判定方法

Also Published As

Publication number Publication date
CN107209978A (zh) 2017-09-26
RU2680747C1 (ru) 2019-02-26
JP2016157390A (ja) 2016-09-01
JP6447234B2 (ja) 2019-01-09
US20170372144A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6447234B2 (ja) 端末監視装置、端末監視方法及びプログラム
JP4961158B2 (ja) 自動取引装置および不審物検知システム
US9870700B2 (en) Method and device for avoiding false alarms in monitoring systems
US11386756B2 (en) Counter-fraud measures for an ATM device
KR101077379B1 (ko) 불법 금융 거래 방지용 금융 자동화 기기 및 그 제어 방법
JP2010079740A (ja) 監視システム及び監視装置
JP5288786B2 (ja) 警備装置及び現金自動預け払い装置及びプログラム及び不審者判定方法
JP5192324B2 (ja) 監視システム及び自動取引装置
WO2020093757A1 (zh) 一种基于背景协同的风险检测方法、装置及系统
WO2023024473A1 (zh) 活体检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品
TWM337796U (en) Face recognition system and security system comprising same
JP5339942B2 (ja) 取引監視装置
WO2019181140A1 (ja) 画像処理装置、画像処理方法、記録媒体および画像処理システム
KR20090068550A (ko) 금융 자동화 기기 감시 시스템
JP2010079752A (ja) 自動取引システム
KR20160087946A (ko) 지폐계수장치와 연동하는 휴대용 단말장치 및 기록데이터 처리 방법
JP2010170275A (ja) 取引監視装置
TWI638327B (zh) 提款機異常管理方法與系統
JP2019159384A (ja) 自動取引装置
JP3751368B2 (ja) 虹彩認識システムおよび虹彩認識装置
US11823155B2 (en) Apparatus and method for processing user information of smart automated machine using face recognition
KR102579610B1 (ko) Atm 이상행동감지 장치 및 그 장치의 구동방법
CN208673458U (zh) 一种具有面部识别功能atm机
JP5317736B2 (ja) 取引監視装置
KR20050020729A (ko) 보안카메라 촬영방해 및 불법출금 방지를 위한금융자동화기기 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883303

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15545236

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017131511

Country of ref document: RU

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 15883303

Country of ref document: EP

Kind code of ref document: A1