WO2023243172A1 - 監視装置及び監視装置方法 - Google Patents

監視装置及び監視装置方法 Download PDF

Info

Publication number
WO2023243172A1
WO2023243172A1 PCT/JP2023/011010 JP2023011010W WO2023243172A1 WO 2023243172 A1 WO2023243172 A1 WO 2023243172A1 JP 2023011010 W JP2023011010 W JP 2023011010W WO 2023243172 A1 WO2023243172 A1 WO 2023243172A1
Authority
WO
WIPO (PCT)
Prior art keywords
command
unit
operator
person
monitoring device
Prior art date
Application number
PCT/JP2023/011010
Other languages
English (en)
French (fr)
Inventor
武史 金川
優宜 松井
敏之 枝川
啓允 今井
英明 梅村
啓生 堀内
Original Assignee
日立チャネルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立チャネルソリューションズ株式会社 filed Critical 日立チャネルソリューションズ株式会社
Publication of WO2023243172A1 publication Critical patent/WO2023243172A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00—Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00—Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/40—Device architecture, e.g. modular construction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B15/00—Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring device and a monitoring method for monitoring an operator of a transaction device that handles money and the surroundings thereof.
  • Patent Document 1 With the technology typified by Patent Document 1, it is not possible to identify and respond to a wide variety of frauds or to provide support according to the operator's condition. For these reasons, the reality is that monitoring of transaction devices has been limited to simply taking and recording images and using them for subsequent investigations.
  • one of the typical monitoring devices of the present invention includes an imaging unit whose imaging range includes an operator of a transaction device that handles money and the surroundings of the operator, and an imaging unit that captures an image of the imaging unit.
  • a posture detection unit that detects joint positions relative to the skeleton of an image of a person included in the results; a determination unit that determines the motion of the person based on the detection result of the posture detection unit; and a determination unit that determines the motion of the person based on the determination result of the determination unit.
  • a command unit that generates a command indicating a response to the person, and the determination unit includes a detection result of the posture detection unit and operator movement pattern data predefined regarding the operator's movement.
  • one of the representative monitoring methods of the present invention includes an imaging step in which the monitoring device takes an image of an operator of a transaction device handling money and the surroundings of the operator, and an imaging result included in the imaging step.
  • a posture detection step of detecting joint positions with respect to the skeleton of an image of the person; a determination step of determining the motion of the person based on the detection result of the posture detection step; and a determination step of determining the motion of the person based on the determination result of the determination step.
  • a command step for generating a command indicating a response to the posture detection step, and the determination step is performed by comparing the detection result of the posture detection step with predefined operator motion pattern data regarding the motion of the operator.
  • the motion of the person is determined, and the command step generates the command with reference to command pattern data in which the motion and the command are associated with each other.
  • Explanatory diagram for monitoring automatic teller machines Configuration diagram showing the configuration of an ATM Flowchart showing ATM processing procedure
  • Explanatory diagram for details of command pattern data Specific examples of images and actions (Part 1) Specific examples of images and actions (Part 2) Specific examples of images and actions (part 3) Specific examples of images and actions (part 4) Specific examples of images and actions (Part 5) Configuration diagram showing the configuration of the ATM of Example 2 Specific example of operation support (Part 1) Specific example of operation support (Part 2) Specific example of operation support (part 3) Diagram for sharing fraud history Illustration of object detection Illustration of advertisement display
  • the ATM 10 includes an imaging unit whose imaging range includes the operator and the surrounding area.
  • the ATM 10 detects the skeleton of the operator and the skeletons of surrounding people from an image that is a result of imaging by the imaging unit.
  • the skeleton of the operator indicates the posture of the operator.
  • the skeletons of surrounding persons indicate the postures of surrounding persons.
  • the ATM 10 determines the actions of the operator and surrounding people based on the operator's skeleton, the skeletons of surrounding people, the transaction status, etc., and generates commands indicating how to respond to the operator and surrounding people based on the judgment results.
  • Directives include those related to reporting when an operator is committing fraud, alerting the operator when nearby persons are acting suspiciously, and providing operational guidance to the operator.
  • FIG. 2 is a configuration diagram showing the configuration of the ATM 10.
  • the ATM 10 includes a monitoring control section 21, a storage section 22, an imaging section 23, a vibration sensor 24, a microphone 25, a transaction control section 31, a display operation section 32, a speaker 33, a money storage section 34, a deposit/withdrawal section 35, and the like.
  • the transaction control unit 31 is a control unit that processes various transactions including transactions involving money. Transactions include deposits, withdrawals, transfers, balance inquiries, passbook entries, etc. Note that the transaction control section 31 can be connected to a card reader, a bankbook processing section, a communication section, a receipt printer, etc. (not shown), and can use these as necessary in the transaction.
  • the display operation section 32 is connected to the transaction control section 31 and performs display output to the operator and reception of input from the operator.
  • the display operation section 32 includes a touch panel display, buttons, and the like.
  • the speaker 33 is connected to the transaction control unit 31 and outputs audio to the operator.
  • the monitoring control section 21 is connected to a transaction control section 31 , a storage section 22 , an imaging section 23 , a vibration sensor 24 , and a microphone 25 .
  • the imaging unit 23 is a camera that includes the operator and the surrounding area of the operator in its imaging range, and outputs an image that is the imaging result to the monitoring control unit 21 .
  • the vibration sensor 24 detects vibrations of the ATM 10 and outputs the detection results to the monitoring control unit 21.
  • the microphone 25 collects sounds around the ATM 10 and outputs the sound collection results to the monitoring control unit 21 .
  • the storage unit 22 is, for example, a hard disk device, and stores operator movement pattern data 22a, peripheral person movement pattern data 22b, transaction operation procedure data 22c, and command pattern data 22d.
  • the transaction operation procedure data 22c is data indicating the transaction operation procedure of the ATM 10.
  • the operating procedure indicates the order of operations when performing the transaction.
  • the operational steps for withdrawal include "accepting a card,” “inputting an amount,” and "removing money.” Whether each operation has been executed can be acquired from the transaction control unit 31.
  • the motion for each operation can also be registered in the operator motion pattern data 22a.
  • the command pattern data 22d is data that associates the actions of the operator or surrounding persons with commands. Details of the command pattern data 22d will be described later.
  • the monitoring control unit 21 is a control unit that controls monitoring of the ATM 10, and may be realized by, for example, a CPU (Central Processing Unit).
  • the monitoring control unit 21 realizes the functions of the attitude detection unit 21a, the determination unit 21b, and the command unit 21c.
  • the posture detection unit 21a detects joint positions regarding the skeleton of the person's image included in the imaging result of the imaging unit 23. Specifically, the posture detection unit 21a extracts a person's image from the image and detects the joint positions of the skeleton. At this time, the distance to the person may be identified based on the position of the person's image. For example, the operator can be identified as being near the ATM 10 based on the size of the image. Regarding surrounding people, the distance to the ATM 10 can be estimated from the size of the image in the image, the position of the feet, etc.
  • the determination unit 21b determines the motion of the person based on the detection result of the posture detection unit 21a.
  • the determining unit 21b determines the operator's motion by comparing the detection result of the posture detecting unit 21a and the operator's motion pattern data 22a. Further, the determination unit 21b determines the motion of the surrounding person by comparing the detection result of the posture detection unit 21a and the surrounding person movement pattern data 22b.
  • the determination unit 21b can also determine the behavior of the person further using the transaction status acquired from the transaction control unit 31. For example, it can be determined that a card insertion operation is being performed based on the posture of the operating person and the state of the card reader.
  • the determination unit 21b may identify the transaction status by comparing the detection result of the posture detection unit 21a with the transaction operation procedure data 22c, and further use the identified transaction status to determine the person's movement. can. Furthermore, it is also possible to further use the outputs of the microphone 25 and the vibration sensor 24 to determine the motion of the person. As an example, if sound or vibration is detected when the operator is squatting in front of the ATM 10, it can be determined that there is a possibility that the money storage section 34 is being destroyed.
  • the command unit 21c can generate a command for a situation specified by a combination of the operator's actions and the actions of surrounding people. For example, if an operator is squatting in front of the ATM 10 and people nearby are waiting their turn, there is a high possibility that the operator is doing something that is not fraudulent, such as picking up a lost item. On the other hand, if the operator is crouching in front of the ATM 10 and people nearby are acting cautious of their surroundings, there is a possibility that the operator and the people nearby are working together to commit fraud. .
  • the command unit 21c can generate a command for at least one of reporting, warning, restraining, and calling attention when the person's action is an illegal act. Further, the command unit 21c can generate a command to support the operator's operation when the operator's operation deviates from a proper operating procedure. Furthermore, the command unit 21c can generate a command to cancel and start the power saving mode of the ATM 10 based on the approach and departure of the operator. Specific examples of these commands will be described later.
  • FIG. 3 is a flowchart showing the processing procedure of the ATM 10.
  • the ATM 10 repeatedly executes the processes of steps S101 to S109.
  • the imaging unit 23 captures an image (step S101).
  • the posture detection unit 21a detects a skeleton from the imaging result of the imaging unit 23 (step S102), and identifies the operator and surrounding persons (step S103).
  • the posture detection unit 21a detects the postures of the operator and surrounding persons from the positional relationship of the joints (step S104).
  • the command unit 21c refers to the command pattern data 22d based on the movements of the operator and surrounding persons, and generates commands if necessary (step S107). Once the command is generated, it is necessary to output the command (step S108; Yes), so the generated command is output (step S109), and the process ends. If no command has been generated (step S108; No), the process ends.
  • FIG. 4 is an explanatory diagram of details of the command pattern data.
  • the command pattern data 22d indicates that if the operator's action is "transaction operation in progress" and the actions of surrounding persons are "peeking", a command to alert the operator is generated. ing. Specifically, a command for causing the display operation unit 32 to output a display indicating that the user is being viewed from behind is suitable.
  • the command pattern data 22d indicates that there is no command if the operator's action is "transaction operation in progress" and the surrounding person's action is "mobile phone call in progress".
  • command pattern data 22d indicates that an operation support command is generated if the operator's action is "stagnation or deviation from the operation procedure". For example, if the procedure shown in the transaction operation procedure data 22c is stalled in the middle, the display operation unit 32 is caused to output a display indicating the next procedure.
  • command pattern data 22d indicates that if the operator's action is "transfer operation while talking on the phone", a withdrawal command is generated.
  • bank transfer fraud can be prevented by displaying a message such as "Please wait for a while. An attendant will arrive.” You may also make a report. Alternatively, the operator may be directly informed that there is a suspicion of bank transfer fraud.
  • command pattern data 22d indicates that there is no command if the operator's action is a short squatting motion. This is because there is a possibility that the person is picking up something that has been lost.
  • the command pattern data 22d indicates that when the operator's action is crouching for a long time, different responses are taken depending on the accuracy of the crouching determination. Squatting down for a long time may be an abnormal act such as vandalism to the coin storage unit 34. Therefore, the command pattern data 22d associates a command to call attention (for example, outputting an alarm sound from the speaker 33) when the accuracy is low, and a command to notify a security guard when the accuracy is high.
  • a command to call attention for example, outputting an alarm sound from the speaker 33
  • the command pattern data 22d indicates that a command to cancel and start the power saving mode of the ATM 10 is generated based on the approach and departure of the operator.
  • the power saving mode is a mode in which power consumption of unnecessary functions is suppressed when no operator is present.
  • the command pattern data 22d states that a command to cancel the power saving mode is generated when the approach of the operator is detected. Additionally, when the operator finishes the transaction and leaves the transaction, and there are no nearby people waiting for their turn, a command to start the power saving mode is generated.
  • the posture detection unit 21a detects the skeletal position of each person displayed on the screen, including the head, left and right shoulders, left and right arm joints, and the like.
  • the determination unit 21b determines whether each person is a person facing the ATM (an ATM operator) or other surrounding people based on the size of a triangle connecting the head and both shoulders and its position on the screen, for example. Determine whether it is a person.
  • the determining unit 21b determines that the person on the near side is an operator facing the ATM based on the size and position on the screen, and that the person is inserting a card into the ATM 10 based on the skeletal information.
  • the person on the back side is determined to be a person in the vicinity of the ATM 10, and is determined to be looking into the screen of the ATM 10.
  • the command unit 21c instructs the transaction control unit 31 to take predefined actions corresponding to each piece of information reported by the determination unit 21b. For example, since the operator of the ATM 10 inserting a card is an act within the scope of normal ATM operation, no command is generated in that case. Furthermore, since it is an abnormal act for a person in the vicinity of the ATM 10 to look into the screen, a warning is displayed on the screen of the ATM 10. Based on predefined priorities for the definition information for these multiple people, in this case, for example, priority is given to commands regarding the actions of surrounding people, and the command unit issues a warning to the host device on the screen of the ATM 10. Command to display. For example, the priority is set in the order of notification, warning, restraint, attention call, operation support, and no command, and if there are multiple commands corresponding to the determination result, the highest command may be generated.
  • the determining unit 21b determines, for example, that the person on the near side is an ATM operator based on the size and position on the screen, and that he is touching a button on the screen of the ATM 10 based on skeletal information.
  • the person on the back side is similarly determined to be a person in the vicinity of the ATM 10, and is determined to be talking on a mobile phone.
  • the command unit 21c determines that the action is within the range of normal ATM operation and no command is given. Also, if a person in the vicinity of the ATM 10 is talking on a mobile phone, this is an action that can normally be taken, so no command is given. Based on these definition information, the command unit 21c does not output a command to the transaction control unit 31.
  • the determination unit 21b determines that the person in the image is the operator of the ATM 10, and also determines that the person is about to turn around and leave.
  • the command unit 21c obtains information regarding the progress status of the operation being performed by the operator, for example, from the transaction control unit 31. For example, if information is obtained that the operator has completed a transaction, there is no need to output a command to the transaction control unit 31. Alternatively, if information is obtained that the operator has not yet taken out the withdrawn banknotes, the operator instructs the speaker 33 to issue a ring tone or the like to alert the operator.
  • the determination unit determines that the person in the image is the person facing the ATM 10, that is, the operator for convenience, based on the size and position on the screen, and determines that the person is squatting in front of the ATM 10.
  • the command unit 21c determines that the act of the operator crouching is an abnormal act such as vandalism of a safe, and instructs the transaction control unit 31 to call a security guard, for example. For example, if the crouching time is short, the command unit 21c treats it as a normal action such as picking up something dropped and instructs the command unit 21c to do nothing, and if the time is longer than a certain level, it instructs the safe to melt.
  • the command unit 21c may issue a warning sound or prevent crime by, for example, emitting an alarm sound from the ATM, since this posture cannot necessarily be considered as a posture for vandalism. If the accuracy of the match is high, it will be considered as a posture for sabotage, and the content of the command will be changed depending on the accuracy of the match. It can be changed.
  • the determining unit 21b determines that the person in the image is an operator facing the ATM 10, and which part of the ATM 10 is being operated based on the skeleton information.
  • the area surrounded by a broken line in FIG. 9 includes a touch panel display, a switch, a card reader, a money deposit/withdrawal port, a receipt printer, and the like. If the position of the operator's hand matches any of the areas surrounded by the broken line, it can be determined which operation the operator performed. If the determined operation is different from the order shown in the transaction operation procedure data 22c, there is a possibility of an operation error, so the command unit 21c instructs the operator to perform the correct operation.
  • FIG. 10 is a configuration diagram showing the configuration of the ATM of Example 2.
  • the ATM 10 shown in FIG. 10 has a configuration in which a behavior estimation section 21d, a facial expression detection section 21e, an object detection section 21f, and a heart rate detection sensor 26 are added to the configuration shown in FIG. Further, the ATM 10 shown in FIG. 10 can communicate with the face authentication server 41 via the network.
  • the behavior estimation section 21d, the facial expression detection section 21e, and the object detection section 21f are included in the monitoring control section 21.
  • the heart rate detection sensor 26 is a sensor that detects the heart rate of the operator.
  • the behavior estimation unit 21d estimates the smoothness of the operator's operation.
  • the command unit 21c generates a command to support the operator's operation when the smoothness of the operation is insufficient.
  • the behavior estimation unit 21d estimates whether or not the operation is smooth using the stagnation of the operation, the operator's facial expression, the operator's heart rate, and the like.
  • the stagnation of an operation can be determined by acquiring the transaction status in the transaction control unit 31 and comparing the estimated time required until the next operation with the actual time required for the operation.
  • the facial expression of the operator can be detected by the facial expression detection unit 21e performing image processing on the image of the operator's face.
  • the heart rate of the operator can be detected by the heart rate detection sensor 26.
  • the behavior estimation unit 21d estimates that smoothness is low if stagnation occurs in the operation. If the operator's expression shows confusion, the behavior estimation unit 21d estimates that the smoothness is low. The behavior estimation unit 21d estimates that the smoothness is low when the heart rate of the operator is high. In addition to these, the behavior estimation unit 21d estimates the smoothness of the operation using arbitrary indicators, such as when the operator is about to perform an operation that differs from the procedure, when the operator accepts cancellation of an operation, or when a confused action is detected. can.
  • the behavior estimation unit 21d stores information regarding operations estimated to be insufficiently smooth in a predetermined storage unit. For example, by storing operations that the operator was unable to perform smoothly in the storage unit 22, this can be used to improve the interface.
  • the command unit 21c associates information indicating the external appearance characteristics of the person who committed the fraudulent act (for example, a face image or feature amount of the facial image) with information indicating the fraudulent act (for example, the type of fraud), and It is registered in the face authentication server 41, which is a device. As a result, the face authentication server 41 accumulates fraudulent history data.
  • the command unit 21c can inquire of the face authentication server 41 regarding the person imaged by the imaging unit 23. As a result of the inquiry, if there is a history of fraud, the information obtained from the new transaction is linked and registered in the face authentication server 41. For example, if a person who commits fraud uses the person's account, it is possible to link the fraudulent act to the person's identity information.
  • a command may be generated for at least one of reporting, warning, restraining, and calling attention. In other words, it is possible to report a person who has committed fraud in the past without having to make a new determination of fraud.
  • the object detection unit 21f detects an object held by a person by performing image processing on the imaging result of the imaging unit 23, and identifies the detected object.
  • the command unit 21c generates a command regarding a report and/or a warning when the object is an object related to an illegal act.
  • Objects related to fraudulent activities include items that are unnecessary for transaction operations, items that may be used to destroy the ATM 10, and the like.
  • the ATM 10 may include a display section capable of displaying advertisements.
  • the display section capable of displaying advertisements may be a part of the display operation section 32, or may be provided as a separate display section.
  • the determination unit 21b can determine the person's line of sight.
  • the command unit 21c can switch the advertisement display when the person's line of sight turns to the advertisement display display unit. Furthermore, the determination unit 21b can measure and record the time period during which the person's line of sight was directed toward the display unit for displaying advertisements.
  • 11 to 13 are specific examples of operation support.
  • the transactions illustrated in FIG. card, and receipt receipt.
  • the command unit 21c issues the guidance "Please insert your card or passbook”. ” to support the operator's operations. Additionally, if the transaction progress status is the "amount input screen" and the skeleton information indicates that the operator is unsure, the command unit 21c outputs the guidance "Please enter the amount you wish to withdraw.” By doing so, it supports the operator's operations.
  • the ATM 10 can issue appropriate guidance by comparing and determining the actions of the ATM 10 operator and at what stage of the transaction procedure the actions are taking place.
  • the guidance may be a display or sound, or may be a control that makes the part to be operated stand out, such as by making the card slot blink more intensely.
  • the ATM 10 In addition to providing operational guidance, the ATM 10 also remembers at what stage in the transaction procedure the operator was confused about the operation. Therefore, the next time the same person performs an operation, it is possible to change the guidance in the same situation to make it easier to understand the operation, and by capturing areas where many users are confused about the operation as big data, it can be used to improve the guidance. .
  • the transaction progress state is "insert card or passbook", and facial expression detection shows that the customer is confused. Therefore, the command unit 21c supports the operator's operation by outputting the guidance "Please insert your card or passbook.” The ATM 10 also remembers at what stage in the transaction procedure the operator became confused.
  • a confused or troubled face can be determined by detecting facial expressions and actions such as wrinkles between the eyebrows, drooping of the corners of the eyes, and tilting the head.
  • the transaction progress status is "insertion of card or passbook", and it is presumed that the user is having trouble due to an increase in heart rate. Therefore, the command unit 21c supports the operator's operation by outputting the guidance "Please insert your card or passbook.”
  • the ATM 10 also remembers at what stage in the transaction procedure the operator became confused.
  • Heart rate can be measured without contact by detecting minute vibrations on the body surface using millimeter wave radar.
  • the behavior estimation unit 21d detects that the heart rate has increased, the behavior estimation unit 21d infers that the person is in an anxious state, such as not knowing the procedure, or in an anxious state, such as a case of wire fraud.
  • FIG. 14 is an explanatory diagram of sharing of fraud history.
  • user A performs a fraudulent act at ATM 10a and then operates ATM 10b installed at a different location.
  • the ATM 10a registers and shares the information of the person who committed the fraudulent act with an external device, and thereafter, if any ATM detects that person, the information of that person is linked. Therefore, it is possible to accumulate information that can be used to confirm the identity of the person who committed the fraudulent act, such as account information.
  • FIG. 16 is an explanatory diagram of advertisement display.
  • the ATM 10 can display advertisements and the like. For example, a part of the display area of the display operation unit 32 used for transactions may be used to display advertisements to the operator. Further, an advertising display section may be separately provided above the ATM 10 so that it can be seen by people in the vicinity.
  • the ATM 10 detects the line of sight of the operator and surrounding people through image processing and the like. Then, when it detects that the line of sight is directed toward the advertising display area, the display content is switched and the advertisement is displayed. Furthermore, by measuring and recording the time that the line of sight is directed toward the display unit, it is possible to accumulate evaluation materials for the content of the advertisement.
  • advertisement content may be determined in conjunction with user information and transaction details. For example, conditions such as ⁇ If your account balance is low and you are making withdrawals or transfers, we will advertise a loan'' or ⁇ If your account balance is large and you are making deposits, we will guide you on asset management.'' You can use
  • the determination unit 21b determines the motion of the person by comparing the detection result of the posture detection unit 21a with operator motion pattern data 22a defined in advance regarding the motion of the operator, and determines the motion of the person.
  • 21c is characterized in that the command is generated by referring to command pattern data 22d in which the action and the command are associated with each other.
  • the determination unit 21b can determine the behavior of the person further using the transaction status acquired from the transaction device. Further, the determination unit 21b identifies the transaction status by comparing the detection result of the attitude detection unit 21a with transaction operation procedure data 22c indicating the operation procedure of the transaction device, and further utilizes the transaction status. It is possible to determine the motion of the person. By acquiring the transaction status in this manner, the operator's actions can be determined in more detail.
  • the command unit 21c generates a command regarding at least one of reporting, warning, restraining, and calling attention when the action of the person is an illegal act. Therefore, the monitoring device can appropriately deter fraudulent acts.
  • the monitoring device further includes a microphone and/or a vibration sensor, and the determination unit 21b further uses the output of the microphone and/or the vibration sensor to determine the motion of the person. Therefore, vandalism and unauthorized processing can be determined with high accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

監視装置としての機能を内蔵したＡＴＭ１０は、貨幣を取り扱う取引装置の操作者と前記の周囲とを撮像範囲に含む撮像部２３と、前記撮像部２３の撮像結果に含まれる人物の像について骨格に関する関節位置を検出する姿勢検出部２１ａと、前記姿勢検出部２１ａの検操作者出結果に基づいて、前記人物の動作を判定する判定部２１ｂと、前記判定部２１ｂの判定結果に基づいて、前記人物への対応を示す指令を生成する指令部２１ｃと、を備える。この監視装置は、貨幣を取り扱う取引装置の操作について、高機能な監視を実現できる。

Description

監視装置及び監視装置方法
　本発明は、貨幣を取り扱う取引装置の操作者とその周囲を監視する監視装置及び監視方法に関する。
　従来、画像を用いて操作の監視を行う技術がある。例えば、特許文献１には、「操作者位置の操作者が操作する遊技機に用いられる異常行為発見装置であって、以下の要素を有することを特徴とする異常行為発見装置（１）操作者位置の被写体を含む画像情報を取得する撮像部、（２）上記撮像部により取得した上記画像情報に基づいて、上記被写体の動きを示す被写体動作情報を検出する被写体動作検出部、（３）上記被写体動作検出部により検出された上記被写体動作情報に基づいて、上記操作者による異常行為の発生を判定する異常行為判定部。」との記載がある。
特開２００１－０７０５９４号公報
　しかしながら、従来の技術では、貨幣を取り扱う取引装置に対する不正の対策や操作の支援を十分に行うことができなかった。
　貨幣を取り扱う取引装置に対する不正は、操作者の後ろからの覗き込み、不正を行うための装置の取り付け、破壊行為、など多種多様である。
　また、操作者が操作に迷ったり、振り込め詐欺による振り込み操作を行おうとしているときに操作案内や詐欺防止などの支援をリアルタイムに行うことも求められている。
　さらに、取引装置では、操作者の周囲に順番待ちをしている人物がいる可能性がある。順番待ちをしている人物は通行人とは異なり、操作者の周囲で留まるため、操作者との峻別が困難なケースが生じ得る。
　特許文献１に代表される技術では、多種多様な不正を識別して対応したり、操作者の状態に応じた支援を行うことはできない。これらのことから、取引装置に対する監視は、単に撮像して記録し、事後の調査に用いるにとどまるのが実情であった。
　そこで、本発明では、貨幣を取り扱う取引装置の操作について、不正対策や操作支援などを行うことのできる高機能な監視装置及び監視方法を提供することを目的とする。
　上記目的を達成するために、代表的な本発明の監視装置の一つは、貨幣を取り扱う取引装置の操作者と前記操作者の周囲とを撮像範囲に含む撮像部と、前記撮像部の撮像結果に含まれる人物の像について骨格に関する関節位置を検出する姿勢検出部と、前記姿勢検出部の検出結果に基づいて、前記人物の動作を判定する判定部と、前記判定部の判定結果に基づいて、前記人物への対応を示す指令を生成する指令部と、を備え、前記判定部は、前記姿勢検出部の検出結果と、前記操作者の動作について予め定義した操作者動作パターンデータとを比較することで前記人物の動作を判定し、前記指令部は、前記動作と前記指令とを対応付けた指令パターンデータを参照して前記指令の生成を行うことを特徴とする。
　また、代表的な本発明の監視方法の一つは、監視装置が、貨幣を取り扱う取引装置の操作者と前記操作者の周囲とを撮像する撮像ステップと、前記撮像ステップの撮像結果に含まれる人物の像について骨格に関する関節位置を検出する姿勢検出ステップと、前記姿勢検出ステップの検出結果に基づいて、前記人物の動作を判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記人物への対応を示す指令を生成する指令ステップと、を含み、前記判定ステップは、前記姿勢検出ステップの検出結果と、前記操作者の動作について予め定義した操作者動作パターンデータとを比較することで前記人物の動作を判定し、前記指令ステップは、前記動作と前記指令とを対応付けた指令パターンデータを参照して前記指令の生成を行うことを特徴とする。
　本発明によれば、貨幣を取り扱う取引装置の操作について、高機能な監視を実現することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
現金自動預払機の監視についての説明図 ＡＴＭの構成を示す構成図 ＡＴＭの処理手順を示すフローチャート 指令パターンデータの詳細についての説明図 画像と動作の具体例（その１） 画像と動作の具体例（その２） 画像と動作の具体例（その３） 画像と動作の具体例（その４） 画像と動作の具体例（その５） 実施例２のＡＴＭの構成を示す構成図 操作支援の具体例（その１） 操作支援の具体例（その２） 操作支援の具体例（その３） 不正履歴の共有についての説明図 物体検知の説明図 広告表示の説明図
　以下、実施例を図面を用いて説明する。
　図１は、現金自動預払機（ＡＴＭ）の監視についての説明図である。図１に示したＡＴＭ１０は、貨幣を取り扱う取引装置であり、かつ、操作者とその周囲を監視する監視装置としての機能を内蔵している。
　ＡＴＭ１０は、操作者とその周囲を撮像範囲に含む撮像部を備えている。ＡＴＭ１０は、撮像部による撮像結果である画像から、操作者の骨格と周辺人物の骨格を検出する。操作者の骨格は、操作者の姿勢を示す。同様に、周辺人物の骨格は、周辺人物の姿勢を示す。
　ＡＴＭ１０は、操作者の骨格、周辺人物の骨格、取引の状態などに基づいて、操作者や周辺人物の動作を判定し、判定結果に基づいて操作者や周辺人物への対応を示す指令を生成する。指令は、操作者が不正を行っている場合の通報、周辺人物が不審な行動をしている場の操作者への注意喚起、操作者への操作の案内などに関するものが含まれる。
　このように、取引装置の操作者や周囲を撮像し、人物の骨格を識別して動作を判定し、動作に応じた警告や案内を行うことで、不正への対策や操作の支援を実現することができる。
　図２は、ＡＴＭ１０の構成を示す構成図である。ＡＴＭ１０は、監視制御部２１、記憶部２２、撮像部２３、振動センサ２４、マイク２５、取引制御部３１、表示操作部３２、スピーカ３３、貨幣収納部３４及び入出金部３５などを有する。
　取引制御部３１は、貨幣を取り扱う取引を含む各種取引を処理する制御部である。取引には、入金、出金、振込、残高照会、通帳記入などが含まれる。なお、取引制御部３１は、図示しないカードリーダ、通帳処理部、通信部、レシートプリンタなどを接続することができ、これらを取引における必要に応じて使用することができる。
　表示操作部３２は、取引制御部３１に接続され、操作者に対する表示出力と、操作者からの入力の受付を行う。表示操作部３２には、タッチパネルディスプレイやボタンなどが含まれる。スピーカ３３は、取引制御部３１に接続され、操作者に対する音声出力を行う。
　貨幣収納部３４は、貨幣、すなわち紙幣や硬貨を金種別に収納する。入出金部３５は、貨幣の入出金を行う。入出金部３５に貨幣が投入されると、貨幣収納部３４は、投入された貨幣を金種別に計数して収納し、合計金額や金種別の在高を取引制御部３１に通知する。また、貨幣収納部３４は、取引制御部３１からの制御を受けて、貨幣を入出金部３５に出金する。
　監視制御部２１は、取引制御部３１、記憶部２２、撮像部２３、振動センサ２４及びマイク２５と接続する。
　撮像部２３は、操作者と操作者の周囲とを撮像範囲に含むカメラであり、撮像結果である画像を監視制御部２１に出力する。
　振動センサ２４は、ＡＴＭ１０の振動を検知し、検知結果を監視制御部２１に出力する。
　マイク２５は、ＡＴＭ１０の周囲の音を集音し、集音結果を監視制御部２１に出力する。
　記憶部２２は、例えばハードディスク装置であり、操作者動作パターンデータ２２ａ、周辺人物動作パターンデータ２２ｂ、取引操作手順データ２２ｃ及び指令パターンデータ２２ｄを格納する。
　操作者動作パターンデータ２２ａは、操作者がＡＴＭ１０を操作するときの動作を予め定義したデータである。
　周辺人物動作パターンデータ２２ｂは、操作者の周辺に所在する周辺人物の動作を予め定義したデータである。周辺人物の動作とは、例えば、順番待ちのように適正な動作や、覗き込みなどの不正を示唆する動作が含まれる。
　取引操作手順データ２２ｃは、ＡＴＭ１０の取引の操作手順を示すデータである。例えば、操作手順は、その取引を行うときの操作の順序を示す。例えば、出金の操作手順は、「カードの受付」、「金額の入力」、「貨幣の取り出し」となる。それぞれの操作が実行されたかは、取引制御部３１から取得することができる。また、それぞれの操作における動作を操作者動作パターンデータ２２ａに登録することもできる。
　指令パターンデータ２２ｄは、操作者や周辺人物の動作と指令とを対応付けたデータである。指令パターンデータ２２ｄの詳細については後述する。
　監視制御部２１は、ＡＴＭ１０の監視を制御する制御部であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）により実現すればよい。監視制御部２１は、姿勢検出部２１ａ、判定部２１ｂ及び指令部２１ｃの機能を実現する。
　姿勢検出部２１ａは、撮像部２３の撮像結果に含まれる人物の像について骨格に関する関節位置を検出する。具体的には、姿勢検出部２１ａは、画像から人物の像を抽出し、骨格の関節位置を検出する。このとき、人物の像の位置によって、人物までの距離を識別してもよい。例えば、操作者については、画像における像の大きさなどからＡＴＭ１０の近傍に居ると識別できる。周辺人物については、画像における像の大きさや、足の位置などからＡＴＭ１０に対する距離を推定できる。
　判定部２１ｂは、姿勢検出部２１ａの検出結果に基づいて、前記人物の動作を判定する。
　判定部２１ｂは、姿勢検出部２１ａの検出結果と、操作者動作パターンデータ２２ａとを比較することで操作者の動作を判定する。
　また、判定部２１ｂは、姿勢検出部２１ａの検出結果と、周辺人物動作パターンデータ２２ｂとを比較することで周辺人物の動作を判定する。
　判定部２１ｂは、取引制御部３１から取得した取引の状態をさらに用いて人物の動作を判定することもできる。例えば、操作人物の姿勢とカードリーダの状態からカード挿入の動作を行っていると判定することができる。
　また、判定部２１ｂは、姿勢検出部２１ａの検出結果と、取引操作手順データ２２ｃとを比較して取引の状態を特定し、特定した取引の状態をさらに用いて人物の動作を判定することもできる。
　さらに、マイク２５や振動センサ２４の出力をさらに用いて人物の動作を判定することも可能である。一例として、操作者がＡＴＭ１０の前でしゃがんでいる場合に、音や振動を検知すれば、貨幣収納部３４の破壊を行っている可能性があると判定できる。
　指令部２１ｃは、判定部２１ｂの判定結果に基づいて、指令パターンデータ２２ｄを参照し、操作者や周辺人物への対応を示す指令を生成する。
　指令部２１ｃは、指令パターンデータ２２ｄを参照することで、操作者の動作や周辺人物の動作に応じた指令を生成することができる。
　また、指令部２１ｃは、操作者の動作と周辺人物の動作の組合せにより特定される状況に対する指令を生成可能である。
　例えば、操作者がＡＴＭ１０の前でしゃがんでいるときに、周辺人物が順番待ちをしていれば、操作者は落とし物を拾うなど不正ではない動作をしている可能性が高い。
　一方、操作者がＡＴＭ１０の前でしゃがんでいるときに、周辺人物が周囲を警戒する動作を行っていれば、操作者と周辺人物は、協働して不正行為を働いている可能性がある。
　指令部２１ｃは、人物の動作が不正な行為である場合に、通報、警告、引き止め、注意喚起の少なくともいずれかについて指令を生成することができる。
　また、指令部２１ｃは、操作者の操作が適正な操作手順から逸脱している場合に、操作者の操作を支援する指令を生成することができる。
　さらに、指令部２１ｃは、操作者の接近と離脱に基づいて、ＡＴＭ１０の省電力モードの解除と開始を指示する指令を生成することができる。
　これらの指令の具体例については後述する。
　図３は、ＡＴＭ１０の処理手順を示すフローチャートである。ＡＴＭ１０は、ステップＳ１０１～Ｓ１０９の処理を繰り返し実行する。
　処理が開始されると、まず、撮像部２３が撮像を行う（ステップＳ１０１）。姿勢検出部２１ａは、撮像部２３の撮像結果から骨格を検知し（ステップＳ１０２）、操作者と周辺人物を識別する（ステップＳ１０３）。姿勢検出部２１ａは、関節の位置関係から操作者と周辺人物の姿勢をそれぞれ検出する（ステップＳ１０４）。
　判定部２１ｂは、取引制御部３１から取得して、もしくは取引操作手順データ２２ｃを参照して、取引の状態を特定する（ステップＳ１０５）。
　判定部２１ｂは、操作者の姿勢、周辺人物の姿勢、取引の状態などを用いて、操作者と周辺人物の動作を判定する（ステップＳ１０６）。
　指令部２１ｃは、操作者と周辺人物の動作に基づいて指令パターンデータ２２ｄを参照し、必要であれば指令の生成を行う（ステップＳ１０７）。指令を生成したならば、指令の出力が必要であるので（ステップＳ１０８；Ｙｅｓ）、生成した指令を出力して（ステップＳ１０９）、処理を終了する。指令を生成していなければ（ステップＳ１０８；Ｎｏ）、そのまま処理を終了する。
　図４は、指令パターンデータの詳細についての説明図である。図４に示すように、指令パターンデータ２２ｄは、操作者の動作が「取引操作中」、周辺人物の動作が「覗き込み」であれば、操作者に注意喚起する指令を生成することを示している。具体的には、後ろから覗かれている旨の表示を表示操作部３２に出力させる指令などが好適である。
　一方、指令パターンデータ２２ｄは、操作者の動作が「取引操作中」、周辺人物の動作が「携帯通話中」であれば、指令無しとしている。
　また、指令パターンデータ２２ｄは、操作者の動作が「操作手順停滞、逸脱」であれば、操作支援の指令を生成することを示している。例えば、取引操作手順データ２２ｃに示された手順の途中で停滞したならば、次の手順を教える表示を表示操作部３２に出力させる。
　また、指令パターンデータ２２ｄは、操作者の動作が「通話しながら振込操作」であれば、引き止めの指令を生成することを示している。例えば、「しばらくお待ちください。係員が参ります。」などの表示を行わせることで、振り込み詐欺の防止を図ることができる。合わせて、通報を行ってもよい。また、振り込み詐欺の疑いがあることを直接的に操作者に伝えるようにしてもよい。
　また、指令パターンデータ２２ｄは、操作者の動作が「離脱かつ忘れ物有り」であれば、注意喚起の指令を生成することを示している。例えばカードを挿入して操作した後、カードを取り出す動作をせずにＡＴＭ１０から離れたならば、カードを忘れていると推定できる。この場合には、「カードを忘れています」などの音声をスピーカ３３から出力させる指令などが好適である。
　また、指令パターンデータ２２ｄは、操作者の動作が短時間のしゃがみ込みであれば、指令無しとしている。落とし物を拾うなどを行っている可能性があるためである。
　また、指令パターンデータ２２ｄは、操作者の動作が長時間のしゃがみ込みである場合には、しゃがみ込みの判定の確度によって異なる対応をとることを示している。長時間のしゃがみ込みは、貨幣収納部３４に対する破壊行為等の異常な行為である可能性がある。そこで、指令パターンデータ２２ｄは、確度が低い場合には注意喚起の指令（例えば、スピーカ３３から警報音出力）を対応付け、確度が高い場合には警備員に通報する指令を対応づけている。
　操作者の動作がしゃがみ込みである場合に、周辺人物の動作によって異なる対応を取ってもよい。指令パターンデータ２２ｄは、操作者の動作が「しゃがみ込み」、周辺人物の動作が「順番待ち」であれば指令無しとしている。一方、指令パターンデータ２２ｄは、操作者の動作が「しゃがみ込み」、周辺人物の動作が「周囲を警戒」であれば「警備員に通報」を対応付けている。
　操作者の動作には、不正加工を含めてもよい。不正加工は、例えば、カードを不正に読み取る機械をＡＴＭ１０に取り付ける動作である。指令パターンデータ２２ｄは、不正加工を操作者が行っていると高い確度で判定したときに、警備員に通報することを示している。また、操作者による不正加工と低い確度で判定するか、操作者がＡＴＭ１０の前を長時間占有している場合であって、周辺人物が周囲を警戒しているときには、警備員に通報することを示している。
　貨幣収納部３４に対する破壊行為や不正加工の判定は、振動センサ２４やマイク２５の出力をさらに用いることも可能である。破壊行為や不正加工で生じる振動や音を検知したならば、破壊行為や不正加工が行われているとの判定の確度を上げることができる。
　さらに、指令パターンデータ２２ｄは、操作者の接近と離脱に基づいて、ＡＴＭ１０の省電力モードの解除と開始を指示する指令を生成することを示している。省電力モードは、操作者がいない状態で不要な機能の消費電力を抑制するモードである。
　具体的には、指令パターンデータ２２ｄは、操作者の接近を検知した場合に省電力モードを解除する指令を生成するとしている。また、操作者が取引を終了して離脱し、かつ順番待ちをしている周辺人物がいない場合に、省電力モードを開始する指令を生成するとしている。
　次に、図５～図９を参照し、画像と動作の具体例について説明する。
　図５では、姿勢検出部２１ａが、画面に映っている各人物について、頭部、左右の肩、左右の腕の各関節などから成る人物の骨格位置を検出する。
　判定部２１ｂは、例えば頭部と両肩を結ぶ三角形の大きさや、その画面上の位置を元に、それぞれの人物がＡＴＭに対峙している人物（ＡＴＭの操作者）か、それ以外の周辺人物かを判定する。
　判定部２１ｂは、さらにそれぞれの人物について、検出部が検出した骨格情報と、あらかじめ定義した特定の姿勢または行動の候補とを比較し、それらの候補との合致度を算出する。もっとも合致度の高い候補について、その合致度が一定以上の場合は、その候補をその人物の姿勢として判定する。合致度が一定未満の場合は、候補なしまたは姿勢不明と判定する。
　例えば、判定部２１ｂは、手前側の人物については、大きさや画面上の位置からＡＴＭに対峙する操作者であり、骨格情報からＡＴＭ１０へのカード挿入動作を行っていると判定する。奥側の人物については、ＡＴＭ１０の周辺人物と判定し、ＡＴＭ１０の画面を覗き込んでいると判定する。
　指令部２１ｃは、判定部２１ｂの報告する各情報に対応して予め定義しておいた行動を、取引制御部３１に対して指令する。例えば、ＡＴＭ１０の操作者がカードを挿入することは、通常のＡＴＭ操作の範囲内の行為であることから、その場合は指令を生成しない。また、ＡＴＭ１０の周辺人物が画面を覗き込む行為は、異常な行為であるので、ＡＴＭ１０の画面上に警告を表示する。これらの複数の人物に対する定義情報に対して、あらかじめ定義した優先度に基づき、この場合、例えば周辺人物の行為に対する指令を優先し、指令部は上位装置に対して、ＡＴＭ１０の画面上に警告を表示することを指令する。優先度は、例えば、通報、警告、引き止め、注意喚起、操作支援、指令無しの順に設定しておき、判定結果に対応する指令が複数存在する場合には、最も高い指令を生成すればよい。
　図６では、判定部２１ｂは、例えば手前側の人物については、大きさや画面上の位置からＡＴＭの操作者であり、骨格情報からＡＴＭ１０の画面上のボタンを触っていると判定する。奥側の人物については、同様にＡＴＭ１０の周辺人物と判定し、携帯電話で通話をしていると判定する。
　指令部２１ｃは、例えば、ＡＴＭ１０の操作者が画面上のボタンを触っている場合は、通常のＡＴＭ操作の範囲内の行為とし、指令無しとする。また、ＡＴＭ１０の周辺人物が携帯通話をしている場合についても、通常取り得る行為で有るので、指令無とする。これらの定義情報に基づき、指令部２１ｃは取引制御部３１に対する指令を出力しない。
　図７では、判定部２１ｂは、画像内の人物について、ＡＴＭ１０の操作者と判定し、かつ振り返って立ち去ろうとしていると判定する。
　指令部２１ｃは、例えば取引制御部３１から、操作者が行っている操作の進行状況に関する情報を入手する。例えば操作者が取引を終えているという情報を入手した場合は、取引制御部３１に対して指令の出力は不要である。あるいは、操作者が出金した紙幣をまだ取り出していないという情報を入手した場合は、スピーカ３３を用いて注意喚起の為の呼び出し音などを発報する事を指令する。
　図８では、判定部は、画像内の人物について、大きさや画面上の位置から、ＡＴＭ１０に対峙する人物、すなわち便宜上の操作者と判定し、かつＡＴＭ１０の前でしゃがみこんでいると判定する。
　指令部２１ｃは、操作者がしゃがみ込む行為は、金庫の破壊行為等の異常な行為であるとし、例えば取引制御部３１に対して、警備員の呼び出しを指令する。
　指令部２１ｃは、例えばしゃがみ込んでいる時間が短い場合には、落としたものを拾う等の通常の動作とみなして、何もしない事を指令し、時間が一定以上長い場合は、金庫の溶断等の破壊行為の動作の恐れが有るとみなして、警備員に通報するなど、行為の継続時間等の状況に応じて、指令する内容を変えることも出来る。
　指令部２１ｃは、しゃがみ込んでいる姿勢候補との合致の確度が低い場合には、必ずしも破壊行為の為の姿勢とは言えない事から、例えばＡＴＭから警報音を発するなど、注意喚起や犯罪抑止の為の動作を行う事を指令し、合致の確度が高い場合は、破壊行為の為の姿勢と見なし、警備員に通報する事を指令するなど、合致の確度に応じて、指令する内容を変える事ができる。
　図９では、判定部２１ｂは、画像内の人物が、ＡＴＭ１０に対峙する操作者であり、かつ骨格情報からＡＴＭ１０のどの部位を操作しているかを判定している。図９において破線で囲んだ領域は、タッチパネルディスプレイ、スイッチ、カードリーダ、貨幣の入出金口、レシートプリンタなどである。この破線で囲んだ領域のいずれかと操作者の手の位置とが一致すれば、操作者がどの操作を行ったかを判定することができる。
　判定した操作が、取引操作手順データ２２ｃに示された順序と異なる場合、操作ミスの可能性が有るため、指令部２１ｃは正しい操作を操作者に促すことを指令する。
　図１０は、実施例２のＡＴＭの構成を示す構成図である。図１０に示すＡＴＭ１０は、図２に示した構成に、行動推定部２１ｄ、表情検出部２１ｅ、物体検出部２１ｆ、心拍数検出センサ２６を追加した構成である。また、図１０に示すＡＴＭ１０は、顔認証サーバ４１とネットワークを介して通信可能である。
　行動推定部２１ｄ、表情検出部２１ｅ、物体検出部２１ｆは、監視制御部２１に含まれる。心拍数検出センサ２６は、操作者の心拍数を検出するセンサである。
　行動推定部２１ｄは、操作者の操作の円滑さを推定する。指令部２１ｃは、操作の円滑さが不十分である場合に、操作者の操作を支援する指令を生成する。
　行動推定部２１ｄは、操作の停滞、操作者の表情、操作者の心拍数などを用いて、操作が円滑であるか否かを推定する。
　操作の停滞は、取引制御部３１における取引の状態を取得し、次の操作までの想定所要時間と、実際の操作の所要時間とを比較することで判定できる。
　操作者の表情は、表情検出部２１ｅが操作者の顔の画像に対して画像処理を行うことで検出できる。
　操作者の心拍数は、心拍数検出センサ２６により検出できる。
　行動推定部２１ｄは、操作に停滞が発生していれば、円滑さが低いと推定する。
　行動推定部２１ｄは、操作者の表情が困惑を示していれば、円滑さが低いと推定する。
　行動推定部２１ｄは、操作者の心拍数が高いと、円滑さが低いと推定する。
　行動推定部２１ｄは、これらの他、操作者が手順と異なる操作をしそうになった、操作の取消を受け付けた、迷ってる動作を検知した等、任意の指標を用いて操作の円滑さを推定できる。
　行動推定部２１ｄは、円滑さが不十分であると推定した操作に関する情報を所定の記憶部に格納する。例えば、記憶部２２に、操作者が円滑に行えなかった操作を蓄積することで、インタフェースの向上に利用できる。
　指令部２１ｃは、不正な行為を行った人物の外観上の特徴を示す情報（例えば顔画像や顔画像の特徴量）と不正な行為を示す情報（例えば不正の種別）とを対応付け、外部の装置である顔認証サーバ４１に登録する。この結果、顔認証サーバ４１には、不正の履歴データが蓄積されることになる。
　指令部２１ｃは、撮像部２３により撮像した人物について顔認証サーバ４１に照会を行うことができる。照会の結果、不正の履歴があれば、新たな取引により得られた情報を紐づけて顔認証サーバ４１に登録する。例えば、不正を行った人物が、本人の口座などを使用すれば、不正行為と本人の身元情報とを紐づけることができる。また、照会の結果、不正の履歴があれば、通報、警告、引き止め、注意喚起の少なくともいずれかについて指令を生成することとしてもよい。すなわち、過去に不正を行った人物については、新たに不正を判定する必要なく、通報等が可能である。
　物体検出部２１ｆは、撮像部２３の撮像結果を画像処理することで、人物が手に持っている物体を検出し、検出した物体を識別する。
　指令部２１ｃは、物体が不正な行為に関連する物体である場合に、通報及び／又は警告についての指令を生成する。不正な行為に関連する物体とは、取引操作に不要な物や、ＡＴＭ１０の破壊に使用される恐れのある物などである。
　ＡＴＭ１０は、広告表示が可能な表示部を備えてもよい。広告表示が可能な表示部は、表示操作部３２の一部であってもよいし、別の表示部を設けてもよい。
　判定部２１ｂは、人物の視線を判定可能である。指令部２１ｃは、人物の視線が広告表示用の表示部に向いたことを契機に広告表示を切り替えることができる。
　さらに、判定部２１ｂは、人物の視線が広告表示用の表示部を向いていた時間を計測し、記録することができる。
　図１１～図１３は、操作支援の具体例である。
　図１１に例示した取引は、「取引選択」、「カードまたは通帳の挿入」、「暗証番号の入力」、「画面案内（手数料確認など）」、「金額入力」、「金額確認」、「紙幣、カード、レシート受取」の手順で操作するものとする。
　図１１において、取引進行状態が「カードまたは通帳の挿入」であり、骨格情報により操作者が迷っていることが示されたならば、指令部２１ｃは、ガイダンス「カードまたは通帳を挿入してください」を出力することで、操作者の操作を支援する。また、取引進行状態が「金額入力画面」であり、骨格情報により操作者が迷っていることが示されたならば、指令部２１ｃは、ガイダンス「出金したい金額を入力してください」を出力することで、操作者の操作を支援する。
　このように、ＡＴＭ１０の操作者の行動と、その行動が取引手順のどの段階で行っているのかを照らし合わせて判断することで、ＡＴＭ１０は適切なガイダンスを出すことができる。ガイダンスは、表示や音声でもよいし、カード口の点滅を激しくするなど、操作すべき箇所を目立たせるような制御でもよい。
　また、操作のガイダンスを行うとともに、ＡＴＭ１０は、操作者が取引手順のどの段階で操作に迷ったのかを記憶しておく。このため、次に同じ人物が操作するときに、同じ場面で操作がわかりやすいようにガイダンスを変えたり、多くのユーザが操作に迷う箇所をビッグデータとして取ることで、ガイダンスの改善に役立てることができる。
　図１２では、取引進行状態が「カードまたは通帳の挿入」であり、表情検知により困惑していることが示されている。そこで、指令部２１ｃは、ガイダンス「カードまたは通帳を挿入してください」を出力することで、操作者の操作を支援している。また、ＡＴＭ１０は、操作者が取引手順のどの段階で操作に迷ったのかを記憶している。
　このように、顔認証や取引した口座情報と組み合わせて、利用者が取引のどの段階で戸惑っていたのか、またその頻度はどうかを記憶しておけば、戸惑う頻度が高い利用者や手順のときには、操作支援を行うタイミングを早めるなどの対応ができる。困惑した顔、困った顔とは、例えば眉間にしわがよる、目じりが下がる、首をかしげるといった表情、動作を検出して判定すればよい。
　図１３では、取引進行状態が「カードまたは通帳の挿入」であり、心拍数上昇により困っていることが推定されている。そこで、指令部２１ｃは、ガイダンス「カードまたは通帳を挿入してください」を出力することで、操作者の操作を支援している。また、ＡＴＭ１０は、操作者が取引手順のどの段階で操作に迷ったのかを記憶している。
　心拍数は、ミリ波レーダーで体表面の微細な振動を検出することにより、非接触で計測することができる。行動推定部２１ｄは、心拍数があがったことを検知したら、手順がわからないなどの不安状態や、振込詐欺などの焦燥状態と推定する。
　図１４は、不正履歴の共有についての説明図である。図１４では、利用者ＡはＡＴＭ１０ａで不正行為を行った後、異なる場所に設置されたＡＴＭ１０ｂを操作している。
　ＡＴＭ１０ａは、不正行為を行った人物の情報を外部の装置に登録して共有し、以降、いずれかのＡＴＭでその人物を検知すれば、その人物の情報を紐づける。このため、不正行為を行った人物の口座情報等、身元確認に使用できる情報を蓄積できる。
　図１５は、物体検知の説明図である。ＡＴＭ１０は、近傍の人物が手に持っている物体を検出し、検出した物体がＡＴＭ１０の操作に不要な物や、ＡＴＭ１０の破壊に使用される恐れのある物だった場合に、アラートを発報する。アラートは、警備室等への通報でもよいし、近傍の人物に対する警告でもよい。一例として、大音量で「係りの者が参ります。しばらくお待ちください」と音声を流すなどである。このように、不正行為に至る前、不審な物体を所持してる状態でアラートを発することで、不正行為の抑止を図ることができる。
　図１６は、広告表示の説明図である。ＡＴＭ１０は、広告宣伝などを表示することができる。例えば、取引に用いる表示操作部３２の表示領域の一部を、操作者に対して広告を表示するために用いてもよい。また、ＡＴＭ１０の上部に、周辺の人物から見えるように広告用の表示部を別途設けてもよい。
　ＡＴＭ１０は、画像処理などにより操作者や周辺人物の視線を検知する。そして、視線が広告用の表示領域に向いたことを検知すると、表示内容を切り替えて広告を表示する。さらに、視線が表示部を向いていた時間を計測し、記録することで、広告の内容の評価材料を蓄積できる。さらに、利用者情報や取引内容と連携させて広告内容を決定してもよい。例えば、「口座残高が少なく、出金や振込を行っている場合には、融資の広告を出す」、「口座残高が多く、入金を行っている場合には資産運用を案内する」などの条件を用いればよい。
　上述してきたように、監視装置としての機能を内蔵したＡＴＭ１０は、貨幣を取り扱う取引装置の操作者と前記の周囲とを撮像範囲に含む撮像部２３と、前記撮像部２３の撮像結果に含まれる人物の像について骨格に関する関節位置を検出する姿勢検出部２１ａと、前記姿勢検出部２１ａの検操作者出結果に基づいて、前記人物の動作を判定する判定部２１ｂと、前記判定部２１ｂの判定結果に基づいて、前記人物への対応を示す指令を生成する指令部２１ｃと、を備える。
　そして、前記判定部２１ｂは、前記姿勢検出部２１ａの検出結果と、前記操作者の動作について予め定義した操作者動作パターンデータ２２ａとを比較することで前記人物の動作を判定し、前記指令部２１ｃは、前記動作と前記指令とを対応付けた指令パターンデータ２２ｄを参照して前記指令の生成を行うことを特徴とする。
　かかる構成及び動作により、監視装置は、貨幣を取り扱う取引装置の操作について、高機能な監視を実現することができる。具体的には、監視装置は、ＡＴＭ１０の破壊行為や利用者情報の搾取等の犯罪行為を抑止し、ＡＴＭ１０の利用者の使い勝手を良好にすることが出来る。
　また、前記判定部２１ｂは、前記操作者の周辺に所在する周辺人物の動作について予め定義した周辺人物動作パターンデータ２２ｂをさらに用いて、前記人物の動作を判定し、前記指令部２１ｃは、前記操作者の動作と前記周辺人物の動作とを用いて前記指令を生成することができる。
　さらに、前記指令部２１ｃは、前記操作者の動作と前記周辺人物の動作の組合せにより特定される状況に対する指令を生成可能である。
　このため、取引装置の周囲の人物は、順番待ちなどの特有を動作を行う可能性がある点を利用し、操作者と周囲の人物の動作を総合的に判断して、適切な指令を生成することができる。
　また、前記判定部２１ｂは、前記取引装置から取得した取引の状態をさらに用いて前記人物の動作を判定することができる。
　また、前記判定部２１ｂは、前記姿勢検出部２１ａの検出結果と、前記取引装置の操作手順を示す取引操作手順テータと２２ｃを比較して取引の状態を特定し、前記取引の状態をさらに用いて前記人物の動作を判定することができる。
　このように、取引の状態を取得することで、操作者の動作をより詳細に判定することができる。
　また、前記指令部２１ｃは、前記操作者の操作が適正な操作手順から逸脱している場合に、前記操作者の操作を支援する指令を生成する。
　このため、監視装置は、操作者の利便性向上に寄与することができる。
　また、前記指令部２１ｃは、前記人物の動作が不正な行為である場合に、通報、警告、引き止め、注意喚起の少なくともいずれかについて指令を生成する。
　このため、監視装置は、不正行為を適切に抑止することができる。
　また、監視装置は、マイク及び／又は振動センサをさらに備え、判定部２１ｂは、前記マイク及び／又は振動センサの出力をさらに用いて前記人物の動作を判定する。
　このため、破壊行為や不正な加工を高精度に判定することができる。
　また、前記指令部２１ｃは、前記操作者の接近と離脱に基づいて、前記取引装置の省電力モードの解除と開始を指示する指令を生成する。
　このため、省電力モードの開始と解除を精度よく行うことができる。
　また、監視装置は、前記操作者の操作の円滑さを推定する推定部としての行動推定部２１ｄをさらに備え、前記指令部２１ｃは、前記操作の円滑さが不十分である場合に、前記操作者の操作を支援する指令を生成する。
　このため、操作者に早期かつ適切な案内を行い、ユーザビリティを向上できる。
　一例として、前記推定部は、前記取引装置から取得した取引の状態と前記操作の所要時間に基づいて前記操作の停滞を判定し、前記停滞の判定結果を用いて前記操作の円滑さを推定することを特徴とする監視装置。
　また、一例として、監視装置は、前記撮像部の撮像結果から前記操作者の表情を検出する表情検出部２１ｅをさらに備え、前記推定部は、前記操作者の表情に基づいて前記操作者が困惑しているか否かを判定し、当該判定結果を用いて前記操作の円滑さを推定する。
　また、一例として、監視装置は、前記操作者の心拍数を検出する心拍数検出センサ２６をさらに備え、前記推定部は、前記心拍数を用いて前記操作の円滑さを推定する。
　このように、取引の状態、操作の所要時間、表情、心拍数などを用い、総合的に操作の円滑さを推定できる。
　また、前記推定部は、前記円滑さが不十分であると推定した操作に関する情報を所定の記憶部に格納する。
　このため、同じ人物が次に操作するときのガイダンスを変更したり、多くの人物にとってわかりにくい操作を改善するなど、操作性の向上に利用できる。
　また、前記指令部２１ｃは、前記人物の動作が不正な行為である場合に、当該人物の外観上の特徴を示す情報と前記不正な行為を示す情報とを対応付けた不正の履歴を外部の装置に登録し、前記指令部２１ｃは、前記撮像部２３により撮像した人物について前記外部の装置に照会した結果、不正の履歴がある場合に、当該人物の新たな取引により得られた情報を紐づけて前記外部の装置に登録する。
　このように、不正な行為を行った人物について、以降の取引から得られた情報を蓄積することで不正を行う人物の情報を収集できる。
　また、監視装置は、前記人物が手に持っている物体を検出し、検出した物体を識別する物体検出部２１ｆをさらに備え、前記指令部２１ｃは、前記物体が不正な行為に関連する物体である場合に、通報及び／又は警告についての指令を生成する。
　このため、不正な行為を抑止できる。
　また、監視装置は、広告表示が可能な表示部をさらに備え、前記判定部２１ｂは、前記人物の視線を判定し、前記指令部２１ｃは、前記人物の視線が前記表示部に向いたことを契機に前記広告表示を切り替える。
　また、前記判定部２１ｂは、前記人物の視線が前記表示部を向いていた時間を計測し、記録する。
　このため、取引装置を利用する人物に効果的な広告を提供できる。
　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
　例えば、上記の実施例では、監視装置としての機能を取引装置であるＡＴＭに内蔵する構成を例示して説明を行ったが、監視装置は取引装置とは別の装置としてもよい。別の装置とする場合には、取引装置と接続可能としてもよい。また、接続しない構成であれば、各種の指令を取引装置に出力するのではなく、監視装置が備えるスピーカや通信機能に対する指令を生成することになる。
　また、上記の実施例では、ＡＴＭに本発明を適用する場合を例示したが、券売機、自動販売機、外貨両替機など、任意の取引装置に適用可能である。
１０：ＡＴＭ、２１：監視制御部、２１ａ：姿勢検出部、２１ｂ：判定部、２１ｃ：指令部、２１ｄ：行動推定部、２１ｅ：表情検出部、２１ｆ：物体検出部、２２：記憶部、２２ａ：操作者動作パターンデータ、２２ｂ：周辺人物動作パターンデータ、２２ｃ：取引操作手順データ、２２ｄ：指令パターンデータ、２３：撮像部、２４：振動センサ、２５：マイク、２６：心拍数検出センサ、３１：取引制御部、３２：表示操作部、３３：スピーカ、３４：貨幣収納部、３５：入出金部、４１：顔認証サーバ
 

Claims (19)

  1. 　貨幣を取り扱う取引装置の操作者と前記操作者の周囲とを撮像範囲に含む撮像部と、
    　前記撮像部の撮像結果に含まれる人物の像について骨格に関する関節位置を検出する姿勢検出部と、
    　前記姿勢検出部の検出結果に基づいて、前記人物の動作を判定する判定部と、
    　前記判定部の判定結果に基づいて、前記人物への対応を示す指令を生成する指令部と、を備え、
    　前記判定部は、前記姿勢検出部の検出結果と、前記操作者の動作について予め定義した操作者動作パターンデータとを比較することで前記人物の動作を判定し、
    　前記指令部は、前記動作と前記指令とを対応付けた指令パターンデータを参照して前記指令の生成を行うことを特徴とする監視装置。
  2. 　請求項１に記載の監視装置であって、
    　前記判定部は、前記操作者の周辺に所在する周辺人物の動作について予め定義した周辺人物動作パターンデータをさらに用いて、前記人物の動作を判定し、
    　前記指令部は、前記操作者の動作と前記周辺人物の動作とを用いて前記指令を生成することを特徴とする監視装置。
  3. 　請求項２に記載の監視装置であって、
    　前記指令部は、前記操作者の動作と前記周辺人物の動作の組合せにより特定される状況に対する指令を生成可能であることを特徴とする監視装置。
  4. 　請求項１に記載の監視装置であって、
    　前記判定部は、前記取引装置から取得した取引の状態をさらに用いて前記人物の動作を判定することを特徴とする監視装置。
  5. 　請求項１に記載の監視装置であって、
    　前記判定部は、前記姿勢検出部の検出結果と、前記取引装置の操作手順を示す取引操作手順テータとを比較して取引の状態を特定し、前記取引の状態をさらに用いて前記人物の動作を判定することを特徴とする監視装置。
  6. 　請求項１に記載の監視装置であって、
    　前記指令部は、前記操作者の操作が適正な操作手順から逸脱している場合に、前記操作者の操作を支援する指令を生成することを特徴とする監視装置。
  7. 　請求項１に記載の監視装置であって、
    　前記指令部は、前記人物の動作が不正な行為である場合に、通報、警告、引き止め、注意喚起の少なくともいずれかについて指令を生成することを特徴とする監視装置。
  8. 　請求項１に記載の監視装置であって、
    　マイク及び／又は振動センサをさらに備え、前記マイク及び／又は振動センサの出力をさらに用いて前記人物の動作を判定することを特徴とする監視装置。
  9. 　請求項１に記載の監視装置であって、
    　前記指令部は、前記操作者の接近と離脱に基づいて、前記取引装置の省電力モードの解除と開始を指示する指令を生成することを特徴とする監視装置。
  10. 　監視装置が、
    　貨幣を取り扱う取引装置の操作者と前記操作者の周囲とを撮像する撮像ステップと、
    　前記撮像ステップの撮像結果に含まれる人物の像について骨格に関する関節位置を検出する姿勢検出ステップと、
    　前記姿勢検出ステップの検出結果に基づいて、前記人物の動作を判定する判定ステップと、
    　前記判定ステップの判定結果に基づいて、前記人物への対応を示す指令を生成する指令ステップと、を含み、
    　前記判定ステップは、前記姿勢検出ステップの検出結果と、前記操作者の動作について予め定義した操作者動作パターンデータとを比較することで前記人物の動作を判定し、
    　前記指令ステップは、前記動作と前記指令とを対応付けた指令パターンデータを参照して前記指令の生成を行うことを特徴とする監視方法。
  11. 　請求項１に記載の監視装置であって、
    　前記操作者の操作の円滑さを推定する推定部をさらに備え、
    　前記指令部は、前記操作の円滑さが不十分である場合に、前記操作者の操作を支援する指令を生成することを特徴とする監視装置。
  12. 　請求項１１に記載の監視装置であって、
    　前記推定部は、前記取引装置から取得した取引の状態と前記操作の所要時間に基づいて前記操作の停滞を判定し、前記停滞の判定結果を用いて前記操作の円滑さを推定することを特徴とする監視装置。
  13. 　請求項１１に記載の監視装置であって、
    　前記撮像部の撮像結果から前記操作者の表情を検出する表情検出部をさらに備え、
    　前記推定部は、前記操作者の表情に基づいて前記操作者が困惑しているか否かを判定し、当該判定結果を用いて前記操作の円滑さを推定することを特徴とする監視装置。
  14. 　請求項１１に記載の監視装置であって、
    　前記操作者の心拍数を検出する心拍数検出センサをさらに備え、
    　前記推定部は、前記心拍数を用いて前記操作の円滑さを推定することを特徴とする監視装置。
  15. 　請求項１１に記載の監視装置であって、
    　前記推定部は、前記円滑さが不十分であると推定した操作に関する情報を所定の記憶部に格納することを特徴とする監視装置。
  16. 　請求項１に記載の監視装置であって、
    　前記指令部は、前記人物の動作が不正な行為である場合に、当該人物の外観上の特徴を示す情報と前記不正な行為を示す情報とを対応付けた不正の履歴を外部の装置に登録し、
    　前記指令部は、前記撮像部により撮像した人物について前記外部の装置に照会した結果、不正の履歴がある場合に、当該人物の新たな取引により得られた情報を紐づけて前記外部の装置に登録することを特徴とする監視装置。
  17. 　請求項１に記載の監視装置であって、
    　前記人物が手に持っている物体を検出し、検出した物体を識別する物体検出部をさらに備え、
    　前記指令部は、前記物体が不正な行為に関連する物体である場合に、通報及び／又は警告についての指令を生成することを特徴とする監視装置。
  18. 　請求項１に記載の監視装置であって、
    　広告表示が可能な表示部をさらに備え、
    　前記判定部は、前記人物の視線を判定し、
    　前記指令部は、前記人物の視線が前記表示部に向いたことを契機に前記広告表示を切り替えることを特徴とする監視装置。
  19. 　請求項１８に記載の監視装置であって、
    　前記判定部は、前記人物の視線が前記表示部を向いていた時間を計測し、記録することを特徴とする監視装置。
     
PCT/JP2023/011010 2022-06-17 2023-03-20 監視装置及び監視装置方法 WO2023243172A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-098471 2022-06-17
JP2022098471 2022-06-17

Publications (1)

Publication Number Publication Date
WO2023243172A1 true WO2023243172A1 (ja) 2023-12-21

Family

ID=89192680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011010 WO2023243172A1 (ja) 2022-06-17 2023-03-20 監視装置及び監視装置方法

Country Status (1)

Country Link
WO (1) WO2023243172A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749915A (ja) * 1993-08-04 1995-02-21 Omron Corp 自動取引エリアの防犯装置
JPH1063919A (ja) * 1996-08-27 1998-03-06 Hitachi Ltd 音声ガイダンス付き入力方法及び装置
JP2006209163A (ja) * 2005-01-25 2006-08-10 Hitachi Omron Terminal Solutions Corp 現金自動取引装置の制御
JP2006331049A (ja) * 2005-05-26 2006-12-07 Oki Electric Ind Co Ltd 防犯監視システム
JP2007265125A (ja) * 2006-03-29 2007-10-11 Matsushita Electric Ind Co Ltd コンテンツ表示装置
JP2010257352A (ja) * 2009-04-27 2010-11-11 Oki Electric Ind Co Ltd 自動取引装置
JP2010257349A (ja) * 2009-04-27 2010-11-11 Oki Electric Ind Co Ltd 自動取引装置
JP2014016715A (ja) * 2012-07-06 2014-01-30 Hitachi Omron Terminal Solutions Corp 現金自動取引装置およびその制御方法
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム
JP2018190012A (ja) * 2017-04-28 2018-11-29 大日本印刷株式会社 接客要否判定装置、接客要否判定方法、及びプログラム
WO2021186610A1 (ja) * 2020-03-18 2021-09-23 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749915A (ja) * 1993-08-04 1995-02-21 Omron Corp 自動取引エリアの防犯装置
JPH1063919A (ja) * 1996-08-27 1998-03-06 Hitachi Ltd 音声ガイダンス付き入力方法及び装置
JP2006209163A (ja) * 2005-01-25 2006-08-10 Hitachi Omron Terminal Solutions Corp 現金自動取引装置の制御
JP2006331049A (ja) * 2005-05-26 2006-12-07 Oki Electric Ind Co Ltd 防犯監視システム
JP2007265125A (ja) * 2006-03-29 2007-10-11 Matsushita Electric Ind Co Ltd コンテンツ表示装置
JP2010257352A (ja) * 2009-04-27 2010-11-11 Oki Electric Ind Co Ltd 自動取引装置
JP2010257349A (ja) * 2009-04-27 2010-11-11 Oki Electric Ind Co Ltd 自動取引装置
JP2014016715A (ja) * 2012-07-06 2014-01-30 Hitachi Omron Terminal Solutions Corp 現金自動取引装置およびその制御方法
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム
JP2018190012A (ja) * 2017-04-28 2018-11-29 大日本印刷株式会社 接客要否判定装置、接客要否判定方法、及びプログラム
WO2021186610A1 (ja) * 2020-03-18 2021-09-23 株式会社 テクノミライ デジタル・オートファイル・セキュリティシステム、方法及びプログラム

Similar Documents

Publication Publication Date Title
US10629036B2 (en) Surveillance device
US10176466B2 (en) Check cashing automated banking machine
US9607483B2 (en) Processing automated banking transactions requiring approval
US8172134B1 (en) Automated banking machine and system that operates to cause financial transfers responsive to data read from data bearing records
US8395500B1 (en) Self-service device security alert response system
US20240119809A1 (en) Hand action tracking for card slot tampering
JP2960490B2 (ja) 現金自動取引方式及び現金自動取引装置
JP5359792B2 (ja) 例外処理管理装置、例外処理管理装置の制御方法およびプログラム
CN101510331A (zh) Atm柜员机智能型键盘输入装置
US8988186B1 (en) Self-service device user asset condition alert
CN103456104B (zh) 防止犯罪系统以及防止犯罪方法
JP2007220036A (ja) 現金預払機
JP2010072989A (ja) 電子化ジャーナルと映像の統合管理システム
WO2023243172A1 (ja) 監視装置及び監視装置方法
JP2010123010A (ja) 自動取引装置及びシステム
JP2007087316A (ja) 自動取引装置及び自動取引システム
JP2008023097A (ja) 監視装置および方法、並びにプログラム
JP2011100172A (ja) 例外処理管理装置、例外処理管理装置の制御方法およびプログラム
JP2005242869A (ja) 現金自動取引システム及び現金自動取引装置
US20240346827A1 (en) Computer vision-assisted compliance monitoring
JP2010079752A (ja) 自動取引システム
JP4349971B2 (ja) 現金自動取引装置
JP7517945B2 (ja) ログインシステム、電子機器及びログイン制御方法
JP2007094588A (ja) 顔認証システム
JP2010079754A (ja) 通報装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823476

Country of ref document: EP

Kind code of ref document: A1