WO2019181140A1 - 画像処理装置、画像処理方法、記録媒体および画像処理システム - Google Patents

画像処理装置、画像処理方法、記録媒体および画像処理システム Download PDF

Info

Publication number
WO2019181140A1
WO2019181140A1 PCT/JP2018/048395 JP2018048395W WO2019181140A1 WO 2019181140 A1 WO2019181140 A1 WO 2019181140A1 JP 2018048395 W JP2018048395 W JP 2018048395W WO 2019181140 A1 WO2019181140 A1 WO 2019181140A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
image processing
unit
region
video
Prior art date
Application number
PCT/JP2018/048395
Other languages
English (en)
French (fr)
Other versions
WO2019181140A8 (ja
Inventor
礼子 岸
増田　誠
Original Assignee
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 沖電気工業株式会社 filed Critical 沖電気工業株式会社
Publication of WO2019181140A1 publication Critical patent/WO2019181140A1/ja
Publication of WO2019181140A8 publication Critical patent/WO2019181140A8/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, a recording medium, and an image processing system.
  • a technique for recognizing a state related to a user who operates a terminal For example, a technique for determining an abnormal state of a target object in a monitoring space is disclosed (for example, see Patent Document 1). Further, a technique for automatically setting a target region for recognizing a state is disclosed (for example, see Patent Document 2 and Patent Document 3). For example, in the technique described in Patent Document 2, an area where a specific object is placed is set as a target area. In addition, a technique is disclosed in which information obtained by machine learning is used for analysis and the analysis result is visualized (see, for example, Patent Document 4).
  • Patent Document 2 it is necessary for a person to place a specific object in order to set a target area. Therefore, since it is necessary for a person to know the position of the object and the optimal position of the target area, a load is imposed on the person for setting the target area. Further, with the technique described in Patent Document 4, it is possible to visualize the analysis result using information obtained by machine learning, but the administrator cannot grasp the progress of machine learning.
  • a video acquisition unit that acquires a video of a part or all of a terminal operated by a user, and an area setting that sets a target area in the video
  • An image processing unit that extracts a feature amount from the target area, a learning unit that performs additional learning using the feature amount, a learning situation determination unit that acquires a progress degree of the additional learning, and the progress degree.
  • An image processing apparatus is provided that includes a notification unit that performs notification.
  • the learning unit may use deep learning as the additional learning.
  • the video acquisition unit may acquire the video by capturing the video captured and stored in advance or the video captured by the camera.
  • the image processing apparatus may include a recognition processing unit that performs a recognition process using a classifier obtained by the additional learning.
  • the recognition processing unit may change the recognition result by the recognition process or the notification destination of the recognition result according to the progress of the additional learning.
  • the region setting unit sets a plurality of target regions, the image processing unit extracts the feature amount for each target region, and the learning unit adds the additional feature for each target region using the feature amount. Learning may be performed, and the learning status determination unit may acquire the progress of the additional learning for each target region.
  • the learning unit may perform pre-learning based on teacher data and learning data before the additional learning, and perform the additional learning using the learning result obtained by the pre-learning and the feature amount. Good.
  • the area setting unit may set the target area based on area information of another terminal having a structure that is the same as or similar to the structure of the terminal.
  • the area setting unit may set the target area based on the motion of the moving image at a predetermined timing.
  • the area setting unit may specify the predetermined timing based on the update timing of the status information of the terminal.
  • the region setting unit may specify a region in the moving image that has moved at the predetermined timing, and may set the target region based on the region that has moved.
  • the region setting unit learns a moving image at the predetermined timing, generates a learning model capable of estimating a user's movement at the predetermined timing, and detects the use based on the learning model and the moving image
  • the target area may be set based on a place where the person has moved.
  • the region setting unit identifies a location where a change has occurred in the presence or absence of the object from a moving image based on a feature amount of an object inserted or ejected into the terminal, and sets the target region based on the location May be.
  • an image processing method including: extracting the information, performing additional learning using the feature amount, obtaining a progress degree of the additional learning, and notifying the progress degree.
  • the computer includes a video acquisition unit that acquires a video in which part or all of the terminal operated by the user is copied, and a region setting unit that sets a target region in the video.
  • An image processing unit that extracts a feature amount from the target region, a learning unit that performs additional learning using the feature amount, a learning status determination unit that acquires a progress degree of the additional learning, and a notification of the progress degree
  • a computer-readable recording medium that records a program for functioning as an image processing apparatus including a notification unit.
  • an image processing system including a terminal operated by a user, a camera that captures an image of a part or all of the terminal, and an image processing device.
  • the image processing device uses a video acquisition unit that acquires the video, a region setting unit that sets a target region in the video, an image processing unit that extracts a feature amount from the target region, and the feature amount.
  • An image processing system is provided that includes a learning unit that performs additional learning, a learning status determination unit that acquires a progress degree of the additional learning, and a notification unit that notifies the progress degree.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to a first embodiment of the present invention. It is a figure showing an example of functional composition of an image processing system concerning the embodiment. It is a figure which shows the example of the image
  • 4 is a flowchart illustrating an operation example of the image processing system according to the embodiment. It is a figure which shows the function structural example of the image processing system which concerns on the 2nd Embodiment of this invention. It is a figure for demonstrating the example of status information. It is a figure for demonstrating the example of a setting of the object area
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by attaching different numbers after the same reference numerals.
  • similar components in different embodiments may be distinguished by attaching different alphabets after the same reference numerals.
  • it is not necessary to particularly distinguish each of similar components of different embodiments only the same reference numerals are given.
  • FIG. 1 is a diagram showing an example of the overall configuration of an image processing system according to the first embodiment of the present invention.
  • the image processing system according to the first embodiment of the present invention includes an ATM (Automated Teller Machine) 10-1 to 10-4, cameras 20-1 to 20-4, a server 40, and a management.
  • An ATM Automated Teller Machine
  • Person terminal 70 is provided.
  • the image processing system has ATMs 10-1-1 to 10-4.
  • the image processing system may have another terminal (for example, a cash processing machine) operated by the user instead of the ATMs 10-1-1 to 10-4.
  • FIG. 1 shows an example in which the image processing system has four ATMs 10.
  • the number of ATMs 10 included in the image processing system is not limited.
  • Each of the ATMs 10-1-1 to 10-4 may be provided in another store, or any two or more may be provided in the same store.
  • the camera 20-1 has an image sensor, and is provided at a position where at least a part of the ATM 10-1 can be captured.
  • the camera 20-1 is provided above the ATM 10-1, but the position where the ATM 10-1 is provided is not limited.
  • the cameras 20-2 to 20-4 are also provided at positions where at least a part of the corresponding ATM (10-2 to 10-4) can be captured.
  • the administrator terminal 70 is connected to the ATM 10-1 and is used by the administrator 91.
  • the administrator terminal 70 can display the state of the ATM 10-1, and the administrator 91 grasps the state of the ATM 10-1.
  • FIG. 1 only the administrator terminal 70 connected only to the ATM 10-1 is shown due to space limitations, but the administrator terminal 70 is connected to each of the ATMs 10-1 to 10-4. It may be connected. In that case, the administrator terminals 70 connected to the ATMs 10-1 to 10-4 may be different terminals, or two or more of them may be the same terminal.
  • the server 40 is connected to the network 80 and configured to be able to communicate with the ATMs 10-1 to 10-4 via the network 80.
  • the image processing system includes the server 40.
  • the image processing system includes the server 40 in particular. You don't have to.
  • the image processing system has the server 40 in particular. It does not have to be.
  • FIG. 2 is a diagram illustrating a functional configuration example of the image processing system according to the first embodiment of the present invention.
  • FIG. 2 shows an administrator terminal 70 and a server 40 in the image processing system shown in FIG. Also, any ATM of ATMs 10-1 to 10-4 is shown as ATM10, and any camera of cameras 20-1 to 20-4 is shown as camera 20.
  • FIG. 2 also shows a user 92 who operates the ATM 10.
  • the ATM 10 includes an ATM transaction processing unit 110 and a recognition unit 30A (image processing device).
  • the ATM transaction processing unit 110 executes various transaction processes (for example, a deposit process and a withdrawal process).
  • the recognition unit 30 ⁇ / b> A exists inside the ATM 10, but the recognition unit 30 ⁇ / b> A may exist outside the ATM 10.
  • the recognition unit 30A includes a capture acquisition unit 310 (video acquisition unit), an image processing unit 320, an area recognition unit 330A (region setting unit), a learning detection unit 340 (learning unit and recognition processing unit), a learning status determination unit 350, and a notification.
  • Unit 360 and storage unit 370 includes a capture acquisition unit 310 (video acquisition unit), an image processing unit 320, an area recognition unit 330A (region setting unit), a learning detection unit 340 (learning unit and recognition processing unit), a learning status determination unit 350, and a notification.
  • Unit 360 and storage unit 370 includes a capture acquisition unit 310 (video acquisition unit), an image processing unit 320, an area recognition unit
  • the capture acquisition unit 310, the image processing unit 320, the region recognition unit 330A, the learning detection unit 340, the learning status determination unit 350, and the notification unit 360 may constitute a control unit.
  • the control unit includes a CPU (Central Processing Unit) and the like, and the function stored in the storage unit 370 is developed and executed on a RAM (Random Access Memory) by the CPU, and the function can be realized.
  • a computer-readable recording medium that records the program can also be provided.
  • a control part may be comprised by the hardware for exclusive use, and may be comprised by the combination of several hardware.
  • the storage unit 370 is a storage device capable of storing a program and data for operating the control unit.
  • the storage unit 370 can also temporarily store various data required in the process of operation of a control unit (not shown).
  • the storage device may be a non-volatile storage device.
  • the recognition unit 30A actually has a first communication circuit for the notification unit 360 to notify the administrator terminal 70.
  • the recognizing unit 30A has a second communication circuit for the region recognizing unit 330A to communicate with the server 40 via the network 80.
  • the first communication circuit is connected to the network 80 by wire, and the second communication circuit is also connected to the administrator terminal 70 by wire, but the first communication circuit is wirelessly connected.
  • the network 80 may be connected, and the second communication circuit may be connected to the administrator terminal 70 by radio.
  • the learning detection unit 340 of the recognition unit 30A is based on a discriminator obtained by machine learning (hereinafter, also simply referred to as “learning”), for example, a predetermined state of the user (for example, Recognize abnormal user behavior, forgotten items, user attributes, etc.).
  • learning machine learning
  • learning is performed in advance by the learning detection unit 340 based on teacher data and learning data.
  • teacher data and learning data may be data independent of the store where the ATM 10 is installed.
  • the brightness of the illumination may be different or the age group of the user may be different. Therefore, the recognition accuracy is improved in the discriminator generated only by the data independent of the store. There is a possibility not to.
  • learning is performed using the learning result obtained by the pre-learning and further using the ATM 10 placed in the same environment as the environment when the ATM 10 is operated. This is expected to improve recognition accuracy.
  • the learning detection unit 340 of the recognizing unit 30A using the ATM 10 placed in the same store as the store where the ATM 10 is placed during operation, before the ATM 10 is operated. Is assumed.
  • the timing at which such additional learning is performed is not limited. For example, the additional learning by the learning detection unit 340 may be continued until after the ATM 10 starts operating. In addition, it is not limited how much the additional learning by the learning detection unit 340 has been performed and the ATM 10 is operated.
  • each embodiment of the present invention it is mainly assumed that deep learning is used as learning by the learning detection unit 340. Thereby, the predetermined state of the user can be recognized with higher accuracy.
  • a learning device other than deep learning may be used as learning by the learning detection unit 340.
  • the learning detection unit 340 in order to perform learning and recognition by the learning detection unit 340, it is necessary to set a region (target region) that is a target of learning and recognition.
  • Various methods are assumed to set the target area as described from the first embodiment of the present invention to the fourth embodiment of the present invention. In the first embodiment of the present invention, a case where a target area is set using the similarity between ATMs will be described.
  • the “video” may be a single image or a moving image composed of a plurality of frames.
  • FIG. 3 is a diagram illustrating an example of an image acquired by the capture acquisition unit 310.
  • an image 21 in which a part of the ATM (the front surface of the ATM) is captured by the camera 20 is shown.
  • a screen 120 with an ATM touch panel, a card insertion slot 150, a banknote outlet 130, and a personal identification number input unit 140 are shown.
  • the capture acquisition unit 310 acquires the video imaged by the camera 20.
  • the region recognition unit 330A sets a target region in the video acquired by the capture acquisition unit 310.
  • the region recognition unit 330A performs preprocessing on the video acquired by the capture acquisition unit 310.
  • Various processes are assumed as the preprocessing.
  • the region recognition unit 330A may perform alignment of the video so that the target region can be easily set from the video.
  • the pre-processing may be processing for extracting an edge from a video when the edge is used in the subsequent processing.
  • the preprocessing is not particularly limited, and the preprocessing does not have to be executed.
  • an image showing a part or all of the ATM and area information for specifying the range of the target area are provided. It is remembered. For example, it is assumed that the target area of ATM 10-1 is not set and the target areas of ATM 10-2 to 10-4 are already set.
  • the server 40 when an image showing a part or all of the ATM 10-1 is transmitted from the ATM 10-1, the server 40 receives the image of the ATM 10-1 from the ATM 10-1, and receives the image of the ATM 10-1. And ATMs 10-2 to 10-4 are searched for other ATMs having the same or similar structure as that of the ATM 10-1 based on the images of the ATMs 10-2 to 10-4. Then, the server 40 returns the ATM area information found to the ATM 10-1.
  • the area recognition unit 330A of the ATM 10-1 sets a target area of the ATM 10-1 based on the area information received from the server 40.
  • the structural similarity between ATMs may be determined in any way.
  • the structural similarity between ATMs may be determined based on the similarity of edges extracted from the ATM 10-1 image and the ATM 10-2 to 10-4 images. Referring to FIG. 1, there is shown a case where the structure of ATM 10-1 is similar to the structure of ATM 10-3. Therefore, in such a case, the server 40 may return the area information of the ATM 10-3 to the ATM 10-1.
  • the image processing unit 320 extracts a feature amount from the target area in the video.
  • the type of feature amount may be one type or a plurality of types.
  • the type of feature amount is not limited.
  • the feature amount may include a difference between frames (for example, a difference between corresponding pixels between frames), a difference (gradient) between adjacent pixels of each pixel for each frame, A motion vector (for example, a motion vector of pixel values between frames), an edge extracted from the frame, a binary image of the frame, a monochrome pattern of the frame, or the like. May be included.
  • the learning detection unit 340 performs additional learning using the feature amount extracted by the image processing unit 320. More specifically, the learning detection unit 340 performs additional learning using the learning result obtained by the prior learning and the feature amount extracted by the image processing unit 320. As an example, if the distance in the feature space between the feature amount extracted by the image processing unit 320 and the centroids of a plurality of learning data corresponding to the teacher data is closer than the threshold value, the relationship between the feature amount and the teacher data is strengthened. It is done. However, how additional learning is performed may be changed as appropriate according to the algorithm of the learning device.
  • the learning status determination unit 350 acquires the progress of additional learning by the learning detection unit 340.
  • the progress of additional learning is not particularly limited.
  • the progress of the additional learning may include an elapsed time since the additional learning is started, or may include the number of frames of the video acquired by the capture acquisition unit 310 after the additional learning is started.
  • the number of transactions executed by the ATM 10 since the additional learning is started may be included, the number of times the additional learning is executed, or a plurality of feature amounts plotted in the feature space (for example, It may be a feature density or the like, or may include a result output when sample data is input to a discriminator obtained by additional learning.
  • the notification unit 360 notifies the administrator terminal 70 of the progress of additional learning.
  • the administrator 91 who wishes to know the progress of the additional learning inputs a learning state request to the administrator terminal 70, and the learning state request is transmitted from the administrator terminal 70 to the recognition unit 30A.
  • the notification unit 360 acquires the learning state request, the notification unit 360 notifies the administrator terminal 70 of the progress of the additional learning.
  • the notification unit 360 may notify the degree of progress not only when the learning state is requested (pull type) but also when the learning state is requested (push type). .
  • the manager terminal 70 When the administrator terminal 70 receives the progress of the additional learning, the manager terminal 70 outputs the progress of the additional learning. For example, the manager terminal 70 may display the degree of progress on a display, or may output the sound from a speaker. The manager can determine whether or not the progress degree of the additional learning is sufficient by perceiving the progress degree output in this way. Note that whether or not the progress of the additional learning is sufficient may be automatically determined by the learning status determination unit 350. For example, the learning status determination unit 350 may determine that the progress of additional learning is sufficient if the progress of additional learning exceeds a threshold.
  • the learning detection unit 340 performs recognition processing using a discriminator obtained by additional learning. For example, when it is determined by the administrator (or automatically by the learning status determination unit 350) that the progress of the additional learning is sufficient, the operation of the ATM 10 is started, and the learning detection unit 340 is obtained by the additional learning. The case where recognition processing is performed using the identified classifier is mainly assumed. However, the learning detection unit 340 uses the discriminator obtained by the additional learning on a trial basis before the operation of the ATM 10 starts or before the operation starts regardless of whether the progress of the additional learning is sufficient. Recognition processing may be performed.
  • the learning detection unit 340 may change the recognition result by the recognition processing or the notification destination of the recognition result according to the progress of the additional learning.
  • the recognition result may be displayed on the ATM 10 screen, transmitted to a monitoring center (not shown), recorded on a predetermined recording medium, or an alarm sound may be output by the ATM 10.
  • the administrator terminal 70 may be notified. For example, it may be a case where an unauthorized operation is recognized in the same manner.
  • the learning detection unit 340 may recognize “an unauthorized operation has been performed as a recognition result by the recognition process if the progress of additional learning is below a threshold. If you use an expression that avoids assertions such as "Maybe” and the progress of additional learning exceeds the threshold, you can use the asserted expression such as "Illegal operation performed” as the recognition result of the recognition process. Good.
  • the learning detection unit 340 displays the recognition result on the screen of the ATM 10 and displays the progress of the additional learning if the progress of the additional learning is below the threshold even if the unauthorized operation is recognized in the same manner. If the degree exceeds the threshold, the recognition result may be displayed on the ATM 10 screen.
  • the capture acquisition unit 310 acquires a video by capturing the video captured by the camera 20.
  • the capture acquisition unit 310 may acquire a video imaged and stored in advance.
  • FIG. 4 is a flowchart showing an operation example of the image processing system according to the first embodiment of the present invention. Note that the operation example shown in FIG. 4 is merely an example of the operation of the image processing system according to the first embodiment of the present invention. Therefore, the operation of the image processing system according to the first embodiment of the present invention is not limited to the operation example shown in FIG.
  • the recognition unit 30A executes S111 to S120 each time an image is captured by the capture acquisition unit 310, so that the counter i is incremented by 1 from 1 to N (N is an integer of 1 or more). While counting up, S111 to S120 are repeatedly executed (S110, S121). First, the capture acquisition unit 310 acquires a video by capturing a video captured by the camera 20 (S111). Then, the area recognition unit 330A performs video preprocessing as necessary (S112).
  • the following processing is executed (S113). That is, if the counter i is 1, the area recognition unit 330A acquires area information of another ATM 10 having the same or similar structure as that of the ATM 10 via the network 80. Then, the region recognition unit 330A causes the storage unit 370 to store the acquired region information. The area recognition unit 330A sets a target area in the video based on the area information.
  • the image processing unit 320 extracts a feature amount from the target region in the video (S116). Then, the learning detection unit 340 performs additional learning using the feature amount extracted by the image processing unit 320 (S117). If there is a learning state request from the administrator terminal 70, the following processing is executed (S118). That is, if there is a learning state request from the administrator terminal 70, the learning state determination unit 350 determines the learning state (degree of progress) of additional learning (S119). Then, the notification unit 360 notifies the administrator terminal 70 of the learning status (progress degree) of additional learning (S120). When S111 to S120 are executed N times, the operation is terminated.
  • FIG. 5 is a diagram illustrating a functional configuration example of an image processing system according to the second embodiment of the present invention.
  • the image processing system according to the second embodiment of the present invention is different from the image processing system according to the first embodiment of the present invention in that a recognition unit is used instead of the recognition unit 30A. It differs in that it has 30B.
  • the recognition unit 30B is different from the recognition unit 30A in that it includes a region recognition unit 330B instead of the region recognition unit 330A. Therefore, in the following, the functions of the area recognition unit 330B will be mainly described, and detailed descriptions of other configurations will be omitted.
  • the target area is set based on the structural similarity between ATMs.
  • the image processing system has only one ATM, it is assumed that the ATM image with the area set is not accumulated.
  • the image processing system includes a plurality of ATMs, there may be other ATMs having a structure that is the same as or similar to the structure of the ATMs. Therefore, in the second embodiment of the present invention, an example in which the target area is set without using the ATM image with the area set will be described.
  • an ATM transaction processing unit 110 of ATM 10 and a region recognition unit 330B are connected, and the region recognition unit 330B is configured to be able to acquire information of the ATM transaction processing unit 110.
  • the ATM transaction processing unit 110 manages information indicating the state of the ATM 10 (hereinafter also referred to as “status information”), and the status information is updated when the state changes.
  • the area recognizing unit 330B can acquire such status information from the ATM transaction processing unit 110 and grasp the ATM 10 state.
  • FIG. 6 is a diagram for explaining an example of status information.
  • an image 21-1 in which a state in which the card 61 is inserted into the card insertion slot 150 is captured is shown.
  • the area recognition unit 330B can obtain status information indicating that a card has been inserted from the ATM transaction processing unit 110.
  • the area recognition unit 330B can obtain status information indicating that the card 61 is ejected from the card insertion slot 150 from the ATM transaction processing unit 110.
  • an image 21-2 is shown in which a state in which a button displayed on the screen 120 with a touch panel is selected is picked up.
  • the area recognition unit 330B displays status information indicating that the button displayed on the screen 120 with a touch panel has been selected as an ATM transaction. It can be obtained from the processing unit 110.
  • an image 21-3 is shown in which a state in which a banknote is inserted into the banknote outlet 130 is captured.
  • the area recognition unit 330B can obtain status information indicating that a banknote has been inserted into the banknote outlet 130 from the ATM transaction processing unit 110.
  • the area recognition unit 330B can obtain status information indicating that the banknote has been discharged from the banknote outlet 130 from the ATM transaction processing unit 110.
  • an image 21-4 is shown in which a password is input to the password input unit 140.
  • the area recognition unit 330B displays status information indicating that the personal identification number has been input to the personal identification number input unit 140 as an ATM transaction processing unit. 110 can be obtained.
  • the region recognition unit 330B detects the motion of the moving image captured by the camera 20 and acquired by the capture acquisition unit 310 at a predetermined timing. Then, the region recognition unit 330B sets a target region based on the detected motion image motion. More specifically, the region recognizing unit 330B identifies a region that has moved in a moving image at a predetermined timing, and sets a target region based on the region that has moved.
  • the predetermined timing is not limited as long as it is related to the operation.
  • the area recognition unit 330B specifies a predetermined timing based on the update timing of the status information. For example, since it is assumed that an operation (normal operation or abnormal operation) is performed immediately after the status information is updated, the status information is updated as an example of a predetermined timing below. A case where the timing immediately after is used will be described. In the following, a case where status information indicating that a card has been ejected from the card insertion slot is used as an example of status information will be described.
  • FIG. 7 is a diagram for explaining an example of setting a target area in the second embodiment of the present invention.
  • the region recognition unit 330B prepares first motion region detection data in which initial values are set for each pixel. Then, the area recognition unit 330B detects the motion based on the difference between frames of the moving image captured by the camera 20 before the status information is updated to the status information indicating that the card has been ejected from the card insertion slot. Begin to. Then, the region recognition unit 330B counts up the value in the first motion region detection data corresponding to the pixel that has moved.
  • the region recognition unit 330B also prepares second motion region detection data in which initial values are set for each pixel. Then, immediately after the status information is updated to the status information indicating that the card has been ejected from the card insertion slot, the area recognition unit 330B uses the second motion area detection data corresponding to the pixel that has moved. Count up the value.
  • the region recognition unit 330B detects a predetermined stop timing (for example, when an operation for stopping the ATM 10 is performed or when a specified number of images are acquired), the region recognition unit 330B detects the first motion region. Of the data, a region in which the average value (according to the acquisition time of the first motion region detection data) exceeds the first threshold is detected as a region having motion without depending on the status information.
  • the image 21-6 shows a region 22-2 that moves without depending on the status information.
  • the region recognition unit 330B detects a predetermined stop timing
  • the average value (according to the acquisition time of the second motion region detection data) of the second motion region detection data becomes the second threshold value.
  • a region that exceeds is detected as a region that moves immediately after the status information is updated.
  • the image 21-5 shows an area 22-1 that moves immediately after the status information is updated.
  • the area recognition unit 330B then moves from the area 22-1 that moves immediately after the status information update to the area 22-1 that moves immediately after the status information update and the area 22-2 that moves regardless of the status information. By subtracting the overlapping area, a moving area is detected only immediately after the status information is updated.
  • the image 21-7 shows a region 22-3 that moves only immediately after the status information is updated.
  • the area recognizing unit 330B sets, as a target area, an area having a predetermined shape (for example, a rectangular area) included in the moving area 22-3 only immediately after the status information is updated.
  • the target area 24 is shown in the image 21-8.
  • the capture acquisition unit 310 acquires a moving image by capturing a moving image captured by the camera 20.
  • the capture acquisition unit 310 may acquire a moving image that has been captured and stored in advance and status information (operation log information) corresponding thereto. Then, since the target area can be detected offline, the target area can be detected without connecting the recognition unit 30B and the ATM 10.
  • FIG. 8 is a flowchart showing an operation example of the image processing system according to the second embodiment of the present invention. Note that the operation example shown in FIG. 8 is merely an example of the operation of the image processing system according to the second embodiment of the present invention. Therefore, the operation of the image processing system according to the second embodiment of the present invention is not limited to the operation example shown in FIG.
  • the operation is divided into a region extraction phase and a learning phase.
  • Each step in the learning phase can be performed in the same way as the corresponding step in the first embodiment of the present invention. Therefore, the area extraction phase will be mainly described below.
  • the recognition unit 30B executes S212 to S216 until it detects a predetermined stop timing (S211 and S217).
  • the capture acquisition unit 310 acquires a video by capturing a video captured by the camera 20 (S212).
  • the area recognizing unit 330B starts to detect the motion of the moving image captured by the camera 20 before the status information is obtained.
  • the region recognition unit 330B extracts pixels that have moved (S213), and counts up values in the first motion region detection data corresponding to the pixels that have moved (S214).
  • the region recognition unit 330B counts up the value in the second motion region detection data corresponding to the pixel that has moved (S216).
  • the region recognition unit 330B detects a predetermined stop timing, the region recognition unit 330B acquires region information based on both the motion region detection data (first motion region detection data and second motion region detection data) ( S218), it is held in the storage unit 370 (S219).
  • the area recognition unit 330B sets a target area based on the area information.
  • the region recognizing unit 330B determines the region in the moving image that has moved at a predetermined timing (for example, the timing immediately after the status information is updated).
  • the target area can be set based on the area that has been identified and moved. Therefore, even if the ATM image with the area set is not accumulated, or even when there is no other ATM having the same or similar structure as the structure of the ATM, the target area is easily set. It is possible.
  • FIG. 9 is a diagram illustrating a functional configuration example of an image processing system according to the third embodiment of the present invention.
  • the image processing system according to the third embodiment of the present invention is different from the image processing system according to the second embodiment of the present invention in that a recognition unit is used instead of the recognition unit 30B. It differs in that it has 30C.
  • the recognition unit 30C is different from the recognition unit 30B in that it includes a region recognition unit 330C instead of the region recognition unit 330B. Therefore, in the following, the functions of the region recognition unit 330C will be mainly described, and detailed descriptions of other configurations will be omitted.
  • the target area is set using the status information of the ATM 10
  • the recognition unit 30B in order for the recognition unit 30B to obtain status information of the ATM 10, the recognition unit 30B and the ATM 10 need to be connected. Further, when the type or manufacturer of the ATM 10 is changed, the specification of the status information may change, so it is troublesome to understand the specification of the status information. Further, in order to obtain status information, knowledge of the manager is required. Therefore, in the third embodiment of the present invention, an example in which a target area is set without using status information will be described. Referring to FIG. 9, the ATM transaction processing unit 110 and the recognition unit 30C are not connected.
  • the area recognition unit 330C learns in advance the feature amount of an object to be inserted into or discharged from the ATM 10.
  • various objects are assumed as objects inserted into or discharged from the ATM 10.
  • banknotes, cards, receipts, and the like are assumed as objects inserted into or discharged from the ATM 10.
  • the area recognition unit 330C detects a place where the presence or absence of the object has changed from the moving image captured by the camera 20 and acquired by the capture acquisition unit 310 based on the feature amount of the object inserted into or discharged from the ATM 10. Identify. Since it is assumed that a user's action (normal action or abnormal action) is performed in an area corresponding to a place where a change occurs in the presence or absence of an object, the area recognition unit 330C changes in the presence or absence of an object. Set the target area based on where it happened.
  • FIG. 10 is a diagram for explaining a case where the presence or absence of a card changes at the card insertion slot.
  • the area recognizing unit 330C learns the card feature amount in advance.
  • the ATM 10-5 has a card insertion slot 150.
  • An image 21-11 is an image obtained by capturing a part of the ATM 10-5.
  • the image 21-11 shows a state in which the user is about to insert the card 61 into the card insertion slot 150. At this time, the card 61 is still present in the image 21-11.
  • the image 21-12 shows that the user has finished inserting the card 61 into the card insertion slot 150.
  • the card 61 is lost (disappears) from the image 21-12.
  • the area recognition unit 330C identifies the place where the card 61 disappears from the image 21-12 (place where it disappeared) based on the images 21-11 and 21-12.
  • the region recognition unit 330C sets a region having a predetermined shape (for example, a rectangular region) based on the location where the card 61 is lost as a target region.
  • the area recognition unit 330C can set the target area based on the place where the card appears.
  • FIG. 11 is a diagram for explaining a case where the presence / absence of a banknote changes at the banknote outlet.
  • the area recognition unit 330C learns the feature amount of the banknote in advance.
  • the ATM 10-5 has a banknote outlet 130.
  • An image 21-21 is an image obtained by capturing a part of the ATM 10-5. In the image 21-21, the user is trying to take out the banknote from the banknote outlet 130. At this time, the banknote is not yet present in the image 21-21.
  • the image 21-22 shows that the user has started to take out the banknote 62 from the banknote outlet 130.
  • the banknote 62 appears in the image 21-22.
  • the area recognition unit 330C identifies the place where the banknote 62 appears in the image 21-22 based on the images 21-21 and 21-22.
  • the region recognition unit 330C sets a region having a predetermined shape (for example, a rectangular region) based on the place where the banknote 62 appears as a target region.
  • the area recognition unit 330C can set the target area based on the place where the banknote disappears.
  • FIG. 12 is a diagram for explaining a case where the presence or absence of banknotes changes at the banknote outlet. Also here, the area recognition unit 330C learns the feature amount of the banknote in advance.
  • the ATM 10-6 has a banknote outlet 130.
  • the bill outlet 130 is on the side of the ATM 10-6.
  • An image 21-31 is an image obtained by capturing a part of the ATM 10-6. In the image 21-31, the user is trying to take out the banknote from the banknote outlet 130. At this time, the banknote is not yet present in the image 21-31.
  • images 21-32 show the user starting to take out the banknote 62 from the banknote outlet 130. At this time, the banknote 62 appears in the image 21-32.
  • the area recognizing unit 330C specifies the place where the banknote 62 appears in the image 21-32 based on the images 21-31 and 21-32.
  • the target area can be set more reliably even when the banknote outlet 130 is not directly reflected in the images 21-31 and 21-32.
  • the region recognition unit 330C sets a region having a predetermined shape (for example, a rectangular region) based on the place where the banknote 62 appears as a target region. Similarly, when the banknote is discharged, the area recognition unit 330C can set the target area based on the place where the banknote disappears.
  • a predetermined shape for example, a rectangular region
  • FIG. 13 is a flowchart showing an operation example of the image processing system according to the third embodiment of the present invention.
  • the operation example shown in FIG. 13 is only an example of the operation of the image processing system according to the third embodiment of the present invention. Therefore, the operation of the image processing system according to the third embodiment of the present invention is not limited to the operation example shown in FIG.
  • the operation is divided into a preliminary preparation, a region extraction phase, and a learning phase.
  • Each step in the learning phase can be performed in the same way as the corresponding step in the first embodiment of the present invention. Therefore, in the following, the advance preparation and the region extraction phase will be mainly described.
  • FIG. 13 the operation example in the case of using a banknote as an example of an object is shown.
  • the feature of the banknote is learned in advance by the area recognition unit 330C.
  • the recognition unit 30C executes S322 until a predetermined stop timing is detected (S321, S323).
  • the capture acquisition unit 310 acquires a video by capturing the video captured by the camera 20.
  • the area recognition unit 330C identifies a place where a change occurs in the presence or absence of banknotes in the image based on the video (S322).
  • the region recognition unit 330C When the region recognition unit 330C detects a predetermined stop timing, the region recognition unit 330C acquires region information based on the specified location (S324) and stores it in the storage unit 370 (S325). The area recognition unit 330C sets a target area based on the area information.
  • the region recognition unit 330C causes a change in the presence / absence of an object from a moving image based on the feature amount of an object inserted or ejected into the ATM 10.
  • the target area can be set based on the specified place. Therefore, according to the third embodiment of the present invention, since the target area can be set without using the status information, the recognition unit 30C and the ATM 10 do not need to be connected, and it is easy to understand the specification of the status information. It is possible to easily set the target area while reducing the knowledge required by the administrator. Further, according to the third embodiment of the present invention, it is possible to easily grasp the progress of additional learning.
  • FIG. 14 is a diagram illustrating a functional configuration example of an image processing system according to the fourth embodiment of the present invention.
  • the image processing system according to the fourth embodiment of the present invention is different from the image processing system according to the third embodiment of the present invention in that a recognition unit is used instead of the recognition unit 30C. It differs in having 30D.
  • the recognition unit 30D is different from the recognition unit 30C in that it includes a region recognition unit 330D instead of the region recognition unit 330C. Therefore, in the following, the function of the region recognition unit 330D will be mainly described, and detailed description of other components will be omitted.
  • the target area is set using the change in the presence or absence of the object in the image.
  • an area where the presence or absence of an object does not change is set as a target area. Therefore, in the fourth embodiment of the present invention, an example in which even a region where the presence or absence of an object does not change is set as a target region will be described.
  • the region recognition unit 330D learns in advance a large amount of combinations of status information and a moving image at a timing immediately after the status information is updated. Accordingly, the learning detection unit 340 generates a learning model that can estimate the user's movement at the timing immediately after the status information is updated.
  • the status information is as already described.
  • the region recognition unit 330D updates the status information based on the plurality of moving images captured by the camera 20 and acquired by the capture acquisition unit 310 and the learning model. Immediately after that, a place where the user has moved is detected. Then, the area recognition unit 330D sets the target area based on the location where the user has moved immediately after the status information is updated.
  • FIG. 15 is a diagram for explaining a case where there is a movement when a password is input by a user.
  • a large amount of moving images 21-41 immediately after the status information indicating the password input is shown.
  • the area recognition unit 330D learns a large amount of such status information and a large amount of moving images 21-1.
  • a learning model for estimating the movement of the user when inputting the password is generated. Note that when the password input key is covered with a cover, such as the password input unit 140, the password input may be difficult to detect from the image. Input can be easily detected.
  • Images 21 to 42 captured by the camera 20 and acquired by the capture acquisition unit 310 after the learning model is generated are shown.
  • Images 21-42 may be images acquired without using status information.
  • the area recognizing unit 330D Based on the generated learning model and the images 21-42, the area recognizing unit 330D detects the user's movement at the time of entering the code number, and identifies the place where the user's movement at the time of inputting the code number. Thereafter, as shown in the image 21-43, the region recognition unit 330D sets a region having a predetermined shape (for example, a rectangular region) as a target region with reference to the place where the code number is moved. .
  • a predetermined shape for example, a rectangular region
  • FIG. 16 is a flowchart showing an operation example of the image processing system according to the fourth embodiment of the present invention. Note that the operation example shown in FIG. 16 is merely an example of the operation of the image processing system according to the fourth embodiment of the present invention. Therefore, the operation of the image processing system according to the fourth embodiment of the present invention is not limited to the operation example shown in FIG.
  • FIG. 16 shows an operation example in the case of using the movement at the time of inputting the personal identification number as an example of the movement by the user.
  • the region recognition unit 330D learns a large amount of status information in advance and a moving image immediately after the status information is obtained to generate a learning model, and the password is based on the learning model. It is possible to estimate the motion when the number is input (S411). Subsequently, as shown in the region extraction phase in FIG. 16, the recognition unit 30D executes S422 and S423 until a predetermined stop timing is detected (S421, S424). First, the capture acquisition unit 310 acquires a moving image by capturing a moving image captured by the camera 20. The area recognizing unit 330D detects the movement of the user when inputting the personal identification number from the moving image based on the learning model (S422).
  • the area recognizing unit 330D identifies a place where the user has moved when the password is input based on the movement of the user when the password is input (S423).
  • the region recognition unit 330D acquires region information based on the specified location (S425) and stores it in the storage unit 370 (S426).
  • the area recognition unit 330D sets a target area based on the area information.
  • the region recognition unit 330D learns the moving image immediately after the status information is obtained, and the user immediately after the status information is obtained.
  • a learning model capable of estimating the motion of the user is generated, and the target region is set based on the location where the user's motion detected based on the learning model and the moving image is present. Therefore, according to the fourth embodiment of the present invention, an area where the presence or absence of an object does not change can be easily set as a target area. Further, according to the fourth embodiment of the present invention, it is possible to easily grasp the progress of additional learning.
  • the area recognition unit 330 has described an example in which one target area is set. However, the area recognition unit 330 may set a plurality of target areas. At this time, the image processing unit 320 extracts a feature amount for each target region, the learning detection unit 340 performs additional learning for each target region using the feature amount, and the learning status determination unit 350 progresses the additional learning. The degree may be acquired for each target area. Then, the notification unit 360 may notify the administrator terminal 70 of the progress of additional learning for each target area.
  • the moving image used for setting the target area is used for additional learning.
  • the learning detection unit 340 later uses the moving image used for setting the target region from the storage unit 370. Can be acquired and used for additional learning.
  • the region recognition unit 330D learns status information and a moving image to generate a learning model, and immediately after the status information is obtained based on the learning model. The case where a user's movement was detected was demonstrated. However, if the area recognition unit 330D detects a location where the user has moved immediately after the status information is obtained based on the status information and the moving image, the detected user's motion has occurred.
  • the target area may be set using a place.
  • the region recognition unit 330 may change the target region while additional learning by the learning detection unit 340 is being performed, or while recognition by the classifier obtained by additional learning is being performed. Good.
  • the learning detector 340 performs pre-learning based on teacher data and learning data that are correct labels of data.
  • a method that does not require correct labels of data (no teacher) Learning) may be performed in advance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

【課題】機械学習の対象領域の設定を簡便に行うとともに、機械学習の進捗度合いを容易に把握することが可能な技術が提供されることが望まれる。 【解決手段】利用者が操作する端末の一部または全部を写した映像を取得する映像取得部と、前記映像における対象領域を設定する領域設定部と、前記対象領域から特徴量を抽出する画像処理部と、前記特徴量を用いて追加学習を行う学習部と、前記追加学習の進捗度合いを取得する学習状況判断部と、前記進捗度合いを通知する通知部と、を備える、画像処理装置が提供される。

Description

画像処理装置、画像処理方法、記録媒体および画像処理システム
　本発明は、画像処理装置、画像処理方法、記録媒体および画像処理システムに関する。
　近年、端末を操作する利用者に関わる状態を認識する技術が知られている。例えば、監視空間における対象物体の異常状態を判定する技術が開示されている（例えば、特許文献１参照）。また、状態を認識するための対象領域を自動的に設定する技術が開示されている（例えば、特許文献２、特許文献３参照）。例えば、特許文献２に記載された技術では、特定のオブジェクトが置かれた領域が対象領域として設定される。また、機械学習によって得られた情報を分析に用い、分析結果を可視化する技術が開示されている（例えば、特許文献４参照）。
特開２０１０－７２７８２号公報 特開２０１４－１７４９５９号公報 特開２０１４－２１１７３４号公報 特開２０１６－３５６８８号公報
　しかし、特許文献２に記載された技術では、対象領域の設定のために特定のオブジェクトを人が置く必要がある。そのため、人がオブジェクトの位置および対象領域の最適な位置を把握しておく必要があるため、対象領域の設定のために人に負荷が掛かってしまう。また、特許文献４に記載された技術では、機械学習によって得られた情報を用いた分析結果を可視化することは可能であるが、機械学習の進捗度合いを管理者が把握することはできない。
　そこで、機械学習の対象領域の設定を簡便に行うとともに、機械学習の進捗度合いを容易に把握することが可能な技術が提供されることが望まれる。
　上記問題を解決するために、本発明のある観点によれば、利用者が操作する端末の一部または全部を写した映像を取得する映像取得部と、前記映像における対象領域を設定する領域設定部と、前記対象領域から特徴量を抽出する画像処理部と、前記特徴量を用いて追加学習を行う学習部と、前記追加学習の進捗度合いを取得する学習状況判断部と、前記進捗度合いを通知する通知部と、を備える、画像処理装置が提供される。
　前記学習部は、前記追加学習として深層学習を用いてもよい。
　前記映像取得部は、あらかじめ撮像されて保存されている前記映像またはカメラによって撮像された前記映像をキャプチャーすることによって前記映像を取得してもよい。
　前記画像処理装置は、前記追加学習によって得られた識別器を用いて認識処理を行う認識処理部を備えてもよい。
　前記認識処理部は、前記追加学習の進捗度合いに応じて前記認識処理による認識結果または前記認識結果の通知先を変更してもよい。
　前記領域設定部は、複数の対象領域を設定し、前記画像処理部は、前記対象領域ごとに前記特徴量を抽出し、前記学習部は、前記特徴量を用いて前記対象領域ごとに前記追加学習を行い、前記学習状況判断部は、前記追加学習の進捗度合いを前記対象領域ごとに取得してもよい。
　前記学習部は、前記追加学習の前に教師データと学習データとに基づいて事前学習を行い、前記事前学習によって得られた学習結果と前記特徴量とを用いて前記追加学習を行ってもよい。
　前記領域設定部は、前記端末が有する構造と同一または類似する構造を有する他の端末の領域情報に基づいて前記対象領域を設定してもよい。
　前記領域設定部は、所定のタイミングにおける動画像の動きに基づいて、前記対象領域を設定してもよい。
　前記領域設定部は、前記端末のステータス情報の更新タイミングに基づいて前記所定のタイミングを特定してもよい。
　前記領域設定部は、前記所定のタイミングにおいて前記動画像のうち動きがあった領域を特定し、前記動きがあった領域に基づいて、前記対象領域を設定してもよい。
　前記領域設定部は、前記所定のタイミングにおける動画像を学習して、前記所定のタイミングにおける利用者の動きを推定可能な学習モデルを生成し、前記学習モデルと動画像とに基づいて検出した利用者の動きがあった場所に基づいて、前記対象領域を設定してもよい。
　前記領域設定部は、前記端末に挿入または排出されるオブジェクトの特徴量に基づいて、動画像から前記オブジェクトの有無に変化が起こった場所を特定し、前記場所に基づいて、前記対象領域を設定してもよい。
　また、本発明の別の観点によれば、利用者が操作する端末の一部または全部を写した映像を取得することと、前記映像における対象領域を設定することと、前記対象領域から特徴量を抽出することと、前記特徴量を用いて追加学習を行うことと、前記追加学習の進捗度合いを取得することと、前記進捗度合いを通知することと、を含む、画像処理方法が提供される。
　また、本発明の別の観点によれば、コンピュータを、利用者が操作する端末の一部または全部を写した映像を取得する映像取得部と、前記映像における対象領域を設定する領域設定部と、前記対象領域から特徴量を抽出する画像処理部と、前記特徴量を用いて追加学習を行う学習部と、前記追加学習の進捗度合いを取得する学習状況判断部と、前記進捗度合いを通知する通知部と、を備える画像処理装置として機能させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体が提供される。
　また、本発明の別の観点によれば、利用者が操作する端末と、前記端末の一部または全部を写した映像を撮像するカメラと、画像処理装置と、を有する、画像処理システムであって、前記画像処理装置は、前記映像を取得する映像取得部と、前記映像における対象領域を設定する領域設定部と、前記対象領域から特徴量を抽出する画像処理部と、前記特徴量を用いて追加学習を行う学習部と、前記追加学習の進捗度合いを取得する学習状況判断部と、前記進捗度合いを通知する通知部と、を備える、画像処理システムが提供される。
　以上説明したように本発明によれば、機械学習の対象領域の設定を簡便に行うとともに、機械学習の進捗度合いを容易に把握することが可能な技術が提供される。
本発明の第１の実施形態に係る画像処理システムの全体構成例を示す図である。 同実施形態に係る画像処理システムの機能構成例を示す図である。 キャプチャー取得部によって取得される映像の例を示す図である。 同実施形態に係る画像処理システムの動作例を示すフローチャートである。 本発明の第２の実施形態に係る画像処理システムの機能構成例を示す図である。 ステータス情報の例について説明するための図である。 同実施形態における対象領域の設定例について説明するための図である。 同実施形態に係る画像処理システムの動作例を示すフローチャートである。 本発明の第３の実施形態に係る画像処理システムの機能構成例を示す図である。 カード挿入口においてカードの有無が変化する場合について説明するための図である。 紙幣取出口において紙幣の有無が変化する場合について説明するための図である。 紙幣取出口において紙幣の有無が変化する場合について説明するための図である。 本発明の第３の実施形態に係る画像処理システムの動作例を示すフローチャートである。 本発明の第４の実施形態に係る画像処理システムの機能構成例を示す図である。 同実施形態に係る画像処理システムの機能構成例を示す図である。 同実施形態に係る画像処理システムの動作例を示すフローチャートである。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。
（１．第１の実施形態）
　まず、本発明の第１の実施形態について説明する。
　（１．１．システムの構成例）
　本発明の第１の実施形態に係る画像処理システムの構成例について説明する。図１は、本発明の第１の実施形態に係る画像処理システムの全体構成例を示す図である。図１に示されるように、本発明の第１の実施形態に係る画像処理システムは、ＡＴＭ（Ａｕｔｏｍａｔｅｄ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ）１０－１～１０－４、カメラ２０－１～２０－４、サーバ４０および管理者端末７０を有している。
　本発明の第１の実施形態においては、画像処理システムがＡＴＭ１０－１－１～１０－４を有する場合を主に想定する。しかし、画像処理システムは、ＡＴＭ１０－１－１～１０－４の代わりに、利用者によって操作される他の端末（例えば、現金処理機など）を有していてもよい。また、図１には、画像処理システムが、４つのＡＴＭ１０を有する例が示されている。しかし、画像処理システムが有するＡＴＭ１０の数は限定されない。ＡＴＭ１０－１－１～１０－４それぞれは、別の店舗に設けられてもよいし、いずれか２つ以上は同一の店舗に設けられてもよい。
　また、カメラ２０－１は、イメージセンサを有しており、ＡＴＭ１０－１の少なくとも一部を写すことが可能な位置に設けられている。図１に示された例では、カメラ２０－１がＡＴＭ１０－１の上方に設けられているが、ＡＴＭ１０－１が設けられる位置は限定されない。同様に、カメラ２０－２～２０－４も、同様に、対応するＡＴＭ（１０－２～１０－４）の少なくとも一部を写すことが可能な位置に設けられている。
　管理者端末７０は、ＡＴＭ１０－１に接続されており、管理者９１によって利用される。例えば、管理者端末７０は、ＡＴＭ１０－１の状態を表示することが可能であり、管理者９１によってＡＴＭ１０－１の状態が把握される。なお、図１には、紙面の関係上、ＡＴＭ１０－１にのみ接続されている管理者端末７０のみが示されているが、管理者端末７０は、ＡＴＭ１０－１～１０－４それぞれに対して接続されていてよい。その場合、ＡＴＭ１０－１～１０－４それぞれに対して接続される管理者端末７０は、異なる端末であってもよいし、いずれか２つ以上が同一の端末であってもよい。
　サーバ４０は、ネットワーク８０に接続されており、ネットワーク８０を介してＡＴＭ１０－１～１０－４と通信可能に構成されている。なお、図１に示された例では、画像処理システムが、サーバ４０を有しているが、本発明の第１の実施形態以外の実施形態においては、画像処理システムは、特にサーバ４０を有していなくてもよい。さらに、本発明の第１の実施形態においても、サーバ４０が有する機能を、ＡＴＭ１０－１～１０～４のいずれかが代わりに有していれば、画像処理システムは、特にサーバ４０を有していなくてもよい。
　図２は、本発明の第１の実施形態に係る画像処理システムの機能構成例を示す図である。図２には、図１に示された画像処理システムのうち、管理者端末７０およびサーバ４０が示されている。また、ＡＴＭ１０－１～１０～４の任意のＡＴＭがＡＴＭ１０として示されており、カメラ２０－１～２０～４の任意のカメラがカメラ２０として示されている。図２には、ＡＴＭ１０を操作する利用者９２も示されている。
　ＡＴＭ１０は、ＡＴＭ取引処理部１１０を備えるとともに、認識部３０Ａ（画像処理装置）を備える。ＡＴＭ取引処理部１１０は、各種の取引処理（例えば、入金処理、出金処理など）を実行する。なお、図２に示された例では、認識部３０ＡがＡＴＭ１０の内部に存在しているが、認識部３０ＡはＡＴＭ１０の外部に存在していてもよい。認識部３０Ａは、キャプチャー取得部３１０（映像取得部）、画像処理部３２０、領域認識部３３０Ａ（領域設定部）、学習検知部３４０（学習部および認識処理部）、学習状況判断部３５０、通知部３６０および記憶部３７０を備える。
　キャプチャー取得部３１０、画像処理部３２０、領域認識部３３０Ａ、学習検知部３４０、学習状況判断部３５０および通知部３６０は、制御部を構成し得る。制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを含み、記憶部３７０により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
　記憶部３７０は、制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部３７０は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。
　また、図２には示されていないが、実際には、認識部３０Ａは、通知部３６０が管理者端末７０に通知を行うための第１の通信回路を有している。また、認識部３０Ａは、領域認識部３３０Ａがネットワーク８０を介してサーバ４０と通信を行うための第２の通信回路を有している。例えば、第１の通信回路は、有線によってネットワーク８０に接続され、第２の通信回路も、有線によって管理者端末７０に接続される場合が想定されるが、第１の通信回路は、無線によってネットワーク８０に接続されてもよいし、第２の通信回路は、無線によって管理者端末７０に接続されてもよい。
　ここで、認識部３０Ａの機能によって、利用者９２の状態を認識したいという要求がある。一例として、利用者によってＡＴＭ１０が正常に利用される場合もあり得るが、利用者によってＡＴＭ１０が正常に利用されない場合もあり得る。例えば、悪意がある利用者がＡＴＭ１０に対して特殊な細工を施し、ＡＴＭ１０を介して他人の口座から現金を得ようとする犯罪がなされる場合などには、利用者によってＡＴＭ１０が正常に利用されない。本発明の各実施形態においては、認識部３０Ａの学習検知部３４０が、機械学習（以下、単に「学習」とも言う。）によって得られた識別器に基づいて、利用者の所定の状態（例えば、利用者の異常な動作、忘れ物、利用者の属性など）を認識する。
　本発明の各実施形態においては、学習検知部３４０によって事前に、教師データと学習データとに基づいて学習（事前学習）が行われている場合を想定する。かかる教師データと学習データは、ＡＴＭ１０が設置される店舗に依存しないデータであってよい。しかし、ＡＴＭ１０が設置される店舗によって、照明の明るさが異なったり、利用者の年齢層が異なったりする場合があるため、店舗に依存しないデータだけによって生成された識別器では、認識精度が向上しない可能性がある。
　そこで、本発明の各実施形態においては、事前学習によって得られた学習結果を利用し、さらにＡＴＭ１０の運用時の環境と同じ環境に置かれたＡＴＭ１０を利用して学習（追加学習）を行う。これによって、認識精度が向上することが期待される。本発明の各実施形態においては、運用時にＡＴＭ１０が置かれる店舗と同じ店舗に置かれたＡＴＭ１０を利用して、ＡＴＭ１０の運用前に、認識部３０Ａの学習検知部３４０によって追加学習が行われる場合を想定する。しかし、かかる追加学習が行われるタイミングは限定されない。例えば、学習検知部３４０による追加学習は、ＡＴＭ１０の運用開始後にまで引き続き行われてもよい。また、学習検知部３４０による追加学習がどの程度まで進んだ段階でＡＴＭ１０が運用されるかも限定されない。
　また、本発明の各実施形態においては、学習検知部３４０による学習として、深層学習が用いられる場合を主に想定する。これによって、より高精度に利用者の所定の状態が認識され得る。しかし、学習検知部３４０による学習として、深層学習以外の学習器が用いられてもよい。
　また、学習検知部３４０による学習および認識が行われるためには、学習および認識の対象となる領域（対象領域）が設定される必要がある。この対象領域の設定には、本発明の第１の実施形態から本発明の第４の実施形態までに説明するように様々な手法が想定される。本発明の第１の実施形態においては、ＡＴＭ同士の類似度を用いて対象領域を設定する場合を説明する。
　なお、本発明の各実施形態において、「映像」は、１枚の画像であってもよいし、複数枚のフレームから構成される動画像であってもよい。
　図３は、キャプチャー取得部３１０によって取得される映像の例を示す図である。図３を参照すると、ＡＴＭの一部（ＡＴＭの前面）がカメラ２０によって撮像された画像２１が示されている。画像２１には、ＡＴＭのタッチパネル付き画面１２０、カード挿入口１５０、紙幣取出口１３０、暗証番号入力部１４０が写っている。図３に示された画像２１のように、キャプチャー取得部３１０によって、カメラ２０によって撮像された映像が取得される。
　領域認識部３３０Ａは、キャプチャー取得部３１０によって取得された映像における対象領域を設定する。まず、領域認識部３３０Ａは、キャプチャー取得部３１０によって取得された映像に対して前処理を行う。前処理としては、様々な処理が想定される。例えば、ＡＴＭ１０に対するカメラ２０の相対的な位置および姿勢は、複数のカメラ２０で異なる場合が想定され、カメラ２０によって撮像される映像におけるＡＴＭの位置および姿勢が一定しないことが想定される。そこで、領域認識部３３０Ａは、前処理の例として、映像の位置合わせを行い、映像から対象領域が容易に設定されるようにするとよい。
　その他、前処理は、後の処理でエッジが利用される場合などには、映像からエッジを抽出する処理であってもよい。しかし、前処理は特に限定されないし、前処理は特に実行されなくてもよい。
　本発明の第１の実施形態においては、あらかじめサーバ４０によって、対象領域が設定済みのＡＴＭごとに、ＡＴＭの一部または全部を写した画像と対象領域の範囲を特定するための領域情報とが記憶されている。例えば、ＡＴＭ１０－１の対象領域が未設定であり、ＡＴＭ１０－２～１０－４の対象領域が設定済みである場合を想定する。
　かかる場合には、ＡＴＭ１０－１の一部または全部を写した画像がＡＴＭ１０－１から送信されると、サーバ４０は、ＡＴＭ１０－１の当該画像をＡＴＭ１０－１から受信し、ＡＴＭ１０－１の画像とＡＴＭ１０－２～１０－４それぞれの画像とに基づいて、ＡＴＭ１０－１が有する構造と同一または類似する構造を有する他のＡＴＭを、ＡＴＭ１０－２～１０－４から探し出す。そして、サーバ４０は、見つけたＡＴＭの領域情報をＡＴＭ１０－１に返信する。ＡＴＭ１０－１の領域認識部３３０Ａは、サーバ４０から受信された領域情報に基づいてＡＴＭ１０－１の対象領域を設定する。
　ここで、ＡＴＭ同士の構造の類似性は、どのようにして判断されてもよい。例えば、ＡＴＭ１０－１の画像とＡＴＭ１０－２～１０－４それぞれの画像とから抽出されるエッジの類似性によって、ＡＴＭ同士の構造の類似性が判断されてもよい。図１を参照すると、ＡＴＭ１０－１が有する構造とＡＴＭ１０－３が有する構造とが類似している場合が示されている。したがって、かかる場合には、サーバ４０は、ＡＴＭ１０－３の領域情報をＡＴＭ１０－１に返信してよい。
　画像処理部３２０は、映像における対象領域から特徴量を抽出する。ここで、特徴量の種類は、１種類であってもよいし、複数種類であってもよい。また、特徴量の種類も限定されない。例えば、特徴量は、フレーム間の差分（例えば、フレーム間の対応する画素同士の差分など）を含んでもよいし、フレームごとの各画素の隣接画素との差分（勾配）を含んでもよいし、動きベクトル（例えば、フレーム間の画素値の移動ベクトルなど）を含んでもよいし、フレームから抽出されるエッジを含んでもよいし、フレームの２値化画像を含んでもよいし、フレームの白黒パターンを含んでもよい。
　学習検知部３４０は、画像処理部３２０によって抽出された特徴量を用いて追加学習を行う。より具体的に、学習検知部３４０は、事前学習によって得られた学習結果と、画像処理部３２０によって抽出された特徴量とを用いて、追加学習を行う。一例として、画像処理部３２０によって抽出された特徴量と、教師データに対応する複数の学習データの重心との特徴空間における距離が閾値よりも近ければ、当該特徴量と教師データとの関連が強められる。しかし、追加学習がどのように行われるかは、学習器のアルゴリズムに応じて適宜に変更されてよい。
　学習状況判断部３５０は、学習検知部３４０による追加学習の進捗度合いを取得する。ここで、追加学習の進捗度合いは特に限定されない。例えば、追加学習の進捗度合いは、追加学習が開始されてからの経過時間を含んでもよいし、追加学習が開始されてからキャプチャー取得部３１０によって取得された映像のフレーム数を含んでもよいし、追加学習が開始されてからＡＴＭ１０によって実行された取引の回数を含んでもよいし、追加学習が実行された回数であってもよいし、特徴空間にプロットされた複数の特徴量の状態（例えば、特徴量の密度など）であってもよいし、追加学習によって得られた識別器にサンプルデータを入力した場合に出力される結果を含んでもよい。
　通知部３６０は、追加学習の進捗度合いを管理者端末７０に通知する。ここでは、追加学習の進捗度合いを知りたいと考えた管理者９１が、管理者端末７０に対して学習状態の要求を入力し、学習状態の要求が管理者端末７０から認識部３０Ａに送信される場合を想定する。かかる場合には、通知部３６０は、学習状態の要求を取得すると、追加学習の進捗度合いを管理者端末７０に通知する。しかし、通知部３６０は、学習状態の要求があった場合に進捗度合いを通知する場合だけではなく（プル型）、学習状態の要求がなくても進捗度合いを通知してもよい（プッシュ型）。
　管理者端末７０は、追加学習の進捗度合いを受信すると、追加学習の進捗度合いを出力する。例えば、管理者端末７０は、進捗度合いをディスプレイに表示させてもよいし、音声によってスピーカから出力させてもよい。管理者は、このようにして出力される進捗度合いを知覚することによって、追加学習の進捗度合いが十分であるか否かを判断することができる。なお、追加学習の進捗度合いが十分であるか否かは、学習状況判断部３５０によって自動的に判断されてもよい。例えば、学習状況判断部３５０は、追加学習の進捗度合いが閾値を上回っていれば、追加学習の進捗度合いが十分であると判断してもよい。
　学習検知部３４０は、追加学習によって得られた識別器を用いて認識処理を行う。例えば、管理者によって（または、学習状況判断部３５０によって自動的に）追加学習の進捗度合いが十分であると判断された場合、ＡＴＭ１０の運用が開始され、学習検知部３４０は、追加学習によって得られた識別器を用いて認識処理を行う場合が主に想定される。しかし、学習検知部３４０は、追加学習の進捗度合いが十分であるかに依らず、ＡＴＭ１０の運用が開始され、または、運用開始前に試験的に、追加学習によって得られた識別器を用いて認識処理を行ってもよい。
　このとき、学習検知部３４０は、追加学習の進捗度合いに応じて認識処理による認識結果または認識結果の通知先を変更するとよい。認識結果は、ＡＴＭ１０の画面に表示されてもよいし、図示しない監視センタに送信されてもよいし、所定の記録媒体に記録されてもよいし、ＡＴＭ１０によってアラーム音が出力されてもよいし、管理者端末７０に通知されてもよい。例えば、同じように不正操作が認識された場合であってもよい。
　例えば、学習検知部３４０は、同じように不正操作が認識された場合であっても、追加学習の進捗度合いが閾値を下回っていれば、認識処理による認識結果として、「不正操作が行われたかもしれません」といった断定を避けた表現を使い、追加学習の進捗度合いが閾値を上回っていれば、認識処理による認識結果として「不正操作が行われました」といった断定した表現を使ってもよい。あるいは、学習検知部３４０は、同じように不正操作が認識された場合であっても、追加学習の進捗度合いが閾値を下回っていれば、認識結果をＡＴＭ１０の画面に表示させ、追加学習の進捗度合いが閾値を上回っていれば、認識結果をＡＴＭ１０の画面に表示させてもよい。
　なお、本発明の第１の実施形態において、キャプチャー取得部３１０が、カメラ２０によって撮像された映像をキャプチャーすることによって映像を取得する場合を主に想定する。しかし、キャプチャー取得部３１０は、あらかじめ撮像されて保存されている映像を取得してもよい。
　以上、本発明の第１の実施形態に係る画像処理システムの構成例について説明した。
　（１．２．システムの動作例）
　続いて、本発明の第１の実施形態に係る画像処理システムの動作例について説明する。図４は、本発明の第１の実施形態に係る画像処理システムの動作例を示すフローチャートである。なお、図４に示された動作例は、本発明の第１の実施形態に係る画像処理システムの動作の一例に過ぎない。したがって、本発明の第１の実施形態に係る画像処理システムの動作は、図４に示された動作例に限定されない。
　図４に示されるように、認識部３０Ａは、キャプチャー取得部３１０によって映像がキャプチャーされる度にＳ１１１～Ｓ１２０を実行するため、カウンタｉを１からＮ（Ｎは１以上の整数）まで１ずつカウントアップさせながら、Ｓ１１１～Ｓ１２０を繰り返し実行する（Ｓ１１０、Ｓ１２１）。まず、キャプチャー取得部３１０は、カメラ２０によって撮像された映像をキャプチャーすることによって映像を取得する（Ｓ１１１）。そして、領域認識部３３０Ａは、必要に応じて映像の前処理を行う（Ｓ１１２）。
　カウンタｉが１であれば（すなわち、初回だけ）、以下の処理が実行される（Ｓ１１３）。すなわち、領域認識部３３０Ａは、カウンタｉが１であればＡＴＭ１０が有する構造と同一または類似の構造を有する他のＡＴＭ１０の領域情報を、ネットワーク８０を介して取得する。そして、領域認識部３３０Ａは、取得した領域情報を、記憶部３７０に保持させる。領域認識部３３０Ａは、領域情報に基づいて映像における対象領域を設定する。
　続いて、画像処理部３２０は、管理者端末７０から学習状態の要求があれば、映像における対象領域から特徴量を抽出する（Ｓ１１６）。そして、学習検知部３４０は、画像処理部３２０によって抽出された特徴量を用いて追加学習を行う（Ｓ１１７）。管理者端末７０から学習状態の要求があれば、以下の処理が実行される（Ｓ１１８）。すなわち、学習状況判断部３５０は、管理者端末７０から学習状態の要求があれば、追加学習の学習状況（進捗度合い）を判断する（Ｓ１１９）。そして、通知部３６０は、追加学習の学習状況（進捗度合い）を管理者端末７０に通知する（Ｓ１２０）。Ｓ１１１～Ｓ１２０がＮ回実行されると、動作が終了される。
　以上、本発明の第１の実施形態に係る画像処理システムの動作例について説明した。
　（１．３．まとめ）
　以上に説明したように、本発明の第１の実施形態によれば、ＡＴＭ同士の構造の類似度に基づいて、ＡＴＭが有する構造と同一または類似する構造を有する、領域設定済みのＡＴＭの領域情報が取得され、取得された領域情報に基づいて、ＡＴＭの対象領域が設定される。したがって、領域設定済みのＡＴＭの画像が蓄積されている場合には、対象領域の設定が簡便に行われる。また、追加学習の進捗度合いの通知によって、管理者は容易に進捗度合いを把握することが可能となる。
　以上、本発明の第１の実施形態について説明した。
（２．第２の実施形態）
　続いて、本発明の第２の実施形態について説明する。
　（２．１．システムの構成例）
　本発明の第２の実施形態に係る画像処理システムの構成例について説明する。図５は、本発明の第２の実施形態に係る画像処理システムの機能構成例を示す図である。図５に示されるように、本発明の第２の実施形態に係る画像処理システムは、本発明の第１の実施形態に係る画像処理システムと比較して、認識部３０Ａの代わりに、認識部３０Ｂを有する点において異なる。また、認識部３０Ｂは、認識部３０Ａと比較して、領域認識部３３０Ａの代わりに領域認識部３３０Ｂを有する点において異なる。したがって、以下では、領域認識部３３０Ｂが有する機能について主に説明し、その他の構成の詳細な説明については省略する。
　本発明の第１の実施形態では、ＡＴＭ同士の構造の類似度に基づいて、対象領域を設定する例を説明した。しかし、画像処理システムがＡＴＭを１台しか有していない場合、領域設定済みのＡＴＭの画像が蓄積されていない場合が想定される。あるいは、画像処理システムがＡＴＭを複数台有していても、ＡＴＭが有する構造と同一または類似する構造を有する他のＡＴＭが存在しない場合も想定される。そこで、本発明の第２の実施形態においては、領域設定済みのＡＴＭの画像を用いずに、対象領域を設定する例について説明する。
　図５を参照すると、ＡＴＭ１０のＡＴＭ取引処理部１１０と領域認識部３３０Ｂとが接続されており、領域認識部３３０Ｂによって、ＡＴＭ取引処理部１１０の情報が取得可能に構成されている。ＡＴＭ１０は、利用者による操作が行われるたびに、状態（現在どの段階の処理を行っているかを示す情報）が変化する。ＡＴＭ取引処理部１１０は、ＡＴＭ１０の状態を示す情報（以下、「ステータス情報」とも言う。）を管理しており、状態が変化すると、ステータス情報が更新される。領域認識部３３０Ｂは、かかるステータス情報をＡＴＭ取引処理部１１０から取得し、ＡＴＭ１０状態を把握することができる。
　図６は、ステータス情報の例について説明するための図である。図６を参照すると、カード挿入口１５０にカード６１が挿入されている様子が撮像された画像２１－１が示されている。例えば、カード挿入口１５０にカード６１が挿入された場合には、領域認識部３３０Ｂは、カードが挿入されたことを示すステータス情報をＡＴＭ取引処理部１１０から得ることができる。カード挿入口１５０からカード６１が排出された場合も同様に、領域認識部３３０Ｂは、カード挿入口１５０からカード６１が排出されたことを示すステータス情報をＡＴＭ取引処理部１１０から得ることができる。
　また、図６を参照すると、タッチパネル付きの画面１２０に表示されているボタンが選択されている様子が撮像された画像２１－２が示されている。例えば、タッチパネル付きの画面１２０に表示されているボタンが選択された場合には、領域認識部３３０Ｂは、タッチパネル付きの画面１２０に表示されているボタンが選択されたことを示すステータス情報をＡＴＭ取引処理部１１０から得ることができる。
　また、図６を参照すると、紙幣取出口１３０に紙幣が挿入された様子が撮像された画像２１－３が示されている。例えば、紙幣取出口１３０に紙幣が挿入された場合には、領域認識部３３０Ｂは、紙幣取出口１３０に紙幣が挿入されたことを示すステータス情報をＡＴＭ取引処理部１１０から得ることができる。紙幣取出口１３０から紙幣が排出された場合も同様に、領域認識部３３０Ｂは、紙幣取出口１３０から紙幣が排出されたことを示すステータス情報をＡＴＭ取引処理部１１０から得ることができる。
　また、図６を参照すると、暗証番号入力部１４０に対して暗証番号が入力された様子が撮像された画像２１－４が示されている。例えば、暗証番号入力部１４０に対して暗証番号が入力された場合には、領域認識部３３０Ｂは、暗証番号入力部１４０に対して暗証番号が入力されたことを示すステータス情報をＡＴＭ取引処理部１１０から得ることができる。
　本発明の第２の実施形態においては、領域認識部３３０Ｂは、所定のタイミングにおいて、カメラ２０によって撮像され、キャプチャー取得部３１０によって取得された動画像の動きを検出する。そして、領域認識部３３０Ｂは、検出した動画像の動きに基づいて、対象領域を設定する。より具体的には、領域認識部３３０Ｂは、所定のタイミングにおいて動画像のうち動きがあった領域を特定し、動きがあった領域に基づいて、対象領域を設定する。
　ここで、所定のタイミングは、操作に関連するタイミングであれば限定されない。例えば、領域認識部３３０Ｂは、ステータス情報の更新タイミングに基づいて所定のタイミングを特定する。例えば、ステータス情報が更新された直後に、利用者による動作（正常な動作または異常な動作）がなされることが想定されるため、以下では、所定のタイミングの例として、ステータス情報が更新された直後のタイミングを用いる場合について説明する。また、以下では、ステータス情報の例として、カード挿入口からカードが排出されたことを示すステータス情報を用いる場合を例として説明する。
　図７は、本発明の第２の実施形態における対象領域の設定例について説明するための図である。
　領域認識部３３０Ｂは、各画素に初期値が設定された第１の動き領域検出用データを用意する。そして、領域認識部３３０Ｂは、ステータス情報が、カード挿入口からカードが排出されたことを示すステータス情報に更新される前から、カメラ２０によって撮像された動画像のフレーム間の差分によって動きを検出し始める。そして、領域認識部３３０Ｂは、動きのあった画素に対応する第１の動き領域検出用データにおける値をカウントアップする。
　一方、領域認識部３３０Ｂは、各画素に初期値が設定された第２の動き領域検出用データも用意する。そして、領域認識部３３０Ｂは、ステータス情報が、カード挿入口からカードが排出されたことを示すステータス情報に更新された直後から、動きのあった画素に対応する第２の動き領域検出用データにおける値をカウントアップする。
　そして、領域認識部３３０Ｂは、所定の停止タイミング（例えば、ＡＴＭ１０を停止する操作が行われた場合、指定された数だけ映像が取得された場合など）を検出すると、第１の動き領域検出用データのうち、（第１の動き領域検出用データの取得時間による）平均値が第１の閾値を上回る領域を、ステータス情報に依らずに動きのある領域として検出する。画像２１－６には、ステータス情報に依らずに動きのある領域２２－２が示されている。
　同様に、領域認識部３３０Ｂは、所定の停止タイミングを検出すると、第２の動き領域検出用データのうち、（第２の動き領域検出用データの取得時間による）平均値が第２の閾値を上回る領域を、ステータス情報の更新直後に動きのある領域として検出する。画像２１－５には、ステータス情報の更新直後に動きのある領域２２－１が示されている。
　そして、領域認識部３３０Ｂは、ステータス情報の更新直後に動きのある領域２２－１から、ステータス情報の更新直後に動きのある領域２２－１とステータス情報に依らずに動きのある領域２２－２との重複領域を差し引くことによって、ステータス情報の更新直後にのみ動きのある領域を検出する。画像２１－７には、ステータス情報の更新直後にのみ動きのある領域２２－３が示されている。領域認識部３３０Ｂは、ステータス情報の更新直後にのみ動きのある領域２２－３に含まれる所定形状（例えば、矩形領域）の領域を、対象領域として設定する。画像２１－８には、対象領域２４が示されている。
　なお、本発明の第２の実施形態においても、キャプチャー取得部３１０が、カメラ２０によって撮像された動画像をキャプチャーすることによって動画像を取得する場合を主に想定した。しかし、本発明の第２の実施形態においても、キャプチャー取得部３１０は、あらかじめ撮像されて保存されている動画像とそれに対応するステータス情報（動作ログ情報）を取得してもよい。そうすれば、オフラインで対象領域が検出可能であるため、認識部３０ＢとＡＴＭ１０とを接続させずに、対象領域が検出され得る。
　以上、本発明の第２の実施形態に係る画像処理システムの構成例について説明した。
　（２．２．システムの動作例）
　続いて、本発明の第２の実施形態に係る画像処理システムの動作例について説明する。図８は、本発明の第２の実施形態に係る画像処理システムの動作例を示すフローチャートである。なお、図８に示された動作例は、本発明の第２の実施形態に係る画像処理システムの動作の一例に過ぎない。したがって、本発明の第２の実施形態に係る画像処理システムの動作は、図８に示された動作例に限定されない。
　図８を参照すると、領域抽出フェーズと学習フェーズとに動作が分割されている。学習フェーズにおける各ステップは、本発明の第１の実施形態における対応するステップと同様に実行され得る。そこで、以下では、領域抽出フェーズについて主に説明する。
　図８の領域抽出フェーズに示されるように、認識部３０Ｂは、所定の停止タイミングを検出するまで、Ｓ２１２～Ｓ２１６を実行する（Ｓ２１１、Ｓ２１７）。まず、キャプチャー取得部３１０は、カメラ２０によって撮像された映像をキャプチャーすることによって映像を取得する（Ｓ２１２）。領域認識部３３０Ｂは、領域認識部３３０Ｂは、ステータス情報が得られる前から、カメラ２０によって撮像された動画像の動きを検出し始める。そして、領域認識部３３０Ｂは、動きのあった画素を抽出し（Ｓ２１３）、動きのあった画素に対応する第１の動き領域検出用データにおける値をカウントアップする（Ｓ２１４）。
　そして、ステータス情報が得られた直後であれば、以下の処理が実行される。すなわち、領域認識部３３０Ｂは、ステータス情報が得られた直後から、動きのあった画素に対応する第２の動き領域検出用データにおける値をカウントアップする（Ｓ２１６）。領域認識部３３０Ｂは、所定の停止タイミングを検出すると、双方の動き領域検出用データ（第１の動き領域検出用データおよび第２の動き領域検出用データ）に基づいて、領域情報を取得し（Ｓ２１８）、記憶部３７０に保持させる（Ｓ２１９）。領域認識部３３０Ｂは、領域情報に基づいて、対象領域を設定する。
　以上、本発明の第２の実施形態に係る画像処理システムの動作例について説明した。
　（２．３．まとめ）
　以上に説明したように、本発明の第２の実施形態によれば、領域認識部３３０Ｂは、所定のタイミング（例えば、ステータス情報の更新直後のタイミング）において動画像のうち動きがあった領域を特定し、動きがあった領域に基づいて、対象領域を設定することが可能である。したがって、領域設定済みのＡＴＭの画像が蓄積されていない場合、または、ＡＴＭが有する構造と同一または類似する構造を有する他のＡＴＭが存在しない場合であっても、対象領域の設定を簡便に行うことが可能である。また、本発明の第２の実施形態によれば、追加学習の進捗度合いを容易に把握することが可能である。
　以上、本発明の第２の実施形態について説明した。
（３．第３の実施形態）
　続いて、本発明の第３の実施形態について説明する。
　（３．１．システムの構成例）
　本発明の第３の実施形態に係る画像処理システムの構成例について説明する。図９は、本発明の第３の実施形態に係る画像処理システムの機能構成例を示す図である。図９に示されるように、本発明の第３の実施形態に係る画像処理システムは、本発明の第２の実施形態に係る画像処理システムと比較して、認識部３０Ｂの代わりに、認識部３０Ｃを有する点において異なる。また、認識部３０Ｃは、認識部３０Ｂと比較して、領域認識部３３０Ｂの代わりに領域認識部３３０Ｃを有する点において異なる。したがって、以下では、領域認識部３３０Ｃが有する機能について主に説明し、その他の構成の詳細な説明については省略する。
　本発明の第２の実施形態では、ＡＴＭ１０のステータス情報を用いて、対象領域を設定する例を説明した。しかし、認識部３０ＢにおいてＡＴＭ１０のステータス情報を得るためには、認識部３０ＢとＡＴＭ１０とが接続されている必要がある。また、ＡＴＭ１０の種類やメーカーが変わったりした場合には、ステータス情報の仕様も変わる可能性があるため、ステータス情報の仕様を理解するのが手間になる。また、ステータス情報を得るためには、管理者の知識を要する。そこで、本発明の第３の実施形態においては、ステータス情報を用いずに、対象領域を設定する例について説明する。図９を参照すると、ＡＴＭ取引処理部１１０と認識部３０Ｃとは接続されていない。
　本発明の第３の実施形態においては、領域認識部３３０ＣがＡＴＭ１０に挿入または排出されるオブジェクトの特徴量をあらかじめ学習しておく。ここで、ＡＴＭ１０に挿入または排出されるオブジェクトとしては、様々なオブジェクトが想定される。例えば、ＡＴＭ１０に挿入または排出されるオブジェクトとしては、紙幣、カード、レシートなどが想定される。
　そして、領域認識部３３０Ｃは、ＡＴＭ１０に挿入または排出されるオブジェクトの特徴量に基づいて、カメラ２０によって撮像され、キャプチャー取得部３１０によって取得された動画像からオブジェクトの有無に変化が起こった場所を特定する。オブジェクトの有無に変化が起こった場所に応じた領域において、利用者による動作（正常な動作または異常な動作）がなされることが想定されるため、領域認識部３３０Ｃは、オブジェクトの有無に変化が起こった場所に基づいて、対象領域を設定する。
　図１０は、カード挿入口においてカードの有無が変化する場合について説明するための図である。領域認識部３３０Ｃは、カードの特徴量をあらかじめ学習しておく。ここで、図１０を参照すると、ＡＴＭ１０－５はカード挿入口１５０を有している。そして、画像２１－１１は、このＡＴＭ１０－５の一部が撮像されて得られた画像である。画像２１－１１には、利用者がカード挿入口１５０にカード６１を挿入しようとしている様子が写っている。このときには、カード６１は、まだ画像２１－１１に存在している。
　一方、画像２１－１２には、利用者がカード挿入口１５０にカード６１を挿入し終わった様子が写っている。このときには、カード６１が、画像２１－１２から無くなっている（消失している）。領域認識部３３０Ｃは、このように画像２１－１１および画像２１－１２に基づいて、カード６１が画像２１－１２から無くなった場所（消失した場所）を特定する。その後は、画像２１－１３に示されるように、領域認識部３３０Ｃは、カード６１の無くなった場所を基準とした所定形状の領域（例えば、矩形領域）を、対象領域として設定する。なお、カードの排出時においても同様に、領域認識部３３０Ｃは、カードの出現した場所に基づいて、対象領域を設定し得る。
　図１１は、紙幣取出口において紙幣の有無が変化する場合について説明するための図である。領域認識部３３０Ｃは、紙幣の特徴量をあらかじめ学習しておく。ここで、図１１を参照すると、ＡＴＭ１０－５は紙幣取出口１３０を有している。そして、画像２１－２１は、このＡＴＭ１０－５の一部が撮像されて得られた画像である。画像２１－２１には、利用者が紙幣取出口１３０から紙幣を取り出そうとしている様子が写っている。このときには、紙幣は、まだ画像２１－２１に存在していない。
　一方、画像２１－２２には、利用者が紙幣取出口１３０から紙幣６２を取り出し始めた様子が写っている。このときには、紙幣６２が、画像２１－２２に出現している。領域認識部３３０Ｃは、このように画像２１－２１および画像２１－２２に基づいて、紙幣６２が画像２１－２２に出現した場所を特定する。その後は、画像２１－２３に示されるように、領域認識部３３０Ｃは、紙幣６２が出現した場所を基準とした所定形状の領域（例えば、矩形領域）を、対象領域として設定する。なお、紙幣の排出時においても同様に、領域認識部３３０Ｃは、紙幣の消失した場所に基づいて、対象領域を設定し得る。
　図１２は、紙幣取出口において紙幣の有無が変化する場合について説明するための図である。ここでも、領域認識部３３０Ｃは、紙幣の特徴量をあらかじめ学習しておく。ここで、図１２を参照すると、ＡＴＭ１０－６は紙幣取出口１３０を有している。この例では、紙幣取出口１３０がＡＴＭ１０－６の側面に存在する。そして、画像２１－３１は、このＡＴＭ１０－６の一部が撮像されて得られた画像である。画像２１－３１には、利用者が紙幣取出口１３０から紙幣を取り出そうとしている様子が写っている。このときには、紙幣は、まだ画像２１－３１に存在していない。
　一方、画像２１－３２には、利用者が紙幣取出口１３０から紙幣６２を取り出し始めた様子が写っている。このときには、紙幣６２が、画像２１－３２に出現している。領域認識部３３０Ｃは、このように画像２１－３１および画像２１－３２に基づいて、紙幣６２が画像２１－３２に出現した場所を特定する。
　なお、図１２に示されたように、ＡＴＭ１０－６の側面に紙幣取出口１３０が存在する場合などには、画像２１－３１および画像２１－３２に紙幣取出口１３０が直接写りにくい場合も想定される。しかし、画像２１－３１および画像２１－３２に紙幣取出口１３０が直接写りにくい場合であっても、紙幣６２の有無の変化する場所は容易に特定され得る。そのため、本発明の第３の実施形態によれば、画像２１－３１および画像２１－３２に紙幣取出口１３０が直接写りにくい場合であっても、より確実に対象領域が設定され得る。
　その後は、画像２１－３３に示されるように、領域認識部３３０Ｃは、紙幣６２が出現した場所を基準とした所定形状の領域（例えば、矩形領域）を、対象領域として設定する。なお、紙幣の排出時においても同様に、領域認識部３３０Ｃは、紙幣の消失した場所に基づいて、対象領域を設定し得る。
　以上、本発明の第３の実施形態に係る画像処理システムの構成例について説明した。
　（３．２．システムの動作例）
　続いて、本発明の第３の実施形態に係る画像処理システムの動作例について説明する。図１３は、本発明の第３の実施形態に係る画像処理システムの動作例を示すフローチャートである。なお、図１３に示された動作例は、本発明の第３の実施形態に係る画像処理システムの動作の一例に過ぎない。したがって、本発明の第３の実施形態に係る画像処理システムの動作は、図１３に示された動作例に限定されない。
　図１３を参照すると、事前準備と領域抽出フェーズと学習フェーズとに動作が分割されている。学習フェーズにおける各ステップは、本発明の第１の実施形態における対応するステップと同様に実行され得る。そこで、以下では、事前準備と領域抽出フェーズについて主に説明する。なお、図１３には、オブジェクトの例として、紙幣を用いる場合の動作例を示している。
　図１３の事前準備に示されるように、領域認識部３３０Ｃによってあらかじめ紙幣の特徴が学習される。続いて、図１３の領域抽出フェーズに示されるように、認識部３０Ｃは、所定の停止タイミングを検出するまで、Ｓ３２２を実行する（Ｓ３２１、Ｓ３２３）。まず、キャプチャー取得部３１０は、カメラ２０によって撮像された映像をキャプチャーすることによって映像を取得する。領域認識部３３０Ｃは、映像に基づいて、画像内で紙幣の有無に変化が起こる場所を特定する（Ｓ３２２）。
　領域認識部３３０Ｃは、所定の停止タイミングを検出すると、特定した場所に基づいて、領域情報を取得し（Ｓ３２４）、記憶部３７０に保持させる（Ｓ３２５）。領域認識部３３０Ｃは、領域情報に基づいて、対象領域を設定する。
　以上、本発明の第３の実施形態に係る画像処理システムの動作例について説明した。
　（３．３．まとめ）
　以上に説明したように、本発明の第３の実施形態によれば、領域認識部３３０Ｃは、ＡＴＭ１０に挿入または排出されるオブジェクトの特徴量に基づいて、動画像からオブジェクトの有無に変化が起こった場所を特定し、特定した場所に基づいて、対象領域を設定することが可能である。したがって、本発明の第３の実施形態によれば、ステータス情報を用いずに対象領域を設定できるため、認識部３０ＣとＡＴＭ１０とが接続されている必要なく、ステータス情報の仕様を理解する手間を低減し、管理者の要する知識も低減しつつ、対象領域の設定を簡便に行うことが可能である。また、本発明の第３の実施形態によれば、追加学習の進捗度合いを容易に把握することが可能である。
（４．第４の実施形態）
　続いて、本発明の第４の実施形態について説明する。
　（４．１．システムの構成例）
　本発明の第４の実施形態に係る画像処理システムの構成例について説明する。図１４は、本発明の第４の実施形態に係る画像処理システムの機能構成例を示す図である。図１４に示されるように、本発明の第４の実施形態に係る画像処理システムは、本発明の第３の実施形態に係る画像処理システムと比較して、認識部３０Ｃの代わりに、認識部３０Ｄを有する点において異なる。また、認識部３０Ｄは、認識部３０Ｃと比較して、領域認識部３３０Ｃの代わりに領域認識部３３０Ｄを有する点において異なる。したがって、以下では、領域認識部３３０Ｄが有する機能について主に説明し、その他の構成の詳細な説明については省略する。
　本発明の第３の実施形態では、画像内のオブジェクトの有無の変化を用いて、対象領域を設定する例を説明した。しかし、オブジェクトの有無が変化しない領域を対象領域として設定したい場合もあり得る。そこで、本発明の第４の実施形態においては、オブジェクトの有無の変化しない領域であっても、対象領域として設定する例について説明する。
　本発明の第４の実施形態においては、領域認識部３３０Ｄがステータス情報とそのステータス情報の更新直後のタイミングにおける動画像との組み合わせをあらかじめ大量に学習しておく。これによって、学習検知部３４０は、ステータス情報の更新直後のタイミングにおける利用者の動きを推定可能な学習モデルを生成する。ステータス情報については、既に説明した通りである。
　そして、領域認識部３３０Ｄは、ステータス情報が更新された直後において、カメラ２０によって撮像され、キャプチャー取得部３１０によって取得された複数の動画像と、学習モデルとに基づいて、ステータス情報が更新された直後において利用者の動きがあった場所を検出する。そして、領域認識部３３０Ｄは、ステータス情報が更新された直後において利用者の動きがあった場所に基づいて、対象領域を設定する。
　図１５は、利用者によって暗証番号入力時の動きがあった場合について説明するための図である。図１５を参照すると、暗証番号入力を示すステータス情報が得られた直後の大量の動画像２１－４１が示されている。領域認識部３３０Ｄは、かかるステータス情報と大量の動画像２１－１とを大量に学習しておく。これによって、暗証番号入力時の利用者の動きを推定するための学習モデルを生成する。なお、暗証番号入力部１４０のように、暗証番号入力キーがカバーで覆われている場合などには、暗証番号入力が画像からでは検出されにくい場合があるが、ステータス情報の利用により、暗証番号入力は容易に検出され得る。
　図１５を参照すると、学習モデルが生成された後において、カメラ２０によって撮像され、キャプチャー取得部３１０によってキャプチャーによって取得された画像２１－４２が示されている。画像２１－４２は、ステータス情報を用いずに取得された画像であってよい。領域認識部３３０Ｄは、生成した学習モデルと画像２１－４２とに基づいて、暗証番号入力時の利用者の動きを検出し、暗証番号入力時の利用者の動きがあった場所を特定する。その後は、画像２１－４３に示されるように、領域認識部３３０Ｄは、暗証番号入力時の動きがあった場所を基準とした所定形状の領域（例えば、矩形領域）を、対象領域として設定する。
　以上、本発明の第４の実施形態に係る画像処理システムの構成例について説明した。
　（４．２．システムの動作例）
　続いて、本発明の第４の実施形態に係る画像処理システムの動作例について説明する。図１６は、本発明の第４の実施形態に係る画像処理システムの動作例を示すフローチャートである。なお、図１６に示された動作例は、本発明の第４の実施形態に係る画像処理システムの動作の一例に過ぎない。したがって、本発明の第４の実施形態に係る画像処理システムの動作は、図１６に示された動作例に限定されない。
　図１６を参照すると、事前準備と領域抽出フェーズと学習フェーズとに動作が分割されている。学習フェーズにおける各ステップは、本発明の第１の実施形態における対応するステップと同様に実行され得る。そこで、以下では、事前準備と領域抽出フェーズについて主に説明する。なお、図１６には、利用者による動きの例として、暗証番号入力時の動きを用いる場合の動作例を示している。
　図１６の事前準備に示されるように、領域認識部３３０Ｄによってあらかじめステータス情報と、そのステータス情報が得られた直後の動画像を大量に学習して学習モデルを生成し、学習モデルに基づいて暗証番号入力時の動きを推定できるようにする（Ｓ４１１）。続いて、図１６の領域抽出フェーズに示されるように、認識部３０Ｄは、所定の停止タイミングを検出するまで、Ｓ４２２およびＳ４２３を実行する（Ｓ４２１、Ｓ４２４）。まず、キャプチャー取得部３１０は、カメラ２０によって撮像された動画像をキャプチャーすることによって動画像を取得する。領域認識部３３０Ｄは、学習モデルに基づいて動画像から、暗証番号入力時の利用者の動きを検出する（Ｓ４２２）。
　領域認識部３３０Ｄは、暗証番号入力時の利用者の動きに基づいて、暗証番号入力時の利用者の動きがあった場所を特定する（Ｓ４２３）。所定の停止タイミングを検出すると、領域認識部３３０Ｄは、特定した場所に基づいて、領域情報を取得し（Ｓ４２５）、記憶部３７０に保持させる（Ｓ４２６）。領域認識部３３０Ｄは、領域情報に基づいて、対象領域を設定する。
　以上、本発明の第４の実施形態に係る画像処理システムの動作例について説明した。
　（４．３．まとめ）
　以上に説明したように、本発明の第４の実施形態によれば、領域認識部３３０Ｄは、ステータス情報が得られた直後における動画像を学習して、ステータス情報が得られた直後における利用者の動きを推定可能な学習モデルを生成し、学習モデルと動画像とに基づいて検出した利用者の動きがあった場所に基づいて、対象領域を設定する。したがって、本発明の第４の実施形態によれば、オブジェクトの有無が変化しない領域も対象領域とし簡便に設定することが可能である。また、本発明の第４の実施形態によれば、追加学習の進捗度合いを容易に把握することが可能である。
（５．各種の変形例）
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、上記では、領域認識部３３０は、１つの対象領域を設定する例について説明した。しかし、領域認識部３３０は、複数の対象領域を設定してもよい。このとき、画像処理部３２０は、対象領域ごとに特徴量を抽出し、学習検知部３４０は、特徴量を用いて対象領域ごとに追加学習を行い、学習状況判断部３５０は、追加学習の進捗度合いを対象領域ごとに取得してもよい。そして、通知部３６０は、追加学習の進捗度合いを対象領域ごとに管理者端末７０に通知してもよい。
　また、上記では、対象領域の設定に利用された動画像が、追加学習に利用されることは想定していない。しかし、領域認識部３３０が、対象領域の設定に利用された動画像を記憶部３７０に保持しておけば、学習検知部３４０が、後に記憶部３７０から対象領域の設定に利用された動画像を取得し、追加学習に利用することも可能である。
　また、本発明の第４の実施形態では、まず、領域認識部３３０Ｄが、ステータス情報と動画像とを学習して学習モデルを生成し、学習モデルに基づいて、ステータス情報が得られた直後の利用者の動きを検出する場合を説明した。しかし、領域認識部３３０Ｄは、ステータス情報と動画像とに基づいて、ステータス情報が得られた直後の利用者の動きのあった場所を検出した場合には、検出した利用者の動きのあった場所を利用して、対象領域を設定してもよい。
　また、上記では、学習検知部３４０による追加学習の前に、対象領域が設定される場合を説明した。しかし、領域認識部３３０は、学習検知部３４０による追加学習が行われている間に、または、追加学習によって得られた識別器による認識が行われている間に、対象領域を変化させてもよい。
　また、上記各実施形態においては、学習検知部３４０の事前学習を、データの正解ラベルである教師データと学習データとに基づいて行っているが、データの正解ラベルを必要としない方法（教師なし学習）で事前学習を行ってもよい。
　１０（１０－１～１０―６）　ＡＴＭ（端末）
　１１０　ＡＴＭ取引処理部
　１２０　画面
　１３０　紙幣取出口
　１４０　暗証番号入力部
　１５０　カード挿入口
　２０　　カメラ
　３０（３０Ａ～３０Ｄ）　認識部
　３１０　キャプチャー取得部
　３２０　画像処理部
　３３０（３３０Ａ～３３０Ｄ）　領域認識部
　３４０　学習検知部
　３５０　学習状況判断部
　３６０　通知部
　３７０　記憶部
　４０　　サーバ
　６１　　カード
　６２　　紙幣
　７０　　管理者端末
　２４　　対象領域

Claims (16)

  1. 　利用者が操作する端末の一部または全部を写した映像を取得する映像取得部と、
    　前記映像における対象領域を設定する領域設定部と、
    　前記対象領域から特徴量を抽出する画像処理部と、
    　前記特徴量を用いて追加学習を行う学習部と、
    　前記追加学習の進捗度合いを取得する学習状況判断部と、
    　前記進捗度合いを通知する通知部と、
    　を備える、画像処理装置。
  2. 　前記学習部は、前記追加学習として深層学習を用いる、
    　請求項１に記載の画像処理装置。
  3. 　前記映像取得部は、あらかじめ撮像されて保存されている前記映像またはカメラによって撮像された前記映像をキャプチャーすることによって前記映像を取得する、
    　請求項１に記載の画像処理装置。
  4. 　前記画像処理装置は、前記追加学習によって得られた識別器を用いて認識処理を行う認識処理部を備える、
    　請求項１に記載の画像処理装置。
  5. 　前記認識処理部は、前記追加学習の進捗度合いに応じて前記認識処理による認識結果または前記認識結果の通知先を変更する、
    　請求項４に記載の画像処理装置。
  6. 　前記領域設定部は、複数の対象領域を設定し、
    　前記画像処理部は、前記対象領域ごとに前記特徴量を抽出し、
    　前記学習部は、前記特徴量を用いて前記対象領域ごとに前記追加学習を行い、
    　前記学習状況判断部は、前記追加学習の進捗度合いを前記対象領域ごとに取得する、
    　請求項１に記載の画像処理装置。
  7. 　前記学習部は、前記追加学習の前に教師データと学習データとに基づいて事前学習を行い、前記事前学習によって得られた学習結果と前記特徴量とを用いて前記追加学習を行う、
    　請求項１に記載の画像処理装置。
  8. 　前記領域設定部は、前記端末が有する構造と同一または類似する構造を有する他の端末の領域情報に基づいて前記対象領域を設定する、
    　請求項１に記載の画像処理装置。
  9. 　前記領域設定部は、所定のタイミングにおける動画像の動きに基づいて、前記対象領域を設定する、
    　請求項１に記載の画像処理装置。
  10. 　前記領域設定部は、前記端末のステータス情報の更新タイミングに基づいて前記所定のタイミングを特定する、
    　請求項９に記載の画像処理装置。
  11. 　前記領域設定部は、前記所定のタイミングにおいて前記動画像のうち動きがあった領域を特定し、前記動きがあった領域に基づいて、前記対象領域を設定する、
    　請求項９に記載の画像処理装置。
  12. 　前記領域設定部は、前記所定のタイミングにおける動画像を学習して、前記所定のタイミングにおける利用者の動きを推定可能な学習モデルを生成し、前記学習モデルと動画像とに基づいて検出した利用者の動きがあった場所に基づいて、前記対象領域を設定する、
    　請求項９に記載の画像処理装置。
  13. 　前記領域設定部は、前記端末に挿入または排出されるオブジェクトの特徴量に基づいて、動画像から前記オブジェクトの有無に変化が起こった場所を特定し、前記場所に基づいて、前記対象領域を設定する、
    　請求項１に記載の画像処理装置。
  14. 　利用者が操作する端末の一部または全部を写した映像を取得することと、
    　前記映像における対象領域を設定することと、
    　前記対象領域から特徴量を抽出することと、
    　前記特徴量を用いて追加学習を行うことと、
    　前記追加学習の進捗度合いを取得することと、
    　前記進捗度合いを通知することと、
    　を含む、画像処理方法。
  15. 　コンピュータを、
    　利用者が操作する端末の一部または全部を写した映像を取得する映像取得部と、
    　前記映像における対象領域を設定する領域設定部と、
    　前記対象領域から特徴量を抽出する画像処理部と、
    　前記特徴量を用いて追加学習を行う学習部と、
    　前記追加学習の進捗度合いを取得する学習状況判断部と、
    　前記進捗度合いを通知する通知部と、
    　を備える画像処理装置として機能させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体。
  16. 　利用者が操作する端末と、前記端末の一部または全部を写した映像を撮像するカメラと、画像処理装置と、を有する、画像処理システムであって、
    　前記画像処理装置は、
    　前記映像を取得する映像取得部と、
    　前記映像における対象領域を設定する領域設定部と、
    　前記対象領域から特徴量を抽出する画像処理部と、
    　前記特徴量を用いて追加学習を行う学習部と、
    　前記追加学習の進捗度合いを取得する学習状況判断部と、
    　前記進捗度合いを通知する通知部と、
    　を備える、画像処理システム。
PCT/JP2018/048395 2018-03-22 2018-12-28 画像処理装置、画像処理方法、記録媒体および画像処理システム WO2019181140A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-053773 2018-03-22
JP2018053773A JP6969468B2 (ja) 2018-03-22 2018-03-22 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Publications (2)

Publication Number Publication Date
WO2019181140A1 true WO2019181140A1 (ja) 2019-09-26
WO2019181140A8 WO2019181140A8 (ja) 2019-11-28

Family

ID=67986965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048395 WO2019181140A1 (ja) 2018-03-22 2018-12-28 画像処理装置、画像処理方法、記録媒体および画像処理システム

Country Status (2)

Country Link
JP (1) JP6969468B2 (ja)
WO (1) WO2019181140A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7298825B2 (ja) * 2019-12-24 2023-06-27 株式会社 東京ウエルズ 学習支援装置、学習装置、学習支援方法及び学習支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227794A (ja) * 2002-11-21 2005-08-25 Matsushita Electric Ind Co Ltd 標準モデル作成装置及び標準モデル作成方法
JP2018010332A (ja) * 2016-07-11 2018-01-18 沖電気工業株式会社 監視装置
JP2018013913A (ja) * 2016-07-20 2018-01-25 沖電気工業株式会社 行動認識装置、行動認識方法、学習方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227794A (ja) * 2002-11-21 2005-08-25 Matsushita Electric Ind Co Ltd 標準モデル作成装置及び標準モデル作成方法
JP2018010332A (ja) * 2016-07-11 2018-01-18 沖電気工業株式会社 監視装置
JP2018013913A (ja) * 2016-07-20 2018-01-25 沖電気工業株式会社 行動認識装置、行動認識方法、学習方法、およびプログラム

Also Published As

Publication number Publication date
WO2019181140A8 (ja) 2019-11-28
JP6969468B2 (ja) 2021-11-24
JP2019168740A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
JP6702045B2 (ja) 監視装置
JP6447234B2 (ja) 端末監視装置、端末監視方法及びプログラム
KR100695155B1 (ko) 가리어진 얼굴 검출장치 및 방법과 이를 이용한 부정거래자식별장치 및 방법
JP4961158B2 (ja) 自動取引装置および不審物検知システム
CN103714631B (zh) 基于人脸识别的atm取款机智能监控系统
JP4945297B2 (ja) 端末監視装置
CN101556717A (zh) 一种atm智能安保系统及监测方法
JP2006079382A (ja) 情報処理装置、不正者検出方法および現金自動預け払い装置
CN103324912A (zh) 一种应用于atm机的人脸识别系统及方法
KR102321397B1 (ko) 생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스
US20150206422A1 (en) Method and device for avoiding false alarms in monitoring systems
KR101494044B1 (ko) 부정 감시 방법 및 부정 감시 기능이 있는 현금 자동 거래 장치
KR100825689B1 (ko) 얼굴 위장 판별 방법
WO2020167155A1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
JP5791148B2 (ja) 認証システム及び信頼度判定方法
WO2019181140A1 (ja) 画像処理装置、画像処理方法、記録媒体および画像処理システム
JP2002304651A (ja) 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
US20240119809A1 (en) Hand action tracking for card slot tampering
JP5192324B2 (ja) 監視システム及び自動取引装置
CN116564017A (zh) 货币陷阱检测
CN101183429A (zh) 脸部辨识系统及其操作方法和包括该系统的安全系统
KR100306355B1 (ko) 사용자식별시스템및이를이용한현금인출기
CN113705428A (zh) 活体检测方法及装置、电子设备及计算机可读存储介质
CN113537034A (zh) 收银防损方法及系统
JP2015111363A (ja) 取引装置及び取引方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911161

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18911161

Country of ref document: EP

Kind code of ref document: A1