WO2021229710A1 - 手洗い認識システムおよび手洗い認識方法 - Google Patents

手洗い認識システムおよび手洗い認識方法 Download PDF

Info

Publication number
WO2021229710A1
WO2021229710A1 PCT/JP2020/019081 JP2020019081W WO2021229710A1 WO 2021229710 A1 WO2021229710 A1 WO 2021229710A1 JP 2020019081 W JP2020019081 W JP 2020019081W WO 2021229710 A1 WO2021229710 A1 WO 2021229710A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
washing
user
region
detergent
Prior art date
Application number
PCT/JP2020/019081
Other languages
English (en)
French (fr)
Inventor
源太 鈴木
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP20935750.8A priority Critical patent/EP4152257A4/en
Priority to JP2022522161A priority patent/JP7447998B2/ja
Priority to PCT/JP2020/019081 priority patent/WO2021229710A1/ja
Priority to CN202080100372.5A priority patent/CN115552466A/zh
Publication of WO2021229710A1 publication Critical patent/WO2021229710A1/ja
Priority to US17/966,907 priority patent/US20230031042A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G08B21/245—Reminder of hygiene compliance policies, e.g. of washing hands

Definitions

  • the present invention relates to a system, a method, and a program for recognizing a person's hand washing operation.
  • the image acquisition step captures a hand-washing image taken by a shooting means installed in the hand-washing sink.
  • the hand area extraction step extracts the hand area from the captured hand-washing image and generates a frame image.
  • the hand-washing start determination step determines whether or not the hand-washing has started from the frame image.
  • the wash method recognition step identifies the type of wash method performed by extracting the shape of the hand region from the frame image.
  • the rubbing determination step when the identified washing methods are the washing methods in a predetermined order, the quality of the rubbing state of the washing method is determined by adding the number of seconds to the washing method.
  • the hand-washing end determination step determines the end of hand-washing from the frame image.
  • Patent Document 1 describes a method capable of encouraging the user to perform an appropriate hand-washing operation according to the situation in which the user is washing the hands.
  • Patent Document 3 describes a method for causing an operator to perform a hand-washing operation with a correct operation.
  • Detergent including soap and chemicals
  • soap and chemicals are often used for hand washing.
  • An object relating to one aspect of the present invention is to provide a method for accurately determining whether or not hand washing has been performed by appropriately using a detergent.
  • the hand-washing recognition system includes an image pickup unit, a hand region extraction unit that extracts a hand region corresponding to a user's hand from an image captured by the image pickup unit, and a hand region extraction unit designated in advance in the hand region. It is determined whether or not the user's hand-washing operation satisfies a predetermined condition based on the ratio of the detergent foam region to the hand region and the detergent foam region detecting unit that detects the detergent foam region having the colored component. It is equipped with a determination unit.
  • FIG. 1 shows an example of a hand-washing recognition system according to an embodiment of the present invention.
  • the hand-washing recognition system 100 includes an image pickup device 10, a hand region extraction unit 21, a detergent foam region detection unit 22, a posture detection unit 23, a motion detection unit 24, and a determination unit 25. , A storage device 30, and a display device 40.
  • the hand-washing recognition system 100 may include other functions or devices not shown in FIG.
  • the hand-washing recognition system 100 recognizes a person's hand-washing operation and determines whether or not the hand-washing operation is performed correctly.
  • the hand-washing operation monitored by the hand-washing recognition system 100 includes a plurality of predetermined operation steps. Specifically, although not particularly limited, the hand-washing operation includes operation steps 1 to 6 shown in FIG.
  • the operation steps 1 to 6 are as follows. Step 1: Wet your palms with running water, then apply detergent and rub your palms together. Step 2: Rub the back of the other hand with the palm of one hand. Step 3: Wash between your fingertips and your nails. Step 4: Wash between fingers. Step 5: Twist and wash your thumb and its base. Step 6: Wash your wrists.
  • the image pickup device 10 is, for example, a digital camera, and acquires a color image by shooting.
  • the image pickup apparatus 10 acquires images at predetermined time intervals (for example, 30 frames / sec). Therefore, the image pickup apparatus 10 can substantially acquire a moving image.
  • the image pickup device 10 is installed above, for example, a sink in which a person washes his / her hands. Then, the image pickup device 10 captures the motion of a person washing his / her hands.
  • a person whose hand-washing operation is photographed by the image pickup device 10 may be referred to as a "user".
  • the user is not particularly limited, but is, for example, a worker of a food-related business operator.
  • the hand area extraction unit 21 extracts the hand area corresponding to the user's hand from the image taken by the image pickup device 10.
  • the method for extracting the hand region from the input image is not particularly limited, and is realized by a known technique.
  • the hand region extraction unit 21 may extract the hand region at the time of hand washing including bubbles from the input image by using the learned semantic segmentation.
  • the detergent foam region detection unit 22 detects a color component designated in advance in the hand region extracted by the hand region extraction unit 21.
  • the detergent foam region detection unit 22 detects, for example, a color component corresponding to a predetermined detergent. In this case, it is presumed that the region where this color component is detected corresponds to the detergent foam adhering to the user's hand. Therefore, the detergent foam region detection unit 22 can detect the detergent foam adhering to the user's hand.
  • the region having a color component specified in advance in the hand region may be referred to as a "detergent foam region".
  • the detergent shall include soap and chemicals.
  • the color of the detergent foam is gray, which is close to white. Therefore, the detergent foam region detection unit 22 detects the detergent foam region, for example, by detecting the gray component in the hand region.
  • the color of the detergent foam is different for each detergent. Therefore, when the type of detergent used by the user is known, it is preferable that the detergent foam region detecting unit 22 detects the color component corresponding to the detergent. For example, some medicated soaps with strong bactericidal properties have yellow foam. In this case, the detergent foam region detection unit 22 detects the detergent foam region by detecting the yellow component in the hand region.
  • the posture detection unit 23 detects which of the plurality of predetermined motion steps the user is performing based on the shape of the hand region. In this embodiment, it is recommended that the six operation steps shown in FIG. 2 be performed in order. In this case, the posture detection unit 23 recognizes which of the operation steps 1 to 6 the user is performing.
  • the storage device 30 stores feature amount data created in advance for recognizing each operation step.
  • the feature amount data represents, for example, the postures of the left and right hands and the angles of the fingers. Further, the posture detection unit 23 may recognize the operation step by image classification deep learning by using this feature amount data.
  • the motion detection unit 24 counts the number of repeated motions of the user based on the motion of the hand area. For example, the motion detection unit 24 counts the number of repetitions of the operation of rubbing the back of the other hand with the palm of one hand.
  • the motion detection unit 24 may count the number of repetitions by deep learning that detects the cycle of image change from a plurality of image frames obtained in time series, for example. As an example, the motion detection unit 24 counts the number of repetitions using Live Repetition Counting or the like.
  • the determination unit 25 determines whether or not the user's hand-washing operation satisfies a predetermined condition based on the ratio of the detergent foam region to the hand region. For example, it is determined whether or not the correct hand washing operation is performed by using a sufficient amount of detergent.
  • a sufficient amount of detergent foam is generated if the user performs a correct hand-washing operation using a sufficient amount of detergent. That is, it is estimated that the larger the ratio of the area of the detergent foam area to the area of the hand area, the larger the amount of detergent foam adhering to the user's hand.
  • the determination unit 25 determines that the user's hand-washing operation satisfies the condition when the ratio of the area of the detergent foam region to the area of the hand region is larger than the predetermined ratio threshold.
  • the area of the hand area is calculated by counting the number of pixels in the hand area. Further, the area of the detergent foam area is calculated by counting the number of pixels of the color component designated in the hand area.
  • the determination unit 25 may determine whether or not the user's hand-washing operation is properly performed for each operation step shown in FIG.
  • the posture detection unit 23 detects which operation step the user is performing. Further, it is preferable that the ratio threshold value for determining whether or not the amount of detergent foam is appropriate is set for each operation step.
  • the ratio threshold value is stored in the storage device 30 as a determination parameter, for example.
  • the determination unit 25 may determine whether or not the repetitive operation has been performed a predetermined number of times in each operation step. For example, the determination unit 25 determines whether or not the operation of rubbing the back of the other hand with the palm of one hand has been performed 10 times or more in the operation step 2.
  • the threshold value of the number of repetitions is stored in the storage device 30 as a determination parameter, for example.
  • the display device 40 displays the determination result by the determination unit 25. For example, when the hand-washing operation is performed correctly, "OK" is displayed on the display device 40. On the other hand, when the hand-washing operation is not performed correctly, a message indicating that the hand-washing operation is not performed correctly is displayed on the display device 40. In this case, a message may be displayed for each operation step. In addition, a message indicating the content to be improved may be displayed. For example, a message such as "Not enough bubbles" or "Please rub more" is displayed on the display device 40.
  • the hand area extraction unit 21, the detergent foam area detection unit 22, the posture detection unit 23, the motion detection unit 24, and the determination unit 25 are realized by the processor 20 executing the hand wash recognition program. That is, when the processor 20 executes the hand washing recognition program, the functions of the hand area extraction unit 21, the detergent foam area detection unit 22, the posture detection unit 23, the motion detection unit 24, and the determination unit 25 are provided.
  • the hand-washing recognition program is stored in, for example, the storage device 30.
  • the processor 20 may execute a hand-washing recognition program recorded on a portable recording medium (not shown). Further, the processor 20 may acquire and execute the hand-washing recognition program from a program server (not shown).
  • FIG. 3 shows an example of a determination method by the hand-washing recognition system 100.
  • the image taken by the image pickup apparatus 10 is given to the processor 20.
  • the storage device 30 stores feature amount data for determining the posture of the user's hand and determination parameters used by the determination unit 25.
  • the hand area extraction unit 21 extracts the hand area from the input image.
  • the posture detection unit 23 detects the posture of the user's hand from the input image or the hand area data obtained by the hand area extraction unit 21 by using the feature amount data. Specifically, the posture detection unit 23 detects the operation step performed by the user from the operation steps 1 to 6 shown in FIG. In this example, it is determined that the user is performing the operation step 4.
  • the detergent foam region detection unit 22 detects a color component designated in advance in the hand region extracted by the hand region extraction unit 21.
  • a color component designated in advance in the hand region extracted by the hand region extraction unit 21 In this example, the number of gray pixels, red pixels, and yellow pixels in the hand area are counted respectively. Then, for each color component, the ratio of the number of pixels counted for each color component to the total number of pixels in the hand area is calculated. In this example, the proportions of gray, red, and yellow are "0.45", "0.50", and "0.05", respectively.
  • the determination unit 25 determines whether or not the user's hand-washing operation has been performed correctly by using the determination parameters stored in the storage device 30.
  • the detergent used by the user is predetermined and the color of the foam is gray.
  • the gray area in the hand area corresponds to the detergent foam area. That is, the ratio of the detergent foam region to the hand region is "0.45".
  • a ratio threshold value is set in advance for each operation step. In this example, the ratio threshold value for the operation step 4 is "0.35".
  • the ratio of the detergent foam region to the hand region is larger than the ratio threshold of the operation step 4. That is, the amount of detergent foam adhering to the user's hand in the operation step 4 is larger than the required amount set for the operation step 4. Therefore, the determination unit 25 determines that the hand-washing operation in the operation step 4 has been performed correctly. This determination result is displayed on the display device 40.
  • the determination for the operation step 4 is performed, but the hand-washing recognition system 100 makes a determination for each operation step. In this case, it is preferable that the operation steps 1 to 6 are performed in order. Therefore, the hand-washing recognition system 100 may output an alarm message when the hand-washing operations are not performed in a predetermined order.
  • the posture detection unit 23 determines whether or not the user is performing the hand-washing operation in a predetermined order.
  • FIG. 4 is a flowchart showing an example of processing of the hand-washing recognition system 100.
  • the image pickup device 10 continuously takes pictures when the user is located in front of the sink, for example. Further, in this embodiment, the hand-washing recognition system 100 monitors that the operation steps 1 to 6 shown in FIG. 2 are performed in order.
  • the processor 20 initializes the variable i to 1.
  • the variable i identifies the operation steps 1 to 6 shown in FIG.
  • the processor 20 acquires an image taken by the image pickup apparatus 10.
  • the processor 20 continuously acquires an image taken by the image pickup apparatus 10.
  • the hand area extraction unit 21 extracts the hand area from the image acquired by the processor 20. Extraction of the hand region is performed using, for example, semantic segmentation. At this time, the hand area extraction unit 21 may guide the user to wash his / her hands in a predetermined area in the sink. In this case, the hand area extraction unit 21 can extract the hand area from a predetermined area in the input image, so that the amount of image recognition processing is reduced.
  • the posture detection unit 23 detects the posture of the user's hand based on the input image and / or the hand region extracted by the hand region extraction unit 21. Then, the posture detection unit 23 determines whether or not the posture of the user's hand matches the posture of the hand in the operation step i. At this time, the posture detection unit 23 may refer to the feature amount data stored in the storage device 30 and make a determination by deep learning such as Resnet.
  • the processing of the processor 20 returns to S12. At this time, the posture detection unit 23 may output a message to the user to perform the operation step i. On the other hand, if the posture of the user's hand matches the posture of the hand in the operation step i, the processing of the processor 20 proceeds to S16.
  • the motion detection unit 24 counts the number of repeated operations in the operation step i. For example, when the operation step 1 is performed by the user, the number of operations of rubbing the palms is counted. Further, when the operation step 2 is performed by the user, the operation of rubbing the back of the other hand with the palm of one hand is counted. At this time, the motion detection unit 24 may count the number of repetitions by LRC (Live Repetition Counting) or the like.
  • LRC Live Repetition Counting
  • the detergent foam region detection unit 22 determines whether or not the user is using an appropriate detergent to wash his / her hands with a sufficient amount of foam. This determination will be described later with reference to FIG.
  • the processing of the processor 20 returns to S12. At this time, the determination unit 25 may output a message urging the user to use an appropriate detergent or a message urging the user to wash his / her hands with a sufficient amount of foam. On the other hand, when the user uses an appropriate detergent and the amount of foam is sufficient, the processing of the processor 20 proceeds to S19.
  • the determination unit 25 determines whether or not the number of times counted in S16 is appropriate. As an example, it is determined whether or not the number of times counted in S16 is equal to or greater than a predetermined threshold value. That is, if the repeated operation is performed a number of times equal to or greater than the threshold value, the determination unit 25 determines that the user has performed the correct hand-washing operation.
  • the threshold value may be set for each operation step.
  • the processing of the processor 20 When the number of repeated operations by the user is less than the threshold value, the processing of the processor 20 returns to S12. At this time, the determination unit 25 may output a message to the user indicating that the number of repeated operations is insufficient.
  • the processor 20 determines in S20 whether or not the processes S12 to S19 have been executed for all the operation steps. As a result, if there remains an operation step in which the processes of S12 to S19 have not been executed, the variable i is incremented in S21. That is, the next operation step is selected. After that, the processing of the processor 20 returns to S12. Then, when the processes of S12 to S19 are completed for all the operation steps, the hand-washing recognition process is completed.
  • FIG. 5 is a flowchart showing an example of a process for determining detergent foam.
  • the processing of this flowchart corresponds to S17 of the flowchart shown in FIG. 4, and is executed by the detergent foam region detection unit 22. It is assumed that the operation step performed by the user is detected before the detergent foam region detection unit 22 executes the process of this flowchart.
  • the detergent foam region detection unit 22 extracts the hand region from the image acquired by the processor 20.
  • the detergent foam region detection unit 22 may receive the data of the hand region extracted by the hand region extraction unit 21.
  • the detergent foam region detection unit 22 detects the color component in the hand region. At this time, the detergent foam region detection unit 22 detects one or a plurality of color components designated in advance. For example, the detergent foam region detection unit 22 detects a color component corresponding to one or more detergent bubbles that are expected to be used by the user.
  • the detergent foam region detection unit 22 determines whether or not the color component detected in S32 contains the color component corresponding to the designated detergent foam. For example, when the foam of the designated detergent is gray, it is determined whether or not the gray component is detected in S32. Then, when the color component detected in S32 contains the color component corresponding to the foam of the designated detergent, the detergent foam region detection unit 22 determines that the user is using an appropriate detergent. In this case, the process of the detergent foam region detection unit 22 proceeds to S34.
  • the detergent foam region detection unit 22 detects the amount of detergent foam adhering to the user's hand. At this time, the detergent foam region detection unit 22 detects the color component corresponding to the designated detergent foam in the hand region. That is, the detergent foam region detection unit 22 detects the detergent foam region. Then, the detergent foam region detection unit 22 calculates the ratio of the area of the detergent foam region (or the number of pixels of the detergent foam region) to the area of the hand region (or the total number of pixels in the hand region). This ratio represents the amount of detergent foam adhering to the user's hands.
  • the detergent foam region detection unit 22 or the determination unit 25 compares the amount of foam detected in S34 (that is, the ratio of the detergent foam region to the hand region) with a predetermined threshold value.
  • the threshold value is set for each operation step. That is, the detergent foam region detection unit 22 or the determination unit 25 compares the detected foam amount with the threshold value set for the operation step i.
  • the determination unit 25 determines in S36 that the user is hand-washing with a sufficient amount of detergent foam in the operation step i. That is, it is determined that the operation step i is properly performed.
  • the determination unit 25 determines in S37 that the detergent foam is insufficient in the operation step i. That is, it is determined that the operation step i is not properly performed. Even when the color component detected in S32 does not contain the color component corresponding to the designated detergent foam, the determination unit 25 determines in S37 that the operation step i is not properly performed. In this way, the detergent foam region detection unit 22 and the determination unit 25 determine in the operation step i whether or not the user is using an appropriate detergent to wash their hands with a sufficient amount of foam.
  • FIG. 6 shows an example of the operation of the hand-washing recognition system 100.
  • the hand-washing recognition system 100 provides guidance to the user so that the operation steps 1 to 6 are performed in order. Specifically, when the user is located in front of the sink, as shown in FIG. 6, a screen for guiding the procedure of the hand-washing operation is displayed on the display device 40.
  • the illustration showing the operation step 1 is emphasized as shown in FIG. 6A.
  • the explanation of the operation step 1 is displayed.
  • the hand-washing recognition system 100 extracts the hand region from the input image and detects the detergent foam region. Further, the motion detection unit 24 counts the number of repetitions of a predetermined motion (in the motion step 1, the motion of rubbing hands) by the user. At this time, the count value is counted up on the screen of the display device 40. Further, the determination unit 25 compares the ratio of the area of the detergent foam region to the area of the hand region and a predetermined threshold value. Then, when the ratio of the area of the detergent foam region to the area of the hand region is larger than the threshold value and the count value representing the number of repetitions reaches a predetermined number of times (for example, 10 times), the determination unit 25 is appropriate for the operation step 1. Judged as completed. Then, as shown in FIG. 6B, the determination unit 25 displays “OK” for the operation step 1. From this display, the user can recognize that the operation step 1 has been properly performed.
  • the hand-washing recognition system 100 displays a guide for the next operation step. That is, as shown in FIG. 6B, the illustration showing the operation step 2 is emphasized, and the explanatory text of the operation step 2 is displayed.
  • the user similarly, whether or not each operation step is properly performed is checked one by one in order. Therefore, the user can appropriately perform all the operation steps.
  • the determination unit 25 compares the ratio of the area of the detergent foam region to the area of the hand region and the threshold value.
  • the amount of foam adhering to the hands gradually increases over time (that is, as the number of repetitions of the hand rubbing motion increases). It is estimated that it will increase. That is, when the operation steps 1 to 6 shown in FIG. 2 are performed in order, it is estimated that the amount of bubbles adhering to the hand gradually increases from the operation step 1 to the operation step 6. Therefore, as shown in FIG.
  • the threshold value for determining whether or not the amount of bubbles is appropriate may be set so as to gradually increase from the operation step 1 to the operation step 6.
  • the color of the detergent foam is assumed to be gray.
  • the threshold value is stored in the storage device 30 shown in FIG. 1 as a determination parameter.
  • the hand-washing operation includes an operation in which the user periodically moves his / her hand. Therefore, the area of the hand area and / or the area of the detergent foam area extracted from the input image changes in synchronization with the cycle in which the user moves the hand. That is, the amount of foam calculated based on the hand region and the detergent foam region (or the ratio of the area of the detergent foam region to the area of the hand region) is determined by the user moving his / her hand as shown in FIG. 8 (a). It changes in synchronization with the cycle.
  • the hand-washing recognition system 100 may use a threshold value that changes according to the cycle of the user's repetitive operation for each operation step.
  • the hand-washing recognition system 100 may use a threshold value that changes according to the cycle of the user's repetitive operation and the number of times thereof for each operation step.
  • the hand-washing recognition system 100 monitors the hand-washing operation for each detergent.
  • a user may normally use regular soap and may use a highly bactericidal medicated soap after a particular treatment (eg, filth treatment).
  • the hand-washing recognition system 100 may determine whether or not the amount of foam is appropriate by using a threshold value different for each type of detergent.
  • threshold ranges are set for soap A and chemical X, respectively.
  • the threshold range is set for each operation step. Further, the threshold range is represented by a lower limit threshold value and an upper limit threshold value.
  • the color of the foam of the soap A is gray and the color of the foam of the chemical X is yellow.
  • the hand-washing recognition system 100 determines whether or not the amount of foam is appropriate based on the threshold range corresponding to the detergent used by the user.
  • the type of detergent is input by the user, for example.
  • the hand-washing recognition system 100 provides an interface for the user to select a detergent.
  • the hand-washing recognition system 100 may specify the detergent to be used by the user by image recognition. For example, when the place where each detergent (soap A, chemical X) is placed is predetermined, the hand-washing recognition system 100 detects the position and movement of the user's hand from the input image to select the detergent selected by the user. Can be recognized.
  • the hand-washing recognition system 100 recognizes the detergent used by the user, and then executes the processing of the flowcharts shown in FIGS. 4 to 5.
  • the determination unit 25 uses the threshold range shown in FIG. For example, when the user uses the chemical X, the determination unit 25 has a ratio of the area of the gray component to the area of the hand region of 0 to 0.05 in the operation step 1, and the determination unit 25 has the ratio of the area of the gray component to the area of the hand region. When the ratio of the area of the yellow component is 0.1 to 0.2, it is determined that the amount of bubbles is appropriate.
  • the motion detection unit 24 counts the number of repeated motions of the user based on the motion of the hand region. For example, the motion detection unit 24 counts the number of repetitions of the operation of rubbing the back of the other hand with the palm of one hand.
  • the motion detection unit 24 may count the number of times when the repeated operation is performed in a predetermined cycle. For example, the hand-washing recognition system 100 outputs a guide sound at a cycle suitable for repeated hand-washing operations. Then, when the motion detection unit 24 detects a motion having the same or substantially the same cycle as the cycle in which the guide sound is output, the motion detection unit 24 counts the number of times of the motion. According to this function, the user can be made to wash his / her hands at an appropriate repetition rate.
  • the motion detection unit 24 may count the number of motions when the motion is repeated with a stroke larger than a predetermined threshold value.
  • the determination result (including information indicating the progress) by the hand-washing recognition system 100 is displayed on the display device 40, for example, as shown in FIG.
  • the display device 40 may display the image obtained by the image pickup device 10 together with the determination result.
  • the display device 40 may have a simpler configuration.
  • the display device 40 may be a device that represents a character or a symbol with a plurality of LEDs.
  • the display device 40 displays information for identifying the current operation step, a count value indicating the number of repetitions, information indicating whether or not each operation step has been properly completed, and the like.
  • the hand-washing recognition system 100 may show the determination result (including information indicating the progress) to the user by using the projection device. For example, users often look at their hands when washing their hands. Therefore, the hand-washing recognition system 100 may project the count value of the repetitive motion onto the user's hand or sink. Further, the hand-washing recognition system 100 may project a model image of the hand-washing operation on a sink or the like.
  • the hand-washing recognition system 100 has a function of receiving user's instructions in a non-contact manner.
  • the hand-washing recognition system 100 may have a function of recognizing a user's voice.
  • the hand-washing recognition system 100 may have a function of recognizing the gesture of the user. When this function is provided, it is possible to prevent the hand in the state before hand washing from coming into contact with the hand washing recognition system 100.
  • the hand-washing recognition system 100 has a function of authenticating each user.
  • the hand-washing recognition system 100 may include a vein sensor that detects a vein in the hand.
  • the vein pattern of each user is registered in advance. Then, the user is specified by collating the vein pattern detected by the vein sensor with the registered vein pattern.
  • the hand-washing recognition system 100 may perform face recognition using a camera image. For example, if the image pickup device 10 is a pan-tilt zoom camera, the hand-washing recognition system 100 performs face recognition using the output image of the image pickup device 10. After that, the hand-washing recognition system 100 changes the shooting direction of the image pickup apparatus 10 and performs hand-washing recognition.
  • the hand-washing recognition system 100 may be provided with a camera for face recognition in addition to the image pickup device 10.
  • Imaging device 10 Imaging device 20 Processor 21 Hand area extraction unit 22 Detergent foam area detection unit 23 Posture detection unit 24 Motion detection unit 25 Judgment unit 30 Storage device 40 Display device 100 Hand wash recognition system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

洗剤を適切に使用して手洗いが行われたか否かを精度よく判定する方法を提供する。手洗い認識システムは、撮像部、手領域抽出部、洗剤泡領域検出部および判定部を備える。手領域抽出部は、撮像部により撮影された画像から利用者の手に対応する手領域を抽出する。洗剤泡領域検出部は、手領域において予め指定された色成分を有する洗剤泡領域を検出する。判定部は、手領域に対する洗剤泡領域の割合に基づいて、利用者の手洗い動作が所定の条件を満たすか否かを判定する。

Description

手洗い認識システムおよび手洗い認識方法
　本発明は、人の手洗い動作を認識するシステム、方法、およびプログラムに係わる。
　世界的なウイルスの流行または食中毒の防止等の観点から、衛生管理行動の１つである「手洗い」が注目されている。たとえば、厚生労働省は、衛生的な手洗い方法を示している。また、ＨＡＣＣＰ（Hazard　Analysis　and　Critical　Control　Point）は、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。
　このような状況において、下記のステップを含む手洗い監視方法が提案されている。画像取得ステップは、手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む。手領域抽出ステップは、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する。手洗い開始判定ステップは、フレーム画像から手洗いが開始されたか否かを判定する。洗い方認識ステップは、フレーム画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する。擦り判定ステップは、識別された洗い方が所定の順番の洗い方である場合に、当該洗い方に秒数加算していくことにより当該洗い方についての擦り状態の良否を判定する。手洗い終了判定ステップは、フレーム画像から手洗いの終了を判定する。（例えば、特許文献１）
　加えて、特許文献２には、ユーザが手洗いを行う状況に応じて適切な手洗い動作をユーザに促すことができる方法が記載されている。特許文献３には、作業者に正しい動作で手洗い作業を遂行させる方法が記載されている。
特開２０１７－１３４７１２号公報 特開２０１３－１８００４６号公報 特開２０１９－２１９５５４号公報
　手洗いにおいては、洗剤（石鹸、薬品を含む）を使用することが多い。ところが、従来の技術では、洗剤が適切に使用されているかについての判定が行なわれていない。
　本発明の１つの側面に係わる目的は、洗剤を適切に使用して手洗いが行われたか否かを精度よく判定する方法を提供することである。
　本発明の１つの態様に係わる手洗い認識システムは、撮像部と、前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、を備える。
　上述の態様によれば、洗剤を適切に使用して手洗いが行われたか否かを精度よく判定できる。
本発明の実施形態に係わる手洗い認識システムの一例を示す図である。 手洗い動作の一例を示す図である。 手洗い認識システムによる判定方法の一例を示す図である。 手洗い認識システムの処理の一例を示すフローチャートである。 洗剤泡を判定する処理の一例を示すフローチャートである。 手洗い認識システムの動作の一例を示す図である。 泡量判定のための閾値の一例を示す図である。 泡量判定のための閾値の他の例を示す図である。 泡量判定のための閾値のさらに他の例を示す図である。
　図１は、本発明の実施形態に係わる手洗い認識システムの一例を示す。本発明の実施形態に係わる手洗い認識システム１００は、図１に示すように、撮像装置１０、手領域抽出部２１、洗剤泡領域検出部２２、姿勢検出部２３、動き検出部２４、判定部２５、記憶装置３０、および表示装置４０を備える。なお、手洗い認識システム１００は、図１に示していない他の機能またはデバイスを備えてもよい。
　手洗い認識システム１００は、人の手洗い動作を認識し、手洗い動作が正しく行われているか否かを判定する。ここで、手洗い認識システム１００がモニタする手洗い動作は、予め決められた複数の動作ステップを含むものとする。具体的には、特に限定されるものではないが、手洗い動作は、図２に示す動作ステップ１～６を含む。なお、動作ステップ１～６は、下記の通りである。
ステップ１：流水で手のひらを濡らした後、洗剤をつけて手のひらを擦り合わせる。
ステップ２：一方の手のひらで他方の手の甲を擦る。
ステップ３：指先と爪との間を洗う。
ステップ４：指と指との間を洗う。
ステップ５：親指およびその付け根をねじりながら洗う。
ステップ６：手首を洗う。
　撮像装置１０は、例えばデジタルカメラであり、撮影によりカラー画像を取得する。ここで、撮像装置１０は、所定の時間間隔（たとえば、３０フレーム／秒）で画像を取得する。よって、撮像装置１０は、実質的に、動画像を取得できる。また、撮像装置１０は、例えば、人が手を洗うシンクの上方に設置される。そして、撮像装置１０は、人が手を洗っている動作を撮影する。なお、以下の記載では、撮像装置１０により手洗い動作が撮影される人を「利用者」と呼ぶことがある。利用者は、特に限定されるものではないが、例えば、食品等関連事業者の作業者である。
　手領域抽出部２１は、撮像装置１０により撮影された画像から利用者の手に対応する手領域を抽出する。入力画像から手領域を抽出する方法は、特に限定されるものではなく、公知の技術により実現される。たとえば、手領域抽出部２１は、泡を含む手洗い時の手領域を学習済みのセマンティックセグメンテーションを利用して入力画像から抽出してもよい。
　洗剤泡領域検出部２２は、手領域抽出部２１により抽出される手領域おいて、予め指定された色成分を検出する。ここで、洗剤泡領域検出部２２は、例えば、予め指定された洗剤に対応する色成分を検出する。この場合、この色成分が検出される領域は、利用者の手に付着している洗剤泡に相当すると推定される。したがって、洗剤泡領域検出部２２は、利用者の手に付着している洗剤泡を検出することができる。なお、以下の記載では、手領域内で予め指定された色成分を有する領域を「洗剤泡領域」と呼ぶことがある。また、以下の記載では、洗剤は、石鹸および薬品を含むものとする。
　洗剤泡の色は、多くのケースにおいて、白色に近いグレーである。よって、洗剤泡領域検出部２２は、例えば、手領域内でグレー成分を検出することにより洗剤泡領域を検出する。ただし、洗剤ごとに洗剤泡の色は異なる。よって、利用者が使用する洗剤の種別が既知である場合には、洗剤泡領域検出部２２は、その洗剤に対応する色成分を検出することが好ましい。例えば、殺菌性の強い薬用石鹸の中には、泡の色が黄色のものがある。この場合、洗剤泡領域検出部２２は、手領域内で黄色成分を検出することにより洗剤泡領域を検出する。
　姿勢検出部２３は、手領域の形状に基づいて、利用者が予め決められた複数の動作ステップの中のどの動作ステップを行っているのかを検出する。この実施例では、図２に示す６つの動作ステップを順番に行うことが推奨されているものとする。この場合、姿勢検出部２３は、利用者が動作ステップ１～６の中のどの動作を行っているのかを認識する。なお、記憶装置３０には、各動作ステップを認識するために予め作成された特徴量データが保存されている。特徴量データは、例えば、左右の手の姿勢および指の角度などを表す。また、姿勢検出部２３は、この特徴量データを利用して、画像分類ディープラーニングで動作ステップを認識してもよい。
　動き検出部２４は、手領域の動きに基づいて、利用者の繰返し動作の回数をカウントする。例えば、動き検出部２４は、一方の手のひらで他方の手の甲を擦る動作の繰返し回数をカウントする。なお、動き検出部２４は、たとえば、時系列に得られる複数の画像フレームから画像変化の周期を検出するディープラーニングで繰返し回数をカウントしてもよい。一例としては、動き検出部２４は、Live　Repetition　Counting等を使用して繰返し回数をカウントする。
　判定部２５は、手領域に対する洗剤泡領域の割合に基づいて、利用者の手洗い動作が所定の条件を満たすか否かを判定する。例えば、十分な量の洗剤を使用して正しい手洗い動作が行われているか否かが判定される。ここで、利用者が十分な量の洗剤を使用して正しい手洗い動作を行えば、十分な量の洗剤泡が発生するものとする。すなわち、手領域の面積に対する洗剤泡領域の面積の割合が大きいほど、利用者の手に付着している洗剤泡の量が多いと推定される。よって、この場合、判定部２５は、手領域の面積に対する洗剤泡領域の面積の割合が所定の割合閾値より大きいときに、利用者の手洗い動作が条件を満たすと判定する。なお、手領域の面積は、手領域内の画素の数をカウントすることで計算される。また、洗剤泡領域の面積は、手領域内で指定された色成分の画素の数をカウントすることで計算される。
　判定部２５は、図２に示す動作ステップ毎に、利用者の手洗い動作が適切に行われたか否かを判定してもよい。利用者がどの動作ステップを行っているのかは、姿勢検出部２３により検出される。また、洗剤泡の量が適切か否かを判定するための割合閾値は、動作ステップ毎に設定されることが好ましい。なお、割合閾値は、例えば、判定パラメータとして記憶装置３０に保存されている。
　判定部２５は、各動作ステップにおいて、繰返し動作が所定回数行われたか否かを判定してもよい。例えば、判定部２５は、動作ステップ２において一方の手のひらで他方の手の甲を擦る動作が１０回以上行われたか否かを判定する。なお、繰返し回数の閾値は、例えば、判定パラメータとして記憶装置３０に保存されている。
　表示装置４０は、判定部２５による判定結果を表示する。例えば、手洗い動作が正しく行われたときは、表示装置４０に「ＯＫ」が表示される。一方、手洗い動作が正しく行われなかったときは、手洗い動作が正しく行われなかったことを表すメッセージが表示装置４０に表示される。この場合、動作ステップ毎にメッセージが表示されてもよい。また、改善すべき内容を表すメッセージが表示されてもよい。例えば、「泡が足りません」あるいが「もっと擦ってください」等のメッセージが表示装置４０に表示される。
　なお、手領域抽出部２１、洗剤泡領域検出部２２、姿勢検出部２３、動き検出部２４、判定部２５は、プロセッサ２０が手洗い認識プログラムを実行することで実現される。すなわち、プロセッサ２０が手洗い認識プログラムを実行することにより、手領域抽出部２１、洗剤泡領域検出部２２、姿勢検出部２３、動き検出部２４、判定部２５の機能が提供される。この場合、手洗い認識プログラムは、例えば、記憶装置３０に保存されている。或いは、プロセッサ２０は、不図示の可搬型記録媒体に記録されている手洗い認識プログラムを実行してもよい。さらに、プロセッサ２０は、不図示のプログラムサーバから手洗い認識プログラムを取得して実行してもよい。
　図３は、手洗い認識システム１００による判定方法の一例を示す。この例では、撮像装置１０により撮影された画像がプロセッサ２０に与えられる。また、記憶装置３０には、利用者の手の姿勢を判定するための特徴量データおよび判定部２５が使用する判定パラメータが保存されている。
　手領域抽出部２１は、入力画像から手領域を抽出する。姿勢検出部２３は、特徴量データを利用して、入力画像または手領域抽出部２１により得られる手領域データから、利用者の手の姿勢を検出する。具体的には、姿勢検出部２３は、図２に示す動作ステップ１～６の中から、利用者が行っている動作ステップを検出する。この例では、利用者が動作ステップ４を行っていると判定されている。
　洗剤泡領域検出部２２は、手領域抽出部２１により抽出される手領域内で予め指定された色成分を検出する。この例では、手領域内のグレー画素、赤色画素、黄色画素の数がそれぞれカウントされる。そして、各色成分について、手領域内の全画素の数に対して、色成分ごとにカウントされた画素数の割合が計算される。この例では、グレー、赤色、黄色の割合がそれぞれ「０．４５」「０．５０」「０．０５」である。
　判定部２５は、記憶装置３０に保存されている判定パラメータを利用して、利用者の手洗い動作が正しく行われたか否かを判定する。この例では、利用者が使用する洗剤が予め決まっており、その泡の色がグレーであるものとする。この場合、手領域内のグレー領域が洗剤泡領域に相当する。即ち、手領域に対する洗剤泡領域の割合は、「０．４５」である。また、各動作ステップに対して割合閾値が予め設定されている。この例では、動作ステップ４に対する割合閾値が「０．３５」である。
　このケースでは、手領域に対する洗剤泡領域の割合は、動作ステップ４の割合閾値より大きい。すなわち、動作ステップ４において利用者の手に付着している洗剤泡の量は、動作ステップ４に対して設定されている必要量より多い。したがって、判定部２５は、動作ステップ４における手洗い動作が正しく行われたと判定する。この判定結果は、表示装置４０に表示される。
　なお、図３に示す例では、動作ステップ４についての判定が行われているが、手洗い認識システム１００は、各動作ステップについて判定を行う。この場合、動作ステップ１～６が順番に行われることが好ましい。よって、手洗い認識システム１００は、手洗い動作が所定の順序で行われないときには、アラームメッセージを出力してもよい。なお、利用者が所定の順序で手洗い動作を行っているか否かは、姿勢検出部２３により判定される。
　図４は、手洗い認識システム１００の処理の一例を示すフローチャートである。なお、撮像装置１０は、例えば、利用者がシンクの前に位置しているときには、継続的に撮影を行う。また、この実施例では、手洗い認識システム１００は、図２に示す動作ステップ１～６が順番に行われることをモニタするものとする。
　Ｓ１１において、プロセッサ２０は、変数ｉを１に初期化する。変数ｉは、図２に示す動作ステップ１～６を識別する。Ｓ１２において、プロセッサ２０は、撮像装置１０により撮影される画像を取得する。なお、プロセッサ２０は、撮像装置１０により撮影される画像を継続的に取得するものとする。
　Ｓ１３において、手領域抽出部２１は、プロセッサ２０が取得する画像から手領域を抽出する。手領域の抽出は、例えば、セマンティックセグメンテーションを利用して行われる。このとき、手領域抽出部２１は、利用者に対して、シンク内の所定のエリアで手を洗ってもらうように案内を行ってもよい。この場合、手領域抽出部２１は、入力画像中の所定のエリアから手領域を抽出できるので、画像認識の処理量が削減される。
　Ｓ１４～Ｓ１５において、姿勢検出部２３は、入力画像および／または手領域抽出部２１により抽出される手領域に基づいて、利用者の手の姿勢を検出する。そして、姿勢検出部２３は、利用者の手の姿勢が、動作ステップｉにおける手の姿勢に合致するか否かを判定する。このとき、姿勢検出部２３は、記憶装置３０に保存されている特徴量データを参照し、Ｒｅｓｎｅｔ等のディープラーニングで判定を行ってもよい。
　利用者の手の姿勢が動作ステップｉにおける手の姿勢に合致していないときは、プロセッサ２０の処理はＳ１２に戻る。このとき、姿勢検出部２３は、利用者に対して、動作ステップｉを行う旨のメッセージを出力してもよい。一方、利用者の手の姿勢が動作ステップｉにおける手の姿勢に合致していれば、プロセッサ２０の処理はＳ１６に進む。
　Ｓ１６において、動き検出部２４は、動作ステップｉにおける繰返し動作の回数をカウントする。例えば、利用者により動作ステップ１が行われるときには、手のひらを擦り合わせる動作の回数がカウントされる。また、利用者により動作ステップ２が行われるときには、一方の手のひらで他方の手の甲を擦る動作がカウントされる。このとき、動き検出部２４は、ＬＲＣ（Live　Repetition　Counting）等で繰返し回数をカウントしてもよい。
　Ｓ１７～Ｓ１８において、洗剤泡領域検出部２２は、利用者が適切な洗剤を使用して十分な泡量で手洗いを行っているか否かを判定する。なお、この判定については、後で図５を参照して説明する。
　利用者が適切な洗剤を使用していない場合、或いは、泡量が十分でない場合は、プロセッサ２０の処理はＳ１２に戻る。このとき、判定部２５は、利用者に対して、適切な洗剤の使用を促すメッセージ、或いは、十分な泡量での手洗いを促すメッセージを出力してもよい。一方、利用者が適切な洗剤を使用し、且つ、泡量が十分なときは、プロセッサ２０の処理はＳ１９に進む。
　Ｓ１９において、判定部２５は、Ｓ１６でカウントされた回数が適正であるか否かを判定する。一例としては、Ｓ１６でカウントされた回数が所定の閾値以上であるか否かが判定される。すなわち、閾値以上の回数の繰返し動作が行われていれば、判定部２５は、利用者が正しい手洗い動作を行ったと判定する。なお、閾値は、動作ステップ毎に設定されてもよい。
　利用者による繰返し動作の回数が閾値より少ないときは、プロセッサ２０の処理はＳ１２に戻る。このとき、判定部２５は、利用者に対して、繰返し動作の回数が不足していることを表すメッセージを出力してもよい。一方、利用者による繰返し動作の回数が閾値以上であれば、プロセッサ２０は、Ｓ２０において、すべての動作ステップに対してＳ１２～Ｓ１９の処理を実行したか否かを判定する。この結果、Ｓ１２～Ｓ１９の処理が実行されていない動作ステップが残っていれば、Ｓ２１において、変数ｉがインクリメントされる。すなわち、次の動作ステップが選択される。この後、プロセッサ２０の処理はＳ１２に戻る。そして、すべての動作ステップに対してＳ１２～Ｓ１９の処理が完了すると、手洗い認識処理が終了する。
　図５は、洗剤泡を判定する処理の一例を示すフローチャートである。このフローチャートの処理は、図４に示すフローチャートのＳ１７に対応し、洗剤泡領域検出部２２により実行される。なお、洗剤泡領域検出部２２がこのフローチャートの処理を実行する前に、利用者が行っている動作ステップが検出されているものとする。
　Ｓ３１において、洗剤泡領域検出部２２は、プロセッサ２０が取得する画像から手領域を抽出する。なお、洗剤泡領域検出部２２は、手領域抽出部２１により抽出された手領域のデータを受け取ってもよい。
　Ｓ３２において、洗剤泡領域検出部２２は、手領域内の色成分を検出する。このとき、洗剤泡領域検出部２２は、予め指定された１または複数の色成分を検出する。例えば、洗剤泡領域検出部２２は、利用者が使用することが想定される１または複数の洗剤の泡に対応する色成分を検出する。
　Ｓ３３において、洗剤泡領域検出部２２は、Ｓ３２で検出された色成分が、指定された洗剤の泡に対応する色成分を含んでいるか否かを判定する。たとえば、指定された洗剤の泡がグレーである場合、Ｓ３２においてグレー成分が検出されたか否かを判定する。そして、Ｓ３２で検出された色成分が指定された洗剤の泡に対応する色成分を含むときは、洗剤泡領域検出部２２は、利用者が適切な洗剤を使用していると判定する。この場合、洗剤泡領域検出部２２の処理はＳ３４に進む。
　Ｓ３４において、洗剤泡領域検出部２２は、利用者の手に付着している洗剤泡の量を検出する。このとき、洗剤泡領域検出部２２は、手領域内で、指定された洗剤の泡に対応する色成分を検出する。すなわち、洗剤泡領域検出部２２は、洗剤泡領域を検出する。そして、洗剤泡領域検出部２２は、手領域の面積（または、手領域内の全画素数）に対して、洗剤泡領域の面積（または、洗剤泡領域の画素数）の割合を計算する。この割合は、利用者の手に付着している洗剤泡の量を表す。
　Ｓ３５において、洗剤泡領域検出部２２または判定部２５は、Ｓ３４で検出された泡量（すなわち、手領域に対する洗剤泡領域の割合）と所定の閾値とを比較する。ここで、この実施例では、閾値は動作ステップ毎に設定されている。すなわち、洗剤泡領域検出部２２または判定部２５は、検出された泡量と動作ステップｉに対して設定されている閾値とを比較する。
　検出された泡量が閾値より多いときは、判定部２５は、Ｓ３６において、利用者が動作ステップｉにおいて十分な量の洗剤泡で手洗いを行っていると判定する。すなわち、動作ステップｉが適切に行われたと判定される。一方、検出された泡量が閾値以下であるときには、判定部２５は、Ｓ３７において、動作ステップｉにおいて洗剤泡が不足していると判定する。すなわち、動作ステップｉが適切に行われていないと判定される。なお、Ｓ３２で検出された色成分が指定された洗剤の泡に対応する色成分を含まないときも、判定部２５は、Ｓ３７において、動作ステップｉが適切に行われていないと判定する。このように、洗剤泡領域検出部２２および判定部２５は、動作ステップｉにおいて利用者が適切な洗剤を使用して十分な泡量で手洗いを行っているか否かを判定する。
　図６は、手洗い認識システム１００の動作の一例を示す。この実施例では、手洗い認識システム１００は、動作ステップ１～６が順番に行われるように、利用者に案内を提供する。具体的には、利用者がシンクの前に位置すると、図６に示すように、手洗い動作の手順を案内する画面が表示装置４０に表示される。
　利用者に動作ステップ１を行ってもらうときには、図６（ａ）に示すように、動作ステップ１を表すイラストが強調される。また、動作ステップ１の説明文が表示される。ここで、「カウント」は、利用者により動作ステップ１の繰返し動作が行われた回数を表す。すなわち、利用者が所定の繰返し動作を行うと、カウント値が１ずつカウントアップされていく。そして、手洗い認識システム１００は、図４に示すフローチャートにおいて「ｉ＝１」の処理を実行する。
　具体的には、手洗い認識システム１００は、入力画像から手領域を抽出すると共に、洗剤泡領域を検出する。また、動き検出部２４は、利用者による所定の動作（動作ステップ１では、手を擦り合わせる動作）の繰返し回数をカウントする。このとき、表示装置４０の画面上で、カウント値がカウントアップされていく。また、判定部２５は、手領域の面積に対する洗剤泡領域の面積の割合と所定の閾値とを比較する。そして、手領域の面積に対する洗剤泡領域の面積の割合が閾値より大きく、且つ、繰返し回数を表すカウント値が所定回数（例えば、１０回）に達すると、判定部２５は、動作ステップ１が適切に完了したと判定する。そうすると、判定部２５は、図６（ｂ）に示すように、動作ステップ１に対して「ＯＫ」を表示する。この表示により、利用者は、動作ステップ１を適切に行えたことを認識できる。
　この後、手洗い認識システム１００は、次の動作ステップの案内を表示する。即ち、図６（ｂ）に示すように、動作ステップ２を表すイラストが強調され、動作ステップ２の説明文が表示される。以下、同様に、各動作ステップが適切に行われたか否かが１つずつ順番にチェックされる。したがって、利用者は、すべての動作ステップを適切に行うことができる。
　＜泡量判定の閾値＞
　上述したように、判定部２５は、手領域の面積に対する洗剤泡領域の面積の割合と閾値とを比較する。ここで、利用者が洗剤を使用して手洗いを行う場合、手に付着する泡の量は、時間が経緯するに連れて（即ち、手を擦る動作の繰返し回数が増えるに連れて）徐々に増えていくと推定される。すなわち、図２に示す動作ステップ１～６が順番に行われるときは、動作ステップ１から動作ステップ６に向って手に付着する泡の量が徐々に増えていくと推定される。したがって、泡量が適正か否かを判定するための閾値は、図７に示すように、動作ステップ１から動作ステップ６に向って徐々に大きくなるように設定してもよい。なお、図７に示す例では、洗剤泡の色がグレーであるものとしている。また、閾値は、判定パラメータとして図１に示す記憶装置３０に保存される。
　ところで、手洗い動作は、多くのケースにおいて、利用者が手を周期的に動かす動作を含む。このため、入力画像から抽出される手領域の面積および／または洗剤泡領域の面積は、利用者が手を動かす周期に同期して変化する。すなわち、手領域および洗剤泡領域に基づいて計算される泡量（或いは、手領域の面積に対する洗剤泡領域の面積の割合）は、図８（ａ）に示すように、利用者が手を動かす周期に同期して変化する。
　そこで、手洗い認識システム１００は、図８（ｂ）に示すように、動作ステップ毎に、利用者の繰返し動作の周期に応じて変化する閾値を使用してもよい。なお、図８（ｂ）に示す例では、「周期＝０」は泡量の極小値が現れるタイミングを表し、「周期＝０．５」は泡量のピーク値が現れるタイミングを表す。
　さらに、図８（ａ）に示すように、利用者が手を擦り合わせる回数が増えるに連れて、手に付着する泡の量が増えていくと推定される。よって、手洗い認識システム１００は、図８（ｃ）に示すように、動作ステップ毎に、利用者の繰返し動作の周期およびその回数に応じて変化する閾値を使用してもよい。なお、図８（ｃ）に示す実施例では、「周期＝０、１、．．．」は泡量の極小が現れるタイミングを表し、「周期＝0.5、1.5、．．．」は泡量のピークが現れるタイミングを表す。
　＜バリエーション１＞
　利用者が複数の洗剤を使用するケースでは、手洗い認識システム１００は、洗剤ごとに手洗い動作をモニタすることが好ましい。例えば、利用者は、通常時は一般的な石鹸を使用し、特定の処理（例えば、汚物処理）の後には殺菌性の強い薬用石鹸を使用するかも知れない。この場合、手洗い認識システム１００は、洗剤の種別ごとに異なる閾値を利用して泡量が適切であるか否かを判定してもよい。
　図９に示す例では、石鹸Ａおよび薬品Ｘに対してそれぞれ閾値範囲が設定されている。閾値範囲は、動作ステップごとに設定される。また、閾値範囲は、下限閾値および上限閾値で表される。ここで、この実施例では、石鹸Ａの泡の色がグレーであり、薬品Ｘの泡の色が黄色であるものとする。
　手洗い認識システム１００は、利用者が使用する洗剤に対応する閾値範囲に基づいて泡量が適切か否かを判定する。ここで、洗剤の種別は、例えば、利用者により入力される。この場合、手洗い認識システム１００は、利用者が洗剤を選択するためのインタフェースを提供する。或いは、手洗い認識システム１００は、画像認識により、利用者が使用する洗剤を特定してもよい。例えば、各洗剤（石鹸Ａ、薬品Ｘ）の置き場所が予め決まっているときには、手洗い認識システム１００は、入力画像から利用者の手の位置および動きを検出することで利用者が選択した洗剤を認識できる。
　手洗い認識システム１００は、利用者が使用する洗剤を認識した後、図４～図５に示すフローチャートの処理を実行する。このとき、判定部２５は、図９に示す閾値範囲を利用する。例えば、利用者が薬品Ｘを使用するときは、判定部２５は、動作ステップ１において、手領域の面積に対するグレー成分の面積の割合が０～０．０５であり、且つ、手領域の面積に対する黄色成分の面積の割合が０．１～０．２であるときに、泡量が適切と判定する。
　＜バリエーション２＞
　上述したように、動き検出部２４は、手領域の動きに基づいて、利用者の繰返し動作の回数をカウントする。例えば、動き検出部２４は、一方の手のひらで他方の手の甲を擦る動作の繰返し回数をカウントする。
　ところが、所定回数の繰返し動作が行われても、繰返し動作が速すぎると、汚れが十分に除去されないことがある。そこで、動き検出部２４は、所定の周期で繰返し動作が行われたときに、その回数をカウントするようにしてもよい。例えば、手洗い認識システム１００は、手洗いの繰返し動作として好適な周期で案内音を出力する。そして、動き検出部２４は、案内音が出力される周期と同じまたはほぼ同じ周期の動きが検出される場合に、その動きの回数をカウントする。この機能によれば、利用者に適切な繰返し速度で手洗いを行わせることができる。
　加えて、所定回数の繰返し動作が行われても、手の動きのストローク（或いは、往復運動の移動距離）が小さいときは、汚れが十分に除去されないことがある。そこで、動き検出部２４は、所定の閾値より大きいストロークで繰返し動作が行われたときに、その動きの回数をカウントしてもよい。
　＜バリエーション３＞
　手洗い認識システム１００による判定結果（途中経過を表す情報を含む）は、例えば、図６に示すように、表示装置４０に表示される。この場合、表示装置４０には、判定結果とともに、撮像装置１０により得られる画像が表示されるようにしてもよい。
　ただし、表示装置４０は、より簡易な構成であってもよい。例えば、表示装置４０は、複数のＬＥＤで文字または記号を表すデバイスであってもよい。この場合、表示装置４０には、現在の動作ステップを識別する情報、繰返し回数を表すカウント値、各動作ステップが適切に完了したか否かを表す情報などが表示される。
　また、手洗い認識システム１００は、投影装置を用いて判定結果（途中経過を表す情報を含む）を利用者に示してもよい。例えば、利用者は、手洗いを行っているときには、自分の手を見ることが多い。よって、手洗い認識システム１００は、繰返し動作のカウント値を利用者の手またはシンクに投影してもよい。また、手洗い認識システム１００は、手洗い動作の模範映像をシンク等に投影してもよい。
　なお、手洗い認識システム１００は、非接触で利用者の指示を受け付ける機能を備えることが好ましい。例えば、手洗い認識システム１００は、利用者の音声を認識する機能を備えてもよい。また、手洗い認識システム１００は、利用者のジェスチャを認識する機能を備えてもよい。この機能を備える場合、手洗い前の状態の手が手洗い認識システム１００に接触することが回避される。
　＜バリエーション４＞
　上述のように、ＨＡＣＣＰは、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。このため、手洗い認識システム１００は、各利用者を認証する機能を備えることが好ましい。例えば、手洗い認識システム１００は、手の静脈を検出する静脈センサを備えてもよい。この場合、各利用者の静脈パターンが予め登録されている。そして、静脈センサにより検出される静脈パターンと登録されている静脈パターンとを照合することで利用者が特定される。或いは、手洗い認識システム１００は、カメラ画像による顔認証を行ってもよい。例えば、撮像装置１０がパンチルトズームカメラであれば、手洗い認識システム１００は、撮像装置１０の出力画像を利用して顔認証を行う。その後、手洗い認識システム１００は、撮像装置１０の撮影方向を変更し、手洗い認識を行う。なお、手洗い認識システム１００は、撮像装置１０とは別に、顔認証のためのカメラを備えてもよい。
１０　撮像装置
２０　プロセッサ
２１　手領域抽出部
２２　洗剤泡領域検出部
２３　姿勢検出部
２４　動き検出部
２５　判定部
３０　記憶装置
４０　表示装置
１００　手洗い認識システム
 

Claims (10)

  1. 　撮像部と、
    　前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、
    　前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、
    　前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、
    　を備える手洗い認識システム。
  2. 　前記検出部は、予め指定された洗剤に対応する色成分を有する洗剤泡領域を検出する
    　ことを特徴とする請求項１に記載の手洗い認識システム。
  3. 　前記判定部は、前記割合が所定の割合閾値より大きいときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
    　ことを特徴とする請求項１に記載の手洗い認識システム。
  4. 　前記手領域の形状に基づいて、前記利用者が予め決められた複数の動作ステップの中のどの動作ステップを行っているかを検出する姿勢検出部をさらに備え、
    　前記判定部は、前記姿勢検出部により検出された動作ステップに対応する割合閾値を使用して、前記利用者の手洗い動作が所定の条件を満たすか否かを判定する
    　ことを特徴とする請求項３に記載の手洗い認識システム。
  5. 　前記手領域の動きに基づいて前記利用者の繰返し動作の回数をカウントする動き検出部をさらに備え、
    　前記判定部は、前記割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
    　ことを特徴とする請求項３に記載の手洗い認識システム。
  6. 　前記動き検出部は、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、繰返し動作の回数をカウントする
    　ことを特徴とする請求項５に記載の手洗い認識システム。
  7. 　前記割合閾値は、前記利用者が使用する洗剤の種別に基づいて設定される
    　ことを特徴とする請求項３に記載の手洗い認識システム。
  8. 　前記判定部は、前記撮像部により撮影された画像に基づいて前記利用者が使用する洗剤の種別を推定する
    　ことを特徴とする請求項７に記載の手洗い認識システム。
  9. 　撮像装置により撮影された画像から利用者の手に対応する手領域を抽出し、
    　前記手領域において予め指定された色成分を有する洗剤泡領域を検出し、
    　前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する
    　ことを特徴とする手洗い認識方法。
  10. 　撮像装置により撮影された画像から利用者の手に対応する手領域を抽出し、
    　前記手領域において予め指定された色成分を有する洗剤泡領域を検出し、
    　前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する
    　処理をプロセッサに実行させる手洗い認識プログラム。
PCT/JP2020/019081 2020-05-13 2020-05-13 手洗い認識システムおよび手洗い認識方法 WO2021229710A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20935750.8A EP4152257A4 (en) 2020-05-13 2020-05-13 Hand-wash recognition system and hand-wash recognition method
JP2022522161A JP7447998B2 (ja) 2020-05-13 2020-05-13 手洗い認識システムおよび手洗い認識方法
PCT/JP2020/019081 WO2021229710A1 (ja) 2020-05-13 2020-05-13 手洗い認識システムおよび手洗い認識方法
CN202080100372.5A CN115552466A (zh) 2020-05-13 2020-05-13 洗手识别系统以及洗手识别方法
US17/966,907 US20230031042A1 (en) 2020-05-13 2022-10-17 Handwash monitoring system and handwash monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019081 WO2021229710A1 (ja) 2020-05-13 2020-05-13 手洗い認識システムおよび手洗い認識方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/966,907 Continuation US20230031042A1 (en) 2020-05-13 2022-10-17 Handwash monitoring system and handwash monitoring method

Publications (1)

Publication Number Publication Date
WO2021229710A1 true WO2021229710A1 (ja) 2021-11-18

Family

ID=78525515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019081 WO2021229710A1 (ja) 2020-05-13 2020-05-13 手洗い認識システムおよび手洗い認識方法

Country Status (5)

Country Link
US (1) US20230031042A1 (ja)
EP (1) EP4152257A4 (ja)
JP (1) JP7447998B2 (ja)
CN (1) CN115552466A (ja)
WO (1) WO2021229710A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071687B (zh) * 2023-03-06 2023-06-06 四川港通医疗设备集团股份有限公司 一种手部清洁度检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013180046A (ja) 2012-03-01 2013-09-12 Sumitomo Electric Ind Ltd 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム
JP2017134712A (ja) 2016-01-29 2017-08-03 アース環境サービス株式会社 手洗い監視システム
CN109726668A (zh) * 2018-12-25 2019-05-07 大连海事大学 基于计算机视觉的洗手及消毒流程规范性自动检测方法
JP2019219554A (ja) 2018-06-21 2019-12-26 パナソニックＩｐマネジメント株式会社 手洗い補助システム、手洗い補助方法及び手洗い補助装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511923A (ja) * 1997-02-18 2002-04-16 シー． ジョンソン，レイモンド 手洗いを監視するための装置および方法
IT201800008282A1 (it) * 2018-08-31 2020-03-02 Soapy Care Ltd Sistema e metodo di lavaggio mani

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013180046A (ja) 2012-03-01 2013-09-12 Sumitomo Electric Ind Ltd 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム
JP2017134712A (ja) 2016-01-29 2017-08-03 アース環境サービス株式会社 手洗い監視システム
JP2019219554A (ja) 2018-06-21 2019-12-26 パナソニックＩｐマネジメント株式会社 手洗い補助システム、手洗い補助方法及び手洗い補助装置
CN109726668A (zh) * 2018-12-25 2019-05-07 大连海事大学 基于计算机视觉的洗手及消毒流程规范性自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4152257A4

Also Published As

Publication number Publication date
EP4152257A4 (en) 2023-06-28
US20230031042A1 (en) 2023-02-02
JPWO2021229710A1 (ja) 2021-11-18
EP4152257A1 (en) 2023-03-22
JP7447998B2 (ja) 2024-03-12
CN115552466A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
JP6467965B2 (ja) 感情推定装置及び感情推定方法
JP7392348B2 (ja) カメラシステムを使用した、ユーザの身体部分によって実行されるタスクの完了の評価のための方法、プログラム、及びシステム
JP6305448B2 (ja) 手洗い監視システム
Rea et al. Human motion understanding for selecting action timing in collaborative human-robot interaction
CN112801052B (zh) 一种用户专注度检测方法及用户专注度检测系统
US20150347717A1 (en) Hybrid personal training system and method
JP2010182014A (ja) ジェスチャ認識装置、その方法及びそのプログラム
WO2021229710A1 (ja) 手洗い認識システムおよび手洗い認識方法
US20230043484A1 (en) Handwash monitoring system and handwash monitoring method
EA201990408A1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
JP2021174488A (ja) 手洗い評価装置および手洗い評価プログラム
Divjak et al. Real-time video-based eye blink analysis for detection of low blink-rate during computer use
WO2020115930A1 (ja) 手順検知装置、および手順検知プログラム
JP2007114885A (ja) 画像の類似性による分類方法及び装置
CN112580543B (zh) 行为识别方法、系统及装置
JP6875028B1 (ja) 手洗い評価装置および手洗い評価プログラム
JP7463792B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
JP2020201755A (ja) 集中度計測装置、集中度計測方法、およびプログラム
KR102592951B1 (ko) 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법
JP7476599B2 (ja) 情報処理システム、及び情報処理方法
JP2019096252A (ja) 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法
CN114268693B (zh) 视频数据处理方法、装置、设备及介质
KR20190007954A (ko) 대중 감성 검출 방법 이를 적용하는 시스템
Sapaico et al. Toward a tongue-based task triggering interface for computer interaction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20935750

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022522161

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020935750

Country of ref document: EP

Effective date: 20221213