WO2021234972A1 - 手洗い認識システムおよび手洗い認識方法 - Google Patents

手洗い認識システムおよび手洗い認識方法 Download PDF

Info

Publication number
WO2021234972A1
WO2021234972A1 PCT/JP2020/020403 JP2020020403W WO2021234972A1 WO 2021234972 A1 WO2021234972 A1 WO 2021234972A1 JP 2020020403 W JP2020020403 W JP 2020020403W WO 2021234972 A1 WO2021234972 A1 WO 2021234972A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
washing
abnormality
user
abnormality candidate
Prior art date
Application number
PCT/JP2020/020403
Other languages
English (en)
French (fr)
Inventor
翔 岩▲崎▼
源太 鈴木
勇作 藤井
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN202080100823.5A priority Critical patent/CN115552465A/zh
Priority to EP20936695.4A priority patent/EP4156099A4/en
Priority to JP2022524859A priority patent/JP7420240B2/ja
Priority to PCT/JP2020/020403 priority patent/WO2021234972A1/ja
Publication of WO2021234972A1 publication Critical patent/WO2021234972A1/ja
Priority to US17/972,866 priority patent/US20230043484A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K7/00—Body washing or cleaning implements
    • A47K7/04—Mechanical washing or cleaning devices, hand or mechanically, i.e. power operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a system, a method, and a program for recognizing a person's hand washing operation.
  • the image acquisition step captures a hand-washing image taken by a shooting means installed in the hand-washing sink.
  • the hand area extraction step extracts the hand area from the captured hand-washing image and generates a frame image.
  • the hand-washing start determination step determines whether or not the hand-washing has started from the frame image.
  • the wash method recognition step identifies the type of wash method performed by extracting the shape of the hand region from the frame image.
  • the rubbing determination step when the identified washing methods are the washing methods in a predetermined order, the quality of the rubbing state of the washing method is determined by adding the number of seconds to the washing method.
  • the hand-washing end determination step determines the end of hand-washing from the frame image.
  • a hygiene control device has been proposed that can automatically determine whether or not the hand wash is performed correctly and prevent the user from entering the hygiene control area from the hand wash area unless the hand wash is performed correctly.
  • Patent Document 2 A method capable of non-contact detection of a wide range of motion information and analysis of hand hygiene behavior in real time has been proposed (for example, Patent Document 3).
  • Patent Document 4 A hand wash monitoring system that can improve the recognition accuracy of a hand wash person has been proposed (for example, Patent Document 4).
  • Japanese Unexamined Patent Publication No. 2017-134712 Japanese Unexamined Patent Publication No. 2002-085271 Japanese Unexamined Patent Publication No. 2018-117981 Japanese Unexamined Patent Publication No. 2020-018764
  • the condition of the hand or finger may not be accurately determined. For example, stains, scratches, moles, tattoos, etc. may not be correctly identified. If the condition of the hand or finger is not correctly determined, it cannot be determined whether or not the hand washing has been performed properly. It is also difficult to give appropriate instructions to workers. For example, in a case where a "scratch” is erroneously recognized as a "dirt", it is determined that the dirt remains even if proper hand washing is performed. In this case, a message is output to the worker to continue hand-washing even though it is clean.
  • An object relating to one aspect of the present invention is to encourage the user to wash his / her hands appropriately based on the condition of the user's hands or fingers.
  • the hand-washing recognition system detects a first abnormality candidate present in the user's hand from the image pickup unit and the first image taken by the image pickup unit before hand washing, and after hand washing. Based on the comparison between the detection unit that detects the second abnormality candidate existing in the user's hand from the second image taken by the imaging unit, and the first abnormality candidate and the second abnormality candidate.
  • the user's hand is provided with an abnormality type determination unit for determining the type of abnormality.
  • the user is urged to wash his / her hands appropriately based on the condition of the user's hands or fingers.
  • FIG. 1 shows an example of a hand-washing recognition system according to an embodiment of the present invention.
  • the hand-washing recognition system 100 includes an image pickup device 10, an abnormality candidate detection unit 21, an abnormality type determination unit 22, a hand-washing instruction generation unit 23, and a storage unit 30.
  • the hand-washing recognition system 100 may include other functions or devices not shown in FIG.
  • the image pickup device 10 is, for example, a digital camera, and acquires a color image by shooting.
  • the image pickup apparatus 10 may acquire images at predetermined time intervals (for example, 30 frames / sec). In this case, the image pickup apparatus 10 can substantially acquire a moving image.
  • the image pickup device 10 is installed above, for example, a sink in which a person washes his / her hands. Then, the image pickup apparatus 10 photographs a person's fingers when washing the hands.
  • "fingers” does not mean only “fingers”, but means “hands including fingers” or "hands and fingers”.
  • a person whose fingers are photographed by the image pickup apparatus 10 may be referred to as a "user".
  • the user is not particularly limited, but is, for example, a worker at a food cooking / processing site, a drug factory, a hospital, a nursing care facility, or the like.
  • the hand-washing recognition system 100 uses the image taken by the image pickup device 10 to generate an instruction related to hand-washing and provides it to the user. For example, when the user has an accessory (ring, watch, etc.) attached to the finger, the hand-washing recognition system 100 may instruct the user to remove the accessory and wash the hand. Further, when the stain remains after washing the hands, the hand washing recognition system 100 may instruct the user to wash the hands again. Further, when there is a wound on the user's finger, the hand-washing recognition system 100 may instruct the user to treat the wound with an adhesive plaster or the like and / or wear vinyl gloves. good. In the following description, the instruction related to hand washing provided to the user may be referred to as "hand washing instruction".
  • the hand-washing recognition system 100 identifies the state of the user's fingers by using the image of the fingers before washing the hands and the image of the fingers after washing the hands.
  • the abnormality candidate detection unit 21 detects an abnormality candidate existing in the user's finger from the image taken by the image pickup device 10 before washing the hands. Further, the abnormality candidate detection unit 21 detects the abnormality candidate existing in the user's finger from the image taken by the image pickup apparatus 10 after washing the hands.
  • "abnormality” includes stains, scratches, and ornaments. Therefore, the "abnormal candidate" corresponds to an image area that may be determined as "abnormal” in image recognition.
  • an region containing a color component different from the general hand color is detected as an abnormality candidate.
  • the abnormality candidate detected from the image taken by the image pickup apparatus 10 before hand washing may be referred to as “pre-hand washing abnormality candidate (first abnormality candidate)”. Further, the abnormality candidate detected from the image taken by the image pickup apparatus 10 after hand washing may be referred to as “after hand washing abnormality candidate (second abnormality candidate)”.
  • the abnormality type determination unit 22 determines the type of abnormality in the user's fingers based on the pre-washing abnormality candidate and the post-washing abnormality candidate detected by the abnormality candidate detection unit 21. At this time, the abnormality type determination unit 22 can determine the type of abnormality in the user's finger based on the comparison between the abnormality candidate before hand washing and the abnormality candidate after hand washing. Then, the hand-washing instruction generation unit 23 generates a hand-washing instruction based on the type of abnormality of the user's finger determined by the abnormality type determination unit 22. The generated hand-washing instructions are provided to the user.
  • the hand-washing instruction generation unit 23 may generate a warning sound based on the type of abnormality of the user's finger determined by the abnormality type determination unit 22 to encourage the user to perform the hand-washing operation.
  • the hand-washing operation corresponding to the warning sound may be transmitted to the user by means other than the hand-washing recognition system 100, for example, a sticker.
  • the abnormality candidate detection unit 21, the abnormality type determination unit 22, and the hand-washing instruction generation unit 23 are realized by the processor 20 executing the hand-washing recognition program. That is, when the processor 20 executes the hand-washing recognition program, the functions of the abnormality candidate detection unit 21, the abnormality type determination unit 22, and the hand-washing instruction generation unit 23 are provided.
  • the hand-washing recognition program is stored in, for example, the storage device 30.
  • the processor 20 may execute a hand-washing recognition program recorded on a portable recording medium (not shown). Further, the processor 20 may acquire and execute the hand-washing recognition program from a program server (not shown).
  • FIG. 2 is a flowchart showing an example of processing of the hand-washing recognition system 100. It should be noted that this hand-washing recognition process is executed, for example, when a start instruction is given by the user. Alternatively, the hand-washing recognition process is executed when the user is located in a predetermined place (for example, in front of the hand-washing sink).
  • the processor 20 acquires an image of the user's fingers before washing the hands. At this time, it is preferable that the processor 20 acquires an image from the wrist to the fingertip. Further, it is preferable that the processor 20 acquires an image of the palm side and an image of the back side of the hand. Therefore, the hand-washing recognition system 100 is not particularly limited, but provides a guide to the user that an image of the palm including the fingers and the wrist and an image of the back of the hand including the fingers and the wrist are required. May be good.
  • the abnormality candidate detection unit 21 detects an abnormality candidate (that is, an abnormality candidate before hand washing) from the input image. At this time, the abnormality candidate detection unit 21 first extracts a hand area corresponding to the user's hand from the input image.
  • the method for extracting the hand region from the input image is not particularly limited, and is realized by a known technique.
  • the abnormality candidate detection unit 21 may extract a hand region from the input image by using semantic segmentation. Then, the abnormality candidate detection unit 21 detects the abnormality candidate existing in the hand region. As an example, a region within the hand region containing a color component different from the general hand color is detected as an abnormality candidate. Further, the abnormality candidate detection unit 21 may detect an abnormality candidate by, for example, image recognition deep learning. In the example shown in FIG. 3A, the abnormality candidate X and the abnormality candidate Y are detected.
  • the abnormality type determination unit 22 determines the type of abnormality for each abnormality candidate. At this time, the abnormality type determination unit 22 determines, for example, whether the detected abnormality candidate corresponds to "dirt", "scratch", or "decoration". The type of abnormality is determined by, for example, image recognition deep learning. As an example, as shown in FIG. 3B, the abnormality type determination unit 22 estimates the posture of the finger by acquiring the feature amount information of the hand region. Then, the position of each abnormality candidate with respect to the user's finger is specified. Specifically, the abnormality candidate X is presumed to be located at the base of the ring finger.
  • the abnormality type determination unit 22 determines that the abnormality candidate X is a decorative item (ring). Further, the abnormality candidate Y is presumed to be located on the wrist. In this case, the abnormality type determination unit 22 determines that the abnormality candidate Y is a decorative item (wristwatch).
  • the abnormality type determination unit 22 may determine the type of abnormality in consideration of the shape and / or size of the abnormality candidate in addition to the position of the abnormality candidate. Further, the abnormality type determination unit 22 may determine the type of abnormality without estimating the posture of the fingers. For example, the abnormality type determination unit 22 may determine the type of abnormality based on the size and shape of the abnormality candidate.
  • the hand-washing instruction generation unit 23 When the abnormality candidate is an accessory, in S6, the hand-washing instruction generation unit 23 generates a hand-washing instruction requesting that the accessory be removed from the hand. This hand-washing instruction is provided to the user. Further, the hand-washing instruction is realized by, for example, a voice message. Alternatively, when the hand-washing recognition system 100 includes a display device, the hand-washing instruction may be displayed on the display device.
  • the processing of the hand-washing recognition system 100 returns to S1. That is, the hand-washing recognition system 100 again acquires an image of the user's fingers before hand-washing. Then, when it is confirmed that the ornament has been removed from the user's hand (S5: No), the process of the hand-washing recognition system 100 proceeds to S11. Even when the abnormality candidate is not detected in S3, the process of the hand-washing recognition system 100 proceeds to S11.
  • the hand-washing instruction generation unit 23 generates a hand-washing instruction requesting that the hand-washing be performed. This hand-washing instruction is also provided to the user in the same manner as in S6.
  • the processor 20 acquires an image of the user's fingers after washing the hands.
  • the processor 20 preferably acquires an image from the wrist to the fingertip. Further, it is preferable that the processor 20 acquires an image of the palm side and an image of the back side of the hand. That is, it is preferable that the processor 20 acquires images of the same finger posture before and after hand washing.
  • the abnormality candidate detection unit 21 detects an abnormality candidate (that is, an abnormality candidate after hand washing) from the input image.
  • the method of detecting the abnormality candidate from the input image is substantially the same in S2 and S13. That is, the abnormality candidate is detected by, for example, image recognition deep learning.
  • the abnormality type determination unit 22 determines the type of abnormality. At this time, the abnormality type determination unit 22 determines the type of abnormality for each abnormality candidate detected from the input image before hand washing. Further, the abnormality type determination unit 22 determines the type of abnormality based on the abnormality candidate before hand washing and the abnormality candidate after hand washing. Specifically, the abnormality type determination unit 22 determines the type of abnormality based on the comparison between the abnormality candidate before hand washing and the abnormality candidate after hand washing.
  • the abnormality candidate Z1 and the abnormality candidate Z2 are detected in the image of the user's finger before washing the hand.
  • the abnormality candidate Z3 is detected in the image of the user's finger after washing the hand.
  • the abnormality type determination unit 22 performs finger posture estimation and size normalization for each input image.
  • the finger posture estimation estimates the posture of the finger by analyzing the shape of the user's finger.
  • the size normalization refers to the result of the hand posture estimation and adjusts the size of one or both images so that the sizes of the hand regions extracted from the two input images match each other.
  • the abnormality type determination unit 22 compares the pre-washing abnormality candidate and the post-washing abnormality candidate by comparing the two input images.
  • the abnormality candidate Z1 and the abnormality candidate Z2 are detected from the regions A1 and A2 of the input image before hand washing, respectively. Further, the abnormality candidate Z3 and the abnormality candidate Z4 are detected from the regions A1 and A2 of the input image after hand washing, respectively. That is, the abnormality candidate Z1 and the abnormality candidate Z3 are detected from the same region A1 in the hand region, and the abnormality candidate Z2 and the abnormality candidate Z4 are detected from the same region A2 in the hand region.
  • the abnormality candidate detected from the image before hand washing (that is, the abnormality candidate before hand washing) is compared with the abnormality candidate detected from the image after hand washing. If the shape of (that is, the abnormal candidate after hand washing) has changed, the abnormal candidate is determined to be "dirty".
  • the abnormal candidate is determined to be "dirty".
  • the abnormality candidate Z1 and the abnormality candidate Z3 are detected from the same region A1, and the size of the abnormality candidate Z3 is smaller than the size of the abnormality candidate Z1.
  • the abnormality type determination unit 22 determines that the abnormality candidates Z1 and Z3 are "dirt" attached to the user's hand.
  • there should be no "dirt" in the input image after hand-washing For example, in the example shown in FIG. 4B, there is no abnormality candidate in the region A1 in which the abnormality candidate Z1 is detected before hand washing. Also in this case, the abnormality type determination unit 22 determines that the abnormality candidate Z1 is “dirty”.
  • the abnormality type determination unit 22 determines that the abnormality candidates Z2 and Z4 are "scratches" in the user's hand.
  • the hand-washing instruction generation unit 23 determines whether or not "dirt" remains on the user's fingers. At this time, if the abnormality candidate is detected from the same area of the image before hand washing and the image after hand washing, and the size of the abnormality candidate after hand washing is smaller than the size of the abnormality candidate before hand washing, the user's finger is "dirty". Is determined to remain. For example, in the case shown in FIG. 4A, since the size of the abnormality candidate Z3 detected from the image after hand washing is smaller than the size of the abnormality candidate Z1 detected from the image before hand washing, “dirt” is formed in the region A1. It is determined that it remains. In this case, the process of the hand-washing recognition system 100 returns to S11.
  • the hand-washing instruction generation unit 23 generates a hand-washing instruction requesting that the hand-washing be performed.
  • the hand-washing instruction may include an instruction to change the detergent to be used for hand-washing.
  • the hand-washing instruction generation unit 23 may presume that stains that cannot be removed by ordinary soap are attached to the user's hands, and recommend the use of medicated soap having strong detergency.
  • the process of the hand-washing recognition system 100 proceeds to S16.
  • the abnormality candidate Z1 is detected in the region A1 on the image before hand washing shown in FIG. 4 (a), but the abnormality candidate exists in the same region A1 on the image after hand washing shown in FIG. 4 (b). do not.
  • the hand-washing instruction generation unit 23 determines that "dirt" has been removed and does not remain in the area A1. Even when there is no abnormality candidate determined to be "dirty" in S13 to S14, the process of the hand-washing recognition system 100 proceeds to S16.
  • the hand-washing instruction generation unit 23 determines whether or not there is a "scratch" on the user's finger. In the case shown in FIG. 4, the abnormality candidates Z2 and Z4 are determined to be “scratches”. Then, when a "scratch" is generated on the user's finger, in S17, the hand-washing instruction generation unit 23 generates a hand-washing instruction requesting treatment of the wound.
  • This hand-washing instruction includes, for example, an instruction to apply a bandage and an instruction to wear vinyl gloves.
  • the hand-washing instructions also include a message that the wound should be photographed after the wound has been treated.
  • the hand-washing instruction is also provided to the user in the same manner as in S6.
  • the processor 20 acquires an image of the user's fingers. At this time, the processor 20 acquires an image including a scratched area.
  • the hand-washing instruction generation unit 23 determines whether or not the scratches on the user's fingers have been appropriately treated based on the image acquired in S18. For example, if an image corresponding to the "adhesive plaster" is detected in the area determined to be a "scratch", the hand-washing instruction generation unit 23 determines that the wound on the user's finger has been appropriately treated. In this case, the processing of the hand-washing recognition system 100 ends.
  • the hand-washing recognition system 100 may record in the server computer that the hygiene of the user's hands is good when the processing of the flowchart shown in FIG. 2 is completed. On the other hand, when it is not determined that the wound on the user's finger has been properly treated, the process of the hand-washing recognition system 100 returns to S17.
  • FIG. 5 is a flowchart showing an example of a process for determining the type of abnormality. This process corresponds to S14 shown in FIG. That is, the process of this flowchart is executed by the abnormality type determination unit 22 after the process of detecting the abnormality candidate from the image before hand washing and the process of detecting the abnormality candidate from the image after hand washing.
  • the abnormality type determination unit 22 initializes the variable i.
  • the variable i identifies anomalous candidates detected from the image before hand washing.
  • abnormality candidates Z1 and Z2 are identified.
  • the abnormality type determination unit 22 selects the abnormality candidate Zi from the abnormality candidates detected from the image before hand washing. In S23, the abnormality type determination unit 22 identifies a region in which the abnormality candidate Zi is detected. In the description according to FIG. 5, the region in which the abnormality candidate Zi is detected may be referred to as “region Ai”.
  • the abnormality type determination unit 22 determines whether or not an abnormality candidate exists in the region Ai on the image after hand washing. Then, when there is no abnormality candidate in the region Ai on the image after hand washing, in S27, the abnormality type determination unit 22 determines that the abnormality candidate Zi is "dirty" and has been removed by hand washing.
  • the abnormality type determination unit 22 compares the abnormality candidate Zi and the abnormality candidate Zk in S25 to S26. When the size of the abnormality candidate Zk is smaller than the size of the abnormality candidate Zi, the abnormality type determination unit 22 determines in S28 that the abnormality candidate Zi is "dirty" and a part of the abnormality candidate Zi has been removed by hand washing. When the abnormality candidate Zi and the abnormality candidate Zk are the same or substantially the same as each other, in S29, the abnormality type determination unit 22 determines that the abnormality candidate Zi is a “scratch”. When the size of the abnormality candidate Zk is larger than the size of the abnormality candidate Zi, the abnormality type determination unit 22 executes error processing in S30.
  • the abnormality type determination unit 22 determines that the abnormality candidate Zi is "dirty" when the shape of the abnormality candidate Zi and the shape of the abnormality candidate Zk are different from each other regardless of the sizes of the abnormality candidate Zi and Zk. May be good. For example, dirt is attached to the user's hands, and the dirty area may be expanded by rubbing the hands when washing the hands. In this case, even if the size of the abnormality candidate Zk is larger than the size of the abnormality candidate Zi, the abnormality candidate Zi may be determined to be "dirty".
  • the variable i is incremented.
  • the abnormality type determination unit 22 determines whether or not the abnormality candidate Zi for which the processes of S23 to S30 have not been executed remains. Then, when such an abnormality candidate Zi remains, the processing of the abnormality type determination unit 22 returns to S22. That is, the next abnormality candidate is selected from the image before hand washing. Therefore, the type of abnormality is determined for each abnormality candidate Zi detected from the image before hand washing.
  • the hand-washing flow to be performed by the user is instructed based on the change from the image before hand-washing to the image after hand-washing.
  • the hand-washing recognition system 100 identifies stains, scratches, and accessories so that the user's (here, the worker)'s fingers are in a state suitable for work, and an appropriate hand-washing flow and after hand-washing. Instruct the flow.
  • the hand-washing recognition method according to the embodiment of the present invention it is possible to provide an appropriate hand-washing instruction to the user. As a result, for example, the hygiene status of workers in food-related businesses is improved.
  • FIG. 6 is a flowchart showing the first variation of the hand-washing recognition method.
  • S41 to S43 are executed in addition to S1 to S6 and S11 to S19 shown in FIG.
  • the hand-washing recognition system 100 identifies the user.
  • the user is specified by known technology. For example, a user is identified by biometric authentication (face authentication, vein authentication, fingerprint authentication, iris authentication, etc.). Further, when each user holds a device (IC chip or the like) for identifying an individual, the user is specified by the device. In any case, it is preferable that the user is identified in a non-contact manner.
  • the processor 20 acquires the reference hand image of the specified user from the storage unit 30.
  • the storage unit 30 stores the reference hand image of each user.
  • the reference finger image is, in this embodiment, an image of the user's finger taken at normal times.
  • the reference finger image may be taken by the image pickup device 10 or may be taken by another image pickup device. Further, it is preferable that an image satisfying the following conditions is saved as the reference finger image. (1) There are no accessories on the fingers. (2) There is no dirt on the fingers. (3) There are no scratches on the fingers.
  • the reference finger image is used in the process of detecting an abnormality candidate (S2, S13 in FIG. 6).
  • the processor 20 acquires the input image and the reference hand image shown in FIG. 7 (a).
  • the input image is taken by the image pickup apparatus 10.
  • the reference finger image is stored in the storage unit 30.
  • the abnormality candidate Z1 is detected from the area A1 on the input image.
  • the abnormality candidate Z1 is presumed to be a foreign substance that does not normally exist in the user's fingers.
  • the abnormality candidate Z5 is detected from the area A5 on the input image. Further, the abnormality candidate Z6 exists in the region A5 on the reference finger image.
  • the shapes of the abnormality candidate Z5 and the abnormality candidate Z6 are the same as each other.
  • the abnormality candidate Z5 detected from the input image is present on the user's finger from the normal time. That is, it is presumed that the abnormality candidate Z5 is neither a "dirt” removed by hand washing nor a "scratch” on the user's finger. Therefore, the abnormality candidate Z5 is excluded from the abnormality candidates in the subsequent processing.
  • the abnormality candidate detected from the reference finger image is a foreign substance that normally exists on the user's finger, and corresponds to, for example, a mole, a scar, a tattoo, or the like.
  • the processor 20 may update the reference finger image in S43. For example, when the reference hand image stored in the storage unit 30 is old, the processor 20 may store the image newly taken by the image pickup apparatus 10 in the storage unit 30.
  • the abnormality candidate detection unit 21 may detect an abnormality candidate in S2 by comparing the input image before hand washing with the reference finger image. Further, the abnormality candidate detection unit 21 may detect the abnormality candidate in S13 by comparing the input image after hand washing with the reference finger image.
  • FIG. 8 shows an example of the abnormality candidate detection unit 21 used in the first variation.
  • the abnormality candidate detection unit 21 includes a finger posture estimation unit 21a, an alignment unit 21b, a difference detection unit 21c, and a position / shape detection unit 21d.
  • the hand posture estimation unit 21a estimates the posture of the user's finger by detecting the feature amount of the hand region extracted from the input image.
  • the alignment unit 21b aligns between the input image and the reference finger image by utilizing the non-rigid transformation based on the posture estimated by the finger posture estimation unit 21a. At this time, the alignment may be performed by using the wrinkles of the fingers or the like.
  • the difference detection unit 21c detects the difference between the input image and the reference hand image. The difference area is detected as an abnormality candidate.
  • the position / shape detection unit 21d detects the position and shape of the abnormality candidate with reference to the posture estimated by the finger posture estimation unit 21a. In this example, abnormal candidates are detected at the base of the ring finger and the wrist.
  • the hand-washing recognition system 100 may store ornament information representing the characteristics of a predetermined ornament in the storage unit 30.
  • the ornament information preferably includes an image of a predetermined ornament.
  • the abnormality type determination unit 22 may determine in S4 to S5 whether or not the user has an accessory attached to the finger based on the input image and the accessory information. Then, when it is determined that the user has an accessory attached to the finger, the hand-washing instruction generation unit 23 generates and outputs a hand-washing instruction requesting that the accessory be removed.
  • the hand-washing instruction generation unit 23 generates an instruction related to hand-washing based on the comparison between the first abnormality candidate and the second abnormality candidate.
  • FIG. 9 is a flowchart showing a second variation of the hand-washing recognition method.
  • S51 to S52 are executed in addition to S1 to S6 and S11 to S19 shown in FIG. S51 to S52 are executed after S1 to S6.
  • S51 to S52 are executed when it is determined that the abnormality candidate detected from the input image is not a decorative item.
  • the abnormality type determination unit 22 determines whether or not the abnormality candidate detected in S2 has a specific color component. Then, when the abnormality candidate has a specific color component, the hand-washing instruction generation unit 23 changes the hand-washing flow. Specifically, when the abnormality candidate has a specific color component, the hand-washing instruction generation unit 23 may change the type of detergent and / or the hand-washing operation. For example, the abnormality type determination unit 22 determines whether or not the abnormality candidate has a color component corresponding to a specific oil stain. Then, when the abnormality candidate has a color component corresponding to a specific oil stain, the hand-washing instruction generation unit 23 determines a suitable detergent for removing the oil stain. Further, the hand-washing instruction generation unit 23 may determine a suitable hand-washing operation for removing the oil stain.
  • the hand-washing instruction generation unit 23 When the detergent and the hand-washing operation are determined in S52, the hand-washing instruction generation unit 23 generates a hand-washing instruction according to the determination in S11. In this case, the hand-washing instruction generation unit 23 instructs the user to use the determined detergent. Alternatively, the hand-washing instruction generation unit 23 instructs the user to perform the determined hand-washing operation. Therefore, the user can sufficiently remove the dirt on the fingers.
  • the hand-washing flow is determined based on the color component of the abnormal candidate before hand-washing, but in the second variation, the hand-washing flow is determined based on the color component of the abnormal candidate remaining after hand-washing. You may change it. For example, when it is determined in S15 that stains remain, the hand-washing instruction generation unit 23 may change the hand-washing flow based on the color components of the remaining abnormal candidates (that is, stains).
  • FIG. 10 is a flowchart showing a third variation of the hand-washing recognition method.
  • S61 is executed in addition to S1 to S6 and S11 to S19 shown in FIG. S61 is executed after S4 in this embodiment. Specifically, S61 is executed when the type of abnormality is determined based on the input image.
  • the abnormality type determination unit 22 accepts input from the user.
  • the user inputs information related to the state of his / her fingers. For example, when there is a scratch on the finger, the user may input information indicating the position of the scratch.
  • the abnormality candidate is detected by the abnormality candidate detection unit 21, the user may input information indicating the attributes of the abnormality candidate (dirt, scratch, mole, scar, tattoo, etc.). Further, when the type determined by the abnormality type determination unit 22 in S4 is incorrect, the user may correct the determination result.
  • the information related to the type of abnormality is input or corrected by the user himself / herself.
  • the information entered or corrected by the user is then used to determine the hand-washing flow to be performed by the user. Therefore, even when it is difficult to determine the type of abnormality only by image recognition, it is possible to provide an appropriate hand-washing instruction to the user.
  • the hand-washing recognition system 100 recognizes a person's hand-washing operation and determines whether or not the hand-washing operation is performed correctly.
  • the hand-washing operation monitored by the hand-washing recognition system 100 includes a plurality of predetermined operation steps. Specifically, although not particularly limited, the hand-washing operation includes operation steps 1 to 6 shown in FIG.
  • the operation steps 1 to 6 are as follows. Step 1: Wet your palms with running water, then apply detergent and rub your palms together. Step 2: Rub the back of the other hand with the palm of one hand. Step 3: Wash between your fingertips and your nails. Step 4: Wash between fingers. Step 5: Twist and wash your thumb and its base. Step 6: Wash your wrists.
  • Cleaning area information is stored in the storage unit 30.
  • the cleaning area information represents the area to be cleaned in each operation step. In the example shown in FIG. 12, the cleaning area information indicates that the back of the hand is cleaned in the operation step 2.
  • the hand-washing recognition system 100 includes a priority step determination unit.
  • the priority step determination unit is realized by the processor 20 executing the hand-washing recognition program. Then, as shown in FIG. 12, the priority step determination unit identifies the position of the abnormality candidate detected by the abnormality candidate detection unit 21 by acquiring the feature amount information of the hand region in the input image. In the example shown in FIG. 12, it is recognized that an abnormality candidate (for example, dirt) is present on the back of the left hand.
  • an abnormality candidate for example, dirt
  • the priority step determination unit determines the priority step by referring to the cleaning area information.
  • the action step of cleaning the back of the hand (that is, the action step 2) is specified as the priority step.
  • the priority step determination unit may specify the priority step by projecting the abnormality candidate onto the standard hand space of the cleaning area information based on the feature amount of the hand area.
  • the priority step determination unit notifies the hand-washing instruction generation unit 23 of the specified priority step.
  • the hand-washing instruction generation unit 23 gives an instruction to the user to carefully perform the notified priority step.
  • the hand-washing recognition system 100 may have a stricter standard for determining whether or not the priority step has been performed correctly, as compared with other operation steps.
  • the priority step determination unit may output the following proposal. (1) If the abnormal candidate is dirt, the administrator visually checks that the dirt has been sufficiently removed. (2) If the abnormal candidate is a wound, the administrator will check the condition of the wound at a later date.
  • an important step is determined from a plurality of hand-washing operation steps and the user is notified before the user is hand-washing. Therefore, the user can reliably perform important operation steps.
  • the priority step is specified before the user washes his / her hands, but the fourth variation is not limited to this method.
  • the priority step determination unit may specify an operation step for removing the stain when it is determined in S15 shown in FIG. 2 that the stain remains.
  • the priority step determination unit detects the area of dirt remaining in the hand area.
  • the priority step determination unit determines an operation step having a cleaning area including the dirt area. According to this method, it is possible to notify the user of an appropriate operation step for the dirt remaining after washing the hands.
  • the hand-washing recognition system 100 uses the feature amount of the hand region in the input image to match the position, angle, and posture of the hand region with the reference finger image of the subject.
  • the features include the posture of the hand (the position of the indirect position of each finger, the position of the tip of each finger), the contour of the hand, and the wrinkles of the hand.
  • the hand-washing recognition system 100 identifies an image area corresponding to anomalous candidates (scratches, stains, ornaments, etc.) based on the difference between the two images. At this time, it is preferable to perform pretreatment for adjusting white balance, contrast, brightness and the like.
  • the difference may be calculated by deep learning.
  • the hand-washing recognition system 100 determines the attributes (scratches, stains, clocks, rings, nail polish, etc.) of each abnormality candidate.
  • the attribute may be determined based on the position of the abnormality candidate.
  • the abnormal candidate appearing at the base of the finger is presumed to be a ring
  • the abnormal candidate appearing at the wrist is presumed to be a wristwatch.
  • scratches and stains are distinguished based on the change between the image before hand washing and the image after hand washing. For example, if there is no change in the shape of the abnormal candidate between the two images, it is presumed to be a scratch, and if there is a change between the two images, it is presumed to be a stain. Further, scratches and stains may be discriminated based on the color of the abnormal candidate.
  • the hand-washing recognition system 100 may measure the length of the nail when the user washes his / her hands. Then, if the length of the nail is inappropriate (including too long and too short), the hand-washing recognition system 100 outputs an alert.
  • the hand-washing recognition system 100 uses the input image to calculate the length of each fingernail of the user. In the example shown in FIG. 13, the length L is calculated. In addition, the length of the nail when the nail is in the ideal state is registered in advance for each user. Then, the hand-washing recognition system 100 calculates the difference between the length L obtained from the input image and the ideal length, and compares the difference with a predetermined threshold value. As a result, if the difference is larger than the threshold value, the hand-washing recognition system 100 outputs an alert to the user.
  • the hand-washing recognition system 100 may determine the state of the nail by using the length L1 of the nail plate and the length L2 of the tip of the nail shown in FIG. In this case, for example, if (L1 + L2) / L1 is out of the predetermined threshold range, an alert is output. According to this method, it is possible to determine whether or not the length of the nail is appropriate even for a user whose ideal nail condition is not registered.
  • the hand-washing recognition system 100 may estimate whether the scratch condition is improved or deteriorated by comparing with the past data. For example, if the area corresponding to the scratch is large, or if the number of scratches is increased, it is presumed that the condition of the scratch is deteriorated.
  • the hand-washing recognition system 100 performs the following processing. (1) Confirm with the person whether the wound has healed. (2) Ask the administrator to confirm whether the wound has healed. (3) Take a picture so that the relevant part can be seen more clearly, and perform the scratch detection process again.
  • the hand-washing recognition system 100 may include a biometric information acquisition device in order to identify the user or the administrator thereof. In this case, the hand-washing recognition system 100 performs, for example, palm vein authentication or face authentication. Further, when each user or each administrator carries a personal authentication IC chip, the hand-washing recognition system 100 may have a function of reading the personal authentication IC chip.
  • the hand-washing recognition system 100 may have a function of receiving information indicating the situation of the user. For example, the user uses this function to input information indicating his / her situation (“before starting work”, “immediately after going to the bathroom”, etc.). Then, the hand-washing recognition system 100 may change the hand-washing flow according to the information input from the user. For example, if it is "immediately after going to the toilet", the hand-washing recognition system 100 may instruct the user to increase the number of times the hand is rubbed.
  • the hand-washing recognition system 100 may have a function of recording the result of hand-washing recognition for each user. For example, the presence or absence of scratches, the position, size, type of scratches, etc. are recorded. In addition, it is recorded that treatment for the wound (sticking plaster, wearing vinyl gloves, etc.) was performed. The presence or absence of stains / ornaments and the location, size, and type of stains / ornaments may be recorded. In addition, it is recorded that the stains have been removed after hand washing.
  • the hand-washing recognition system 100 may use the data of a plurality of users to adjust the parameters related to the hand-washing recognition. For example, the parameter for detecting the abnormality candidate and the parameter for determining the type of the abnormality candidate may be adjusted.
  • the hand-washing recognition system 100 may have a function of recognizing the shape and / or movement of the user's hand. In this case, a predetermined shape or movement is photographed by the image pickup apparatus 10. Then, the hand-washing recognition system 100 executes a process corresponding to the shape or movement. According to this configuration, the user can give instructions to the hand-washing recognition system 100 in a non-contact manner even when the fingers are dirty.
  • the hand-washing recognition system 100 may have a function of detecting stains on the lens of the image pickup apparatus 10.
  • the storage unit 30 stores a reference image when the user's fingers are not within the shooting range.
  • the hand-washing recognition system 100 acquires an image taken by the image pickup device 10 before the start of the hand-washing recognition process (that is, before the user positions the finger within the shooting range). Then, by comparing the acquired image with the reference image, dirt on the lens is detected.
  • the hand-washing recognition system 100 When the dirt on the lens is detected, the hand-washing recognition system 100 requests the administrator or the user to remove the dirt on the lens. After that, the hand-washing recognition system 100 executes a predetermined confirmation procedure to confirm whether or not the stain on the lens has been removed.
  • the hand-washing recognition system 100 may include an image projector that optically projects an image into space.
  • the image projector projects an alert image around the detected scratches, stains, ornaments, and the like.
  • the image projector may also project an image showing how to deal with the detected scratches, stains and ornaments.
  • the hand-washing recognition system 100 may use an image projector to project an image that guides the correct hand position.
  • Imaging device 10 Imaging device 20 Processor 21 Abnormality candidate detection unit 22 Abnormality type determination unit 23 Hand wash instruction generation unit 30 Storage unit 100 Hand wash recognition system

Abstract

利用者の手または手指の状態に基づいて適切な手洗いを利用者に促すことを目的とする。手洗い認識システムは、撮像部、検出部、異常種別判定部を備える。検出部は、手洗い前に撮像部により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、手洗い後に撮像部により撮影された第２の画像から利用者の手に存在する第２の異常候補を検出する。異常種別判定部は、第１の異常候補と第２の異常候補との比較に基づいて、利用者の手の異常の種別を判定する。

Description

手洗い認識システムおよび手洗い認識方法
　本発明は、人の手洗い動作を認識するシステム、方法、およびプログラムに係わる。
　食品調理／加工現場、薬品工場、病院、介護施設等において、感染症予防として、作業従事者の衛生管理が重要である。特に、手指は、ウイルスまたは細菌を拡散させる原因になりやすいので、手洗いを含む手指の衛生管理は非常に重要と考えられる。また、ＨＡＣＣＰ（Hazard　Analysis　and　Critical　Control　Point）は、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。このため、作業従事者の手指の状態を認識して記録する技術が求められている。
　このような状況において、下記のステップを含む手洗い監視方法が提案されている。画像取得ステップは、手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む。手領域抽出ステップは、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する。手洗い開始判定ステップは、フレーム画像から手洗いが開始されたか否かを判定する。洗い方認識ステップは、フレーム画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する。擦り判定ステップは、識別された洗い方が所定の順番の洗い方である場合に、当該洗い方に秒数加算していくことにより当該洗い方についての擦り状態の良否を判定する。手洗い終了判定ステップは、フレーム画像から手洗いの終了を判定する。（例えば、特許文献１）
　加えて、手洗いが正しく行われているか否かを自動的に判断し、かつ、手洗いを正しく行わなければ手指洗浄区域から衛生管理区域へ入ることができないようにし得る衛生管理装置が提案されている（例えば、特許文献２）。広範囲の動作情報を非接触検知可能で、かつリアルタイムに手指衛生行動を解析可能な方法が提案されている（例えば、特許文献３）。手洗者の認識精度を向上させ得る手洗監視システムが提案されている（例えば、特許文献４）。
特開２０１７－１３４７１２号公報 特開２００２－０８５２７１号公報 特開２０１８－１１７９８１号公報 特開２０２０－０１８６７４号公報
　従来の手洗い認識方法では、手または手指の状態が精度よく判定されないことがある。例えば、汚れ、傷、ホクロ、タトゥー等を正しく識別できないことがある。そして、手または手指の状態が正しく判定されなければ、手洗いが適切に行われたか否かを判定できない。また、作業従事者に対して適切な指示を与えることも困難である。例えば、「傷」が「汚れ」と誤認識されるケースでは、適切な手洗いが行われたとしても、汚れが残っていると判定される。この場合、汚れが無いにもかかわらず、作業従事者に対して手洗いを継続する旨のメッセージが出力される。
　本発明の１つの側面に係わる目的は、利用者の手または手指の状態に基づいて適切な手洗いを利用者に促すことである。
　本発明の１つの態様に係わる手洗い認識システムは、撮像部と、手洗い前に前記撮像部により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、手洗い後に前記撮像部により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出する検出部と、前記第１の異常候補と前記第２の異常候補との比較に基づいて、前記利用者の手の異常の種別を判定する異常種別判定部と、を備える。
　上述の態様によれば、利用者の手または手指の状態に基づいて適切な手洗いを利用者に促す。
本発明の実施形態に係わる手洗い認識システムの一例を示す図である。 手洗い認識システムの処理の一例を示すフローチャートである。 異常候補を検出する方法の一例を示す図である。 異常の種別を判定する方法の一例を示す図である。 異常の種別を判定する処理の一例を示すフローチャートである。 手洗い認識方法の第１のバリエーションを示すフローチャートである。 基準手指画像を利用して異常候補を検出する方法の一例を示す図である。 第１のバリエーションにおいて使用される異常候補検出部の一例を示す図である。 手洗い認識方法の第２のバリエーションを示すフローチャートである。 手洗い認識方法の第３のバリエーションを示すフローチャートである。 手洗い動作の一例を示す図である。 手洗い時の重点ステップを決定する方法の一例を示す図である。 爪の状態を検出する方法を説明する図である。
　図１は、本発明の実施形態に係わる手洗い認識システムの一例を示す。本発明の実施形態に係わる手洗い認識システム１００は、図１に示すように、撮像装置１０、異常候補検出部２１、異常種別判定部２２、手洗い指示生成部２３、および保存部３０を備える。なお、手洗い認識システム１００は、図１に示していない他の機能またはデバイスを備えてもよい。
　撮像装置１０は、例えばデジタルカメラであり、撮影によりカラー画像を取得する。ここで、撮像装置１０は、所定の時間間隔（たとえば、３０フレーム／秒）で画像を取得してもよい。この場合、撮像装置１０は、実質的に、動画像を取得できる。また、撮像装置１０は、例えば、人が手を洗うシンクの上方に設置される。そして、撮像装置１０は、手洗い時の人の手指を撮影する。なお、以下の記載において「手指」は、「手の指」のみを意味するものではなく、「手の指を含む手」または「手および手指」を意味するものとする。また、以下の記載では、撮像装置１０により手指が撮影される人を「利用者」と呼ぶことがある。利用者は、特に限定されるものではないが、例えば、食品調理／加工現場、薬品工場、病院、介護施設等の作業者である。
　手洗い認識システム１００は、撮像装置１０により撮影された画像を利用して、手洗いに係わる指示を生成して利用者に提供する。例えば、利用者が手指に装飾品（指輪、時計等）を付けているときは、手洗い認識システム１００は、利用者に対して、装飾品を外して手洗いを行うことを指示してもよい。また、手洗い後に汚れが残っているときは、手洗い認識システム１００は、利用者に対して、再度手洗いを行うことを指示してもよい。更に、利用者の手指に傷があるときは、手洗い認識システム１００は、利用者に対して、絆創膏などで傷の処置を行うこと、及び／又は、ビニール手袋を装着することを指示してもよい。なお、以下の記載では、利用者に提供される手洗いに係わる指示を「手洗い指示」と呼ぶことがある。
　但し、単純な画像認識では、手指の状態を精度よく識別できないことがある。そして、手指の状態が正しく識別されないときは、手洗い認識システム１００は、利用者に対して適切な手洗い指示を提供できない。そこで、手洗い認識システム１００は、手洗い前の手指の画像および手洗い後の手指の画像を利用して利用者の手指の状態を識別する。
　異常候補検出部２１は、手洗い前に撮像装置１０により撮影された画像から利用者の手指に存在する異常候補を検出する。また、異常候補検出部２１は、手洗い後に撮像装置１０により撮影された画像から利用者の手指に存在する異常候補を検出する。ここで、「異常」は、汚れ、傷、装飾品を含む。よって、「異常候補」は、画像認識において「異常」と判定される可能性がある画像領域に相当する。一例としては、入力画像から抽出される手領域内で、一般的な手の色とは異なる色成分を含む領域が異常候補として検出される。なお、以下の記載では、手洗い前に撮像装置１０により撮影された画像から検出される異常候補を「手洗い前異常候補（第１の異常候補）」と呼ぶことがある。また、手洗い後に撮像装置１０により撮影された画像から検出される異常候補を「手洗い後異常候補（第２の異常候補）」と呼ぶことがある。
　異常種別判定部２２は、異常候補検出部２１により検出される手洗い前異常候補および手洗い後異常候補に基づいて利用者の手指の異常の種別を判定する。このとき、異常種別判定部２２は、手洗い前異常候補と手洗い後異常候補との比較に基づいて利用者の手指の異常の種別を判定することができる。そして、手洗い指示生成部２３は、異常種別判定部２２により判定された利用者の手指の異常の種別に基づいて手洗い指示を生成する。生成される手洗い指示は、利用者に提供される。また、手洗い指示生成部２３は、異常種別判定部２２により判定された利用者の手指の異常の種別に基づいて警告音を発生させ、利用者に手洗いの動作を促してもよい。警告音に対応する手洗いの動作は、手洗い認識システム１００とは別の手段、例えば、張り紙で利用者に伝えられてもよい。
　なお、異常候補検出部２１、異常種別判定部２２、手洗い指示生成部２３は、プロセッサ２０が手洗い認識プログラムを実行することで実現される。すなわち、プロセッサ２０が手洗い認識プログラムを実行することにより、異常候補検出部２１、異常種別判定部２２、手洗い指示生成部２３の機能が提供される。この場合、手洗い認識プログラムは、例えば、記憶装置３０に保存されている。或いは、プロセッサ２０は、不図示の可搬型記録媒体に記録されている手洗い認識プログラムを実行してもよい。さらに、プロセッサ２０は、不図示のプログラムサーバから手洗い認識プログラムを取得して実行してもよい。
　図２は、手洗い認識システム１００の処理の一例を示すフローチャートである。なお、この手洗い認識処理は、例えば、利用者から開始指示が与えられたときに実行される。或いは、手洗い認識処理は、利用者が所定の場所（例えば、手洗いシンクの前）に位置したときに実行される。
　Ｓ１において、プロセッサ２０は、手洗い前の利用者の手指の画像を取得する。このとき、プロセッサ２０は、手首から指先までの画像を取得することが好ましい。また、プロセッサ２０は、手のひら側の画像および手の甲側の画像を取得することが好ましい。したがって、手洗い認識システム１００は、特に限定されるものではないが、手指および手首を含む手のひらの画像、及び、手指および手首を含む手の甲の画像が必要である旨の案内を利用者に提供してもよい。
　Ｓ２～Ｓ３において、異常候補検出部２１は、入力画像から異常候補（即ち、手洗い前異常候補）を検出する。このとき、異常候補検出部２１は、まず、入力画像から利用者の手に対応する手領域を抽出する。入力画像から手領域を抽出する方法は、特に限定されるものではなく、公知の技術により実現される。例えば、異常候補検出部２１は、セマンティックセグメンテーションを利用して入力画像から手領域を抽出してもよい。そして、異常候補検出部２１は、手領域に存在する異常候補を検出する。一例としては、手領域内で一般的な手の色とは異なる色成分を含む領域は、異常候補として検出される。また、異常候補検出部２１は、例えば、画像認識ディープラーニングで異常候補を検出してもよい。図３（ａ）に示す例では、異常候補Ｘおよび異常候補Ｙが検出されている。
　１以上の異常候補が検出されたときは、Ｓ４～Ｓ５において、異常種別判定部２２は、各異常候補について異常の種別を判定する。このとき、異常種別判定部２２は、例えば、検出された異常候補が「汚れ」「傷」「装飾品」に該当するか判定する。異常の種別は、例えば、画像認識ディープラーニングにより判定される。一例としては、図３（ｂ）に示すように、異常種別判定部２２は、手領域の特徴量情報を取得することにより手指の姿勢を推定する。そうすると、利用者の手指に対する各異常候補の位置が特定される。具体的には、異常候補Ｘは、薬指の付け根に位置すると推定される。この場合、異常種別判定部２２は、異常候補Ｘが装飾品（指輪）であると判定する。また、異常候補Ｙは、手首に位置すると推定される。この場合、異常種別判定部２２は、異常候補Ｙが装飾品（腕時計）であると判定する。
　なお、異常種別判定部２２は、異常候補の位置に加えて、異常候補の形状および／または大きさを考慮して異常の種別を判定してもよい。また、異常種別判定部２２は、手指の姿勢を推定することなく異常の種別を判定してもよい。例えば、異常種別判定部２２は、異常候補の大きさおよび形状に基づいて、異常の種別を判定してもよい。
　異常候補が装飾品であるときは、Ｓ６において、手洗い指示生成部２３は、手から装飾品を外すこと要求する手洗い指示を生成する。この手洗い指示は、利用者に提供される。また、手洗い指示は、例えば、音声メッセージにより実現される。或いは、手洗い認識システム１００が表示装置を備えるときは、手洗い指示は、表示装置に表示されるようにしてもよい。
　この後、手洗い認識システム１００の処理はＳ１に戻る。すなわち、手洗い認識システム１００は、再度、手洗い前の利用者の手指の画像を取得する。そして、利用者の手から装飾品が外されたことが確認されると（Ｓ５：Ｎｏ）、手洗い認識システム１００の処理はＳ１１に進む。なお、Ｓ３において異常候補が検出されないときも、手洗い認識システム１００の処理はＳ１１に進む。
　Ｓ１１において、手洗い指示生成部２３は、手洗いを行うことを要求する手洗い指示を生成する。この手洗い指示も、Ｓ６と同様に、利用者に提供される。
　Ｓ１２において、プロセッサ２０は、手洗い後の利用者の手指の画像を取得する。Ｓ１２においても、Ｓ１と同様に、プロセッサ２０は、手首から指先までの画像を取得することが好ましい。また、プロセッサ２０は、手のひら側の画像および手の甲側の画像を取得することが好ましい。すなわち、プロセッサ２０は、手洗い前および手洗い後において同じ手指姿勢の画像を取得することが好ましい。
　Ｓ１３において、異常候補検出部２１は、入力画像から異常候補（即ち、手洗い後異常候補）を検出する。入力画像から異常候補を検出する方法は、Ｓ２およびＳ１３において実質的に同じである。すなわち、異常候補は、例えば、画像認識ディープラーニングにより検出される。
　Ｓ１４において、異常種別判定部２２は、異常の種別を判定する。このとき、異常種別判定部２２は、手洗い前の入力画像から検出される各異常候補について、異常の種別を判定する。また、異常種別判定部２２は、手洗い前異常候補および手洗い後異常候補に基づいて異常の種別を判定する。具体的には、異常種別判定部２２は、手洗い前異常候補と手洗い後異常候補との比較に基づいて異常の種別を判定する。
　図４（ａ）に示す例では、手洗い前の利用者の手指の画像において異常候補Ｚ１および異常候補Ｚ２が検出されている。また、手洗い後の利用者の手指の画像において異常候補Ｚ３が検出されている。ここで、異常種別判定部２２は、各入力画像に対して手指姿勢推定およびサイズ正規化を行う。手指姿勢推定は、利用者の手指の形状を解析することで手指の姿勢を推定する。サイズ正規化は、手指姿勢推定の結果を参照し、２つの入力画像からそれぞれ抽出される手領域のサイズが互いに一致するように、一方または双方の画像のサイズを調整する。そして、異常種別判定部２２は、２つの入力画像を比較することにより、手洗い前異常候補と手洗い後異常候補とを比較する。
　図４（ａ）においては、手洗い前の入力画像の領域Ａ１および領域Ａ２からそれぞれ異常候補Ｚ１および異常候補Ｚ２が検出される。また、手洗い後の入力画像の領域Ａ１および領域Ａ２からそれぞれ異常候補Ｚ３および異常候補Ｚ４が検出される。すなわち、異常候補Ｚ１および異常候補Ｚ３が手領域内の同じ領域Ａ１から検出され、異常候補Ｚ２および異常候補Ｚ４が手領域内の同じ領域Ａ２から検出される。
　ここで、利用者の手指に付着している「汚れ」は、手洗いにより除去される。したがって、同じ領域から検出される異常候補を比較したときに、手洗い前の画像から検出される異常候補（即ち、手洗い前異常候補）の形状に対して、手洗い後の画像から検出される異常候補（即ち、手洗い後異常候補）の形状が変化していれば、その異常候補は「汚れ」と判定される。
　例えば、同じ領域において、手洗い前異常候補のサイズより手洗い後異常候補のサイズが小さいときは、その異常候補は「汚れ」と判定される。図４（ａ）に示す例では、異常候補Ｚ１および異常候補Ｚ３は同じ領域Ａ１から検出され、且つ、異常候補Ｚ１のサイズより異常候補Ｚ３のサイズが小さい。この場合、異常種別判定部２２は、異常候補Ｚ１、Ｚ３が利用者の手に付着している「汚れ」であると判定する。また、手洗いが適切に行われたときは、手洗い後の入力画像において「汚れ」は無くなっているはずである。たとえば、図４（ｂ）に示す例では、手洗い前に異常候補Ｚ１が検出された領域Ａ１に異常候補は存在しない。この場合も、異常種別判定部２２は、異常候補Ｚ１が「汚れ」であったと判定する。
　これに対して、利用者の手指に生じている「傷」は、手洗いにより除去されない。したがって、同じ領域から検出される異常候補を比較したときに、手洗い前の画像から検出される異常候補（即ち、手洗い前異常候補）の形状および手洗い後の画像から検出される異常候補（即ち、手洗い後異常候補）の形状が互いに同じまたはほぼ同じであれば、その異常候補は「傷」と判定される。図４（ａ）に示す例では、異常候補Ｚ２および異常候補Ｚ４は同じ領域Ａ２から検出され、且つ、異常候補Ｚ２の形状および異常候補Ｚ４の形状は互いにほぼ同じである。この場合、異常種別判定部２２は、異常候補Ｚ２、Ｚ４が利用者の手に生じている「傷」であると判定する。
　Ｓ１５において、手洗い指示生成部２３は、利用者の手指に「汚れ」が残っているか否かを判定する。このとき、手洗い前の画像および手洗い後の画像の同じ領域から異常候補が検出され、且つ、手洗い前異常候補のサイズより手洗い後異常候補のサイズが小さいときは、利用者の手指に「汚れ」が残っていると判定される。例えば、図４（ａ）に示すケースでは、手洗い前の画像から検出される異常候補Ｚ１のサイズより手洗い後の画像から検出される異常候補Ｚ３のサイズが小さいので、領域Ａ１に「汚れ」が残っていると判定される。この場合、手洗い認識システム１００の処理はＳ１１に戻る。すなわち、手洗い指示生成部２３は、手洗いを行うことを要求する手洗い指示を生成する。なお、Ｓ１２～Ｓ１４が実行された後にＳ１１が実行されるケースでは、手洗い指示は、手洗いのために使用すべき洗剤を変更する指示を含んでもよい。例えば、手洗い指示生成部２３は、通常の石鹸では除去できない汚れが利用者に手に付着していると推定し、洗浄力の強い薬用石鹸の使用を推奨してもよい。
　利用者の手指に「汚れ」が残っていないときは、手洗い認識システム１００の処理はＳ１６に進む。例えば、図４（ａ）に示す手洗い前の画像上の領域Ａ１から異常候補Ｚ１が検出されているが、図４（ｂ）に示す手洗い後の画像上の同じ領域Ａ１には異常候補が存在しない。この場合、手洗い指示生成部２３は、領域Ａ１において「汚れ」が除去されて残っていないと判定する。なお、Ｓ１３～Ｓ１４において「汚れ」と判定される異常候補が無かったときも、手洗い認識システム１００の処理はＳ１６に進む。
　Ｓ１６において、手洗い指示生成部２３は、利用者の手指に「傷」が生じているか否かを判定する。図４に示すケースでは、異常候補Ｚ２、Ｚ４が「傷」であると判定される。そして、利用者の手指に「傷」が生じているときは、Ｓ１７において、手洗い指示生成部２３は、傷の処置を要求する手洗い指示を生成する。この手洗い指示は、例えば、絆創膏を貼る指示およびビニール手袋を着用する指示を含む。また、この手洗い指示は、傷の処置が完了した手指の撮影が必要である旨のメッセージを含む。なお、この手洗い指示も、Ｓ６と同様に、利用者に提供される。
　Ｓ１８において、プロセッサ２０は、利用者の手指の画像を取得する。このとき、プロセッサ２０は、傷が生じている領域を含む画像を取得する。Ｓ１９において、手洗い指示生成部２３は、Ｓ１８で取得する画像に基づいて、利用者の手指の傷が適切に処置されたか否かを判定する。例えば、「傷」と判定された領域において「絆創膏」に相当する画像が検出されれば、手洗い指示生成部２３は、利用者の手指の傷が適切に処置されたと判定する。この場合、手洗い認識システム１００の処理は終了する。なお、手洗い認識システム１００は、図２に示すフローチャートの処理が終了したときに、利用者の手指の衛生状態が良好である旨をサーバコンピュータに記録してもよい。一方、利用者の手指の傷が適切に処置されたと判定されないときには、手洗い認識システム１００の処理はＳ１７に戻る。
　このように、利用者の手指に汚れが残っているときは、図２に示すフローチャートの処理は終了しない。この場合、Ｓ１１～Ｓ１５が繰り返し実行される。また、利用者の手指に傷が生じているときは、その傷が適切に処置されるまで図２に示すフローチャートの処理は終了しない。この場合、Ｓ１７～Ｓ１９が繰り返し実行される。したがって、本発明の実施形態によれば、利用者の手指の衛生状態を適切に管理できる。
　図５は、異常の種別を判定する処理の一例を示すフローチャートである。この処理は、図２に示すＳ１４に対応する。すなわち、このフローチャートの処理は、手洗い前の画像から異常候補を検出する処理および手洗い後の画像から異常候補を検出する処理の後に異常種別判定部２２により実行される。
　Ｓ２１において、異常種別判定部２２は、変数ｉを初期化する。変数ｉは、手洗い前の画像から検出される異常候補を識別する。図４（ａ）に示す実施例では、異常候補Ｚ１、Ｚ２が識別される。
　Ｓ２２において、異常種別判定部２２は、手洗い前の画像から検出される異常候補の中から異常候補Ｚｉを選択する。Ｓ２３において、異常種別判定部２２は、異常候補Ｚｉが検出された領域を特定する。図５に係わる記載においては、異常候補Ｚｉが検出された領域を「領域Ａｉ」と呼ぶことがある。
　Ｓ２４において、異常種別判定部２２は、手洗い後の画像上の領域Ａｉに異常候補が存在するか否かを判定する。そして、手洗い後の画像上の領域Ａｉに異常候補が存在しないときは、Ｓ２７において、異常種別判定部２２は、異常候補Ｚｉが「汚れ」であり、手洗いにより除去されたと判定する。
　手洗い後の画像上の領域Ａｉに異常候補が存在するときは、異常種別判定部２２は、Ｓ２５～Ｓ２６において、異常候補Ｚｉと異常候補Ｚｋとを比較する。そして、異常候補Ｚｉのサイズより異常候補Ｚｋのサイズが小さいときは、Ｓ２８において、異常種別判定部２２は、異常候補Ｚｉが「汚れ」であり、手洗いにより一部が除去されたと判定する。異常候補Ｚｉおよび異常候補Ｚｋが互いに同じまたはほぼ同じときは、Ｓ２９において、異常種別判定部２２は、異常候補Ｚｉが「傷」であると判定する。異常候補Ｚｉのサイズより異常候補Ｚｋのサイズが大きいときは、Ｓ３０において、異常種別判定部２２は、エラー処理を実行する。
　ただし、異常種別判定部２２は、異常候補Ｚｉ、Ｚｋのサイズよらず、異常候補Ｚｉの形状と異常候補Ｚｋの形状とが互いに異なるときに、異常候補Ｚｉが「汚れ」であると判定してもよい。例えば、利用者の手に汚れが付着しており、手洗い時に手を擦り合わせたことで汚れ領域が広がることがある。この場合、異常候補Ｚｉのサイズより異常候補Ｚｋのサイズが大きい場合であっても、異常候補Ｚｉを「汚れ」と判定してもよい。
　Ｓ３１において、変数ｉがインクリメントされる。Ｓ３２において、異常種別判定部２２は、Ｓ２３～Ｓ３０の処理が実行されていない異常候補Ｚｉが残っているか否かを判定する。そして、そのような異常候補Ｚｉが残っているときは、異常種別判定部２２の処理はＳ２２に戻る。即ち、手洗い前の画像から次の異常候補が選択される。したがって、手洗い前の画像から検出される各異常候補Ｚｉについて異常の種別が判定される。
　このように、本発明の実施形態に係わる手洗い認識方法においては、手洗い前の画像から手洗い後の画像への変化に基づいて利用者が行うべき手洗いフローが指示される。このとき、手洗い認識システム１００は、汚れ、傷、装飾品を識別することで、利用者（ここでは、作業者）の手指が作業に適した状態になるように適切な手洗いフローおよび手洗い後のフローを指示する。ここで、単純な画像認識と比較して、手洗い前の画像から手洗い後の画像への変化を利用する方法においては、利用者の手指の異常の種別を精度よく判定できる。したがって、本発明の実施形態に係わる手洗い認識方法によれば、利用者に対して適切な手洗い指示を提供できる。この結果、例えば、食品等関連事業の作業者の衛生状況が改善する。
　＜バリエーション１＞
　図６は、手洗い認識方法の第１のバリエーションを示すフローチャートである。なお、第１のバリエーションにおいては、図２に示すＳ１～Ｓ６およびＳ１１～Ｓ１９に加えてＳ４１～Ｓ４３が実行される。
　Ｓ４１において、手洗い認識システム１００は、利用者を特定する。利用者は、公知の技術により特定される。例えば、生体認証（顔認証、静脈認証、指紋認証、虹彩認証等）により利用者が特定される。また、各利用者が個人を識別するデバイス（ＩＣチップ等）を保持するときは、そのデバイスにより利用者が特定される。いずれにしても、非接触で利用者が特定されることが好ましい。
　Ｓ４２において、プロセッサ２０は、特定した利用者の基準手指画像を保存部３０から取得する。なお、保存部３０には、図１に示すように、各利用者の基準手指画像が保存されている。基準手指画像は、この実施例では、通常時に撮影された利用者の手指の画像である。基準手指画像は、撮像装置１０により撮影されてもよいし、他の撮像装置で撮影されてもよい。また、基準手指画像として、下記の条件を満足する画像が保存されることが好ましい。
（１）手指に装飾品が付いていない。
（２）手指に汚れが付着していない。
（３）手指に傷がない。
　基準手指画像は、この実施例では、異常候補を検出する処理（図６ではＳ２、Ｓ１３）において使用される。例えば、プロセッサ２０が図７（ａ）に示す入力画像および基準手指画像を取得するものとする。入力画像は、撮像装置１０により撮影される。基準手指画像は、保存部３０に保存されている。この例では、入力画像上の領域Ａ１から異常候補Ｚ１が検出される。ところが、基準手指画像上の領域Ａ１内には、異常候補は存在しない。この場合、異常候補Ｚ１は、通常時には利用者の手指には存在しない異物であると推定される。
　これに対して、図７（ｂ）に示す例では、入力画像上の領域Ａ５から異常候補Ｚ５が検出される。また、基準手指画像上の領域Ａ５内に異常候補Ｚ６が存在する。ここで、異常候補Ｚ５および異常候補Ｚ６の形状は互いに同じである。この場合、入力画像から検出される異常候補Ｚ５は、通常時から利用者の手指に存在していると推定される。すなわち、異常候補Ｚ５は、手洗いによって除去される「汚れ」ではなく、また、利用者の手指に生じている「傷」でもないと推定される。したがって、異常候補Ｚ５は、後続の処理において、異常候補から除外される。なお、基準手指画像から検出される異常候補は、通常時から利用者の手指に存在している異物であり、例えば、ホクロ、傷跡、タトゥー等に相当する。
　このように、入力画像から検出される異常候補であっても、基準手指画像においても存在する場合には、手洗いで除去する必要はなく、また、処置を施す必要もない。そして、このような異常候補は、Ｓ１４～Ｓ１９の処理において除外される。よって、バリエーション１においては、不適切な手洗い指示の生成が抑制される。例えば、ホクロ、傷跡、タトゥー等が「汚れ」と判定されると、手洗いの継続が要求される。また、ホクロ、傷跡、タトゥー等が「傷」と判定されると、所定の処置が要求される。これに対して、バリエーション１においては、このような不適切な手洗い指示の生成が抑制される。
　図６に示すＳ１１～Ｓ１９の処理において、手指に傷がないと判定されたときは、プロセッサ２０は、Ｓ４３において基準手指画像を更新してもよい。例えば、保存部３０に保存されている基準手指画像が古いときは、プロセッサ２０は、撮像装置１０により新たに撮影された画像を保存部３０に保存してもよい。
　異常候補検出部２１は、Ｓ２において、手洗い前の入力画像と基準手指画像とを比較することで異常候補を検出してもよい。また、異常候補検出部２１は、Ｓ１３において、手洗い後の入力画像と基準手指画像とを比較することで異常候補を検出してもよい。
　図８は、第１のバリエーションにおいて使用される異常候補検出部２１の一例を示す。この例では、異常候補検出部２１は、手指姿勢推定部２１ａ、位置合わせ部２１ｂ、差分検出部２１ｃ、位置／形状検出部２１ｄを備える。
　手指姿勢推定部２１ａは、入力画像から抽出する手領域の特徴量を検出することで、利用者の手指の姿勢を推定する。位置合わせ部２１ｂは、手指姿勢推定部２１ａにより推定された姿勢に基づく非剛体変換を利用して、入力画像と基準手指画像との間の位置合わせを行う。このとき、手指のしわ等を利用して位置合わせを行ってもよい。差分検出部２１ｃは、入力画像と基準手指画像との間の差分を検出する。差分領域は、異常候補として検出される。位置／形状検出部２１ｄは、手指姿勢推定部２１ａにより推定された姿勢を参照して、異常候補の位置および形状を検出する。この例では、薬指の付け根および手首に異常候補が検出される。
　なお、手洗い認識システム１００は、基準手指画像に加えて、所定の装飾品の特徴を表す装飾品情報を保存部３０に保存してもよい。この場合、装飾品情報は、所定の装飾品の画像を含むことが好ましい。また、異常種別判定部２２は、Ｓ４～Ｓ５において、入力画像および装飾品情報に基づいて、利用者が手指に装飾品を付けているか否かを判定してもよい。そして、利用者が手指に装飾品を付けていると判定されたときは、手洗い指示生成部２３は、装飾品を外すことを要求する手洗い指示を生成して出力する。
　また、手洗い認識システム１００は、保存部３０に保存されている基準手指画像から第１の異常候補を検出し、手洗い後に撮像装置１０により撮影された画像から第２の異常候補を検出してもよい。この場合、手洗い指示生成部２３は、第１の異常候補と第２の異常候補との比較に基づいて、手洗いに係わる指示を生成する。
　＜バリエーション２＞
　図９は、手洗い認識方法の第２のバリエーションを示すフローチャートである。なお、第２のバリエーションにおいては、図２に示すＳ１～Ｓ６およびＳ１１～Ｓ１９に加えてＳ５１～Ｓ５２が実行される。Ｓ５１～Ｓ５２は、Ｓ１～Ｓ６の後に実行される。具体的には、入力画像から検出された異常候補が装飾品でないと判定されたときにＳ５１～Ｓ５２が実行される。
　Ｓ５１～Ｓ５２において、異常種別判定部２２は、Ｓ２で検出された異常候補が特定の色成分を有するか否かを判定する。そして、異常候補が特定の色成分を有するときは、手洗い指示生成部２３は、手洗いフローを変更する。具体的には、異常候補が特定の色成分を有するときは、手洗い指示生成部２３は、洗剤の種別および／または手洗い動作を変更してもよい。例えば、異常種別判定部２２は、異常候補が特定の油汚れに対応する色成分を有するか否かを判定する。そして、異常候補が特定の油汚れに対応する色成分を有するときは、手洗い指示生成部２３は、その油汚れを除去するために好適な洗剤を決定する。また、手洗い指示生成部２３は、その油汚れを除去するために好適な手洗い動作を決定してもよい。
　Ｓ５２において洗剤および手洗い動作を決定したときは、手洗い指示生成部２３は、Ｓ１１において、その決定に応じた手洗い指示を生成する。この場合、手洗い指示生成部２３は、利用者に対して、決定した洗剤を使用することを指示する。或いは、手洗い指示生成部２３は、利用者に対して、決定した手洗い動作を行うことを指示する。したがって、利用者は、手指の汚れを十分に除去できる。
　なお、図９に示す実施例では、手洗い前に異常候補の色成分に基づいて手洗いフローが決定されるが、第２のバリエーションは、手洗い後に残存する異常候補の色成分に基づいて手洗いフローを変更してもよい。例えば、Ｓ１５において汚れが残っていると判定されたときに、手洗い指示生成部２３は、残存する異常候補（すなわち、汚れ）の色成分に基づいて手洗いフローを変更してもよい。
　＜バリエーション３＞
　図１０は、手洗い認識方法の第３のバリエーションを示すフローチャートである。尚、第３のバリエーションにおいては、図２に示すＳ１～Ｓ６およびＳ１１～Ｓ１９に加えてＳ６１が実行される。Ｓ６１は、この実施例では、Ｓ４の後に実行される。具体的には、入力画像に基づいて異常の種別が判別されたときにＳ６１が実行される。
　Ｓ６１において、異常種別判定部２２は、利用者からの入力を受け付ける。このとき、利用者は、自分の手指の状態に係わる情報を入力する。例えば、手指に傷があるときは、利用者は、傷の位置を表す情報を入力してもよい。また、異常候補検出部２１により異常候補が検出されたときは、利用者は、その異常候補の属性（汚れ、傷、ホクロ、傷跡、タトゥー等）を表す情報を入力してもよい。さらに、Ｓ４において異常種別判別部２２により判別された種別が誤っているときは、利用者は、その判別結果を修正してもよい。
　このように、第３のバリエーションにおいては、異常の種別に係わる情報が利用者自身により入力または訂正される。そして、利用者により入力または訂正された情報は、利用者が行うべき手洗いフローを決定するときに使用される。したがって、画像認識だけでは異常の種別の判定が困難なときであっても、利用者に対して適切な手洗い指示を提供できる。
　＜バリエーション４＞
　第４のバリエーションでは、手洗い認識システム１００は、人の手洗い動作を認識し、手洗い動作が正しく行われているか否かを判定する。ここで、手洗い認識システム１００がモニタする手洗い動作は、予め決められた複数の動作ステップを含むものとする。具体的には、特に限定されるものではないが、手洗い動作は、図１１に示す動作ステップ１～６を含む。なお、動作ステップ１～６は、下記の通りである。
ステップ１：流水で手のひらを濡らした後、洗剤をつけて手のひらを擦り合わせる。
ステップ２：一方の手のひらで他方の手の甲を擦る。
ステップ３：指先と爪との間を洗う。
ステップ４：指と指との間を洗う。
ステップ５：親指およびその付け根をねじりながら洗う。
ステップ６：手首を洗う。
　保存部３０には、洗浄領域情報が保存されている。洗浄領域情報は、各動作ステップにおいて洗浄される領域を表す。図１２に示す例では、洗浄領域情報は、動作ステップ２において手の甲が洗浄されることを表している。
　手洗い認識システム１００は、図１に示していないが、重点ステップ決定部を備える。重点ステップ決定部は、プロセッサ２０が手洗い認識プログラムを実行することで実現される。そして、重点ステップ決定部は、図１２に示すように、入力画像において手領域の特徴量情報を取得することにより、異常候補検出部２１により検出された異常候補の位置を特定する。図１２に示す例では、左手の甲に異常候補（例えば、汚れ）が存在することが認識される。
　重点ステップ決定部は、洗浄領域情報を参照することで重点ステップを決定する。この例では、重点ステップとして、手の甲を洗浄する動作ステップ（即ち、動作ステップ２）が特定される。このとき、重点ステップ決定部は、手領域の特徴量に基づいて、異常候補を洗浄領域情報の標準手空間に投影することで重点ステップを特定してもよい。そして、重点ステップ決定部は、特定した重点ステップを手洗い指示生成部２３に通知する。そうすると、手洗い指示生成部２３は、通知された重点ステップを丁寧に行うための指示を利用者に与える。このとき、手洗い認識システム１００は、他の動作ステップと比較して、重点ステップが正しく行われたか否かを判定するための基準を厳しくしてもよい。
　また、重点ステップ決定部は、下記の提案を出力してもよい。
（１）異常候補が汚れであった場合、その汚れが十分に除去されたことを管理者が目視チェックを行う。
（２）異常候補が傷であった場合、後日、管理者が傷の状況のチェックを行う。
　このように、第４のバリエーションでは、利用者が手洗いを行う前に、複数の手洗い動作ステップの中から重要なステップが決定され、利用者に通知される。したがって、利用者は、重要な動作ステップを確実に行うことができる。
　なお、上述の例では、利用者が手洗いを行う前に重点ステップが特定されるが、第４のバリエーションはこの方法に限定されるものではない。例えば、重点ステップ決定部は、図２に示すＳ１５において汚れが残っていると判定されたときに、その汚れを除去するための動作ステップを特定してもよい。この場合、重点ステップ決定部は、手領域内で残存する汚れの領域を検出する。そして、重点ステップ決定部は、その汚れ領域を含む洗浄領域を有する動作ステップを決定する。この方法によれば、手洗い後に残っている汚れに対して適切な動作ステップを利用者に通知できる。
　＜バリエーション５＞
　手洗い認識システム１００は、入力画像中の手領域の特徴量を用いて、手領域の位置、角度、および指の姿勢を、対象者の基準手指画像と一致させる。特徴量は、手の姿勢（各指の間接の位置、各指の先端の位置）、手の輪郭、手のしわを含む。
　位置合わせの後、手洗い認識システム１００は、２つの画像の差分に基づいて、異常候補（傷、汚れ、装飾品など）に対応する画像領域を特定する。このとき、ホワイトバランス、コントラスト、明度などを調整する前処理を行うことが好ましい。差分の計算は、ディープラーニングで計算してもよい。
　この後、手洗い認識システム１００は、各異常候補の属性（傷、汚れ、時計、指輪、マニキュア等）を判定する。このとき、異常候補の位置に基づいて属性を判定してもよい。例えば、指の根元に現れる異常候補は指輪と推定され、手首に現れる異常候補は腕時計と推定される。また、手洗い前の画像と手洗い後の画像との間の変化に基づいて、傷と汚れとが識別される。たとえば、２つの画像間で異常候補の形状に変化がなければ傷と推定され、２つの画像間で変化があれば汚れと推定される。さらに、異常候補の色に基づいて傷と汚れとを識別してもよい。
　＜バリエーション６＞
　手洗い認識システム１００は、利用者が手を洗うときに、爪の長さを測定してもよい。そして、爪の長さが不適切（長すぎおよび短すぎを含む）であれば、手洗い認識システム１００はアラートを出力する。
　手洗い認識システム１００は、入力画像を利用して、利用者の各指の爪の長さを算出する。図１３に示す例では、長さＬが算出される。また、利用者ごとに、爪が理想的な状態であるときの爪の長さが予め登録されている。そして、手洗い認識システム１００は、入力画像から得られる長さＬと理想的な長さとの差分を計算し、その差分と所定の閾値とを比較する。この結果、差分が閾値より大きければ、手洗い認識システム１００は、利用者に対してアラートを出力する。
　手洗い認識システム１００は、図１３に示す爪甲の長さＬ１および爪先の長さＬ２を利用して、爪の状態を判定してもよい。この場合、例えば、（Ｌ１＋Ｌ２）／Ｌ１が所定の閾値範囲から外れていれば、アラートが出力される。この方法によれば、理想的な爪の状態が登録されていない利用者についても、爪の長さが適切か否かを判定できる。
　＜バリエーション７＞
　手洗い認識システム１００は、利用者の手指に傷があると判定したときには、過去のデータと比較して、傷の状態が改善しているか悪化しているかを推定してもよい。例えば、傷に対応する領域が大きくなっている場合、或いは、傷の数が増加した場合は、傷の状態が悪化していると推定される。
　過去に検出された傷が新たな入力画像では検出されなかったときには、その傷が検出されたときから現在までの期間が算出される。そして、この期間が、傷の治癒に要すると推定される期間より短ければ、手洗い認識システム１００は、以下の処理を行う。
（１）傷が治癒したか否かを本人に確認する。
（２）傷が治癒したか否かの確認を管理者に依頼する。
（３）該当箇所がより鮮明に見えるように撮影を行い、再度、傷検知処理を行う。
　＜バリエーション８＞
　手洗い認識システム１００は、利用者またはその管理者を識別するために、生体情報取得装置を備えてもよい。この場合、手洗い認識システム１００は、例えば、手のひら静脈認証または顔認証を行う。また、各利用者または各管理者が個人認証ＩＣチップを携帯するときは、手洗い認識システム１００は、個人認証ＩＣチップを読み取る機能を備えてもよい。
　＜バリエーション９＞
　手洗い認識システム１００は、利用者の状況を表す情報を受け付ける機能を備えてもよい。例えば、利用者は、この機能を利用して自分の状況（「業務開始前」「トイレに行った直後」など）を表す情報を入力する。そうすると、手洗い認識システム１００は、利用者から入力された情報に応じて手洗いフローを変更してもよい。例えば、「トイレに行った直後」であれば、手洗い認識システム１００は、利用者に対して、手を擦る回数を増やすことを指示してもよい。
　＜バリエーション１０＞
　手洗い認識システム１００は、利用者ごとに、手洗い認識の結果を記録する機能を備えてもよい。例えば、傷の有無、傷の位置、大きさ、種類などが記録される。また、傷に対する処置（絆創膏の貼り付け、ビニール手袋の装着など）が行われたことが記録される。汚れ／装飾品の有無、および汚れ／装飾品の位置、大きさ、種類を記録してもよい。加えて、手洗い終了後に、汚れが除去されたことが記録される。
　上述のようにして各利用者のデータが記録されるケースでは、手洗い認識システム１００は、複数の利用者のデータを利用して、手洗い認識に係わるパラメータを調整してもよい。例えば、異常候補を検出するためのパラメータ、および異常候補の種別を判定するためのパラメータを調整してもよい。
　＜バリエーション１１＞
　手洗い認識システム１００は、利用者の手の形状および／または動きを認識する機能を備えてもよい。この場合、予め決められた形状または動きが撮像装置１０により撮影される。そうすると、手洗い認識システム１００は、その形状または動きに対応する処理を実行する。この構成によれば、手指が汚れている場合であっても、利用者は、非接触で手洗い認識システム１００に指示を与えることが可能である。
　＜バリエーション１２＞
　手洗い認識システム１００は、撮像装置１０のレンズの汚れを検知する機能を備えてもよい。例えば、保存部３０には、撮影範囲内に利用者の手指がないときの基準画像が保存されている。この場合、手洗い認識システム１００は、手洗い認識処理の開始前（即ち、利用者が撮影範囲内に手指を位置させる前）に、撮像装置１０により撮影される画像を取得する。そして、取得した画像と基準画像とを比較することで、レンズの汚れが検知される。
　レンズの汚れが検知されたときは、手洗い認識システム１００は、管理者または利用者にレンズの汚れの除去を依頼する。その後、手洗い認識システム１００は、予め決められた確認手順を実行し、レンズの汚れが除去されたか否かを確認する。
　＜バリエーション１３＞
　手洗い認識システム１００は、光学的に空間に映像を投影する映像投影機を備えてもよい。この場合、映像投影機は、検出された傷、汚れ、装飾品などの周辺にアラート映像を投影する。また、映像投影機は、検出された傷、汚れ、装飾品に対処する方法を表す映像を投影してもよい。さらに、手洗い認識システム１００は、映像投影機を利用して、正しい手の位置を案内する映像を投影してもよい。
１０　撮像装置
２０　プロセッサ
２１　異常候補検出部
２２　異常種別判定部
２３　手洗い指示生成部
３０　保存部
１００　手洗い認識システム
 

Claims (14)

  1. 　撮像部と、
    　手洗い前に前記撮像部により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、手洗い後に前記撮像部により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出する検出部と、
    　前記第１の異常候補と前記第２の異常候補との比較に基づいて、前記利用者の手の異常の種別を判定する異常種別判定部と、
    　を備える手洗い認識システム。
  2. 　前記異常種別判定部により判定された異常の種別に基づいて手洗いに係わる指示を生成する指示生成部をさらに備える
    　ことを特徴とする請求項１に記載の手洗い認識システム。
  3. 　過去の前記利用者の手の状態を表す基準画像を保存する保存部をさらに備え、
    　前記検出部は、前記基準画像と前記第１の画像とを比較することで前記第１の異常候補を検出する
    　ことを特徴とする請求項１に記載の手洗い認識システム。
  4. 　過去の前記利用者の手の状態を表す基準画像を保存する保存部をさらに備え、
    　前記検出部は、前記基準画像と前記第２の画像とを比較することで前記第２の異常候補を検出する
    　ことを特徴とする請求項１に記載の手洗い認識システム。
  5. 　前記第１の異常候補および前記第２の異常候補が同じ領域から検出され、且つ、前記第１の異常候補の形状および前記第２の異常候補の形状が互いに異なるときは、前記指示生成部は、さらに手洗いを行うことを前記利用者に指示する
    　ことを特徴とする請求項２に記載の手洗い認識システム。
  6. 　前記指示生成部は、手を洗うための洗剤の変更を前記利用者に指示する
    　ことを特徴とする請求項５に記載の手洗い認識システム。
  7. 　前記指示生成部は、前記第２の異常候補の位置に基づいて、前記利用者が行う手洗い動作を前記利用者に指示する
    　ことを特徴とする請求項５に記載の手洗い認識システム。
  8. 　前記指示生成部は、前記第１の異常候補または前記第２の異常候補の色成分に基づいて手洗いの動作フローを前記利用者に指示する
    　ことを特徴とする請求項２に記載の手洗い認識システム。
  9. 　前記第１の異常候補および前記第２の異常候補が同じ領域から検出され、且つ、前記第１の異常候補の形状および前記第２の異常候補の形状が互いに同じまたはほぼ同じであるときは、前記異常種別判定部は、前記第２の異常候補が前記利用者の手の傷であると判定し、
    　前記指示生成部は、前記傷の処置を行うことを前記利用者に指示する
    　ことを特徴とする請求項２に記載の手洗い認識システム。
  10. 　前記異常種別判定部は、前記第１の異常候補の位置および形状に基づいて、前記第１の異常候補が装飾品であるか否かを判定し、
    　前記第１の異常候補が装飾品であると判定されたときは、前記指示生成部は、前記装飾品を外すことを前記利用者に指示する
    　ことを特徴とする請求項２に記載の手洗い認識システム。
  11. 　所定の装飾品を表す基準画像を保存する保存部をさらに備え、
    　前記異常種別判定部は、前記第１の画像と前記基準画像とを比較することで、前記第１の異常候補が装飾品であるか否かを判定し、
    　前記第１の異常候補が装飾品であると判定されたときは、前記指示生成部は、前記装飾品を外すことを前記利用者に指示する
    　ことを特徴とする請求項２に記載の手洗い認識システム。
  12. 　撮像部と、
    　利用者の過去の手の状態を表す基準画像を保存する保存部と、
    　前記基準画像から前記利用者の手に存在する第１の異常候補を検出し、手洗い後に前記撮像部により撮影された画像から前記利用者の手に存在する第２の異常候補を検出する検出部と、
    　前記第１の異常候補と前記第２の異常候補との比較に基づいて、前記利用者の手の異常の種別を判定する異常種別判定部と、
    　を備える手洗い認識システム。
  13. 　手洗い前に撮像装置により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、
    　手洗い後に前記撮像装置により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出し、
    　前記第１の異常候補と前記第２の異常候補との比較に基づいて、前記利用者の手の異常の種別を判定する
    　ことを特徴とする手洗い認識方法。
  14. 　手洗い前に撮像装置により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、
    　手洗い後に前記撮像装置により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出し、
    　前記第１の異常候補と前記第２の異常候補との比較に基づいて、前記利用者の手の異常の種別を判定する
    　処理をプロセッサに実行させる手洗い認識プログラム。
     
     
PCT/JP2020/020403 2020-05-22 2020-05-22 手洗い認識システムおよび手洗い認識方法 WO2021234972A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080100823.5A CN115552465A (zh) 2020-05-22 2020-05-22 洗手识别系统以及洗手识别方法
EP20936695.4A EP4156099A4 (en) 2020-05-22 2020-05-22 HAND WASH RECOGNITION SYSTEM AND METHOD
JP2022524859A JP7420240B2 (ja) 2020-05-22 2020-05-22 手洗い認識システムおよび手洗い認識方法
PCT/JP2020/020403 WO2021234972A1 (ja) 2020-05-22 2020-05-22 手洗い認識システムおよび手洗い認識方法
US17/972,866 US20230043484A1 (en) 2020-05-22 2022-10-25 Handwash monitoring system and handwash monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020403 WO2021234972A1 (ja) 2020-05-22 2020-05-22 手洗い認識システムおよび手洗い認識方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/972,866 Continuation US20230043484A1 (en) 2020-05-22 2022-10-25 Handwash monitoring system and handwash monitoring method

Publications (1)

Publication Number Publication Date
WO2021234972A1 true WO2021234972A1 (ja) 2021-11-25

Family

ID=78708333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020403 WO2021234972A1 (ja) 2020-05-22 2020-05-22 手洗い認識システムおよび手洗い認識方法

Country Status (5)

Country Link
US (1) US20230043484A1 (ja)
EP (1) EP4156099A4 (ja)
JP (1) JP7420240B2 (ja)
CN (1) CN115552465A (ja)
WO (1) WO2021234972A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115413951A (zh) * 2022-08-31 2022-12-02 中国人民解放军陆军军医大学第一附属医院 一种洗手液感应出液装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6450939A (en) * 1987-08-21 1989-02-27 Hitachi Ltd Evaluating apparatus of detergency
JP2002085271A (ja) 2000-09-14 2002-03-26 Ikari Shodoku Kk 衛生管理装置
JP2016186438A (ja) * 2015-03-27 2016-10-27 高電工業株式会社 衛生管理システム、混合物及び吐出容器
JP2017134712A (ja) 2016-01-29 2017-08-03 アース環境サービス株式会社 手洗い監視システム
JP2018117981A (ja) 2017-01-27 2018-08-02 富山県 手指衛生管理装置、手指衛生管理システムおよび手指衛生管理方法
JP2020018674A (ja) 2018-08-02 2020-02-06 株式会社テックコーポレーション 手洗監視システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852115B (zh) * 2018-07-23 2022-05-03 青岛海尔洗衣机有限公司 自动洗手装置及洗手方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6450939A (en) * 1987-08-21 1989-02-27 Hitachi Ltd Evaluating apparatus of detergency
JP2002085271A (ja) 2000-09-14 2002-03-26 Ikari Shodoku Kk 衛生管理装置
JP2016186438A (ja) * 2015-03-27 2016-10-27 高電工業株式会社 衛生管理システム、混合物及び吐出容器
JP2017134712A (ja) 2016-01-29 2017-08-03 アース環境サービス株式会社 手洗い監視システム
JP2018117981A (ja) 2017-01-27 2018-08-02 富山県 手指衛生管理装置、手指衛生管理システムおよび手指衛生管理方法
JP2020018674A (ja) 2018-08-02 2020-02-06 株式会社テックコーポレーション 手洗監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4156099A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115413951A (zh) * 2022-08-31 2022-12-02 中国人民解放军陆军军医大学第一附属医院 一种洗手液感应出液装置
CN115413951B (zh) * 2022-08-31 2024-01-16 中国人民解放军陆军军医大学第一附属医院 一种洗手液感应出液装置

Also Published As

Publication number Publication date
US20230043484A1 (en) 2023-02-09
CN115552465A (zh) 2022-12-30
JP7420240B2 (ja) 2024-01-23
JPWO2021234972A1 (ja) 2021-11-25
EP4156099A1 (en) 2023-03-29
EP4156099A4 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
Mihailidis et al. The use of computer vision in an intelligent environment to support aging-in-place, safety, and independence in the home
JP6305448B2 (ja) 手洗い監視システム
EP2772828B1 (en) Individual body discrimination device and individual body discrimination method
US20160189371A1 (en) System and method for predicting neurological disorders
US20120140054A1 (en) Intelligent hand washing monitoring system
JP2010257441A (ja) 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
CN111695542A (zh) 一种视频监控细粒度分析方法与系统
WO2021234972A1 (ja) 手洗い認識システムおよび手洗い認識方法
Czarnuch et al. A real-world deployment of the COACH prompting system
Kye et al. Multimodal data collection framework for mental stress monitoring
JP2021174488A (ja) 手洗い評価装置および手洗い評価プログラム
EA201990408A1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
JP2018185717A (ja) 健康管理システムおよび健康管理方法
JP6302007B2 (ja) クリーンルーム入室者の清浄度管理方法及び管理システム
WO2020115930A1 (ja) 手順検知装置、および手順検知プログラム
JP7447998B2 (ja) 手洗い認識システムおよび手洗い認識方法
Park et al. Facial and eye gaze detection
JP7463792B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
KR20140114283A (ko) 정보 처리 장치
JP2006133937A (ja) 動作識別装置
Mohammadi et al. A fast and adaptive video-based method for eye blink rate estimation
JP2022019356A (ja) 手洗い評価システムとその方法
JP2020201755A (ja) 集中度計測装置、集中度計測方法、およびプログラム
JP7476599B2 (ja) 情報処理システム、及び情報処理方法
WO2021234845A1 (ja) 情報処理装置、感情推定方法、及び感情推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20936695

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022524859

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020936695

Country of ref document: EP

Effective date: 20221222

NENP Non-entry into the national phase

Ref country code: DE