JP7447998B2 - 手洗い認識システムおよび手洗い認識方法 - Google Patents
手洗い認識システムおよび手洗い認識方法 Download PDFInfo
- Publication number
- JP7447998B2 JP7447998B2 JP2022522161A JP2022522161A JP7447998B2 JP 7447998 B2 JP7447998 B2 JP 7447998B2 JP 2022522161 A JP2022522161 A JP 2022522161A JP 2022522161 A JP2022522161 A JP 2022522161A JP 7447998 B2 JP7447998 B2 JP 7447998B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- user
- area
- detergent
- hand washing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005406 washing Methods 0.000 title claims description 119
- 238000000034 method Methods 0.000 title claims description 38
- 239000003599 detergent Substances 0.000 claims description 120
- 239000006260 foam Substances 0.000 claims description 110
- 238000001514 detection method Methods 0.000 claims description 62
- 230000033001 locomotion Effects 0.000 claims description 62
- 230000009471 action Effects 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 12
- 230000003252 repetitive effect Effects 0.000 claims description 10
- 210000004247 hand Anatomy 0.000 description 26
- 230000006870 function Effects 0.000 description 8
- 239000000344 soap Substances 0.000 description 8
- 210000003462 vein Anatomy 0.000 description 6
- 239000003814 drug Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000000844 anti-bacterial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 206010016952 Food poisoning Diseases 0.000 description 1
- 208000019331 Foodborne disease Diseases 0.000 description 1
- VHCQVGQULWFQTM-VOTSOKGWSA-N Rubone Chemical compound COC1=CC(OC)=CC(O)=C1C(=O)\C=C\C1=CC(OC)=C(OC)C=C1OC VHCQVGQULWFQTM-VOTSOKGWSA-N 0.000 description 1
- VHCQVGQULWFQTM-UHFFFAOYSA-N Rubone Natural products COC1=CC(OC)=CC(O)=C1C(=O)C=CC1=CC(OC)=C(OC)C=C1OC VHCQVGQULWFQTM-UHFFFAOYSA-N 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
- G08B21/245—Reminder of hygiene compliance policies, e.g. of washing hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Description
加えて、特許文献2には、ユーザが手洗いを行う状況に応じて適切な手洗い動作をユーザに促すことができる方法が記載されている。特許文献3には、作業者に正しい動作で手洗い作業を遂行させる方法が記載されている。
ステップ1:流水で手のひらを濡らした後、洗剤をつけて手のひらを擦り合わせる。
ステップ2:一方の手のひらで他方の手の甲を擦る。
ステップ3:指先と爪との間を洗う。
ステップ4:指と指との間を洗う。
ステップ5:親指およびその付け根をねじりながら洗う。
ステップ6:手首を洗う。
上述したように、判定部25は、手領域の面積に対する洗剤泡領域の面積の割合と閾値とを比較する。ここで、利用者が洗剤を使用して手洗いを行う場合、手に付着する泡の量は、時間が経緯するに連れて(即ち、手を擦る動作の繰返し回数が増えるに連れて)徐々に増えていくと推定される。すなわち、図2に示す動作ステップ1~6が順番に行われるときは、動作ステップ1から動作ステップ6に向って手に付着する泡の量が徐々に増えていくと推定される。したがって、泡量が適正か否かを判定するための閾値は、図7に示すように、動作ステップ1から動作ステップ6に向って徐々に大きくなるように設定してもよい。なお、図7に示す例では、洗剤泡の色がグレーであるものとしている。また、閾値は、判定パラメータとして図1に示す記憶装置30に保存される。
利用者が複数の洗剤を使用するケースでは、手洗い認識システム100は、洗剤ごとに手洗い動作をモニタすることが好ましい。例えば、利用者は、通常時は一般的な石鹸を使用し、特定の処理(例えば、汚物処理)の後には殺菌性の強い薬用石鹸を使用するかも知れない。この場合、手洗い認識システム100は、洗剤の種別ごとに異なる閾値を利用して泡量が適切であるか否かを判定してもよい。
上述したように、動き検出部24は、手領域の動きに基づいて、利用者の繰返し動作の回数をカウントする。例えば、動き検出部24は、一方の手のひらで他方の手の甲を擦る動作の繰返し回数をカウントする。
手洗い認識システム100による判定結果(途中経過を表す情報を含む)は、例えば、図6に示すように、表示装置40に表示される。この場合、表示装置40には、判定結果とともに、撮像装置10により得られる画像が表示されるようにしてもよい。
上述のように、HACCPは、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。このため、手洗い認識システム100は、各利用者を認証する機能を備えることが好ましい。例えば、手洗い認識システム100は、手の静脈を検出する静脈センサを備えてもよい。この場合、各利用者の静脈パターンが予め登録されている。そして、静脈センサにより検出される静脈パターンと登録されている静脈パターンとを照合することで利用者が特定される。或いは、手洗い認識システム100は、カメラ画像による顔認証を行ってもよい。例えば、撮像装置10がパンチルトズームカメラであれば、手洗い認識システム100は、撮像装置10の出力画像を利用して顔認証を行う。その後、手洗い認識システム100は、撮像装置10の撮影方向を変更し、手洗い認識を行う。なお、手洗い認識システム100は、撮像装置10とは別に、顔認証のためのカメラを備えてもよい。
20 プロセッサ
21 手領域抽出部
22 洗剤泡領域検出部
23 姿勢検出部
24 動き検出部
25 判定部
30 記憶装置
40 表示装置
100 手洗い認識システム
Claims (7)
- 撮像部と、
前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、
前記手領域の動きに基づいて前記利用者の繰返し動作の回数をカウントする動き検出部と、
前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、
前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、を備え、
前記動き検出部は、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、前記繰返し動作の回数をカウントし、
前記判定部は、前記割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
ことを特徴する手洗い認識システム。 - 前記検出部は、予め指定された洗剤に対応する色成分を有する洗剤泡領域を検出する
ことを特徴とする請求項1に記載の手洗い認識システム。 - 前記手領域の形状に基づいて、前記利用者が予め決められた複数の動作ステップの中のどの動作ステップを行っているかを検出する姿勢検出部をさらに備え、
前記判定部は、前記姿勢検出部により検出された動作ステップに対応する割合閾値を使用して、前記利用者の手洗い動作が所定の条件を満たすか否かを判定する
ことを特徴とする請求項1に記載の手洗い認識システム。 - 前記割合閾値は、前記利用者が使用する洗剤の種別に基づいて設定される
ことを特徴とする請求項1に記載の手洗い認識システム。 - 撮像部と、
前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、
前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、
前記撮像部により撮影された画像に基づいて前記利用者が使用する洗剤の種別を特定すると共に、前記手領域に対する前記洗剤泡領域の割合と、特定した洗剤の種別に対応して設定される割合閾値との比較に基づいて、前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、を備える
ことを特徴とする手洗い認識システム。 - 手洗い認識プログラムを実行するプロセッサが行う手洗い認識方法であって、
撮像装置により撮影された画像から利用者の手に対応する手領域を抽出し、
前記手領域の動きに基づいて前記利用者の繰返し動作を検出する処理において、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、前記繰返し動作の回数をカウントし、
前記手領域において予め指定された色成分を有する洗剤泡領域を検出し、
前記手領域に対する前記洗剤泡領域の割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
ことを特徴とする手洗い認識方法。 - 撮像装置により撮影された画像から利用者の手に対応する手領域を抽出し、
前記手領域の動きに基づいて前記利用者の繰返し動作を検出する処理において、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、前記繰返し動作の回数をカウントし、
前記手領域において予め指定された色成分を有する洗剤泡領域を検出し、
前記手領域に対する前記洗剤泡領域の割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
処理をプロセッサに実行させる手洗い認識プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/019081 WO2021229710A1 (ja) | 2020-05-13 | 2020-05-13 | 手洗い認識システムおよび手洗い認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021229710A1 JPWO2021229710A1 (ja) | 2021-11-18 |
JP7447998B2 true JP7447998B2 (ja) | 2024-03-12 |
Family
ID=78525515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022522161A Active JP7447998B2 (ja) | 2020-05-13 | 2020-05-13 | 手洗い認識システムおよび手洗い認識方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230031042A1 (ja) |
EP (1) | EP4152257A4 (ja) |
JP (1) | JP7447998B2 (ja) |
CN (1) | CN115552466A (ja) |
WO (1) | WO2021229710A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071687B (zh) * | 2023-03-06 | 2023-06-06 | 四川港通医疗设备集团股份有限公司 | 一种手部清洁度检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726668A (zh) | 2018-12-25 | 2019-05-07 | 大连海事大学 | 基于计算机视觉的洗手及消毒流程规范性自动检测方法 |
JP2019219554A (ja) | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | 手洗い補助システム、手洗い補助方法及び手洗い補助装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002511923A (ja) * | 1997-02-18 | 2002-04-16 | シー. ジョンソン,レイモンド | 手洗いを監視するための装置および方法 |
JP5884554B2 (ja) | 2012-03-01 | 2016-03-15 | 住友電気工業株式会社 | 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム |
JP6305448B2 (ja) | 2016-01-29 | 2018-04-04 | アース環境サービス株式会社 | 手洗い監視システム |
IT201800008282A1 (it) * | 2018-08-31 | 2020-03-02 | Soapy Care Ltd | Sistema e metodo di lavaggio mani |
-
2020
- 2020-05-13 EP EP20935750.8A patent/EP4152257A4/en active Pending
- 2020-05-13 JP JP2022522161A patent/JP7447998B2/ja active Active
- 2020-05-13 WO PCT/JP2020/019081 patent/WO2021229710A1/ja unknown
- 2020-05-13 CN CN202080100372.5A patent/CN115552466A/zh active Pending
-
2022
- 2022-10-17 US US17/966,907 patent/US20230031042A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019219554A (ja) | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | 手洗い補助システム、手洗い補助方法及び手洗い補助装置 |
CN109726668A (zh) | 2018-12-25 | 2019-05-07 | 大连海事大学 | 基于计算机视觉的洗手及消毒流程规范性自动检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115552466A (zh) | 2022-12-30 |
JPWO2021229710A1 (ja) | 2021-11-18 |
EP4152257A4 (en) | 2023-06-28 |
WO2021229710A1 (ja) | 2021-11-18 |
US20230031042A1 (en) | 2023-02-02 |
EP4152257A1 (en) | 2023-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6467965B2 (ja) | 感情推定装置及び感情推定方法 | |
CN108197589B (zh) | 动态人体姿态的语义理解方法、装置、设备和存储介质 | |
JP7392348B2 (ja) | カメラシステムを使用した、ユーザの身体部分によって実行されるタスクの完了の評価のための方法、プログラム、及びシステム | |
JP6305448B2 (ja) | 手洗い監視システム | |
EP2845077A2 (en) | User input processing with eye tracking | |
Rea et al. | Human motion understanding for selecting action timing in collaborative human-robot interaction | |
KR20180020123A (ko) | 비동기 신호 처리 방법 | |
JP7447998B2 (ja) | 手洗い認識システムおよび手洗い認識方法 | |
US20230043484A1 (en) | Handwash monitoring system and handwash monitoring method | |
EA201990408A1 (ru) | Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания | |
JP2021174488A (ja) | 手洗い評価装置および手洗い評価プログラム | |
Ponce-López et al. | Non-verbal communication analysis in victim–offender mediations | |
CN114513694A (zh) | 评分确定方法、装置、电子设备和存储介质 | |
WO2020115930A1 (ja) | 手順検知装置、および手順検知プログラム | |
JP2007114885A (ja) | 画像の類似性による分類方法及び装置 | |
KR101939772B1 (ko) | 얼굴 감정 추론 방법 및 장치, 얼굴 감정 추론 시스템 및 컴퓨터 프로그램 기록 매체 | |
JP2023160899A (ja) | 集中度計測装置、集中度計測方法、およびプログラム | |
Ushaw et al. | An efficient application of gesture recognition from a 2D camera for rehabilitation of patients with impaired dexterity | |
JP6875028B1 (ja) | 手洗い評価装置および手洗い評価プログラム | |
CN112580543B (zh) | 行为识别方法、系统及装置 | |
WO2023006609A1 (en) | Personal care monitoring and feedback | |
Tong et al. | Exploiting dynamic dependencies among action units for spontaneous facial action recognition | |
KR102592951B1 (ko) | 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법 | |
JP7476599B2 (ja) | 情報処理システム、及び情報処理方法 | |
JP7283336B2 (ja) | 印象推定方法、印象推定プログラムおよび印象推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |