JP7476599B2 - 情報処理システム、及び情報処理方法 - Google Patents
情報処理システム、及び情報処理方法 Download PDFInfo
- Publication number
- JP7476599B2 JP7476599B2 JP2020052957A JP2020052957A JP7476599B2 JP 7476599 B2 JP7476599 B2 JP 7476599B2 JP 2020052957 A JP2020052957 A JP 2020052957A JP 2020052957 A JP2020052957 A JP 2020052957A JP 7476599 B2 JP7476599 B2 JP 7476599B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- washing
- washing action
- worker
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000005406 washing Methods 0.000 claims description 484
- 230000009471 action Effects 0.000 claims description 420
- 238000000034 method Methods 0.000 claims description 98
- 230000008569 process Effects 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 description 68
- 210000003811 finger Anatomy 0.000 description 46
- 210000004247 hand Anatomy 0.000 description 31
- 238000012549 training Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000009966 trimming Methods 0.000 description 10
- 210000003813 thumb Anatomy 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000003599 detergent Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 239000000344 soap Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
手指を清潔に保つための手洗い動作が適切に行われているか否かを、作業者を撮影した撮影画像に基づいて監視する監視装置に適用した実施形態について説明する。図1は監視装置の構成例を示すブロック図、図2は監視装置による撮影状態の例を示す模式図である。図2Aは、食品工場、薬品工場、医療機関、各種研究所、調理施設、店舗等の各施設に設けられた手洗いシンク(手洗い場)を天井側から見た状態を示しており、図2Bは、手洗いシンクを図2Aの右側から見た状態を示している。作業者は、例えば図2Aにおける下側、図2Bにおける左側に立った状態で手洗い動作を行う。なお、図2Aにおける上側及び図2Bにおける右側を作業者の正面側とする。
実施形態1の監視装置10で使用した手洗い動作判別モデルMの生成処理について説明する。なお、手洗い動作判別モデルMの学習は例えば所定の学習装置で行われ、学習装置で学習が行われて生成された学習済みの手洗い動作判別モデルMは、ネットワーク経由又は可搬型記憶媒体1a経由で学習装置から監視装置10にダウンロードされて記憶部12に記憶される。図7は、学習装置の構成例を示すブロック図である。学習装置50は、パーソナルコンピュータ、サーバコンピュータ等で構成されており、制御部51、記憶部52、通信部53、入力部54、表示部55、読み取り部56等を含み、これらの各部はバスを介して相互に接続されている。学習装置50の各部51~56は、実施形態1の監視装置10の各部11~15,18と同様であるので詳細な説明は省略する。なお、学習装置50の記憶部52は、制御プログラム52P及び手洗い動作判別モデルMのほかに、手洗い動作判別モデルMの学習に用いる訓練データが記憶してある訓練データDB(データベース)52aを記憶する。訓練データDB52aには、手洗い動作の種類を示す情報(正解ラベル)と、各種類の手洗い動作を実行中の作業者の手指を撮影した撮影画像とが対応付けられた訓練データが記憶されている。
複数種類の手洗い動作に対して行うべき順序が決められている場合に、作業者を撮影した撮影画像に基づいて、各手洗い動作が適切に行われているか否かを監視する監視装置について説明する。本実施形態の監視装置は、実施形態1の監視装置10と同様の構成を有するので、構成についての詳細な説明は省略する。なお、本実施形態の監視装置10は、図1に示す実施形態1の構成に加えて、記憶部12に動作順序DB12aを記憶している。
上述した実施形態1~3の監視装置10において、カメラ17の代わりに深度センサを用いる監視装置10について説明する。図11は、実施形態4の監視装置10の構成例を示すブロック図である。本実施形態の監視装置10は、図1に示す実施形態1の監視装置10において、カメラ17の代わりに深度センサ19を有する。深度センサ19以外の構成は、実施形態1と同様の構成であるので、詳細な説明は省略する。
11 制御部
12 記憶部
15 表示部
16 通知部
17 カメラ
19 深度センサ
M 手洗い動作判別モデル
Claims (9)
- 手洗いを行う作業者の手指を撮影する撮影部、又は、手洗いを行う作業者の手指までの距離を計測する測距部と、
前記撮影部が撮影した撮影画像、又は、前記測距部が計測した距離データに基づいて、前記作業者による手洗い動作の種類を特定する特定部と、
特定した前記手洗い動作の種類毎に、前記手洗い動作の進捗度を判定する判定部と、
前記手洗い動作の進捗度を通知する通知部と
を備え、
前記特定部は、撮影画像又は距離データが入力された場合に前記手洗い動作の種類に関する値を出力するように学習された学習モデルに、前記撮影部が撮影した撮影画像又は前記測距部が計測した距離データを入力して、前記学習モデルからの出力値に基づいて、前記手洗い動作の種類を特定し、
前記判定部は、前記学習モデルからの出力値に基づいて、前記手洗い動作の進捗度を判定する
情報処理システム。 - 手洗いを行う作業者の手指を撮影する撮影部、又は、手洗いを行う作業者の手指までの距離を計測する測距部と、
前記撮影部が撮影した撮影画像、又は、前記測距部が計測した距離データに基づいて、前記作業者による手洗い動作の種類を特定する特定部と、
特定した前記手洗い動作の種類毎に、前記手洗い動作の進捗度を判定する判定部と、
前記手洗い動作の進捗度を通知する通知部と、
前記判定部が前記手洗い動作の完了を判定する前に前記手洗い動作が中断された場合、異常終了を通知する異常通知部と
を備える情報処理システム。 - 前記通知部は、前記手洗い動作の種類毎に進捗度を通知し、
前記手洗い動作の種類毎に手本画像を表示する表示部
を更に備える請求項1又は2に記載の情報処理システム。 - 前記通知部は、前記手洗い動作の種類毎に進捗度を示すインジケータを含む
請求項3に記載の情報処理システム。 - 前記判定部は、前記手洗い動作の動作時間に基づき進捗度を判定する
請求項1から4までのいずれかひとつに記載の情報処理システム。 - 前記判定部は、複数種類の手洗い動作について所定の順序で進捗度を判定する
請求項1から5までのいずれかひとつに記載の情報処理システム。 - 前記作業者による手洗い動作の開始を検出する検出部
を更に備える請求項1から6までのいずれかひとつに記載の情報処理システム。 - 手洗いを行う作業者の手指を撮影した撮影画像、又は、手洗いを行う作業者の手指までの距離を計測した距離データを取得し、
撮影画像又は距離データが入力された場合に手洗い動作の種類に関する値を出力するように学習された学習モデルに、取得した撮影画像又は距離データを入力して前記作業者による手洗い動作の種類を特定し、
特定した前記手洗い動作の種類毎に、前記学習モデルからの出力値に基づいて、前記手洗い動作の進捗度を判定する
処理をコンピュータが実行する情報処理方法。 - 手洗いを行う作業者の手指を撮影した撮影画像、又は、手洗いを行う作業者の手指までの距離を計測した距離データを取得し、
取得した撮影画像又は距離データに基づいて、前記作業者による手洗い動作の種類を特定し、
特定した前記手洗い動作の種類毎に、前記手洗い動作の進捗度を判定し、
前記手洗い動作の完了を判定する前に前記手洗い動作が中断された場合、異常終了を通知する
処理をコンピュータが実行する情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052957A JP7476599B2 (ja) | 2020-03-24 | 2020-03-24 | 情報処理システム、及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052957A JP7476599B2 (ja) | 2020-03-24 | 2020-03-24 | 情報処理システム、及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021152759A JP2021152759A (ja) | 2021-09-30 |
JP7476599B2 true JP7476599B2 (ja) | 2024-05-01 |
Family
ID=77886555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020052957A Active JP7476599B2 (ja) | 2020-03-24 | 2020-03-24 | 情報処理システム、及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7476599B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090087028A1 (en) | 2006-05-04 | 2009-04-02 | Gerard Lacey | Hand Washing Monitoring System |
JP2012003364A (ja) | 2010-06-15 | 2012-01-05 | Nippon Hoso Kyokai <Nhk> | 人物動作判定装置およびそのプログラム |
JP2017134712A (ja) | 2016-01-29 | 2017-08-03 | アース環境サービス株式会社 | 手洗い監視システム |
JP2017138808A (ja) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2019219554A (ja) | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | 手洗い補助システム、手洗い補助方法及び手洗い補助装置 |
JP2020091739A (ja) | 2018-12-06 | 2020-06-11 | 株式会社 日立産業制御ソリューションズ | 手順検知装置、および手順検知プログラム |
-
2020
- 2020-03-24 JP JP2020052957A patent/JP7476599B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090087028A1 (en) | 2006-05-04 | 2009-04-02 | Gerard Lacey | Hand Washing Monitoring System |
JP2012003364A (ja) | 2010-06-15 | 2012-01-05 | Nippon Hoso Kyokai <Nhk> | 人物動作判定装置およびそのプログラム |
JP2017134712A (ja) | 2016-01-29 | 2017-08-03 | アース環境サービス株式会社 | 手洗い監視システム |
JP2017138808A (ja) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2019219554A (ja) | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | 手洗い補助システム、手洗い補助方法及び手洗い補助装置 |
JP2020091739A (ja) | 2018-12-06 | 2020-06-11 | 株式会社 日立産業制御ソリューションズ | 手順検知装置、および手順検知プログラム |
Non-Patent Citations (2)
Title |
---|
GALKIN Maria et al.,A Vision-Based Hygiene Monitoring System: Using Deep Learning to Assess Handwashing Procedure in Real Time,2019 IEEE MIT Undergraduate Research Technology Conference (URTC),米国,IEEE,2019年10月13日,p1-4,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9660498,DOI: 10.1109/URTC49097.2019.9660498 |
東秀賢,外2名,映像解析技術を用いた手洗い検査システムの開発,第8回データ工学と情報マネジメントに関するフォーラム,日本,電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会 ,2016年03月02日 |
Also Published As
Publication number | Publication date |
---|---|
JP2021152759A (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11923092B2 (en) | Deep-learning-based fall detection based on human keypoints | |
US11721105B2 (en) | System and method for monitoring clinical activities | |
US20210256835A1 (en) | System and method for monitoring clinical activities | |
WO2019239813A1 (ja) | 情報処理方法、情報処理プログラム及び情報処理システム | |
Ng et al. | Measuring gait variables using computer vision to assess mobility and fall risk in older adults with dementia | |
CN111524608B (zh) | 智能检测与防疫系统和方法 | |
Nguyen-Thai et al. | A spatio-temporal attention-based model for infant movement assessment from videos | |
WO2021186655A1 (ja) | 転倒リスク評価システム | |
Nagalakshmi Vallabhaneni | The analysis of the impact of yoga on healthcare and conventional strategies for human pose recognition | |
JP2021174488A (ja) | 手洗い評価装置および手洗い評価プログラム | |
JP7476599B2 (ja) | 情報処理システム、及び情報処理方法 | |
JP7463792B2 (ja) | 情報処理システム、情報処理装置及び情報処理方法 | |
JP7420240B2 (ja) | 手洗い認識システムおよび手洗い認識方法 | |
WO2020115930A1 (ja) | 手順検知装置、および手順検知プログラム | |
Kennedy et al. | Implementation of an Embedded Masked Face Recognition System using Huskylens System-On-Chip Module | |
CN112438723A (zh) | 认知功能评估方法、认知功能评估装置以及存储介质 | |
WO2021241293A1 (ja) | 行動体特定システム | |
CN109190495A (zh) | 性别识别方法、装置及电子设备 | |
JP7356954B2 (ja) | 手洗い評価システムとその方法 | |
JP7447998B2 (ja) | 手洗い認識システムおよび手洗い認識方法 | |
Sethi et al. | Multi‐feature gait analysis approach using deep learning in constraint‐free environment | |
Nainan et al. | Real Time Face Mask Detection Using MobileNetV2 and InceptionV3 Models | |
Camilus et al. | Automated hand hygiene compliance monitoring | |
CN112487980A (zh) | 基于微表情治疗方法、装置、系统与计算机可读存储介质 | |
Shahbandeh et al. | A deep learning based automated hand hygiene training system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7476599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |