JP7447998B2 - 手洗い認識システムおよび手洗い認識方法 - Google Patents

Description

本発明は、人の手洗い動作を認識するシステム、方法、およびプログラムに係わる。

世界的なウイルスの流行または食中毒の防止等の観点から、衛生管理行動の１つである「手洗い」が注目されている。たとえば、厚生労働省は、衛生的な手洗い方法を示している。また、ＨＡＣＣＰ（Hazard Analysis and Critical Control Point）は、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。

このような状況において、下記のステップを含む手洗い監視方法が提案されている。画像取得ステップは、手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む。手領域抽出ステップは、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する。手洗い開始判定ステップは、フレーム画像から手洗いが開始されたか否かを判定する。洗い方認識ステップは、フレーム画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する。擦り判定ステップは、識別された洗い方が所定の順番の洗い方である場合に、当該洗い方に秒数加算していくことにより当該洗い方についての擦り状態の良否を判定する。手洗い終了判定ステップは、フレーム画像から手洗いの終了を判定する。（例えば、特許文献１）
加えて、特許文献２には、ユーザが手洗いを行う状況に応じて適切な手洗い動作をユーザに促すことができる方法が記載されている。特許文献３には、作業者に正しい動作で手洗い作業を遂行させる方法が記載されている。

特開２０１７－１３４７１２号公報 特開２０１３－１８００４６号公報 特開２０１９－２１９５５４号公報

手洗いにおいては、洗剤（石鹸、薬品を含む）を使用することが多い。ところが、従来の技術では、洗剤が適切に使用されているかについての判定が行なわれていない。

本発明の１つの側面に係わる目的は、洗剤を適切に使用して手洗いが行われたか否かを精度よく判定する方法を提供することである。

本発明の１つの態様に係わる手洗い認識システムは、撮像部と、前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、を備える。

上述の態様によれば、洗剤を適切に使用して手洗いが行われたか否かを精度よく判定できる。

本発明の実施形態に係わる手洗い認識システムの一例を示す図である。 手洗い動作の一例を示す図である。 手洗い認識システムによる判定方法の一例を示す図である。 手洗い認識システムの処理の一例を示すフローチャートである。 洗剤泡を判定する処理の一例を示すフローチャートである。 手洗い認識システムの動作の一例を示す図である。 泡量判定のための閾値の一例を示す図である。 泡量判定のための閾値の他の例を示す図である。 泡量判定のための閾値のさらに他の例を示す図である。

図１は、本発明の実施形態に係わる手洗い認識システムの一例を示す。本発明の実施形態に係わる手洗い認識システム１００は、図１に示すように、撮像装置１０、手領域抽出部２１、洗剤泡領域検出部２２、姿勢検出部２３、動き検出部２４、判定部２５、記憶装置３０、および表示装置４０を備える。なお、手洗い認識システム１００は、図１に示していない他の機能またはデバイスを備えてもよい。

手洗い認識システム１００は、人の手洗い動作を認識し、手洗い動作が正しく行われているか否かを判定する。ここで、手洗い認識システム１００がモニタする手洗い動作は、予め決められた複数の動作ステップを含むものとする。具体的には、特に限定されるものではないが、手洗い動作は、図２に示す動作ステップ１～６を含む。なお、動作ステップ１～６は、下記の通りである。
ステップ１：流水で手のひらを濡らした後、洗剤をつけて手のひらを擦り合わせる。
ステップ２：一方の手のひらで他方の手の甲を擦る。
ステップ３：指先と爪との間を洗う。
ステップ４：指と指との間を洗う。
ステップ５：親指およびその付け根をねじりながら洗う。
ステップ６：手首を洗う。

撮像装置１０は、例えばデジタルカメラであり、撮影によりカラー画像を取得する。ここで、撮像装置１０は、所定の時間間隔（たとえば、３０フレーム／秒）で画像を取得する。よって、撮像装置１０は、実質的に、動画像を取得できる。また、撮像装置１０は、例えば、人が手を洗うシンクの上方に設置される。そして、撮像装置１０は、人が手を洗っている動作を撮影する。なお、以下の記載では、撮像装置１０により手洗い動作が撮影される人を「利用者」と呼ぶことがある。利用者は、特に限定されるものではないが、例えば、食品等関連事業者の作業者である。

手領域抽出部２１は、撮像装置１０により撮影された画像から利用者の手に対応する手領域を抽出する。入力画像から手領域を抽出する方法は、特に限定されるものではなく、公知の技術により実現される。たとえば、手領域抽出部２１は、泡を含む手洗い時の手領域を学習済みのセマンティックセグメンテーションを利用して入力画像から抽出してもよい。

洗剤泡領域検出部２２は、手領域抽出部２１により抽出される手領域おいて、予め指定された色成分を検出する。ここで、洗剤泡領域検出部２２は、例えば、予め指定された洗剤に対応する色成分を検出する。この場合、この色成分が検出される領域は、利用者の手に付着している洗剤泡に相当すると推定される。したがって、洗剤泡領域検出部２２は、利用者の手に付着している洗剤泡を検出することができる。なお、以下の記載では、手領域内で予め指定された色成分を有する領域を「洗剤泡領域」と呼ぶことがある。また、以下の記載では、洗剤は、石鹸および薬品を含むものとする。

洗剤泡の色は、多くのケースにおいて、白色に近いグレーである。よって、洗剤泡領域検出部２２は、例えば、手領域内でグレー成分を検出することにより洗剤泡領域を検出する。ただし、洗剤ごとに洗剤泡の色は異なる。よって、利用者が使用する洗剤の種別が既知である場合には、洗剤泡領域検出部２２は、その洗剤に対応する色成分を検出することが好ましい。例えば、殺菌性の強い薬用石鹸の中には、泡の色が黄色のものがある。この場合、洗剤泡領域検出部２２は、手領域内で黄色成分を検出することにより洗剤泡領域を検出する。

姿勢検出部２３は、手領域の形状に基づいて、利用者が予め決められた複数の動作ステップの中のどの動作ステップを行っているのかを検出する。この実施例では、図２に示す６つの動作ステップを順番に行うことが推奨されているものとする。この場合、姿勢検出部２３は、利用者が動作ステップ１～６の中のどの動作を行っているのかを認識する。なお、記憶装置３０には、各動作ステップを認識するために予め作成された特徴量データが保存されている。特徴量データは、例えば、左右の手の姿勢および指の角度などを表す。また、姿勢検出部２３は、この特徴量データを利用して、画像分類ディープラーニングで動作ステップを認識してもよい。

動き検出部２４は、手領域の動きに基づいて、利用者の繰返し動作の回数をカウントする。例えば、動き検出部２４は、一方の手のひらで他方の手の甲を擦る動作の繰返し回数をカウントする。なお、動き検出部２４は、たとえば、時系列に得られる複数の画像フレームから画像変化の周期を検出するディープラーニングで繰返し回数をカウントしてもよい。一例としては、動き検出部２４は、Live Repetition Counting等を使用して繰返し回数をカウントする。

判定部２５は、手領域に対する洗剤泡領域の割合に基づいて、利用者の手洗い動作が所定の条件を満たすか否かを判定する。例えば、十分な量の洗剤を使用して正しい手洗い動作が行われているか否かが判定される。ここで、利用者が十分な量の洗剤を使用して正しい手洗い動作を行えば、十分な量の洗剤泡が発生するものとする。すなわち、手領域の面積に対する洗剤泡領域の面積の割合が大きいほど、利用者の手に付着している洗剤泡の量が多いと推定される。よって、この場合、判定部２５は、手領域の面積に対する洗剤泡領域の面積の割合が所定の割合閾値より大きいときに、利用者の手洗い動作が条件を満たすと判定する。なお、手領域の面積は、手領域内の画素の数をカウントすることで計算される。また、洗剤泡領域の面積は、手領域内で指定された色成分の画素の数をカウントすることで計算される。

判定部２５は、図２に示す動作ステップ毎に、利用者の手洗い動作が適切に行われたか否かを判定してもよい。利用者がどの動作ステップを行っているのかは、姿勢検出部２３により検出される。また、洗剤泡の量が適切か否かを判定するための割合閾値は、動作ステップ毎に設定されることが好ましい。なお、割合閾値は、例えば、判定パラメータとして記憶装置３０に保存されている。

判定部２５は、各動作ステップにおいて、繰返し動作が所定回数行われたか否かを判定してもよい。例えば、判定部２５は、動作ステップ２において一方の手のひらで他方の手の甲を擦る動作が１０回以上行われたか否かを判定する。なお、繰返し回数の閾値は、例えば、判定パラメータとして記憶装置３０に保存されている。

表示装置４０は、判定部２５による判定結果を表示する。例えば、手洗い動作が正しく行われたときは、表示装置４０に「ＯＫ」が表示される。一方、手洗い動作が正しく行われなかったときは、手洗い動作が正しく行われなかったことを表すメッセージが表示装置４０に表示される。この場合、動作ステップ毎にメッセージが表示されてもよい。また、改善すべき内容を表すメッセージが表示されてもよい。例えば、「泡が足りません」あるいが「もっと擦ってください」等のメッセージが表示装置４０に表示される。

なお、手領域抽出部２１、洗剤泡領域検出部２２、姿勢検出部２３、動き検出部２４、判定部２５は、プロセッサ２０が手洗い認識プログラムを実行することで実現される。すなわち、プロセッサ２０が手洗い認識プログラムを実行することにより、手領域抽出部２１、洗剤泡領域検出部２２、姿勢検出部２３、動き検出部２４、判定部２５の機能が提供される。この場合、手洗い認識プログラムは、例えば、記憶装置３０に保存されている。或いは、プロセッサ２０は、不図示の可搬型記録媒体に記録されている手洗い認識プログラムを実行してもよい。さらに、プロセッサ２０は、不図示のプログラムサーバから手洗い認識プログラムを取得して実行してもよい。

図３は、手洗い認識システム１００による判定方法の一例を示す。この例では、撮像装置１０により撮影された画像がプロセッサ２０に与えられる。また、記憶装置３０には、利用者の手の姿勢を判定するための特徴量データおよび判定部２５が使用する判定パラメータが保存されている。

手領域抽出部２１は、入力画像から手領域を抽出する。姿勢検出部２３は、特徴量データを利用して、入力画像または手領域抽出部２１により得られる手領域データから、利用者の手の姿勢を検出する。具体的には、姿勢検出部２３は、図２に示す動作ステップ１～６の中から、利用者が行っている動作ステップを検出する。この例では、利用者が動作ステップ４を行っていると判定されている。

洗剤泡領域検出部２２は、手領域抽出部２１により抽出される手領域内で予め指定された色成分を検出する。この例では、手領域内のグレー画素、赤色画素、黄色画素の数がそれぞれカウントされる。そして、各色成分について、手領域内の全画素の数に対して、色成分ごとにカウントされた画素数の割合が計算される。この例では、グレー、赤色、黄色の割合がそれぞれ「０．４５」「０．５０」「０．０５」である。

判定部２５は、記憶装置３０に保存されている判定パラメータを利用して、利用者の手洗い動作が正しく行われたか否かを判定する。この例では、利用者が使用する洗剤が予め決まっており、その泡の色がグレーであるものとする。この場合、手領域内のグレー領域が洗剤泡領域に相当する。即ち、手領域に対する洗剤泡領域の割合は、「０．４５」である。また、各動作ステップに対して割合閾値が予め設定されている。この例では、動作ステップ４に対する割合閾値が「０．３５」である。

このケースでは、手領域に対する洗剤泡領域の割合は、動作ステップ４の割合閾値より大きい。すなわち、動作ステップ４において利用者の手に付着している洗剤泡の量は、動作ステップ４に対して設定されている必要量より多い。したがって、判定部２５は、動作ステップ４における手洗い動作が正しく行われたと判定する。この判定結果は、表示装置４０に表示される。

なお、図３に示す例では、動作ステップ４についての判定が行われているが、手洗い認識システム１００は、各動作ステップについて判定を行う。この場合、動作ステップ１～６が順番に行われることが好ましい。よって、手洗い認識システム１００は、手洗い動作が所定の順序で行われないときには、アラームメッセージを出力してもよい。なお、利用者が所定の順序で手洗い動作を行っているか否かは、姿勢検出部２３により判定される。

図４は、手洗い認識システム１００の処理の一例を示すフローチャートである。なお、撮像装置１０は、例えば、利用者がシンクの前に位置しているときには、継続的に撮影を行う。また、この実施例では、手洗い認識システム１００は、図２に示す動作ステップ１～６が順番に行われることをモニタするものとする。

Ｓ１１において、プロセッサ２０は、変数ｉを１に初期化する。変数ｉは、図２に示す動作ステップ１～６を識別する。Ｓ１２において、プロセッサ２０は、撮像装置１０により撮影される画像を取得する。なお、プロセッサ２０は、撮像装置１０により撮影される画像を継続的に取得するものとする。

Ｓ１３において、手領域抽出部２１は、プロセッサ２０が取得する画像から手領域を抽出する。手領域の抽出は、例えば、セマンティックセグメンテーションを利用して行われる。このとき、手領域抽出部２１は、利用者に対して、シンク内の所定のエリアで手を洗ってもらうように案内を行ってもよい。この場合、手領域抽出部２１は、入力画像中の所定のエリアから手領域を抽出できるので、画像認識の処理量が削減される。

Ｓ１４～Ｓ１５において、姿勢検出部２３は、入力画像および／または手領域抽出部２１により抽出される手領域に基づいて、利用者の手の姿勢を検出する。そして、姿勢検出部２３は、利用者の手の姿勢が、動作ステップｉにおける手の姿勢に合致するか否かを判定する。このとき、姿勢検出部２３は、記憶装置３０に保存されている特徴量データを参照し、Ｒｅｓｎｅｔ等のディープラーニングで判定を行ってもよい。

利用者の手の姿勢が動作ステップｉにおける手の姿勢に合致していないときは、プロセッサ２０の処理はＳ１２に戻る。このとき、姿勢検出部２３は、利用者に対して、動作ステップｉを行う旨のメッセージを出力してもよい。一方、利用者の手の姿勢が動作ステップｉにおける手の姿勢に合致していれば、プロセッサ２０の処理はＳ１６に進む。

Ｓ１６において、動き検出部２４は、動作ステップｉにおける繰返し動作の回数をカウントする。例えば、利用者により動作ステップ１が行われるときには、手のひらを擦り合わせる動作の回数がカウントされる。また、利用者により動作ステップ２が行われるときには、一方の手のひらで他方の手の甲を擦る動作がカウントされる。このとき、動き検出部２４は、ＬＲＣ（Live Repetition Counting）等で繰返し回数をカウントしてもよい。

Ｓ１７～Ｓ１８において、洗剤泡領域検出部２２は、利用者が適切な洗剤を使用して十分な泡量で手洗いを行っているか否かを判定する。なお、この判定については、後で図５を参照して説明する。

利用者が適切な洗剤を使用していない場合、或いは、泡量が十分でない場合は、プロセッサ２０の処理はＳ１２に戻る。このとき、判定部２５は、利用者に対して、適切な洗剤の使用を促すメッセージ、或いは、十分な泡量での手洗いを促すメッセージを出力してもよい。一方、利用者が適切な洗剤を使用し、且つ、泡量が十分なときは、プロセッサ２０の処理はＳ１９に進む。

Ｓ１９において、判定部２５は、Ｓ１６でカウントされた回数が適正であるか否かを判定する。一例としては、Ｓ１６でカウントされた回数が所定の閾値以上であるか否かが判定される。すなわち、閾値以上の回数の繰返し動作が行われていれば、判定部２５は、利用者が正しい手洗い動作を行ったと判定する。なお、閾値は、動作ステップ毎に設定されてもよい。

利用者による繰返し動作の回数が閾値より少ないときは、プロセッサ２０の処理はＳ１２に戻る。このとき、判定部２５は、利用者に対して、繰返し動作の回数が不足していることを表すメッセージを出力してもよい。一方、利用者による繰返し動作の回数が閾値以上であれば、プロセッサ２０は、Ｓ２０において、すべての動作ステップに対してＳ１２～Ｓ１９の処理を実行したか否かを判定する。この結果、Ｓ１２～Ｓ１９の処理が実行されていない動作ステップが残っていれば、Ｓ２１において、変数ｉがインクリメントされる。すなわち、次の動作ステップが選択される。この後、プロセッサ２０の処理はＳ１２に戻る。そして、すべての動作ステップに対してＳ１２～Ｓ１９の処理が完了すると、手洗い認識処理が終了する。

図５は、洗剤泡を判定する処理の一例を示すフローチャートである。このフローチャートの処理は、図４に示すフローチャートのＳ１７に対応し、洗剤泡領域検出部２２により実行される。なお、洗剤泡領域検出部２２がこのフローチャートの処理を実行する前に、利用者が行っている動作ステップが検出されているものとする。

Ｓ３１において、洗剤泡領域検出部２２は、プロセッサ２０が取得する画像から手領域を抽出する。なお、洗剤泡領域検出部２２は、手領域抽出部２１により抽出された手領域のデータを受け取ってもよい。

Ｓ３２において、洗剤泡領域検出部２２は、手領域内の色成分を検出する。このとき、洗剤泡領域検出部２２は、予め指定された１または複数の色成分を検出する。例えば、洗剤泡領域検出部２２は、利用者が使用することが想定される１または複数の洗剤の泡に対応する色成分を検出する。

Ｓ３３において、洗剤泡領域検出部２２は、Ｓ３２で検出された色成分が、指定された洗剤の泡に対応する色成分を含んでいるか否かを判定する。たとえば、指定された洗剤の泡がグレーである場合、Ｓ３２においてグレー成分が検出されたか否かを判定する。そして、Ｓ３２で検出された色成分が指定された洗剤の泡に対応する色成分を含むときは、洗剤泡領域検出部２２は、利用者が適切な洗剤を使用していると判定する。この場合、洗剤泡領域検出部２２の処理はＳ３４に進む。

Ｓ３４において、洗剤泡領域検出部２２は、利用者の手に付着している洗剤泡の量を検出する。このとき、洗剤泡領域検出部２２は、手領域内で、指定された洗剤の泡に対応する色成分を検出する。すなわち、洗剤泡領域検出部２２は、洗剤泡領域を検出する。そして、洗剤泡領域検出部２２は、手領域の面積（または、手領域内の全画素数）に対して、洗剤泡領域の面積（または、洗剤泡領域の画素数）の割合を計算する。この割合は、利用者の手に付着している洗剤泡の量を表す。

Ｓ３５において、洗剤泡領域検出部２２または判定部２５は、Ｓ３４で検出された泡量（すなわち、手領域に対する洗剤泡領域の割合）と所定の閾値とを比較する。ここで、この実施例では、閾値は動作ステップ毎に設定されている。すなわち、洗剤泡領域検出部２２または判定部２５は、検出された泡量と動作ステップｉに対して設定されている閾値とを比較する。

検出された泡量が閾値より多いときは、判定部２５は、Ｓ３６において、利用者が動作ステップｉにおいて十分な量の洗剤泡で手洗いを行っていると判定する。すなわち、動作ステップｉが適切に行われたと判定される。一方、検出された泡量が閾値以下であるときには、判定部２５は、Ｓ３７において、動作ステップｉにおいて洗剤泡が不足していると判定する。すなわち、動作ステップｉが適切に行われていないと判定される。なお、Ｓ３２で検出された色成分が指定された洗剤の泡に対応する色成分を含まないときも、判定部２５は、Ｓ３７において、動作ステップｉが適切に行われていないと判定する。このように、洗剤泡領域検出部２２および判定部２５は、動作ステップｉにおいて利用者が適切な洗剤を使用して十分な泡量で手洗いを行っているか否かを判定する。

図６は、手洗い認識システム１００の動作の一例を示す。この実施例では、手洗い認識システム１００は、動作ステップ１～６が順番に行われるように、利用者に案内を提供する。具体的には、利用者がシンクの前に位置すると、図６に示すように、手洗い動作の手順を案内する画面が表示装置４０に表示される。

利用者に動作ステップ１を行ってもらうときには、図６（ａ）に示すように、動作ステップ１を表すイラストが強調される。また、動作ステップ１の説明文が表示される。ここで、「カウント」は、利用者により動作ステップ１の繰返し動作が行われた回数を表す。すなわち、利用者が所定の繰返し動作を行うと、カウント値が１ずつカウントアップされていく。そして、手洗い認識システム１００は、図４に示すフローチャートにおいて「ｉ＝１」の処理を実行する。

具体的には、手洗い認識システム１００は、入力画像から手領域を抽出すると共に、洗剤泡領域を検出する。また、動き検出部２４は、利用者による所定の動作（動作ステップ１では、手を擦り合わせる動作）の繰返し回数をカウントする。このとき、表示装置４０の画面上で、カウント値がカウントアップされていく。また、判定部２５は、手領域の面積に対する洗剤泡領域の面積の割合と所定の閾値とを比較する。そして、手領域の面積に対する洗剤泡領域の面積の割合が閾値より大きく、且つ、繰返し回数を表すカウント値が所定回数（例えば、１０回）に達すると、判定部２５は、動作ステップ１が適切に完了したと判定する。そうすると、判定部２５は、図６（ｂ）に示すように、動作ステップ１に対して「ＯＫ」を表示する。この表示により、利用者は、動作ステップ１を適切に行えたことを認識できる。

この後、手洗い認識システム１００は、次の動作ステップの案内を表示する。即ち、図６（ｂ）に示すように、動作ステップ２を表すイラストが強調され、動作ステップ２の説明文が表示される。以下、同様に、各動作ステップが適切に行われたか否かが１つずつ順番にチェックされる。したがって、利用者は、すべての動作ステップを適切に行うことができる。

＜泡量判定の閾値＞
上述したように、判定部２５は、手領域の面積に対する洗剤泡領域の面積の割合と閾値とを比較する。ここで、利用者が洗剤を使用して手洗いを行う場合、手に付着する泡の量は、時間が経緯するに連れて（即ち、手を擦る動作の繰返し回数が増えるに連れて）徐々に増えていくと推定される。すなわち、図２に示す動作ステップ１～６が順番に行われるときは、動作ステップ１から動作ステップ６に向って手に付着する泡の量が徐々に増えていくと推定される。したがって、泡量が適正か否かを判定するための閾値は、図７に示すように、動作ステップ１から動作ステップ６に向って徐々に大きくなるように設定してもよい。なお、図７に示す例では、洗剤泡の色がグレーであるものとしている。また、閾値は、判定パラメータとして図１に示す記憶装置３０に保存される。

ところで、手洗い動作は、多くのケースにおいて、利用者が手を周期的に動かす動作を含む。このため、入力画像から抽出される手領域の面積および／または洗剤泡領域の面積は、利用者が手を動かす周期に同期して変化する。すなわち、手領域および洗剤泡領域に基づいて計算される泡量（或いは、手領域の面積に対する洗剤泡領域の面積の割合）は、図８（ａ）に示すように、利用者が手を動かす周期に同期して変化する。

そこで、手洗い認識システム１００は、図８（ｂ）に示すように、動作ステップ毎に、利用者の繰返し動作の周期に応じて変化する閾値を使用してもよい。なお、図８（ｂ）に示す例では、「周期＝０」は泡量の極小値が現れるタイミングを表し、「周期＝０．５」は泡量のピーク値が現れるタイミングを表す。

さらに、図８（ａ）に示すように、利用者が手を擦り合わせる回数が増えるに連れて、手に付着する泡の量が増えていくと推定される。よって、手洗い認識システム１００は、図８（ｃ）に示すように、動作ステップ毎に、利用者の繰返し動作の周期およびその回数に応じて変化する閾値を使用してもよい。なお、図８（ｃ）に示す実施例では、「周期＝０、１、．．．」は泡量の極小が現れるタイミングを表し、「周期＝0.5、1.5、．．．」は泡量のピークが現れるタイミングを表す。

＜バリエーション１＞
利用者が複数の洗剤を使用するケースでは、手洗い認識システム１００は、洗剤ごとに手洗い動作をモニタすることが好ましい。例えば、利用者は、通常時は一般的な石鹸を使用し、特定の処理（例えば、汚物処理）の後には殺菌性の強い薬用石鹸を使用するかも知れない。この場合、手洗い認識システム１００は、洗剤の種別ごとに異なる閾値を利用して泡量が適切であるか否かを判定してもよい。

図９に示す例では、石鹸Ａおよび薬品Ｘに対してそれぞれ閾値範囲が設定されている。閾値範囲は、動作ステップごとに設定される。また、閾値範囲は、下限閾値および上限閾値で表される。ここで、この実施例では、石鹸Ａの泡の色がグレーであり、薬品Ｘの泡の色が黄色であるものとする。

手洗い認識システム１００は、利用者が使用する洗剤に対応する閾値範囲に基づいて泡量が適切か否かを判定する。ここで、洗剤の種別は、例えば、利用者により入力される。この場合、手洗い認識システム１００は、利用者が洗剤を選択するためのインタフェースを提供する。或いは、手洗い認識システム１００は、画像認識により、利用者が使用する洗剤を特定してもよい。例えば、各洗剤（石鹸Ａ、薬品Ｘ）の置き場所が予め決まっているときには、手洗い認識システム１００は、入力画像から利用者の手の位置および動きを検出することで利用者が選択した洗剤を認識できる。

手洗い認識システム１００は、利用者が使用する洗剤を認識した後、図４～図５に示すフローチャートの処理を実行する。このとき、判定部２５は、図９に示す閾値範囲を利用する。例えば、利用者が薬品Ｘを使用するときは、判定部２５は、動作ステップ１において、手領域の面積に対するグレー成分の面積の割合が０～０．０５であり、且つ、手領域の面積に対する黄色成分の面積の割合が０．１～０．２であるときに、泡量が適切と判定する。

＜バリエーション２＞
上述したように、動き検出部２４は、手領域の動きに基づいて、利用者の繰返し動作の回数をカウントする。例えば、動き検出部２４は、一方の手のひらで他方の手の甲を擦る動作の繰返し回数をカウントする。

ところが、所定回数の繰返し動作が行われても、繰返し動作が速すぎると、汚れが十分に除去されないことがある。そこで、動き検出部２４は、所定の周期で繰返し動作が行われたときに、その回数をカウントするようにしてもよい。例えば、手洗い認識システム１００は、手洗いの繰返し動作として好適な周期で案内音を出力する。そして、動き検出部２４は、案内音が出力される周期と同じまたはほぼ同じ周期の動きが検出される場合に、その動きの回数をカウントする。この機能によれば、利用者に適切な繰返し速度で手洗いを行わせることができる。

加えて、所定回数の繰返し動作が行われても、手の動きのストローク（或いは、往復運動の移動距離）が小さいときは、汚れが十分に除去されないことがある。そこで、動き検出部２４は、所定の閾値より大きいストロークで繰返し動作が行われたときに、その動きの回数をカウントしてもよい。

＜バリエーション３＞
手洗い認識システム１００による判定結果（途中経過を表す情報を含む）は、例えば、図６に示すように、表示装置４０に表示される。この場合、表示装置４０には、判定結果とともに、撮像装置１０により得られる画像が表示されるようにしてもよい。

ただし、表示装置４０は、より簡易な構成であってもよい。例えば、表示装置４０は、複数のＬＥＤで文字または記号を表すデバイスであってもよい。この場合、表示装置４０には、現在の動作ステップを識別する情報、繰返し回数を表すカウント値、各動作ステップが適切に完了したか否かを表す情報などが表示される。

また、手洗い認識システム１００は、投影装置を用いて判定結果（途中経過を表す情報を含む）を利用者に示してもよい。例えば、利用者は、手洗いを行っているときには、自分の手を見ることが多い。よって、手洗い認識システム１００は、繰返し動作のカウント値を利用者の手またはシンクに投影してもよい。また、手洗い認識システム１００は、手洗い動作の模範映像をシンク等に投影してもよい。

なお、手洗い認識システム１００は、非接触で利用者の指示を受け付ける機能を備えることが好ましい。例えば、手洗い認識システム１００は、利用者の音声を認識する機能を備えてもよい。また、手洗い認識システム１００は、利用者のジェスチャを認識する機能を備えてもよい。この機能を備える場合、手洗い前の状態の手が手洗い認識システム１００に接触することが回避される。

＜バリエーション４＞
上述のように、ＨＡＣＣＰは、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。このため、手洗い認識システム１００は、各利用者を認証する機能を備えることが好ましい。例えば、手洗い認識システム１００は、手の静脈を検出する静脈センサを備えてもよい。この場合、各利用者の静脈パターンが予め登録されている。そして、静脈センサにより検出される静脈パターンと登録されている静脈パターンとを照合することで利用者が特定される。或いは、手洗い認識システム１００は、カメラ画像による顔認証を行ってもよい。例えば、撮像装置１０がパンチルトズームカメラであれば、手洗い認識システム１００は、撮像装置１０の出力画像を利用して顔認証を行う。その後、手洗い認識システム１００は、撮像装置１０の撮影方向を変更し、手洗い認識を行う。なお、手洗い認識システム１００は、撮像装置１０とは別に、顔認証のためのカメラを備えてもよい。

１０ 撮像装置
２０ プロセッサ
２１ 手領域抽出部
２２ 洗剤泡領域検出部
２３ 姿勢検出部
２４ 動き検出部
２５ 判定部
３０ 記憶装置
４０ 表示装置
１００ 手洗い認識システム

Claims (7)

1. 撮像部と、
   前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、
   前記手領域の動きに基づいて前記利用者の繰返し動作の回数をカウントする動き検出部と、
   前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、
   前記手領域に対する前記洗剤泡領域の割合に基づいて前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、を備え、
   前記動き検出部は、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、前記繰返し動作の回数をカウントし、
   前記判定部は、前記割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
   ことを特徴する手洗い認識システム。
2. 前記検出部は、予め指定された洗剤に対応する色成分を有する洗剤泡領域を検出する
   ことを特徴とする請求項１に記載の手洗い認識システム。
3. 前記手領域の形状に基づいて、前記利用者が予め決められた複数の動作ステップの中のどの動作ステップを行っているかを検出する姿勢検出部をさらに備え、
   前記判定部は、前記姿勢検出部により検出された動作ステップに対応する割合閾値を使用して、前記利用者の手洗い動作が所定の条件を満たすか否かを判定する
   ことを特徴とする請求項１に記載の手洗い認識システム。
4. 前記割合閾値は、前記利用者が使用する洗剤の種別に基づいて設定される
   ことを特徴とする請求項１に記載の手洗い認識システム。
5. 撮像部と、
   前記撮像部により撮影された画像から利用者の手に対応する手領域を抽出する手領域抽出部と、
   前記手領域において予め指定された色成分を有する洗剤泡領域を検出する洗剤泡領域検出部と、
   前記撮像部により撮影された画像に基づいて前記利用者が使用する洗剤の種別を特定すると共に、前記手領域に対する前記洗剤泡領域の割合と、特定した洗剤の種別に対応して設定される割合閾値との比較に基づいて、前記利用者の手洗い動作が所定の条件を満たすか否かを判定する判定部と、を備える
   ことを特徴とする手洗い認識システム。
6. 手洗い認識プログラムを実行するプロセッサが行う手洗い認識方法であって、
   撮像装置により撮影された画像から利用者の手に対応する手領域を抽出し、
   前記手領域の動きに基づいて前記利用者の繰返し動作を検出する処理において、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、前記繰返し動作の回数をカウントし、
   前記手領域において予め指定された色成分を有する洗剤泡領域を検出し、
   前記手領域に対する前記洗剤泡領域の割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
   ことを特徴とする手洗い認識方法。
7. 撮像装置により撮影された画像から利用者の手に対応する手領域を抽出し、
   前記手領域の動きに基づいて前記利用者の繰返し動作を検出する処理において、前記繰返し動作の周期が指定された周期と同じまたはほぼ同じときに、前記繰返し動作の回数をカウントし、
   前記手領域において予め指定された色成分を有する洗剤泡領域を検出し、
   前記手領域に対する前記洗剤泡領域の割合が所定の割合閾値より大きく、且つ、前記利用者の繰返し動作の回数が所定の回数閾値より多いときに、前記利用者の手洗い動作が所定の条件を満たすと判定する
   処理をプロセッサに実行させる手洗い認識プログラム。

Images