JP7492850B2 - 衛生管理システム - Google Patents

Description

本発明は、作業者の手指洗浄作業を管理するための衛生管理システムに関するものである。

従来、医療関連感染や食中毒等の発生防止のため、飲食店や医療機関などの各種施設において作業者の手指衛生が徹底されることが望まれている。そのために、特許文献１に記載されているような手指衛生管理装置を用いて、作業者の手指衛生行動を機械によって自動的に評価することも行われてきた。

特開２０１８－１１７９８１号公報

しかしながら、特許文献１に記載の手指衛生管理装置では、作業者の手指衛生行動を、ドップラーセンサ、すなわち音を利用して評価するに過ぎないため、手指がどの程度こすり合わされたかについては評価できても、作業者の手指が実際にはどのような姿勢であるかについて評価を行うことができない。

手指衛生に万全を期すためには、単に手指をこすり合わせるだけではなく、手指の実際の姿勢を確認して、洗浄すべき箇所が確実に洗浄されたかを確認すべきであるが、ドップラーセンサを用いた評価では、そこまで詳細に評価を行うことができない。衛生管理者が作業者による手指洗浄作業を目視することで確実な確認を行うことが可能ではあるが、多数の作業者の一人一人に対して衛生管理者が目視を行うことは困難である。

そこで本発明は、作業者による手指洗浄作業に関して、実際の手指の姿勢を確認しつつ、自動的な判定を可能とすることを目的とする。

上記課題を解決するため、本発明に係る実施形態の一例としての衛生管理システムは、作業者の手指洗浄作業を管理するための衛生管理システムであって、前記作業者の手指を含む領域を撮影して手指画像を出力する少なくとも１つの手指撮影器と、前記手指画像に含まれる前記手指の姿勢が、前記手指洗浄作業において前記手指が取るべき姿勢として定められた複数の洗浄姿勢のいずれかに該当するか否かを判別する姿勢判別部と、前記姿勢判別部による判別の結果に基づいて、前記作業者の行う前記手指洗浄作業の合否を判定する合否判定部と、を備え、前記姿勢判別部は、ディープラーニング・モデルを用いて前記手指画像に含まれる前記手指の姿勢に関する判別を行い、前記ディープラーニング・モデルは、前記手指画像において前記手指がどのような状態で現れるのかについての学習データに基づいて作成されたディープラーニング・モデルであって、前記手指画像を入力データとして、それに対応する前記洗浄姿勢の情報を出力データとして返すものであり、前記姿勢判別部は、前記手指画像に含まれる前記手指の姿勢が、前記作業者から前記衛生管理システムに対して行われる複数の種類の通知に対応して予め定められた複数のジェスチャーのいずれかに該当するか否かについての判別を行うことが可能であり、前記複数の種類の通知には、前記手指洗浄作業の開始と、前記手指洗浄作業の強制終了が含まれ、前記姿勢判別部が前記手指画像に含まれる前記手指の姿勢が前記ジェスチャーのいずれかに該当することを判別すると、判別された前記ジェスチャーに対応する通知が前記衛生管理システムに行われ、前記作業者が前記手指洗浄作業を行う場所として定められた１人分の洗浄スペースごとに、前記手指撮影器と、前記作業者の顔画像を撮影する顔撮影器が設けられており、前記顔撮影器が撮影した前記作業者の顔画像に基づき、当該顔撮影器が設けられている前記洗浄スペースにおいて前記手指洗浄作業を行っている前記作業者の個人識別を行う作業者識別部が設けられており、前記姿勢判別部が前記手指画像に含まれる前記手指の姿勢が前記ジェスチャーのいずれかに該当することを判別して、判別された前記ジェスチャーに対応する通知が前記衛生管理システムに行われた場合に、前記ジェスチャーに対応する通知の種類と共に、その通知を行った前記作業者の個人識別情報が記録されることを特徴とする。

また好ましくは、前記手指撮影器は、前記手指撮影器から撮影対象までの距離を深度データとして検出する深度検出部を備えており、前記手指撮影器が出力した手指画像に含まれる領域のうち、前記作業者の手指が存在すると期待される手指領域を、前記深度データに基づいて切り出して、切り出した前記手指領域の画像を前記ディープラーニング・モデルへの入力データとする、手指領域切出部が設けられているとよい。

また好ましくは、前記合否判定部において、前記手指洗浄作業は、複数の洗浄工程を含むものとして管理されており、また、前記洗浄工程のそれぞれは、その洗浄工程において手指が取るべき姿勢として、複数の前記洗浄姿勢と対応付けられており、前記合否判定部は、複数の前記手指画像を用いて、前記作業者の前記手指の動きに関する判定を行うものであり、前記手指の動きが、特定の洗浄工程と対応付けられている複数の前記洗浄姿勢を含む動きである場合に、当該洗浄工程が進行しているものとして判定して、当該洗浄工程の進行時間を測定し、特定の洗浄工程の前記進行時間が、当該洗浄工程について予め定められた所要時間に達した場合に、当該洗浄工程が完了したものと判定し、前記手指洗浄作業に含まれる前記洗浄工程の全てが完了したと判定された場合に、手指洗浄作業が合格であると判定するとよい。

また好ましくは、前記作業者が前記手指洗浄作業を行う場所として定められた１人分の洗浄スペースごとに、前記手指撮影器と、前記作業者に対して画像を表示可能な作業用モニタが設けられており、前記作業用モニタには、当該作業用モニタが設けられている前記洗浄スペースにおいて行われている前記手指洗浄作業に含まれる複数の前記洗浄工程のそれぞれの進行度合いが表示されるとよい。

また好ましくは、前記ディープラーニング・モデルの基となる学習データには、手指単体の画像のほか、洗剤が付いた状態の手指の画像、および流水を浴びている状態の手指の画像も含まれるとよい。

本発明に係る実施形態の一例としての衛生管理システムによれば、作業者の実際の手指を撮影した手指画像を用いるため、手指の実際の姿勢に基づいて手指洗浄作業に関する判定を行うことができる。そして、手指が取るべき洗浄姿勢として、洗浄されるべき箇所（例えば指先）が洗浄される状態の姿勢が定められていれば、手指が洗浄姿勢を取っているか否かの判別に基づいて、洗浄されるべき箇所が確実に洗浄されているか否かを判定することとができる。また、手指画像を入力データとし、それに対応する洗浄姿勢の情報を出力データとして返すディープラーニング・モデルを用いて姿勢に関する判別を行うことで、手指画像に含まれている作業者の手指が洗浄姿勢を取っているか否かの判別を、複雑な画像処理を行わずとも高速かつ高精度に行うことができる。このため、システムのリアルタイム性が高くなる。また、システムに含まれる各種機器が過度に大型化、高価格化することがない。

また、深度データに基づいて手指画像から手指領域を切り出す場合には、ディープラーニング・モデルへの入力データに、手指以外の画像情報が含まれにくくなるため、ディープラーニング・モデルによる姿勢判別の精度が高くなる。

また、合否判定部が、手指の動きに関する判定を行う場合には、単に手指が特定の姿勢を取っているだけでなく、実際に動いているかどうかを判定することが可能となる。また、洗浄工程の進行時間を測定し、所要時間に達した場合に洗浄工程が完了したと判定することで、その洗浄工程により洗浄される手指の箇所が十分に洗浄されたことを確認することができる。また、洗浄工程の全てか完了したと判定された場合に手指洗浄作業が合格であると判定するため、洗浄されるべき手指の箇所の全てが洗浄されたことが確認された場合に合格とすることになる。

また、洗浄スペースごとに作業用モニタが設けられる場合には、作業者に対して洗浄工程のそれぞれの進行度合いが表示されるため、作業者は自分の手指洗浄作業が現在全体としてどの程度進行したか、あとはどの工程を行えばよいか、を認識することができる。

また、洗浄スペースごとに顔撮影器が設けられる場合には、その洗浄スペースで手指洗浄作業を行っているのが誰であるかを、自動的に識別することが可能となる。またこの識別において作業者の手動操作は必要ないため、作業者は、洗浄前の（衛生品質が十分でない）手指でシステムの構成要素に触れることなく、手指洗浄作業を開始することが可能となる。

また、手指単体の画像だけでなく、洗剤が付いた状態の手指の画像、および流水を浴びている状態の手指の画像も学習データに含まれる場合には、石鹸を泡立てている状態の手指や、水道の蛇口から流水を受けてすすぎを行っている状態の手指など、様々な状態の手指に対する姿勢判別精度が高くなる。

本発明に係る実施形態の一例としての衛生管理システムの構成を概略的に示すブロック図。 洗浄スペースにおける各種機器の配置の一例を示す図。 手指洗浄作業に含まれる複数の洗浄工程と代表的な洗浄姿勢の一例を概略的に示す図。 手指画像に関する学習データの一例を概略的に示す図。 洗浄工程と複数の洗浄姿勢との対応付けの一例を概略的に示す図。 作業用モニタに表示される画像の一例を示す図。

図１のブロック図に、本発明に係る実施形態の一例としての衛生管理システム１０の構成を概略的に示す。この衛生管理システム１０においては、飲食店や医療機関などの高い衛生品質が求められる各種施設の作業者２０による手指洗浄作業が管理対象となる。作業者２０は、その日の作業開始時や、手指１１の衛生品質が低下する行為を行った後（例えば病院や飲食店における嘔吐物処理作業後など）に、洗浄スペース２５にて手指洗浄作業を行う。

（洗浄スペース２５について）
洗浄スペース２５は手指洗浄作業に必要な流水や洗剤の供給装置（図１には図示せず）が設けられた作業場である（例えば洗面台）。洗浄スペース２５は、作業者２０の一人一人が個別のスペースを利用できるように、一人分のスペースごとに区分けされている。その一人分の洗浄スペース２５ごとに、手指撮影器３０と、顔撮影器３６と、作業用モニタ１２が配置されている。

図２に洗浄スペース２５における手指撮影器３０、顔撮影器３６、作業用モニタ１２の配置の例を示す。手指撮影器３０は作業者２０の手指２２を撮影するカメラ（撮影素子）を備えた機器であり、図２においては手指洗浄作業中の手指２２が位置する高さと同程度の高さで手指２２の側方から手指２２の撮影を行うように配置されている。

顔撮影器３６は作業者２０の顔２４を撮影するカメラ（撮影素子）を備えた機器であり、図２においては手指洗浄作業中の作業者２０の顔２４の正面上方から顔２４の撮影を行うように配置されている。

作業用モニタ１２は手指洗浄作業中の作業者２０に対して作業の補助となる各種情報を含んだ画像を表示可能なモニタ（例えば液晶ディスプレイ）であり、図２においては作業者２０の正面に配置されている。

（手指領域切出部３４について）
手指撮影器３０は、実際には手指２２単体ではなく手指２２を含む領域を撮影する。そのため、手指撮影器３０が撮影によって出力する手指画像には、手指２２のほかに作業者２０の腕（手首よりも体幹側）や洗浄スペース２５に配置された各種機器（例えば流水の蛇口や洗剤のディスペンサー）が写りこんでしまう。

そこで衛生管理システム１０には、手指画像から手指２２のみに関する情報を切り出すことが可能となるように、手指領域切出部３４が設けられている。この手指領域切出部３４は、手指画像の深度データを基に、手指が存在すると期待される手指領域を手指画像から切り出す。この姿勢判別部４０は、手指撮影器３０に組み込まれたプロセッサやソフトウェアであってもよいし、手指撮影器３０に接続された、手指撮影器３０とは別体の装置であってもよい。

深度データとは、手指画像において、撮影された物体（撮影対象）がそれぞれ手指撮影器３０からどれだけ離れた距離となっているかに関するデータである。手指撮影器３０は、この深度データを検出する深度検出部３２を備えている。深度検出部３２としては撮影対象の深度（手指撮影器３０からの距離）の検出に特化した深度センサを用いることができる。深度センサによる深度の検出方式は様々であるが、例えば赤外線を撮影対象に投射し、反射光が返ってくるまでの時間に基づき深度を検出するという方式が利用できる。また、手指撮影器３０が複数の撮影素子を備えたもの（例えばステレオカメラ方式の３Ｄカメラ）である場合、それらの撮影素子による撮影結果の視差に基づいて撮影対象の深度を算出することも可能である。その場合には、算出を行うプロセッサが深度検出部３２として利用できる。

洗浄スペース２５においては、手指洗浄作業用の機器（例えば流水の蛇口や洗剤のディスペンサー）が配置された位置の近くで手指２２の洗浄が行われるため、「この位置に手指２２が存在する」と期待される手指領域が予め設定可能である。あるいは洗浄スペース２５の管理者が、作業者２０に対して特定の領域で手指洗浄作業を行うように指導してもよい。すなわち、洗浄スペース２５における手指洗浄作業では、洗浄中の手指２２が手指撮影器３０からどの程度の深度に位置しているかはほぼ一定になっていると期待される。

したがって、手指領域切出部３４は、深度検出部３２が提供する深度データに基づき、手指画像の中から、手指の深度として期待される深度となっている領域を手指画像から切り出すことで、作業者２０の手指が存在すると記載される手指領域を切り出すことが可能である。この手指領域の画像には、手指２２（作業者の手首まで）のみが写っていることが期待される。

（洗浄姿勢について）
こうして切り出された手指領域の画像は、衛生管理システム１０の姿勢判別部４０に送信される。姿勢判別部４０は画像を扱う機能を備えたシステムの構成要素であり、典型的には洗浄スペース２５に設けられたコンピュータによって実装される。ただし姿勢判別部４０は手指撮影器３０（および手指領域切出部３４）と通信可能なものであればよいので、洗浄スペース２５に設けられた通信ユニットとネットワークを介して通信可能な遠隔地のコンピュータ（例えばサーバ装置）によって姿勢判別部４０が実装されていてもよい。姿勢判別部４０は、送信されてきた画像（手指画像の一部）に含まれている手指２２の姿勢が、予め定められた洗浄姿勢に該当するか否かの判別を行う。

洗浄姿勢とは、手指洗浄作業において手指が取るべき姿勢として定められた姿勢であり、複数の姿勢が洗浄姿勢として定義されている。図３に示すように、手指洗浄作業は順不同の複数の洗浄工程に細分することができる。そして、異なる洗浄工程では手指２２の異なる場所が洗浄されることとなるよう、洗浄工程に応じて手指２２は様々な姿勢を取る。図３には各洗浄工程における代表的な洗浄姿勢が示されており、例えば両手の掌が擦り合されている姿勢Ａ、右手の指と指の間にそれぞれ左手の指が一本ずつ差し込まれている姿勢Ｂなどが洗浄姿勢として定義されている。

（ディープラーニング・モデル４８について）
姿勢判別部４０は、手指画像内の手指２２が取っている姿勢が、洗浄姿勢のいずれかに該当しているか否かの判別を行う。このとき、姿勢判別部４０は、手指２２の姿勢判別のために構築されたディープラーニング・モデル４８を用いて姿勢判別を行う。

このディープラーニング・モデル４８は、何らかの入力データを受け取ると、その入力データに対応した出力データを返すという、入出力関係を記述したモデル（ＡＩモデル）であり、いわば一種の関数のような働きを持つ。本実施形態のディープラーニング・モデル４８は具体的には、手指画像を入力データとして受け取ると、その手指画像に写っている（含まれている）手指２２の姿勢がどの洗浄姿勢に該当するか（または、どの洗浄姿勢にも該当しないか）の情報を出力として返す。例えば複数の洗浄姿勢にそれぞれ識別番号（数値）が付されているならば、ディープラーニング・モデル４８は画像を入力として数値を出力する関数として機能する（なお、「どの洗浄姿勢にも該当しない」場合には特別な数値、例えば「０」や「ＮＵＬＬ」を返すとよい）。

ディープラーニング・モデル４８は実体としては、ディープラーニング・モデル４８のデータを記憶するモデル記憶部（例えばメモリ素子やストレージ）として実装される。このモデル記憶部は姿勢判別部４０（例えばコンピュータ）に組み込まれていてもよいし、姿勢判別部４０とは別体の、姿勢判別部４０と通信可能な機器（例えばネットワーク上のサーバ装置）に組み込まれていてもよい。

このディープラーニング・モデル４８は、予め学習データ６０に基づいて作成されたものである。この学習データ６０は、手指画像において手指２２がどのような状態で現れるのかについての大量のデータが蓄積されたものである。すなわち、学習データ６０とは、手指洗浄作業中において手指２２が取る様々な姿勢と、その姿勢がどの洗浄姿勢に該当するのか、が対応付けられたデータを例示データとして、複数の例示データが蓄積されたものである。

ここで、学習データ６０をどのようにして用意するかについては、例えばサンプル画像作成者（衛生管理システム１０の管理対象となる作業者２０であってもよいし、無関係の人物であってもよい）が実際に手指洗浄作業の洗浄工程を実施して、洗浄工程のそれぞれにおいて手指２２を撮影した画像を、洗浄工程の情報（例えば識別番号）と組み合わせた例示データとして蓄積するという方法を用いることができる。

図４に学習データの一例を概略的に示す。ここでは１つ１つの画像の具体的な描写は省略しているが、図示のとおり、１つの洗浄姿勢に対して大量の画像が対応付けられている。また図４の例では、手指２２単体の画像（単体画像）だけでなく、洗剤が付いた状態の手指２２の画像（洗剤画像）や、流水を浴びた状態の手指２２の画像（流水画像）も、洗浄姿勢の情報と組み合わせて蓄積されている。

なお、サンプル画像作成者は複数人存在してもよい。作業者の条件、例えば体格（特に手のサイズ）、年齢、人種、癖がどのようなものであっても対応できるように、様々な条件のサンプル画像作成者によって学習データ６０が作成されることが好ましい。

ディープラーニング・モデル４８の作成にあたっては、最初は上述のような学習データ６０が用いられる。すなわち、手指画像において手指がどのような状態で現れるのかについての学習データに、その手指画像がどの洗浄姿勢に分類されるかの情報（「正解」の情報）が付加された教師データを用いて、教師あり学習によって、ディープラーニング・モデル４８のひな型となるＡＩモデルが作成される。そしてそのひな型を基に、以後は「正解」の情報が付加されていないデータも含む大量の学習データから深層学習（ディープラニング）を行って、（「教師データ」に頼ることなく）ディープラーニング・モデル４８が作成される。このディープラーニング・モデル４８の作成については、大量の画像データに対する画像処理が必要であるため、高度な処理能力を有するコンピュータで行われるのが好ましい。そのため、管理対象となる手指洗浄作業よりも前に、衛生管理システム１０とは別体のコンピュータによって予めディープラーニング・モデル４８が作成されているとよい。

このようにして作成（構築）されたディープラーニング・モデル４８は、様々な条件の作業者４８が行う手指洗浄作業の手指画像を入力データとして、その手指画像の中に含まれる手指２２がどのような洗浄姿勢に該当するかの情報を的確に出力することが可能である。またディープラーニング・モデル４８は前述のとおり、いわば一種の関数のように働くため、入力データとしての画像（手指領域が切り出された手指画像）が入力されると、ごく短時間でその画像に対応した洗浄姿勢の情報を出力することが可能である。さらに、ディープラーニング・モデル４８自身が行う処理は入力に対応する出力を返すという単純な処理であるため、複雑な画像処理（例えば、画像内から手指２２の関節を認識して姿勢を判別する）などの高度な処理を行う必要がない。

（合否判定部５０について）
姿勢判別部４０がディープラーニング・モデル４８を用いて手指２２の姿勢を判別したら、その判別結果（例えば、撮影された手指２２の姿勢に該当する洗浄姿勢の識別番号）が衛生管理システム１０の合否判定部５０へ送信される。合否判定部５０は、送信されてきた判別結果に基づいて、作業者２０の行っている手指洗浄作業の合否（望ましい形で手指洗浄作業が行われているか否か）を判定する。

この合否判定部５０はある程度の判定処理を行う処理能力を備えたシステムの構成要素であり、姿勢判別部４０と同じく、洗浄スペース２５に設けられたコンピュータによって実装されてもよいし、遠隔地のコンピュータによって実装されてもよい。

合否判定部５０は手指洗浄作業を順不同の複数の洗浄工程を含むものとして管理する。また、洗浄工程のそれぞれは、その洗浄工程において手指が取るべき姿勢として、複数の洗浄姿勢と対応付けられている。

具体的には図５に示すように、１つの洗浄工程に対して、少しずつ手指２２の姿勢が異なる複数の洗浄姿勢が対応付けられた情報（以下、洗浄工程動画情報と呼ぶ）が合否判定部５０に記憶されている。合否判定部は、この洗浄工程動画情報と、複数の手指画像（または手指画像を基に出力された洗浄姿勢の情報）を用いて、手指２２の動きに関する判定を行う。

（手指２２の動きの判定と進行時間の測定について）
手指洗浄作業においては、手指２２が単に洗浄姿勢を取るだけでは手指２２は洗浄されず、手指２２の擦り合わせが行われるなどして、手指２２が動いている必要がある。合否判定部５０は、手指２２の動きが望ましいものとなっているかどうかについての判定が可能である。

合否判定部５０においては図５に示す通り、１つの洗浄工程に対して、少しずつ手指２２の姿勢が異なる複数の洗浄姿勢が対応付けられている。手指２２が動いているのであれば、手指２２の姿勢はこれらの１つのみに該当するのではなく、時間経過に従って複数の洗浄姿勢に該当する手指画像が得られるはずである。

そこで合否判定部５０は、受信した手指２２の姿勢に関する情報（手指画像または姿勢判別結果）に対応する時刻（手指撮影器３０が手指画像に撮影時刻を付与してもよいし、姿勢判別部４０や合否判定部５０が手指画像や判別結果を受信した時刻を用いてもよい）を記憶しておき、次に手指２２の姿勢の情報を受信したら、前回の受信から姿勢が変化しているか否かを判定する。

手指２２の姿勢が前回の受信から変化しており、さらに前回の姿勢と今回の姿勢がどちらも同じ洗浄工程に属するものであったならば、合否判定部５０は、その洗浄工程が実施されているものと判定して、その洗浄工程の進行時間を測定する。この進行時間の測定方法としては、例えば前回の受信時刻（あるいは手指画像の撮影時刻）と今回の受信時刻（撮影時刻）との差分を、各洗浄工程に対応して用意されている進行時間値（数値）に加算していけばよい。

手指２２の姿勢が前回から変化していなければ、合否判定部５０は手指２２が動いていないものとして、いずれの洗浄工程の進行時間も増加させないが、前回の洗浄工程がまだ継続しているものとして、次回の受信時に同じ洗浄工程に属する異なる姿勢となっていればその洗浄工程の進行時間を増加させる。また、手指２２の姿勢が前回から変化して、前回と異なる洗浄工程に属する姿勢となっていた場合には、異なる洗浄工程に移行したものとして、いずれの洗浄工程の進行時間も増加させない。そして、次回の受信時に移行先の洗浄工程に属する異なる姿勢となっていれば、移行先の洗浄工程の進行時間を増加させる。

このようにして、合否判定部５０は手指２２の動きが、特定の洗浄工程と対応付けられている（特定の洗浄工程に属する）洗浄姿勢を含む動きであるかどうかを判定するとともに、その洗浄工程の進行時間を測定することが可能である。

（合否判定について）
そして、洗浄工程のそれぞれには、その洗浄工程が行われるべき総計の時間としての所要時間が設定されている。進行時間がこの所要時間に達した洗浄工程について、合否判定部５０はその洗浄工程が完了したものと判定する。さらに、手指洗浄作業に含まれる洗浄工程の全てが完了したのであれば、合否判定部５０は、判定対象となっている洗浄スペース２５における手指洗浄作業が合格であると判定する。

手指洗浄作業が合格となった場合には、合格である旨の通知が対象の洗浄スペース２５にいる作業者２０に伝えられることが好ましい。例えば合格である旨を知らせる電子音が洗浄スペース２５内で鳴動するようになっているとよい。

（作業用モニタ１２の表示について）
手指洗浄作業が合格である旨の通知は、図１，図２に示す作業用モニタ１２を用いて作業者２０に対して行われるようになっていてもよい。例えば作業用モニタ１２に「洗浄完了」という文字を表示させてもよい。

作業用モニタ１２には、手指洗浄作業の進行状況を表示することも可能である。例えば図６に示すように、作業用モニタ１２に、各洗浄工程（ここでは６種類）の代表的な洗浄姿勢の画像と、その洗浄工程の進行度合いを示すバー（プログレスバー）が表示されるようになっているとよい。この洗浄工程の進行度合いは、前述の洗浄工程の所要時間に対する現在の進行時間の割合を示すようになっているとよい。例えば特定の洗浄工程の所要時間が１０秒で、現在の進行時間が４秒であるならば、その洗浄工程の進行度合いは４０％である。この場合、進行度合いが０％であるならば全長が白く着色されたバーのうち、左側４０％分が着色（例えば黄色）される。そして、その洗浄工程が完了したらバーの右端（１００％分）まで着色される。そして、全ての洗浄工程のバーが右端まで着色されたならば、手指洗浄作業の全体が完了したということになる。

このように、各洗浄工程の進行度合いが作業用モニタ１２に表示されるようになっていれば、作業者２０はその進行度合いの増加の様子（プログレスバーの進み方）を目視することで、自分が今どの洗浄工程を行っているか、どの洗浄工程が完了したか、どの洗浄工程が残っているか、を認識することができて、効率的な手指洗浄作業が行われる。すなわち、作業用モニタ１２にこのような進行度合いの表示が示されることで、作業者２０が完了した洗浄工程を延々と繰り返してしまったり、特定の洗浄工程を実施し忘れてしまったりすることが防止される。また、各洗浄工程の代表的な洗浄姿勢の画像が示されることで、作業者２０はどのような姿勢を取れば未実施の洗浄工程を行うことが可能なのかを把握することができる。

合否判定部５０が上記のようにして手指洗浄作業の合否を判定すると共に、手指洗浄作業の進行度合いが作業用モニタ１２に表示されることで、洗浄スペース２５における手指洗浄作業が効率的かつ高精度に管理される。

（顔撮影器３６について）
上記の手指洗浄作業を開始するにあたっては、作業者２０から衛生管理システム１０に対して何らかの働きかけを行う必要がある。例えば手指洗浄用の機器として洗浄スペース２５に流水を供給する蛇口が設けられているならば、作業者２０がその蛇口のハンドルを手動で操作することで、流水の供給が開始されるとともに、手指洗浄作業を開始することができる。しかしながら、手指洗浄作業の開始前は、作業者２０の手指の衛生状態は十分でない可能性があるため、その手指でハンドルなどの衛生管理システム１０の構成要素に触れてしまうと、衛生管理システム１０の衛生状態が悪化する可能性がある。そのため、手指洗浄作業は作業者２０が素手での接触を行うことなく（タッチレスで）開始されることが望ましい。例えば、図１，図２に示す顔撮影器３６を用いることで、タッチレスでの手指洗浄作業の開始が可能となる。

図１に示す通り、顔撮影器３６は作業者識別部３８に接続されている。この作業者識別部３８は、顔撮影器３６が撮影した作業者２０の顔画像に基づき、その顔撮影器３６が設けれている洗浄スペース２５において手指洗浄作業を行っている作業者２０、あるいはこれから手指洗浄作業を行おうとしている作業者２０の個人識別を行う。作業者識別部３８は画像を扱う機能を備えたシステムの構成要素であり、姿勢判別部４０と同じく、洗浄スペース２５に設けられたコンピュータによって実装されてもよいし、遠隔地のコンピュータによって実装されてもよい。

顔撮影器３６が作業者２０の顔２４を撮影すると、作業者識別部３８は、その顔２４に対する画像処理を行って、その作業者２０が、衛生管理システム１０の利用者（例えば医療機関や飲食店の従業員）として顔画像が予め登録されている人物のいずれかに該当しているかどうかを識別（個人識別）する。作業者２０が衛生管理システム１０の利用者に該当している場合、その作業者２０に洗浄スペース２５での手指洗浄作業の開始が許可される。なお、顔２４を撮影された人物が衛生管理システム１０の利用者でない場合には、部外者用の処理が行われる。例えば、作業用モニタ１２などを介して、その人物に対して退出を促すか、あるいは「ゲスト」として手指洗浄作業の開始を許可する旨を通知したりするとよい。なお、顔撮影器３６による個人識別は画像処理ではなく、顔画像を入力データとして、それに対応する個人識別情報を出力データとして返すＡＩモデルを用いて行われてもよい。特にディープラーニング・モデル４８が手指２２の姿勢に関する学習データ６０だけでなく、顔画像において作業者２０の顔２４がどのような状態で現れるのかに関する学習データにも基づいて作成されたものであるならば、作業者識別部３８は姿勢判別部４０が利用しているものと共通のディープラーニング・モデル４８を用いた識別を行うことができる。

手指洗浄作業の開始が許可されると、その洗浄スペース２５で蛇口から流水が流れ出したり、洗剤ディスペンサーから洗剤が放出されるなどして、作業者２０が手指洗浄作業を行うことが可能な状態になる。すなわち、作業者２０は衛生管理システム１０の構成要素に触れることなく、顔撮影器３６に自分の顔２４を撮影させるだけで、手指洗浄作業を開始することが可能となる。また、このようにして作業者２０の個人識別が行われるようになっていれば、各作業者２０による手指洗浄作業の実施の有無を管理することが可能となる。例えば業務開始の特定の時刻に施設内の作業者２０の全員が手指洗浄作業を完了しているかどうか、などを調べることができる。

（ジェスチャーの検出について）
なお、顔撮影器３６に作業者２０の顔２４が撮影されただけで即座に蛇口から流水が流れ出したりすると誤作動のおそれがあるため、手指洗浄作業の開始が許可された後、作業者２０が何らかのジェスチャーを行ったことが顔撮影器３６および作業者識別部３８によって検出された場合に、手指洗浄作業が開始されるものであってもよい。この場合、顔撮影部３６は作業者２０の顔２４だけでなく、手指２２を撮影することも可能であり、作業者識別部３８は、撮影された手指２２が予め定められた複数のジェスチャー（特別な姿勢）のいずれかに該当しているか否かについての識別が可能であるとよい。ここで、ジェスチャーの検出については、姿勢判別部４０によって可能であってもよい。すなわち、複数の洗浄姿勢のほかに、特別な姿勢として複数のジェスチャーが予め定められているとよい。そして、姿勢判別部４０は、手指撮影器３０が撮影した手指画像に含まれる手指２２の姿勢が、いずれかのジェスチャーに該当するか否かについての判別を行うことが可能であるとよい。例えば作業者２０が顔撮影器３６または手指撮影器２２に、片手の人差し指と親指で輪を作った手指２２の姿勢（「ＯＫ」のポーズ）を撮影させて、作業者識別部３８または姿勢判別部４０が「ＯＫ」のポーズを確認した場合に手指洗浄作業が開始されるようになっているとよい。

このように顔撮影器３６および作業者識別部３８（および／または手指撮影器３０と姿勢判別部４０）が作業者２０の顔２４だけでなく様々なジェスチャーを検出できるものであれば、作業者２０は様々な情報を衛生管理システム１０に対してタッチレスで伝えることができる。すなわち、作業者２０から衛生管理システム１０に対して行われる複数の種類の通知に対応して、それぞれ特定のジェスチャーが予め定められているとよい。そして作業者２０が、特定のジェスチャーを顔撮影器３６または手指撮影器２２に撮影させて、作業者識別部３８および／または姿勢判別部４０が特定のジェスチャーを検出すると、そのジェスチャーに対応する通知が衛生管理システム１０に対して（作業者２０による機器への接触なしで）行われる。

（ジェスチャーによる通知の種類とその記録について）
上記の通り、作業者２０が衛生管理システム１０に対して伝える（通知する）情報に応じて、様々なジェスチャーが予め定められているとよい。例えば作業者２０が手指洗浄作業中に、トイレなどの原因で離席する必要がある場合には、手指洗浄作業を完了することなく（全洗浄工程を１００％にすることなく）強制終了する旨をジェスチャーによって衛生管理システム１０へ通知する。例えば、一方の手の掌を下向きにし、その掌へ他方の手が指先を揃えて上向きに接する手指２２の姿勢（「Ｔ」のポーズ）を顔撮影器３６または手指撮影器２２に撮影させることで、手指洗浄作業が強制終了される。その後、トイレなどから戻ってきた作業者２０が、また別のジェスチャーにより、手指洗浄作業をもう一度行いたい旨を衛生管理システム１０へ申し出ることで、改めて手指洗浄作業が開始される。

このようにして作業者２０によるジェスチャーでの通知（手指洗浄作業の強制終了や再度の作業開始の申し出）が行われた場合には、その通知の種類と共に、その通知を行った作業者２０の個人識別情報が記録されるようになっていることが好ましい。また、作業者２０による通知が行われた時刻も記録されるようになっているとよい。また、手指洗浄作業の開始が必要となる複数の要因、例えば一日の作業開始時、嘔吐物の処理作業後、トイレなどによる一時離席からの復帰後などの、それぞれの要因に応じてジェスチャーが設定されているとよい。この場合、衛生管理システム１０は、手指洗浄作業の開始時に作業者２０が行ったジェスチャーと、その作業者２０の個人識別情報と（そして必要に応じて手指洗浄作業の開始時刻）を紐付けて管理することで、どの作業者２０がどのような要因で（そして何時）手指洗浄作業を行ったかを管理することができる。なお手指洗浄作業の開始のトリガとなるジェスチャーが作業者２０によって示されたことが確認された場合には、そのジェスチャーを行っている作業者２０が何者であるかの個人識別も行われる。

（その他）
上記実施形態においては、合否判定部５０は手指の動きに関する判定、いわば動画に対する判定を行うものとなっているが、静止画に対する判定を行うものであってもよい。例えば各洗浄工程に属する大量の洗浄姿勢の全て、あるいは所定の割合（例えば洗浄姿勢定義データの８割以上）に該当する姿勢を手指２２が取ったならば、その洗浄工程が完了したものとみなすようになっていてもよい。この場合、１つの洗浄姿勢を１回だけ取ればよいのではなく、重要な洗浄姿勢については複数回（例えば１０回）の該当が認められたときにその洗浄姿勢による洗浄が完了したとみなされるようになっていてもよい。

ディープラーニング・モデル４８が十分に教育されたものであるならば、手指画像に手指２２以外のものが写りこんでいても手指２２の姿勢を判別することが可能である。その場合には、深度検出部３２および手指領域切出部３４は必ずしも必要ではない。

図４の学習データ６０には洗剤画像や流水画像が含まれているが、ディープラーニング・モデル４８の教育方法によっては、学習データ６０が単体画像のみであっても洗剤や流水が写り込んだ画像から手指２２の姿勢を判別することが可能となる。その場合には、学習データとして洗剤画像や流水画像を用意しなくともよい。

ディープラーニング・モデル４８は手指２２の姿勢について単に該当する洗浄姿勢を出力するだけでなく、その洗浄姿勢である確率がどの程度であるかの「確信度」を算出することも可能である。姿勢判別結果として該当の洗浄姿勢の情報を出力する条件として、確信度が１００％である場合だけでなく、ある程度以上（例えば９０％以上）の確信度であればその洗浄姿勢であると判定されるようになっていてもよい。

姿勢判別部４０がネットワーク上のサーバ装置であるような場合には、同一のディープラーニング・モデル４８を複数の施設で共有することが可能である。この場合、複数の施設で手指２２の姿勢判別の精度を統一することが可能である。一方で、姿勢判別部４０が洗浄スペース２５に設けられたコンピュータである場合には、施設ごとに異なるディープラーニング・モデル４８を用いることも可能である。この場合、その施設に属する作業者２０に特化したディープラーニング・モデル４８を使用することで、姿勢判別の精度を高めることが可能である。なお、姿勢判別部４０をサーバ装置とする場合でも、対象の施設ごとに異なるディープラーニング・モデル４８を適用するという運用が行われてもよい。

上記の実施形態においては作業者識別部３８による作業者２０の個人識別が行われて手指洗浄作業の開始が許可された後、作業者２０によるジェスチャーが確認されると実際の手指洗浄作業が開始されるようになっているが、ジェスチャーの確認の後で個人識別が行われてもよい。この場合、作業者識別部３８は顔撮影器３６による撮影が行われただけでは個人識別の処理を行わず、撮影された顔画像に予め定められたジェスチャーが含まれているかどうかをまず確認する。そして、作業者識別部３８（または同じ洗浄スペース２５に対応する姿勢判別部４０）が特定のジェスチャー（先述の「ＯＫ」のポーズのように、「洗浄作業開始」の意味を与えられたジェスチャーなど）を確認した場合に、そのときに洗浄スペース２５にいる作業者２０の個人識別が行われて、手指洗浄作業の開始を許可するか否かの判断、および作業者２０の個人識別情報とその時刻の記録が行われる。この場合には、顔撮影器３６の前を作業者２０が通過しただけでは（作業者２０が特定のジェスチャーを行わない限り）個人識別の処理が始まらないため、衛生管理システム１０全体としての処理の負担が軽減される。なお、個人識別の処理が開始されるトリガとなる特定のジェスチャーが確認された場合には、作業者２０に対して、個人識別の処理に協力するよう指示が行われるとよい。例えば、作業用モニタ１２などを介して、顔撮影器３６へ顔２４を向けるよう、作業者２０の誘導が行われるとよい。

上記の実施形態においては、ジェスチャーは手指２２の特定の姿勢として設定されているが、ジェスチャーは手指２２の姿勢に限るものではない。例えば作業者２０の腕の振り方など、手指撮影器３０または顔撮影器３６の撮影範囲内で撮影可能な、作業者２０の身体によって表すことが可能な、手指２２以外の姿勢または動きであってもよい。

上記の実施形態においては手指撮影器３０によって撮影された手指画像は手指洗浄作業の合否判定のためにのみ使用されているが、各洗浄スペース２５において撮影された手指画像が収集されて、学習データ６０に加えられるようになっていてもよい。このとき、手指画像に対応する洗浄姿勢の情報はディープラーニング・モデル４８が自動で付与してもよいし、人間が目視で判別した結果を付与してもよい。

また学習データ６０に基づいて作成されるディープラーニング・モデル４８は、教師データを用いた教師あり学習によって作成されるひな型を基とするものに限られない。例えば始めから「正解」の情報を含まない学習データ６０に基づいて深層学習が行われた結果得られたディープラーニング・モデルが、姿勢判別部４０のディープラーニング・モデル４８として用いられてもよい。

１０ 衛生管理システム
１２ 作業用モニタ
２０ 作業者
２２ 手指
２４ 顔
３０ 手指撮影器
３２ 深度検出部
３４ 手指領域切出部
３６ 顔撮影器
３８ 作業者識別部
４０ 姿勢判別部
４８ ディープラーニング・モデル
５０ 合否判定部
６０ 学習データ

Claims (5)

1. 作業者の手指洗浄作業を管理するための衛生管理システムであって、
   前記作業者の手指を含む領域を撮影して手指画像を出力する少なくとも１つの手指撮影器と、
   前記手指画像に含まれる前記手指の姿勢が、前記手指洗浄作業において前記手指が取るべき姿勢として定められた複数の洗浄姿勢のいずれかに該当するか否かを判別する姿勢判別部と、
   前記姿勢判別部による判別の結果に基づいて、前記作業者の行う前記手指洗浄作業の合否を判定する合否判定部と、
   を備え、
   前記姿勢判別部は、ディープラーニング・モデルを用いて前記手指画像に含まれる前記手指の姿勢に関する判別を行い、
   前記ディープラーニング・モデルは、前記手指画像において前記手指がどのような状態で現れるのかについての学習データに基づいて作成されたディープラーニング・モデルであって、前記手指画像を入力データとして、それに対応する前記洗浄姿勢の情報を出力データとして返すものであり、
   前記姿勢判別部は、前記手指画像に含まれる前記手指の姿勢が、前記作業者から前記衛生管理システムに対して行われる複数の種類の通知に対応して予め定められた複数のジェスチャーのいずれかに該当するか否かについての判別を行うことが可能であり、
   前記複数の種類の通知には、前記手指洗浄作業の開始と、前記手指洗浄作業の強制終了が含まれ、
   前記姿勢判別部が前記手指画像に含まれる前記手指の姿勢が前記ジェスチャーのいずれかに該当することを判別すると、判別された前記ジェスチャーに対応する通知が前記衛生管理システムに行われ、
   前記作業者が前記手指洗浄作業を行う場所として定められた１人分の洗浄スペースごとに、前記手指撮影器と、前記作業者の顔画像を撮影する顔撮影器が設けられており、
   前記顔撮影器が撮影した前記作業者の顔画像に基づき、当該顔撮影器が設けられている前記洗浄スペースにおいて前記手指洗浄作業を行っている前記作業者の個人識別を行う作業者識別部が設けられており、
   前記姿勢判別部が前記手指画像に含まれる前記手指の姿勢が前記ジェスチャーのいずれかに該当することを判別して、判別された前記ジェスチャーに対応する通知が前記衛生管理システムに行われた場合に、
   前記ジェスチャーに対応する通知の種類と共に、その通知を行った前記作業者の個人識別情報が記録されること
   を特徴とする衛生管理システム。
2. 前記手指撮影器は、前記手指撮影器から撮影対象までの距離を深度データとして検出する深度検出部を備えており、
   前記手指撮影器が出力した手指画像に含まれる領域のうち、前記作業者の手指が存在すると期待される手指領域を、前記深度データに基づいて切り出して、切り出した前記手指領域の画像を前記ディープラーニング・モデルへの入力データとする、手指領域切出部が設けられていること
   を特徴とする請求項１に記載の衛生管理システム。
3. 前記合否判定部において、前記手指洗浄作業は、複数の洗浄工程を含むものとして管理されており、また、前記洗浄工程のそれぞれは、その洗浄工程において手指が取るべき姿勢として、複数の前記洗浄姿勢と対応付けられており、
   前記合否判定部は、
   複数の前記手指画像を用いて、前記作業者の前記手指の動きに関する判定を行うものであり、
   前記手指の動きが、特定の洗浄工程と対応付けられている複数の前記洗浄姿勢を含む動きである場合に、当該洗浄工程が進行しているものとして判定して、当該洗浄工程の進行時間を測定し、
   特定の洗浄工程の前記進行時間が、当該洗浄工程について予め定められた所要時間に達した場合に、当該洗浄工程が完了したものと判定し、
   前記手指洗浄作業に含まれる前記洗浄工程の全てが完了したと判定された場合に、手指洗浄作業が合格であると判定すること
   を特徴とする請求項１または請求項２に記載の衛生管理システム。
4. 前記作業者が前記手指洗浄作業を行う場所として定められた１人分の洗浄スペースごとに、前記手指撮影器と、前記作業者に対して画像を表示可能な作業用モニタが設けられており、
   前記作業用モニタには、当該作業用モニタが設けられている前記洗浄スペースにおいて行われている前記手指洗浄作業に含まれる複数の前記洗浄工程のそれぞれの進行度合いが表示されること
   を特徴とする請求項３に記載の衛生管理システム。
5. 前記ディープラーニング・モデルの基となる学習データには、手指単体の画像のほか、洗剤が付いた状態の手指の画像、および流水を浴びている状態の手指の画像も含まれること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の衛生管理システム。

Images