JP7463792B2 - 情報処理システム、情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理システム、情報処理装置及び情報処理方法に関する。

精密機器及び半導体機器等を製造する工場、医薬品、食料品及び化粧品等を製造する工場、医療機関及び各種研究所等にはクリーンルームが設けられている。クリーンルームで作業を行う作業者は、外部からクリーンルーム内に塵埃等を持ち込まないために種々の衛生作業を行っている。例えば、作業者は、クリーンルームに入室する際にクリーンウェア等の作業着を着用し、更に作業着に付着している塵埃等を、粘着ローラー等の衛生用具を用いて除去する作業を行う。特許文献１では、クリーンルーム入室者が、入室前に粘着ローラーを用いたローラー掛けを適切に行ったか否かを画像処理によって判定するシステムが開示されている。特許文献１に開示されたシステムでは、入室者は所定のローラー掛けを行うだけで、適切なローラー掛けが行われたか否かの判定を行うことが可能である。

特許第６３０２００７号公報

特許文献１に開示されたシステムでは、背景差分によって撮影画像から人物領域と粘着ローラーの領域とを抽出し、粘着ローラーの動きによって適切にローラー掛けが行われたかを判定する。このようなシステムでは、例えば背景の色と入室者の服装の色とが似ている場合、適切に人物領域を抽出できず、その結果、この入室者が適切なローラー掛けを行ったか否かの判定ができない虞がある。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、作業者による衛生作業の実行を適切に判定することが可能な情報処理システム等を提供することにある。

本発明の一態様に係る情報処理システムは、作業者を撮影する撮影部と、前記撮影部が撮影した撮影画像に基づいて前記作業者の関節位置を抽出する関節抽出部と、前記作業者が携帯している衛生用具を検出する用具検出部と、前記作業者による前記衛生用具を使用した衛生作業の実行を認識する作業認識部と、前記衛生作業の実行が認識された場合の前記関節位置及び前記衛生用具の位置に基づいて、前記衛生作業を実行している身体部位を特定する特定部とを備える。

本発明の一態様にあっては、背景の色及び作業者の服装の色等にかかわらず、作業者が衛生作業を行っているか否かを適切に判定することができる。

監視装置の構成例を示すブロック図である。 監視装置による撮影状態の例を示す模式図である。 判定処理手順の一例を示すフローチャートである。 判定処理を説明するための模式図である。 判定処理を説明するための模式図である。 判定処理を説明するための模式図である。 画面例を示す模式図である。 作業判別モデルＭの構成例を示す模式図である。 作業順序ＤＢの構成例を示す模式図である。 実施形態３の判定処理手順の一例を示すフローチャートである。

以下に、本開示の情報処理システム、情報処理装置及び情報処理方法について、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
例えばクリーンルームの前室で作業者が粘着ローラーを用いた衛生作業を行う際に、適切な衛生作業が行われているか否かを、作業者を撮影した撮影画像に基づいて監視する監視装置に適用した実施形態について説明する。図１は監視装置の構成例を示すブロック図、図２は監視装置による撮影状態の例を示す模式図である。図２は、クリーンルームの前室を天井側から見た状態を示しており、例えば作業者は、図２において下側を向いた状態で衛生作業を行うものとする。よって、図２における下側を作業者の正面側とし、図２における上側を作業者の背面側とする。

監視装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、通知部１６、読み取り部１７、前カメラ２１、後カメラ２２等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理及び制御処理を監視装置１０に行わせる。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。

通信部１３は、有線通信又は無線通信によってインターネット等のネットワークに接続するためのインタフェースを有し、ネットワークを介して他の装置との間で情報の送受信を行う。入力部１４は、監視装置１０を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。なお、表示部１５は、クリーンルームの前室内の作業者が視認できるように、例えば図２に示すように前室の壁に設けられていてもよい。

通知部１６は、ランプ、ブザー、スピーカ又はバイブレータ等を含み、ランプの点灯又は点滅、ブザーの鳴動、スピーカによるメッセージの音声出力、バイブレータによる振動等を行うことにより、衛生作業を行っている作業者に所定の状況（衛生作業が適切に行われているか否か等の状況）を通知する。また通知部１６は、表示部１５にメッセージを表示することにより、作業者に所定の状況を通知してもよい。

前カメラ２１及び後カメラ２２は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。前カメラ２１及び後カメラ２２は、制御部１１からの指示に従って撮影を行い、１枚（１フレーム）の画像データ（撮影画像）を順次取得する。前カメラ２１及び後カメラ２２は、例えば１秒間に６０フレーム、３０フレーム又は１５フレームの映像データを取得するように構成されており、前カメラ２１及び後カメラ２２にて取得された映像データは順次記憶部１２に記憶される。なお、前カメラ２１及び後カメラ２２は、監視装置１０に内蔵される構成のほかに、監視装置１０に外付けされる構成でもよく、ＬＡＮ（Local Area Network）又はインターネット等のネットワークを介して監視装置１０と接続される構成でもよい。この場合、監視装置１０は、外部カメラの接続が可能な接続部又は外部カメラとの有線通信又は無線通信を行うためのカメラ通信部を備え、外部カメラが撮影した映像データを接続部又はカメラ通信部を介して取得する。本実施形態では、前カメラ２１及び後カメラ２２（撮影部）は、クリーンルームの前室に設けられており、前カメラ２１は作業者の正面側の全身を撮影できる位置に、後カメラ２２は作業者の背面側の全身を撮影できる位置にそれぞれ設けられている。なお、図２では、カメラ２１，２２の撮影可能範囲を、それぞれハッチングを付けて示している。本実施形態では、作業者の正面側を撮影するために前カメラ２１を用い、背面側を撮影するために後カメラ２２を用いるが、それぞれ複数のカメラを用いて作業者の正面側及び背面側を撮影する構成でもよい。また、各カメラは作業者の全身を撮影できなくてもよく、この場合、複数のカメラを上下方向に配置することによって作業者の全身を撮影するように構成してもよい。更に複数のカメラを用いて作業者の周囲３６０度から撮影する構成でもよい。

読み取り部１７は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１７を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

以下に、本実施形態の監視装置１０がカメラ２１，２２を用いて作業者を撮影した撮影画像に基づいて、作業者が衛生作業を適切に行っているか否かを判定する処理について説明する。図３は判定処理手順の一例を示すフローチャート、図４～図６は判定処理を説明するための模式図、図７は画面例を示す模式図である。以下の処理は、監視装置１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の監視装置１０において、制御部１１（画像取得部）は、前カメラ２１及び後カメラ２２を用いてクリーンルームの前室内を撮影する（Ｓ１１）。制御部１１は前カメラ２１及び後カメラ２２による撮影を常時行っていてもよい。また、監視装置１０に、前室内（撮影エリア内）における人の有無を検知する人感センサが接続されている場合、制御部１１は、人感センサによって人の存在が検知された後に前カメラ２１及び後カメラ２２による撮影を開始してもよい。制御部１１は、前カメラ２１及び後カメラ２２による撮影によって作業者の正面及び背面の撮影画像を取得し、取得した撮影画像を順次記憶部１２に記憶する。図４Ａは作業者の正面側の全身を撮影した撮影画像の例を示している。

制御部１１（関節抽出部）は、取得した撮影画像に基づいて、撮影画像中に写っている作業者の骨格推定を行い、作業者の関節位置を抽出する（Ｓ１２）。骨格推定とは、画像中の人の関節位置を推定し、関節位置の二次元座標又は三次元座標を取得するものである。制御部１１は、例えばＯｐｅｎＰｏｓｅのように撮影画像中の人の関節位置を抽出（検出）する技術を用いて、取得した撮影画像中に写る作業者の関節位置を抽出する。制御部１１は、前カメラ２１で撮影した作業者の正面の撮影画像と、後カメラ２２で撮影した作業者の背面の撮影画像とのそれぞれに対して、関節位置を抽出する処理を行う。図４Ｂは、図４Ａの撮影画像（作業者の正面側の撮影画像）に対して、関節位置を抽出する処理を行った結果を示す。図４Ｂでは、抽出した関節を黒丸で示し、関節間を結ぶ直線で骨格線を示す。

次に制御部１１（用具検出部）は、取得した撮影画像に基づいて、関節位置を抽出した作業者が把持（携帯）している衛生用具を検出する（Ｓ１３）。ここで検出する衛生用具は粘着ローラーであり、例えば粘着ローラーに装着してある粘着テープが作業着とは異なる所定色に着色してある。よって、制御部１１は、撮影画像中から所定色で粘着テープと同様の形状（例えば矩形）の領域を検出し、検出した領域を衛生用具（粘着ローラー）に特定する。図４Ｃは、図４Ａの撮影画像から粘着ローラーの粘着テープ（衛生用具）の領域を検出した結果を示しており、検出した衛生用具を、衛生用具を囲むバウンディングボックスＴ（破線）で示してある。制御部１１は例えば、検出した衛生用具の位置座標として、バウンディングボックスＴの左上の画素の座標値を取得する。なお、画素の座標値は、例えば撮影画像の左上を原点（０，０）とし、原点から右方向をＸ軸とし下方向をＹ軸とした座標系の座標値で表すことができる。また制御部１１は、検出した衛生用具の位置座標として、衛生用具の撮影領域の重心位置の画素の座標値を用いてもよい。この場合にも、重心位置の画素の座標値を同様の座標系の座標値で表すことができる。

衛生用具を検出する方法は、上述した方法に限定されない。例えば衛生用具の任意の箇所にマーカを付けておき、制御部１１は、撮影画像中からマーカを検出し、検出したマーカ又はマーカが付けられた物体を衛生用具に特定してもよい。また、作業者の手が衛生用具を把持していることから、制御部１１は、撮影画像中の作業者の手（左手又は右手）を検出し、検出した手の位置に基づいて衛生用具を検出してもよい。更に、制御部１１は、機械学習によって衛生用具を認識するように学習させた学習モデルを用いて撮影画像中の衛生用具を特定してもよい。また、衛生用具にセンサを取り付けておき、制御部１１は、センサからの出力信号に基づいて、撮影画像中の衛生用具の位置を特定してもよい。本実施形態では、衛生用具は粘着ローラーとして説明するが、作業着に付着している塵埃を除去するための各種の衛生用具又は掃除機等であってもよい。

撮影画像中に複数人の作業者が写っている場合、制御部１１は、それぞれの作業者についてステップＳ１２～Ｓ１３の処理を行い、各作業者の関節位置及び衛生用具を抽出する。即ち、前室内に複数の作業者がいる場合、制御部１１は予め各作業者の関節位置及び衛生用具を抽出しておく。なお、作業者が衛生作業を適切に行っているかを正確に判定するために、前室内には判定エリアが設けられており、図５Ａに示す例では、前室の中央に判定エリアが設けられている。従って、前室内の作業者は、自身が行う衛生作業に対して監視装置１０による判定処理を受ける場合、判定エリア内に入って衛生作業を行う。図５Ｂは、図５Ａの状態の前室を前カメラ２１で撮影した撮影画像の例を示しており、図５Ｂに示す撮影画像では、判定エリア内にいる作業者Ａは判定対象であるが、判定エリアの外にいる作業者Ｂは判定対象とならない。

制御部１１は、撮影画像に基づいて、判定エリア内に作業者がいるか否かを判断する（Ｓ１４）。なお、前カメラ２１及び後カメラ２２の設置場所、並びに判定エリアは固定であるので、図５Ｂに示すように撮影画像中の所定領域（図５Ｂでは左右方向の中央）が判定エリアの撮影領域となる。よって、制御部１１は、撮影画像中の所定領域内に、ステップＳ１２で関節位置を抽出した作業者がいるか否かを判断することにより、判定エリア内に作業者がいるか否かを判断できる。判定エリア内に作業者がいないと判断した場合（Ｓ１４：ＮＯ）、制御部１１はステップＳ１１の処理に戻り、ステップＳ１１～Ｓ１３の処理を繰り返す。なお、本実施形態では、予め設定された判定エリア内にいる作業者を、監視装置１０による判定処理の対象とするが、このような構成に限定されない。例えば、ステップＳ１２で抽出した関節位置に基づいて、手の関節位置と衛生用具の位置とが所定距離未満である作業者を、この作業者は衛生用具を手に持って衛生作業を行っているとして、監視装置１０による判定処理の判定対象としてもよい。

判定エリア内に作業者がいると判断した場合（Ｓ１４：ＹＥＳ）、制御部１１（作業認識部）は、撮影した撮影画像に基づいて、撮影画像中の作業者が適切な衛生作業の実行中であるか否かを判断する（Ｓ１５）。例えば作業者が粘着ローラーを往復運動している場合の粘着ローラー又は粘着テープの動きを予め登録しておき、制御部１１は、撮影画像中の粘着ローラー又は粘着テープの動きに基づいて、作業者が適切な衛生作業を行っているか否かを判断してもよい。また制御部１１は、作業者が粘着ローラーを往復運動している状態を認識するように機械学習によって学習させた学習モデルを用いて撮影画像中の作業者が適切な衛生作業の実行中であるか否かを判断してもよい。なお、ステップＳ１３の処理は、ステップＳ１４において判定エリア内に作業者がいると判断した後に行われてもよい。即ち、制御部１１は、ステップＳ１２の処理後にステップＳ１４の処理を行い、判定エリア内に作業者がいると判断した場合に（Ｓ１４：ＹＥＳ）、取得した撮影画像に基づいて、作業者が把持している衛生用具を検出する処理（Ｓ１３）を行うように構成されていてもよい。

制御部１１は、撮影画像中の作業者が適切な衛生作業の実行中でないと判断した場合（Ｓ１５：ＮＯ）、この作業者が適切な衛生作業を実行するまで待機する。なお、制御部１１は、撮影処理、撮影画像に基づく関節位置の抽出処理、衛生用具の検出処理を所定のタイミング（例えば撮影タイミングに応じたタイミング）で繰り返し行っており、判定エリア内から作業者がいなくなった場合、ステップＳ１１の処理に戻る。撮影画像中の作業者が適切な衛生作業の実行中であると判断した場合（Ｓ１５：ＹＥＳ）、制御部１１（特定部）は、作業者が実行中の衛生作業による作業対象の身体部位（作業部位）を特定する（Ｓ１６）。例えば制御部１１は、撮影画像から抽出した作業者の関節位置及び衛生用具の位置の関係に基づいて、衛生用具が作業者の身体のどの部位を掃除しているかを特定する。

例えば図６Ａは作業者が頭部に対して衛生作業を行っている状態を示しており、例えば、首及び肩の関節位置よりも衛生用具の位置が上方である場合、制御部１１は、作業部位として頭部を特定する。また図６Ｂは作業者が胴体に対して衛生作業を行っている状態を示しており、例えば、首及び肩の関節位置と、腰及び股関節の関節位置との間に衛生用具の位置がある場合、制御部１１は、作業部位として胴体を特定する。また図６Ｃは作業者が手（腕）に対して衛生作業を行っている状態を示しており、例えば、左手（左腕）／右手（右腕）の関節位置と、衛生用具の位置とが近い場合、制御部１１は、作業部位として左手（左腕）／右手（右腕）を特定する。更に図６Ｄは作業者が足に対して衛生作業を行っている状態を示しており、例えば、左足／右足の関節位置と、衛生用具の位置とが近い場合、制御部１１は、作業部位として左足／右足を特定する。このように、適切な衛生作業を行っている場合、衛生用具の位置と近い位置にある関節、衛生用具と各関節との位置関係に基づいて、衛生作業中の部位（作業部位）を特定することができる。なお、制御部１１は、作業者の正面側及び背面側のそれぞれについて衛生作業中の部位を特定する。なお、判定対象の作業部位は任意に細分化可能であり、例えば手（腕）は上腕部及び前腕部等に分割してもよく、足は大腿部（太腿、膝上）及び下腿部（脛、膝下）等に分割してもよく、胴体は胸部及び腹部等に分割してもよい。また、関節毎に判定対象の作業部位としてもよい。このように判定対象の作業部位を細分化することにより、細かい領域毎に適切な衛生作業が実行されたか否かを判定できるので、各部位に対する衛生作業が適切であるか否かをより細かく監視できる。

制御部１１は、作業部位を特定した場合、特定した作業部位に対する衛生作業の作業時間を計時する（Ｓ１７）。なお、制御部１１は、撮影画像に基づいて、適切な衛生作業の実行中であるか否かの判定処理、衛生作業中の部位の特定処理を所定のタイミング（例えば撮影タイミング、又は所定回数の撮影処理毎に１回のタイミング）で繰り返し行い、ステップＳ１６で特定した作業部位に対する衛生作業が継続されていることを確認しつつ、この衛生作業の作業時間を計時する。

制御部１１（判定部）は、計時している作業時間に基づいて、特定した作業部位に対する衛生作業が正常に完了したか否かを判断する（Ｓ１８）。身体の各部位に対して、実行すべき衛生作業の作業時間（作業完了時間）は予め設定されて記憶部１２に記憶されている。よって、制御部１１は、特定した作業部位に対する作業完了時間を記憶部１２から読み出し、計時している作業時間が、読み出した作業完了時間に到達したか否かに応じて、衛生作業が正常に完了したか否かを判断する。これにより、身体の部位毎（身体部位毎）に異なる条件（作業完了時間）によって衛生作業が正常に完了したか否かを判断できる。なお、身体の各部位に対する衛生作業が正常に完了したか否かを判断する条件は、各部位に対する作業時間のほかに、作業者が衛生用具（粘着ローラー）を往復運動させた回数を用いてもよい。この場合、制御部１１は、各作業部位に対する衛生用具の往復運動の回数を計数し、計数した回数が、各部位に対して設定された完了条件の回数を超えたときに、衛生作業が正常に完了したと判断する。また、作業者が衛生用具を往復運動させる際の速度を考慮してもよく、例えば、往復運動の速度に応じて、完了条件の作業時間又は往復運動の回数を異ならせてもよい。

特定した作業部位に対する衛生作業が正常に完了したと判断した場合（Ｓ１８：ＹＥＳ）、制御部１１は、衛生作業が正常に完了した部位（作業完了部位）を記憶部１２に記憶し（Ｓ１９）、未完了の部位があるか否かを判断する（Ｓ２０）。未完了の部位があると判断した場合（Ｓ２０：ＹＥＳ）、制御部１１は、作業部位の変更を促す通知を行う（Ｓ２１）。例えば制御部１１（通知部）は、「衛生作業中の箇所は正常に清掃できたので作業部位を変更して下さい」のようなメッセージを表示部１５に表示して通知する。なお、通知部１６がスピーカを有する場合、制御部１１は、作業部位の変更を促すメッセージをスピーカから音声出力してもよい。また、制御部１１は、未完了の部位を例示して作業部位の変更を促す通知を行ってもよく、次に衛生作業を行うべき部位を通知してもよい。

ステップＳ２１の処理後、制御部１１はステップＳ１５の処理に戻り、撮影画像に基づいて、作業者が適切な衛生作業中であるか否かを判断する処理、適切な衛生作業中である場合に作業部位に対する衛生作業が正常に完了したか否かを判断する処理を繰り返す。ステップＳ１８で作業部位に対する衛生作業が正常に完了していないと判断した場合（Ｓ１８：ＮＯ）、例えば衛生作業中の部位に対する作業完了時間が経過する前に作業者がこの部位に対する衛生作業を終了又は中断した場合、制御部１１は、衛生作業が未完了であることを通知する（Ｓ２２）。例えば制御部１１（通知部）は、「左腕の衛生作業が不足しています。もうしばらく左腕を清掃して下さい」のようなメッセージを表示部１５に表示又は音声出力して通知する。そして制御部１１は、ここでの作業部位に対して、ここまで計時した作業時間を記憶部１２に記憶し（Ｓ２３）、ステップＳ１５の処理に戻る。

なお、ステップＳ２３で途中までの作業時間が記憶された部位について、ステップＳ１５～Ｓ１６の処理で衛生作業が再開されたことが判断された場合、ステップＳ１７で制御部１１は、記憶部１２に記憶した途中までの作業時間を引き継いで、衛生作業が再開された部位に対する作業時間の計時を行う。ステップＳ２０で未完了の部位がないと判断した場合（Ｓ２０：ＮＯ）、制御部１１は、衛生作業の完了を通知し（Ｓ２４）、処理を終了する。例えば制御部１１は、「全ての箇所が正常に清掃されました」のようなメッセージを表示部１５に表示又は音声出力して通知する。

制御部１１（通知部）は、上述した処理を行いつつ、作業者の身体の各部位に対して行われる衛生作業の実行状況を示すヒートマップを生成して表示することにより、衛生作業の実行状況を作業者に通知してもよい。図７はヒートマップの例を示しており、作業者の正面側及び背面側のそれぞれについて身体の各部位を、各部位に行われた作業時間に応じた色で表示している。図７に示す例では、頭部、胸部、腹部、背中、臀部、左手、右手、左足、右足等の各部位について、各部位に対して行われた衛生作業の時間を表示しており、衛生作業が適切に完了した部位は白色で表示され、未完了の部位は、作業時間が短いほど濃い色（黒色）で表示されている。なお、未完了の部位は、この部位に設定された作業完了時間と、この部位に行われた作業時間とが表示してあり、作業者が残りの作業時間を把握できるようにしてある。制御部１１は、ステップＳ１７で各部位に対する作業時間の計時を行った場合に、計時した作業時間をヒートマップ上の各部位に対応する時間に表示し、各部位に設定された作業完了時間に対する作業時間の割合に応じた色（濃い色又は薄い色）で各部位を表示するヒートマップを生成する。制御部１１は、このようなヒートマップを表示部１５に表示することにより、各部位に対する衛生作業の実行状況を作業者に通知できる。

また制御部１１は、各部位に行われた作業時間の代わりに、各部位に対して作業者が衛生用具（粘着ローラー）を往復運動させた回数に応じた色で各部位を表示するヒートマップを生成してもよい。この場合、制御部１１は、衛生用具の往復運動の回数が各部位に対して設定された完了条件の回数を超えた部位（衛生作業が適切に完了した部位）を白色で表示し、未完了の部位を、往復運動の回数が少ないほど濃い色（黒色）で表示するヒートマップを生成する。また制御部１１は、ヒートマップ上で、例えば粘着ローラーの粘着テープが通過した箇所を通過回数に応じた色で着色していくことにより、各部位に対する衛生作業の実行状況を通知してもよい。この場合、各部位の領域が所定色に着色された場合に、衛生作業が適切に完了したと判断できる。

上述した処理により、監視装置１０は、判定エリア内にいる作業者を撮影した撮影画像に基づいて、この作業者が行う衛生作業の実行状況を監視する。そして、監視装置１０は、作業者が各部位に対する衛生作業を中断した場合、又は作業時間が不足している部位がある場合に、その旨を作業者に通知する。また監視装置１０は、作業者が衛生作業を適切に完了した場合に、その旨を作業者に通知する。よって、作業者は、自身の判断だけでなく、監視装置１０による判定処理によって自身の衛生作業が適切に行われているか否かを確認できる。本実施形態では、撮影画像に基づいて、画像中の作業者の骨格推定を行って作業者の関節位置を取得し、作業者の関節位置に基づいて衛生作業が適切に行われているか否かを判定する。よって、画像背景の色、作業者の作業着の色、衛生用具の色等の影響、及び撮影環境の影響を受けず、撮影画像中の作業者を精度よく抽出することができ、作業者が適切な衛生作業を行っているか否かを精度良く判定することができる。また、骨格推定によって作業者の関節位置を抽出するので、煩雑な処理を行うことなく、作業者が衛生作業中の身体の部位を容易に特定できる。

本実施形態では、クリーンルームの前室内に１箇所の判定エリアが設けられている構成を例に説明したが、複数箇所の判定エリアが設けられていてもよい。この場合、制御部１１（領域抽出部）は、前カメラ２１及び後カメラ２２で撮影した撮影画像から、それぞれの判定エリアに対応する撮影領域を抽出し、抽出した撮影領域毎に上述した処理を行うことにより、判定エリア毎の判定処理の実行が可能である。また、判定エリアを設けずに、撮影画像中に複数人の作業者が撮影されている場合に、制御部１１（領域抽出部）は、撮影画像から各作業者の撮影領域を抽出し、抽出した撮影領域毎に上述した処理を行うことにより、判定エリアを設けることなく複数人の作業者毎の判定処理の実行が可能である。

本実施形態では、２つのカメラ２１，２２で作業者を撮影する構成を例に説明したが、１つのカメラで作業者を撮影してもよい。例えば作業者が自身の正面側及び背面側をそれぞれカメラに向けて衛生作業を行うことにより、１つのカメラを用いて、作業者の正面側及び背面側について適切な衛生作業が行われたか否かを判定できる。また、３つ以上のカメラを用いて作業者を３方向以上から撮影してもよい。この場合、作業者の正面側及び背面側から撮影した撮影画像だけでなく、作業者の側面側から撮影した撮影画像によって、衛生用具が作業者の作業着に適切に接触しているか否かを判断してもよい。また、監視装置１０は、深度センサ（計測部）を用いて、作業者の作業着（身体）と衛生用具との距離を計測し、計測した距離によって、衛生用具が作業者の作業着に適切に接触しているか否かを判断してもよい。この場合、監視装置１０は、作業者の関節位置と、衛生用具の位置と、作業者及び衛生用具の間の距離とに基づいて、作業者が衛生作業を行っている作業部位をより正確に特定できる。

本実施形態において、監視装置１０の制御部１１は、衛生作業で使用される衛生用具の使用状況を検出してもよい。そして、制御部１１（清掃通知部）は、衛生用具の使用状況に応じて、衛生用具に対する清掃時期の到来を表示部１５に表示又は通知部１６を介して通知してもよい。例えば衛生用具が粘着ローラーであれば、制御部１１は、同じ粘着テープを所定人数（例えば３人）が使用した場合に、粘着テープを剥離すべきである旨を作業者又は衛生用具の管理者に通知するように構成されていてもよい。なお、衛生用具の清掃時期は、衛生用具に応じて予め設定されており、衛生作業に使用された時間（作業時間）、衛生用具が粘着ローラーであれば粘着ローラーの往復運動の回数等に応じて、衛生用具の清掃時期又は交換時期を設定することができる。

（実施形態２）
作業者を撮影した撮影画像に基づいて、撮影された作業者が適切な衛生作業の実行中であるか否かを判断する処理を、ニューラルネットワークを用いて行う監視装置１０について説明する。本実施形態の監視装置は、実施形態１の監視装置１０と同様の構成を有するので、構成についての詳細な説明は省略する。なお、本実施形態の監視装置１０は、図１に示す実施形態１の構成に加えて、記憶部１２に、機械学習によって学習させた学習済みモデルである作業判別モデルを記憶している。作業判別モデルは、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。

図８は作業判別モデルＭの構成例を示す模式図である。作業判別モデルＭは例えばＣＮＮ（Convolution Neural Network）及びＲＮＮ（Recurrent Neural Network）を組み合わせて構成されている。また、作業判別モデルＭは、３次元ＣＮＮ（３Ｄ－ＣＮＮ）を用いて構成されてもよい。作業判別モデルＭは、粘着ローラーを用いた衛生作業を実施中の作業者を撮影した時系列の撮影画像（動画データ）を入力とし、入力された撮影画像に基づいて、撮影されている作業者が、粘着ローラーを用いた衛生作業を適切に行っているか否かを演算し、演算した結果を出力するように学習した学習済みモデルである。従って、作業判別モデルＭには、作業者を撮影した撮影画像（時系列の画像）が入力され、作業判別モデルＭは、入力された撮影画像に対してフィルタ処理及び圧縮処理を行い、情報量が削減された特徴マップを生成する。また作業判別モデルＭは、特徴マップに基づいて、各種の関数及び閾値等を用いて出力値を算出し、算出した出力値を出力する。本実施形態の作業判別モデルＭは、１つの出力ノードを有しており、出力ノードは、入力された撮影画像中の作業者が衛生作業を適切に行っている（衛生作業中である）と判別すべき確率を出力する。出力ノードからの出力値は例えば０～１．０の値である。

作業判別モデルＭは、衛生作業を適切に行っている作業者を撮影した撮影画像を訓練データとして用いて学習する。作業判別モデルＭは、訓練データの撮影画像が入力された場合に、出力ノードから１．０の出力値が出力されるように学習する。学習処理において作業判別モデルＭは、実行すべきフィルタ処理及び圧縮処理における関数の係数及び重み付け係数等を最適化するように学習する。これにより、撮影画像が入力された場合に、撮影画像中に写っている作業者が、衛生作業を適切に行っているか否かを示す判別確率を出力する学習済みの作業判別モデルＭが得られる。なお、訓練データには、例えば作業者が粘着ローラーを自身の作業着の上で往復運動させている場合に撮影した画像（動画像）を用いることができる。具体的には、作業者が自身の頭部、胸部、背中、左腕の正面側及び背面側、右腕の正面側及び背面側、左足の正面側及び背面側、右足の正面側及び背面側の各領域に対して粘着ローラーを往復運動させている場合の撮影画像を用いることができる。作業判別モデルＭの学習は、他の学習装置で行われるが、監視装置１０で行われてもよい。

作業判別モデルＭは、時系列の撮影画像（動画データ）の代わりに、１つの撮影画像と、撮影画像中の作業者の動きをベクトルで示したオプティカルフローとを入力とする構成でもよい。この場合にも、作業判別モデルＭは、入力された撮影画像及びオプティカルフローに基づいて、撮影されている作業者が、粘着ローラーを用いた衛生作業を適切に行っているか否かを示す判別確率を出力する。また、作業判別モデルＭは、上述したニューラルネットワークに限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。

上述した作業判別モデルＭを用いて、撮影された作業者が適切な衛生作業の実行中であるか否かを判断する本実施形態の監視装置１０は、実施形態１で説明した図３に示す処理と同様の処理を行う。なお、本実施形態では図４中のステップＳ１５において、監視装置１０の制御部１１は、撮影画像（時系列の撮影画像）を作業判別モデルＭに入力し、作業判別モデルＭからの出力情報に基づいて、撮影画像中の作業者が適切な衛生作業を実行中であるか否かを判断（認識）する。例えば制御部１１は、作業判別モデルＭが出力した判別確率が所定閾値（例えば０．８）以上であった場合、撮影画像中に写っている作業者は適切な衛生作業中であると判断する。なお、制御部１１は、撮影画像から判定エリアの領域を抽出し、抽出した判定エリアの領域のみを作業判別モデルＭに入力してもよい。

また、作業判別モデルＭは、作業者の撮影画像に対して、作業者の関節位置を示す点及び骨格線を示す線を付加した画像を入力とし、作業者が適切な衛生作業を実行しているか否かを示す判別確率を出力するように構成されていてもよい。この場合、作業判別モデルＭは、作業者の撮影画像に対して作業者の関節位置を示す点及び骨格線が付加された画像を用いて、作業者が粘着ローラーを往復運動させている場合の関節位置の動きを学習し、関節位置の動きに基づいて作業者が適切な衛生作業を実行しているか否かを判別するように構成できる。更に、作業判別モデルＭは、作業者の撮影画像に基づいて特定された作業者の関節位置を示す点及び骨格線のデータと、作業者の撮影画像に基づいて特定された衛生用具の位置を示すデータとを入力とし、作業者が適切な衛生作業を実行しているか否かを示す判別確率を出力するように構成されていてもよい。この場合、作業判別モデルＭは、作業者の関節位置を示す点及び骨格線を示すデータと、作業者が使用する衛生用具の位置を示すデータとを用いて、作業者が粘着ローラーを往復運動させている場合の関節位置及び衛生用具の動きを学習し、関節位置及び衛生用具の動きに基づいて作業者が適切な衛生作業を実行しているか否かを判別するように構成できる。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、衛生作業を行う作業者を撮影した撮影画像に基づいて学習した作業判別モデルＭを用いて、撮影画像中の作業者が適切な衛生作業を行っているか否かを判断するので、より精度よく撮影画像中の作業者を抽出でき、作業者が適切な衛生作業を行っているか否かを判定できる。本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。

（実施形態３）
身体の各部位に対して衛生作業を行う順序が決められている場合に、作業者を撮影した撮影画像に基づいて、作業者が適切な衛生作業を行っているか否かを監視する監視装置について説明する。本実施形態の監視装置は、実施形態１の監視装置１０と同様の構成を有するので、構成についての詳細な説明は省略する。なお、本実施形態の監視装置１０は、図１に示す実施形態１の構成に加えて、記憶部１２に作業順序ＤＢ１２ａを記憶している。

図９は作業順序ＤＢ１２ａの構成例を示す模式図である。作業順序ＤＢ１２ａは、身体の各部位に対して衛生作業を行う順序を記憶する。図９に示す作業順序ＤＢ１２ａは、順序列、部位列、作業完了時間列等を含み、順序に対応付けて身体の部位及び作業完了時間を記憶する。順序列には１～９の各順序が予め記憶してあり、部位列は各順序に衛生作業を行うべき身体の部位を記憶し、作業完了時間列は各部位に対して設定された衛生作業を実行すべき時間（作業完了時間）を記憶する。作業順序ＤＢ１２ａに記憶される部位及び作業完了時間は、制御部１１が通信部１３又は入力部１４を介して、各順序に対する部位及び作業完了時間を取得した場合に、制御部１１によって記憶される。なお、作業順序ＤＢ１２ａに記憶される内容は、監視装置１０が設置される工場又は店舗等における衛生作業に関するマニュアルに従って登録され、適宜変更が可能である。作業順序ＤＢ１２ａの記憶内容は図９に示す例に限定されず、順序の数、即ち、細分化する身体の各部位の数は９つに限定されない。

以下に、本実施形態の監視装置１０が、作業者を撮影した撮影画像に基づいて、作業者が衛生作業を適切に行っているか否かを判定する処理について説明する。図１０は実施形態３の判定処理手順の一例を示すフローチャートである。図１０に示す処理は、図３に示す処理において、ステップＳ１６，Ｓ１７の間にステップＳ３１を追加したものである。図３と同じステップについては説明を省略する。

本実施形態の監視装置１０において、制御部１１は、実施形態１で説明した図４中のステップＳ１１～Ｓ１６の処理を行う。これにより、制御部１１は、カメラ２１，２２で撮影した撮影画像に基づいて、判定エリア内の作業者の関節位置と、作業者が把持している衛生用具とを抽出し、作業者が適切な衛生作業を行っている場合には衛生作業中の部位を特定する。本実施形態の監視装置１０では、制御部１１は、適切に行われている衛生作業中の部位を特定した場合、特定した部位が、作業順序ＤＢ１２ａに登録されている順序に従った適切な部位であるか否かを判断する（Ｓ３１）。例えば、初めて部位を特定した場合、制御部１１は、作業順序ＤＢ１２ａから１番目の部位として「頭部」を読み出し、特定した部位が頭部（読み出した部位）に一致するか否かを判断する。そして制御部１１は、一致する場合、特定した部位は適切な部位であると判断し、一致しない場合、特定した部位は適切な部位ではないと判断する。

適切な部位であると判断した場合（Ｓ３１：ＹＥＳ）、制御部１１は、ステップＳ１７の処理に移行し、実施形態１で説明した図４中のステップＳ１７～Ｓ２４の処理を行う。適切な部位でないと判断した場合（Ｓ３１：ＮＯ）、制御部１１は、ステップＳ２１の処理に移行し、作業部位の変更を促す通知を行う（Ｓ２１）。ここでは制御部１１は、例えば「衛生作業を行う箇所の順番が間違っています。マニュアルに従って衛生作業を行って下さい」のようなメッセージを表示部１５に表示又はスピーカ（通知部１６）から音声出力して作業者に通知する。また、制御部１１は、「頭部から順に衛生作業を行って下さい」、「次は背中を掃除して下さい」のように衛生作業を行うべき部位を指定するメッセージを表示部１５に表示又は音声出力して通知してもよい。

ステップＳ２１の処理後、制御部１１は、ステップＳ１５の処理に戻り、撮影画像に基づいて、作業者が適切な衛生作業中であるか否かを判断する処理、適切な衛生作業中である場合に作業部位が、設定された順序に従った適切な部位であるか否かを判断する処理を繰り返す。そして、適切な衛生作業中の部位が適切な部位である場合、制御部１１は、ステップＳ１７～Ｓ２４の処理を行う。上述した処理により、本実施形態の監視装置１０では、作業者が適切な衛生作業を行っているか否かだけでなく、予め設定された作業順序に従って作業者が各部位に対して適切な衛生作業を行っているか否かを監視できる。また、本実施形態においても、監視装置１０は、作業者による衛生作業の実行状況を監視し、どの程度完了しているかを作業者に通知できる。よって、作業者は、自身の判断だけでなく、監視装置１０による判定処理によって自身の衛生作業が適切に行われているか否かを確認できると共に、実行中の衛生作業については残りの作業時間等を把握できるので効率的な衛生作業が可能となる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、衛生作業を行うべき各部位に対して予め設定された作業順序も考慮して、作業者が、所定の順序で各部位に対して適切な衛生作業を行っているか否かを監視できる。よって、監視装置１０が設置される工場又は店舗等において、身体の各部位に対する衛生作業を行う順序が、衛生作業に関するマニュアルに規定されている場合であっても、マニュアルに従った監視処理が可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。また本実施形態の構成は実施形態２の監視装置１０にも適用可能であり、実施形態２の監視装置１０に適用した場合であっても同様の効果が得られる。

上述した各実施形態において、監視装置１０が撮影画像中の作業者が適切な衛生作業を行っているか否かを判定する処理を、ネットワークに接続された所定のサーバで行うように構成してもよい。この場合、監視装置１０の制御部１１は、逐次取得する撮影画像をネットワーク経由で所定のサーバへ送信し、所定のサーバで判定された判定結果（撮影画像中の作業者が適切な衛生作業を行っているか否か）を取得し、取得した判定結果に従って、撮影画像中の作業者が適切な衛生作業を行っているか否かを判定してもよい。このとき、サーバは、判定処理に用いる情報又は作業判別モデルＭを記憶部に記憶しておき、制御部が、判定処理に用いる情報又は作業判別モデルＭに基づいて、監視装置１０から受信した撮影画像中の作業者が適切な衛生作業を行っているか否かを判断すればよい。なお、ここでのサーバは、サーバコンピュータ又はパーソナルコンピュータを用いて実現されてもよく、１台のサーバ内に設けられた複数の仮想マシンを用いて実現されてもよく、クラウドサーバを用いて実現されてもよい。

上述した各実施形態において、監視装置１０は、作業者を、予め登録してある従業員の中から特定する構成を更に備えてもよい。例えば、作業者の氏名が記載された名札が作業着に取り付けられている場合、監視装置１０は、撮影画像から名札の領域を抽出し、抽出した領域からＯＣＲ（Optical Character Recognition）にてテキストデータを生成することによって作業者の氏名を取得してもよい。また、各従業員の顔画像を予め登録しておくことにより、監視装置１０は、撮影画像に基づいて、撮影画像中の作業者の顔画像に基づいて、撮影画像中の作業者を従業員の中から特定してもよい。このように作業者を特定する構成を有する場合、各従業員の衛生作業の実行実績等を収集することができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 監視装置
１１ 制御部
１２ 記憶部
１５ 表示部
１６ 通知部
２１ 前カメラ
２２ 後カメラ
Ｍ 作業判別モデル

Claims (10)

1. 作業者を撮影する撮影部と、
   前記撮影部が撮影した撮影画像に基づいて前記作業者の関節位置を抽出する関節抽出部と、
   前記作業者が携帯している衛生用具を検出する用具検出部と、
   前記作業者による前記衛生用具を使用した衛生作業の実行を認識する作業認識部と、
   前記衛生作業の実行が認識された場合の前記関節位置及び前記衛生用具の位置に基づいて、前記衛生作業を実行している身体部位を特定する特定部と、
   前記作業者の身体部位と前記衛生用具との間の距離を計測する計測部と
   を備え、
   前記特定部は、前記作業者の関節位置、前記衛生用具の位置、及び前記作業者の身体部位と前記衛生用具との間の距離に基づいて、前記衛生作業を実行している身体部位を特定する
   情報処理システム。
2. 前記衛生作業の実行状況に基づいて、特定した前記身体部位に対する衛生作業が完了したか否かを判定する判定部
   を更に備える請求項１に記載の情報処理システム。
3. 前記判定部は、前記身体部位毎に異なる完了条件に基づいて、前記身体部位に対する衛生作業が完了したか否かを判定する
   請求項２に記載の情報処理システム。
4. 前記身体部位毎に、前記衛生作業の完了又は未完了を通知する通知部
   を更に備える請求項１から３までのいずれかひとつに記載の情報処理システム。
5. 前記作業認識部は、前記作業者が前記衛生用具を往復運動させて行う前記衛生作業の実行を認識する
   請求項１から４までのいずれかひとつに記載の情報処理システム。
6. 前記撮影部は複数方向から前記作業者を撮影した複数の撮影画像を取得する
   請求項１から５までのいずれかひとつに記載の情報処理システム。
7. 前記撮影部が撮影した撮影画像から、衛生作業を実行する作業者の撮影領域を抽出する領域抽出部を更に備え
   前記関節抽出部は、前記作業者の撮影領域の画像に基づいて前記作業者の関節位置を抽出する
   請求項１から６までのいずれかひとつに記載の情報処理システム。
8. 前記衛生用具の使用状況に基づいて、前記衛生用具の清掃時期の到来を通知する清掃通知部
   を更に備える請求項１から７までのいずれかひとつに記載の情報処理システム。
9. 作業者を撮影した撮影画像を取得する画像取得部と、
   取得した撮影画像に基づいて前記作業者の関節位置を抽出する関節抽出部と、
   前記作業者が携帯している衛生用具を検出する用具検出部と、
   前記作業者による前記衛生用具を使用した衛生作業の実行を認識する作業認識部と、
   前記衛生作業の実行が認識された場合の前記関節位置及び前記衛生用具の位置に基づいて、前記衛生作業を実行している身体部位を特定する特定部と、
   前記作業者の身体部位と前記衛生用具との間の距離を計測する計測部と
   を備え、
   前記特定部は、前記作業者の関節位置、前記衛生用具の位置、及び前記作業者の身体部位と前記衛生用具との間の距離に基づいて、前記衛生作業を実行している身体部位を特定する
   情報処理装置。
10. 作業者を撮影した撮影画像を取得し、
    取得した撮影画像に基づいて前記作業者の関節位置を抽出し、
    前記作業者が携帯している衛生用具を検出し、
    前記作業者による前記衛生用具を使用した衛生作業の実行を認識し、
    前記衛生作業の実行が認識された場合の前記関節位置及び前記衛生用具の位置に基づいて、前記衛生作業を実行している身体部位を特定する処理であって、
    前記作業者の身体部位と前記衛生用具との間の距離を計測し、
    前記作業者の関節位置、前記衛生用具の位置、及び前記作業者の身体部位と前記衛生用具との間の距離に基づいて、前記衛生作業を実行している身体部位を特定する
    処理をコンピュータが実行する情報処理方法。

Images