JP7376446B2 - 作業分析プログラム、および、作業分析装置 - Google Patents

Description

本発明は、作業分析プログラム、および、作業分析装置に関する。

人手による作業を伴う生産現場において、作業者の作業状況をビデオカメラで記録し、解析することが一般的になっており、そのために計算機システムあるいは、プログラムが使われている。例えば、移動している箱の中から作業者が何を取ったかなどを画像で認識するために、プログラムに機械学習を行わせ判定モデルを作成することができる。また、例えば、電動ドライバでネジ締めを行っている場合、電動ドライバの形状と姿勢を認識するための機械学習を行うことが可能である。

特許文献１では、ビデオカメラ等で撮影され、観測された動作からの分析者の手を煩わすことなく標準作業時間を算出することが可能となる作業分析システム及びその方法が提供されている。

特開２００２－３１０６１７号公報

画像認識の精度を高めるためには、事前に用意した教師ありの学習データを大量に用意し、その学習データを機械学習して高精度なモデルを生成することが一般的である。しかし、多数の作業者が勤務する製造現場などでは、作業者一人ずつの学習データを用意することは負担が大きいという問題があった。

一方で、移動物の検出については、ディープラーニングにより、実際の移動物、例えば箱自体を学習することで、対象物を検出することができるが、学習に手間がかかることと、対象物は、多種多用であり、すべてに対応するのが難しいという問題があった。

そこで本発明は、人が行う作業行動を少ない負荷で高精度に分析することを主な目的とする。

本発明による作業分析プログラムは、画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部、前記画像データに写る特定のマークを認識するマーク認識部、前記マーク認識部により認識した前記マークと、前記骨格抽出部が取得した前記骨格データの特定部分とに基づいて、前記人物が行う作業を分析する分析部、としてコンピュータを機能させるためのものであって、前記マークは、前記人物が前記作業時に使用する工具に貼付されており、前記分析部は、前記マーク認識部が認識した前記マークの向きを判別し、判別した前記マークの向きと、前記マークと前記特定部分の位置関係と、に基づいて、前記人物が前記工具を使用中であるか否かを判断することで、前記作業を分析する。
本発明による作業分析装置は、画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部と、前記画像データに写る特定のマークを認識するマーク認識部と、前記マーク認識部により認識した前記マークと、前記骨格抽出部が取得した前記骨格データの特定部分とに基づいて、前記人物が行う作業を分析する分析部と、を有し、前記マークは、前記人物が前記作業時に使用する工具に貼付されており、前記分析部は、前記マーク認識部が認識した前記マークの向きを判別し、判別した前記マークの向きと、前記マークと前記特定部分の位置関係と、に基づいて、前記人物が前記工具を使用中であるか否かを判断することで、前記作業を分析するものである。

本発明によれば、人が行う作業行動を少ない負荷で高精度に分析することができる。

作業分析システムの構成図である。 （ａ）、（ｂ）及び（ｃ）は画像データおよび骨格データ、骨格データを構成する特徴点データを示すテーブルである。 画像データ内の領域設定用のマーク（第１マーク）を用いた作業分析処理を示すフローチャートである。 図４の続きのフローチャートである。 第１マークを用いた作業分析処理を説明する説明図である。 第１マークを用いた作業分析処理を説明する説明図である。 第１マークを説明する説明図である。 物の向きの判別用のマーク（第２マーク）を用いた作業分析処理を示すフローチャートである。 図８の続きのフローチャートである。 第２マークを用いた作業分析処理を説明する説明図である。 作業者個人の特定用のマーク（第３マーク）を用いた作業者個人の特定を説明する説明図である。

以下、図面を参照しながら本発明の好ましい実施形態について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

図１は、作業分析システムの構成図である。

作業分析システムは、作業分析装置１０を中心として、ビデオカメラ３１と、ビデオレコーダ３２と、入出力装置３３と、モニタ４１と、記憶装置４２と、アプリケーション装置４３とを含めて構成される。

これらの作業分析システムの各装置は、それぞれ、イーサネット（登録商標）などのネットワーク、USBやその他、ハードウェア・インタフェースとして使用可能な適切なもので接続される。また、作業分析システムの各装置は、単独の装置として構成されていてもよいし、作業分析装置１０などの計算機システム上のソフトウェアを実行することで実現してもよい。

ビデオカメラ３１は、作業者や対象物等を被写体として撮影する。ビデオレコーダ３２には、ビデオカメラ３１で撮影した映像が記録されている。入出力装置３３は、グラフィックディスプレイ、マウスを備え、作業者などの利用者に情報表示したり、利用者の指示を受け付けたりする。

モニタ４１と、記憶装置４２と、アプリケーション装置４３とは、それぞれ作業分析装置１０の分析結果の出力先である。

作業分析装置１０は、例えば、オンプレサーバ、もしくはクラウドサーバのような計算機システムである。作業分析装置１０は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスクなどの記憶手段（記憶部）と、ネットワークインタフェースとを有するコンピュータとして構成される。このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部により構成される制御部（制御手段）を動作させる。

作業分析装置１０は、計算機システム上のプログラムを実行することで骨格抽出部１１と、モデル生成部１２と、分析部１３と、出力部１４と、マーク認識部１５とを構成する。これらの構成された各処理部は、ハードディスクなどの不揮発メモリ上に蓄えられるデータ（モデルデータ２２、推定結果データ２３）にアクセスする。

骨格抽出部１１は、ビデオカメラ３１またはビデオレコーダ３２から入力された画像データ１８をもとに、骨格データ１９を抽出する。

モデル生成部１２は、学習用の画像データ１８ａ（画像データ１８）と、学習用の骨格データ１９ａ（骨格データ１９）とを入力として、モデルデータ２２を生成して不揮発メモリに保存する。モデルデータ２２には、ユーザから明示的に定義された定義データと、ユーザから入力されたラベルデータを用いた学習結果である学習済データとが存在する。なお、モデル生成部１２は、分析対象の作業に対してモデルデータ２２を基本的には１度作成すればよいが、精度を向上させるために、すでに作成したモデルデータ２２を更新（改良）してもよい。マーク認識部１５は画像データ１８内に含まれている特定のマークを認識する。なお、マーク認識部１５が認識するマークには、画像データ内の領域設定に用いられるマーク（以下「第１マーク」と称する）、物の向きの判別に用いられるマーク（以下「第２マーク」と称する）、作業者個人の特定に用いられるマーク（以下「第３マーク」と称する）などが含まれる。これらのマークの詳細については後述する。

分析部１３は、分析用の画像データ１８ｂ（画像データ１８）と、分析用の骨格データ１９ｂ（骨格データ１９）と、マーク認識部１５が認識したマークとを入力として、モデルデータ２２を用いた推論処理により、作業者が行う作業に対する推定結果データ２３を求める。

出力部１４は、推定結果データ２３を外部装置（モニタ４１と、記憶装置４２と、アプリケーション装置４３）に出力する。

すなわち、画像データ１８を入力とした画像認識により、画像データ１８に写る人物の関節位置を示す特徴点データを含む骨格データ１９を取得する骨格抽出部１１と、画像データ１８に映るマークを認識するマーク認識部１５と、マーク認識部１５により認識したマークと、骨格抽出部１１が取得した骨格データとに基づいて、作業者が行う作業を分析する分析部１３とを備えた作業分析装置１０である。

図２（ａ）（ｂ）及び（ｃ）は、画像データ１８および骨格データ１９の一例を示す図である。

図２（ａ）の画像データ１８は、人物が写っている動画像において、人物ごと、画像フレームごとに１つ生成される。

図２（ｂ）の骨格データ１９は、骨格抽出部１１が画像データ１８から人物の骨格情報を抽出した結果である。骨格データ１９は、人物の特徴点（関節点など）ごとに、１つずつ番号が割り当てられる（図では番号＝０～９）。骨格抽出部１１は、OpenPose（ＵＲＬ＝https://github.com/CMU-Perceptual-Computing-Lab/openpose）などの公知の骨格情報取得技術を使用することができる。

図２（ｃ）は、図２（ｂ）の骨格データ１９を構成する特徴点データを示すテーブルである。

このテーブルは、特徴点の番号ごとに、特徴点の名称（鼻など）と、特徴点の（ｘ，ｙ）座標とで構成される。特徴点の名称として、例えば、人物の首、左肩、左肘などの特徴点に対して別々の番号が割り当てられる。特徴点の名称や座標は、骨格抽出部１１が画像データ１８からそれぞれの関節点を画像認識で認識した結果である。

図３～図７を参照し、動いている段ボール箱に対して、段ボール箱に貼付されたマークを検出し、作業者が行う作業を分析する動作を説明する。図３及び図４は、第１マークを用いた作業分析処理を示すフローチャートである。図５及び図６は、第１マークを用いた作業分析処理を説明する説明図である。図７は、第１マークを説明する説明図である。

初めに、ステップＳ１０１では、作業分析装置１０が稼働する。例えば、コンピュータの電源スイッチが「ＯＮ」にされて作業分析装置１０が起動する。

ステップＳ１０２では、ビデオカメラ３１が作動する。これにより、ビデオカメラ３１によって撮像された画像データ１８が時間とともに生成される。生成された画像データ１８は、作業分析装置１０内のメモリに記憶される。

ステップＳ１０３では、図５、６に示すように、ベルトコンベア５６が稼働し物（本例では工具等）が入ったベルトコンベア上の段ボール箱５１ａ及び段ボール箱５１ｂが移動する。本例では紙面に対し段ボール箱５１ａ，５１ｂが左側から右側に移動しており、図５は前の時間で撮像された画像フレームにおける画像データ１８の例を、図６は後の時間で撮像された画像フレームにおける画像データ１８の例をそれぞれ示している。ここで、ステップＳ１０３以降の処理は、各画像フレームに対して順次実行される。以降では、図５の画像データ１８を処理対象とした場合について先に説明するものとする。

ステップＳ１０４では、骨格抽出部１１が、図５に写っている作業者５０の骨格データ１９を抽出する。そして、メモリに記憶する。このとき、骨格データ１９は図２（ｃ）に示すテーブルのように記憶されている。なお、ここでの座標値は画像データ１８上の座標値を表している。

ステップＳ１０５では、図５に示すように、マーク認識部１５が、段ボール箱５１ａ，５１ｂにそれぞれ貼られた第１マーク５２ａ，５２ｂを認識する。例えば、図７で拡大して示すように、第１マーク５２ｂには黒地に特定の白地パターンが描かれている。同様に、第１マーク５２ａにも別の白地パターンが描かれている。これらの白地パターンに関するデータを含む第１マークデータ５９を作業分析装置１０のメモリに予め記憶しておくことで、マーク認識部１５がこの第１マークデータ５９を参照して画像データ１８から第１マーク５２ａ，５２ｂを認識できるようになっている。なお、第１マーク５２ａ，５２ｂには、例えば、ＡｒＵｃｏマーカーなどの周知のＡＲマーカーを使用することが好ましい。ただし、マーク認識部１５が認識する第１マーク５２ａ，５２ｂは、図５～図７で示したものに限らず、任意の白黒パターンやカラーパターンのマークを用いることができる。これにより、段ボール箱５１ａ，５１ｂが動いている最中にも確実に第１マーク５２ａ，５２ｂの形状を認識することができる。

ステップＳ１０６では、マーク認識部１５が、ステップＳ１０５で認識した第１マーク５２ａ，５２ｂに基づいて、段ボール箱５１ａ，５１ｂにそれぞれ割り当てられているＩＤ番号を特定する。前述のように、第１マーク５２ａと第１マーク５２ｂでは白地パターンの形状が互いに異なっており、これら白地パターンのそれぞれには、予め固有のＩＤ番号が割り当てられている。これにより、マーク認識部１５が段ボール箱５１ａ，５１ｂのＩＤ番号をそれぞれ特定できるようになっている。

ステップＳ１０７では、分析部１３が、ステップＳ１０５で認識した第１マーク５２ａ，５２ｂの位置を基準に、画像データ１８に対して図５に示すように領域５３ａ，５３ｂをそれぞれ設定する。これらの領域の設定に関する領域データは、前述のパターンデータと共に、第１マークデータ５９として作業分析装置１０のメモリに予め記憶されている。これにより、分析部１３が段ボール箱５１ａ，５１ｂに対して設定する領域５３ａ，５３ｂの範囲を特定することができる。なお、領域データは画像データ１８と同一の座標系で表されることが好ましい。

ステップＳ１０８では、分析部１３が、ステップＳ１０７で設定した領域５３ａ，５３ｂの中に、ステップＳ１０４で抽出した骨格データ１９の特定部分が有るか否かを判断する。領域５３ａ，５３ｂの中に骨格データ１９の特定部分、例えば作業者５０の手首５４に対応する部分が有ると判断した場合に処理はステップＳ１０９に進む。領域５３ａ，５３ｂの中に骨格データ１９の特定部分が無いと判断した場合に処理はステップＳ１１０に進む。図５に示す本例では作業者５０の手首５４の部分が領域５３ａ内に存在しているため、骨格データ１９ではこの手首５４に対応する部分が領域５３ａ内に存在している。図２（ｃ）に示す骨格データ１９の例では、番号４，７の特徴点が手首５４に対応する特定部分に相当するため、これらの特徴点が領域５３ａ内に存在していれば、ステップＳ１０８が肯定判定されることになる。

ステップＳ１０９では、分析部１３により、ステップＳ１０６でＩＤ番号を特定した段ボール箱５１ａから、予め段ボール箱５１ａに対応付けされた物（例えば電動ドライバ等の工具）が作業者５０によって取り出されたと判断する。

ステップＳ１１０では、作業分析装置１０が、作業分析処理を終了するか否かを判断する。作業者５０がまだ作業中の場合は、作業分析処理を終了しないと判断し、処理はステップＳ１０３に戻る。作業者５０が全ての作業を終了済みの場合、作業分析処理を終了すると判定し、図３，４のフローチャートに示す処理は終了する。ここでは、まだ作業を終了していないので、ステップＳ１０３に戻り、さらに、図６に示す画像データ１８に対して、第１マーク５２ｂを認識して上述のような処理（ステップＳ１０３～ステップＳ１１０）を行うことになる。これにより、画像データ１８内で移動している段ボール箱５１ｂを認識し作業者５０の作業を特定することができる。

図８～図１０を参照し、マークの向きを検出し、作業者が行う作業を分析する動作を説明する。図８及び図９は、第２マークを用いた作業分析処理を示すフローチャートである。図１０は、第２マークを用いた作業分析処理を説明する説明図である。

初めに、ステップＳ２０１では、作業分析装置１０が稼働する。例えば、コンピュータの電源スイッチが「ＯＮ」にされて作業分析装置１０が起動される。

ステップＳ２０２では、ビデオカメラ３１が作動する。これにより、ビデオカメラ３１によって撮像された画像データ１８が時間とともに生成される。生成された画像データ１８は、作業分析装置１０内のメモリに記憶される。以降では、図１０の画像データ１８を処理対象とした場合について説明するものとする。

ステップＳ２０３では、骨格抽出部１１が、図１０に写っている作業者６０の骨格データ１９を抽出する。そして、メモリに記憶する。このとき、骨格データ１９は図２（ｃ）に示すテーブルのように記憶されている。なお、ここでの座標値は画像データ１８上の座標値を表している。

ステップＳ２０４では、画像データ１８に対して、図１０に示すように領域６３を設定する。この領域６３の設定に関する領域データは、前述の第１マークデータ５９と同様に、第２マークデータとして作業分析装置１０のメモリに予め記憶されている。なお、領域データは画像データ１８と同一の座標系で表されることが好ましい。

ステップＳ２０５では、マーク認識部１５が、ステップＳ２０４で設定した領域６３内で第２マーク６２を認識する。この第２マーク６２は、図１０に示すように、作業者６０が持っている電動ドライバ６１に貼付されている。

ステップＳ２０６では、分析部１３が、ステップＳ２０５で認識した第２マーク６２の向きを判別する。ここでは、第２マーク６２の縞の方向から第２マーク６２の向きを判別する。図１０に示すように、第２マーク６２が縦縞の場合は、第２マーク６２の向きが縦であると判別し、反対に第２マーク６２が横縞の場合は、第２マーク６２の向きが横であると判別する。ただし、マーク認識部１５が認識する第２マーク６２は、その向きが判別可能であれば、図１０で示したものに限らず、任意の白黒パターンやカラーパターンのマークを用いることができる。

ステップＳ２０７では、分析部１３が、ステップＳ２０６で判別した第２マーク６２の向きが縦であり、かつ、ステップＳ２０３で抽出した骨格データ１９の特定部分、例えば作業者６０の手首６４に対応する部分が、第２マーク６２の近くか、またはステップＳ２０４で設定した領域６３内にあるか否かを判定する。第２マーク６２の向きが縦であり、その近くか領域６３内に骨格データ１９の特定部分があると判定した場合に処理はステップＳ２０９に進む。第２マーク６２の向きが縦でないか、第２マーク６２の近傍を含む領域６３内に骨格データ１９の特定部分がないと判定した場合に処理はステップＳ２１０に進む。第２マーク６２としては、縞模様(ストライプ）などの画像を、機械学習により学習した検出器を使用することで、特定の向きでのみ認識するマーク検出を実現できる。なお、第２マーク６２は単純な図形であるため、学習にかかる手間は、実際の物をディープラーニングに依るものに比して少ない。図１０に示す本例では作業者６０の手首６４の部分が領域６３内に存在しているため、骨格データ１９ではこの手首６４に対応する部分が領域６３内に存在している。図２（ｃ）に示す骨格データ１９の例では、番号４，７の特徴点が手首６４に対応する特定部分に相当するため、第２マーク６２の向きが縦でこれらの特徴点が領域６３に存在していれば、ステップＳ２０７が肯定判定されることになる。

ステップＳ２０８では、分析部１３が、作業者６０が工具使用中と判断する。

ステップＳ２０９では、分析部１３が、作業者６０は工具（本例では電動ドライバ）を使用していないと判断する。

なお、以上説明したような第１マーク、第２マークを用いた作業分析処理では、作業者５０，６０が行っている作業内容の分析を行い、作業者個人を特定していないが、作業者個人を特定してもよい。例えば図１１に示すように、作業者７０がかぶっているヘルメット７１に、作業者７０を特定可能な識別情報として特定のパターンによる第３マーク７２を貼り付けておき、この第３マーク７２を認識することで、作業を実施している作業者７０を特定することが可能となる。なお、作業者７０を特定するための第３マーク７２には、第１マーク５２ａ，５２ｂと同様に、ＡｒＵｃｏマーカーなどの周知のＡＲマーカーを使用することができる。この第３マーク７２も、図１１で示したものに限らず、任意の白黒パターンやカラーパターンのマークを用いることができる。

以上説明した本発明の実施形態によれば、以下の作用効果を奏する。

（１）作業分析装置１０は、画像データ１８を入力とした画像認識により、画像データ１８に写る人物の関節位置を示す特徴点データを含む骨格データ１９を取得する骨格抽出部１１、画像データ１８に写る特定のマークを認識するマーク認識部１５、マーク認識部１５により認識したマークと、骨格抽出部１１が取得した骨格データ１９の特定部分とに基づいて、人物が行う作業を分析する分析部１３とを含む。作業分析装置１０において実行されるプログラムは、これら各部としてコンピュータを機能させる。このようにしたので、人が行う作業行動を少ない負荷で高精度に分析することができる。

（２）分析部１３は、マーク認識部１５が認識した第１マーク５２ａ，５２ｂの位置を基準に画像データ１８に対して領域５３ａ，５３ｂを設定し（ステップＳ１０７）、骨格データ１９の特定部分が領域５３ａ，５３ｂ内に入っているか否かを判定することで（ステップＳ１０８）、作業を分析する。このようにしたので、画像内の任意の位置で実施される作業を確実に検知し、その内容を分析することができる。

（３）分析部１３は、マーク認識部１５が認識した第２マーク６２の向きを判別し（ステップＳ２０６）、判別した第２マーク６２の向きに応じて第２マーク６２が付与されている対象物（電動ドライバ６１）の状態を分析することで（ステップＳ２０７～Ｓ２０９）、作業を分析する。このようにしたので、様々な対象物を用いて行われる作業内容を少ない負担で分析することができる。

（４）第２マーク６２は縞模様を含み、分析部１３は、ステップＳ２０６において、第２マーク６２の縞模様の方向に応じて第２マークの向きを判別する。このようにしたので、機械学習により学習した検出器を使用して第２マーク６２の向きを判別するときに、少ない学習でも正確な判別結果を得ることができる。

（５）マーク認識部１５は、ステップＳ１０５において、移動している第１マーク５２ａ，５２ｂを認識する。このようにしたので、画像内で移動するものを対象物として行われる作業の分析を実現できる。

（６）マーク認識部１５は、個人を特定可能な識別情報を含んだ第３マーク７２を認識することもできる。このようにすれば、作業者個人を特定できるため、作業者ごとの作業内容の分析を実現できる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。

また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１０ 作業分析装置
１１ 骨格抽出部
１２ モデル生成部
１３ 分析部
１４ 出力部
１５ マーク認識部
１８ 画像データ
１９ 骨格データ
２２ モデルデータ
２３ 推定結果データ
３１ ビデオカメラ
３２ ビデオレコーダ
３３ 入出力装置
４１ モニタ
４２ 記憶装置
４３ アプリケーション装置

Claims (5)

1. 画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部、
   前記画像データに写る特定のマークを認識するマーク認識部、
   前記マーク認識部により認識した前記マークと、前記骨格抽出部が取得した前記骨格データの特定部分とに基づいて、前記人物が行う作業を分析する分析部、としてコンピュータを機能させるための作業分析プログラムであって、
   前記マークは、前記人物が前記作業時に使用する工具に貼付されており、
   前記分析部は、前記マーク認識部が認識した前記マークの向きを判別し、判別した前記マークの向きと、前記マークと前記特定部分の位置関係と、に基づいて、前記人物が前記工具を使用中であるか否かを判断することで、前記作業を分析する
   作業分析プログラム。
2. 前記マークは縞模様を含み、
   前記分析部は、前記縞模様の方向に応じて前記マークの向きを判別する
   請求項１に記載の作業分析プログラム。
3. 前記分析部は、
   前記画像データに対して所定の領域を設定し、
   前記マークの向きが縦であり、かつ、前記特定部分が前記マークの近傍または前記領域内にある場合は、前記人物が前記工具を使用中であると判断し、
   前記マークの向きが縦でないか、前記特定部分が前記マークの近傍と前記領域内のいずれにもない場合は、前記人物が前記工具を使用中でないと判断する
   請求項１に記載の作業分析プログラム。
4. 前記マーク認識部は、個人を特定可能な識別情報を含んだ別のマークを認識し、認識した前記別のマークに基づいて前記作業を行っている人物を特定する
   請求項１に記載の作業分析プログラム。
5. 画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部と、
   前記画像データに写る特定のマークを認識するマーク認識部と、
   前記マーク認識部により認識した前記マークと、前記骨格抽出部が取得した前記骨格データの特定部分とに基づいて、前記人物が行う作業を分析する分析部と、を有し、
   前記マークは、前記人物が前記作業時に使用する工具に貼付されており、
   前記分析部は、前記マーク認識部が認識した前記マークの向きを判別し、判別した前記マークの向きと、前記マークと前記特定部分の位置関係と、に基づいて、前記人物が前記工具を使用中であるか否かを判断することで、前記作業を分析する
   作業分析装置。

Images