JP7157119B2 - 支援システム、支援方法及びプログラム - Google Patents

Description

本開示は、作業の状態の判断を支援する技術に関する。

工場など製造業界では、ＩｏＴ（Internet of Things）の活用が進み始めている。例えば、カメラなどで動画を撮影し、その動画を分析することにより、物のトレーサビリティの管理などに活用している場面が増加してきている。そして、工場などでは、このような画像を利用した分析のために、工場向けにＶＭＳ（Video Management System）の活用が近年増えている。工場内にカメラが設置し、画像データを様々な形で人工知能（ＡＩ：Artificial Intelligence)）や機械学習などを使って分析し、工場全体をスマートファクトリ化しようとする流れがある。

また、工場などにおいて行われる作業の工程における、遅延の原因である工程を特定することが求められている。

しかし、作業停止の発生は、主に作業からの報告、及び、IoT機器を活用したシステムからのアラームによって、工場内のライン管理者に通知される。そのため、工場内のライン管理者は、それらの報告及びアラーム以外によって、作業停止を把握することが容易ではない。

引用文献１には、製造ラインに含まれる複数の装置における処理のログ情報に基づいて、処理期間と待機期間とを特定し、待機時間を多く費やす工程を示す情報を表示する表示方法等が記載されている。

引用文献２には、作業時間の実績値と目標値との差に基づいて、ボトルネック作業を推定する作業支援装置が記載されている。

特開２０１５－０７５７９５号公報 特開２０１９－０２３８０３号公報

引用文献１の技術は、作業を行う装置が出力するログ情報を使用するので、人間が行う作業に適用することはできない。引用文献２の技術では、待機時間の有無を判定することはできない。また、特許文献２の技術では、目標値が正確に設定されていない場合、正確な結果を得ることはできない。

本開示の目的の一つは、作業工程における作業の停止の判定の正確さを向上できる支援システムなどを提供することである。

本開示の一態様に係る支援システムは、作業領域を撮像した映像から手を検出する検出手段と、手の検出の結果に基づいて、作業の状態を判定する判定手段と、前記作業の状態を表す情報を出力する出力手段と、を備える。

本開示の一態様に係る支援方法は、作業領域を撮像した映像から手を検出し、手の検出の結果に基づいて、作業の状態を判定し、前記作業の状態を表す情報を出力する。

本開示の一態様に係るプログラムは、作業領域を撮像した映像から手を検出する検出処理と、手の検出の結果に基づいて、作業の状態を判定する判定処理と、前記作業の状態を表す情報を出力する出力処理と、をコンピュータに実行させる。

本開示には、作業工程における作業の停止の判定の正確さを向上できるという効果がある。

図１は、本開示の第１の実施形態に係る支援システムの構成の例を表すブロック図である。 図２は、本開示の第１の実施形態に係る作業の状態を表す情報の一例を表す図である。 図３Ａは、本開示の第１の実施形態に係る支援装置の動作の一例を表すフローチャートである。 図３Ｂは、本開示の第１の実施形態に係る支援装置の動作の一例を表すフローチャートである。 図４は、本開示の第１の実施形態に係る支援装置の、指定された時間帯の画像を表示する動作の一例を表すフローチャートである。 図５は、本開示の第２の実施形態に係る支援システムの構成の一例を表すブロック図である。 図６は、本開示の第２の実施形態に係る支援システムの動作の一例を表すフローチャートである。 図７は、本開示の実施形態に係る支援装置及び支援システムを実現することができる、コンピュータのハードウェア構成の一例を表す図である。 図８は、本開示の第１の実施形態の第６の変形例に係る支援システムＡの構成を表すブロック図である。 図８は、本開示の第１の実施形態の第７の変形例に係る支援システムの構成の例を表すブロック図である。

以下では、本開示の実施形態について、図面を使用して詳細に説明する。

＜第１の実施形態＞
まず、本開示の第１の実施形態について説明する。

＜構成＞
図１は、本開示の第１の実施形態に係る支援システム１の構成の例を表すブロック図である。

＜支援システム１＞
図１に示す例では、支援システム１は、支援装置１００と、複数の撮像装置である撮像装置２０１、撮像装置２０２、・・・、撮像装置２０Ｎと、ユーザ装置４００とを含む。支援装置１００は、撮像装置２０１、撮像装置２０２、・・・、撮像装置２０Ｎの各々と、通信ネットワーク３００によって、通信可能に接続されている。支援装置１００は、さらに、ユーザ装置４００と、通信可能に接続されている。以下では、撮像装置２０１、撮像装置２０２、・・・、撮像装置２０Ｎの各々を区別しない説明において、撮像装置２０１、撮像装置２０２、・・・、撮像装置２０Ｎを単に撮像装置と表記する。

＜概要＞
まず、支援システム１の概要について説明する。支援装置１００は、撮像装置によって撮像された複数の画像の作業領域において手の領域を検出し、手の領域の検出の結果に基づいて、作業の状態を判定する。本実施形態では、複数の撮像装置の各々が、異なる複数の工程の作業が行われる場所を撮影するよう構成される。作業領域は、例えば、ユーザ装置４００のユーザによって、作業が行われる場所の領域を含むよう指定される。支援装置１００は、判定した作業の状態を表す情報を、ユーザ装置４００に出力する。ユーザ装置４００は、出力された情報を受け取り、受け取った情報を表示する。ユーザ装置４００は、ユーザによる指定に基づく時間帯の情報を支援装置１００に送信する。支援装置１００は、その時間帯に撮像された画像を、ユーザ装置４００に送信する。ユーザ装置４００は、注目時間帯に撮像された画像を支援装置１００から受け取り、受け取った画像を表示する。以下では、支援システム１が含む装置について、更に詳しく説明する。

＜撮像装置＞
撮像装置２０１、撮像装置２０２、・・・、撮像装置２０Ｎは、それぞれ、例えば工場の作業者が作業を行う、例えば作業台の上などの場所を撮影する。

撮像装置が撮像する範囲を、撮像範囲と表記する。撮像装置は、撮像した撮像範囲の画像を、支援装置１００に送信する。撮像装置は、画像と、その画像が撮像された時刻を表す情報とを、支援装置１００に送信してよい。画像は、例えば、複数の静止画像である。画像は、例えば、動画像であってもよい。以下の説明では、画像を、複数の画像と表記する。

本実施形態では、撮像装置の各々は、異なる１つの工程における作業中に手が存在し得るとみなされる範囲が撮像範囲に含まれるように構成されている。また、支援装置１００は、撮像装置の各々が作業領域を撮像する工程の順序の情報を保持している。言い換えると、後述の、支援装置１００の各構成要素は、撮像装置の各々が作業領域を撮像する工程の順序の情報を参照できるよう構成されている。

＜支援装置１００＞
支援装置１００は、取得部１１０と、検出部１２０と、判定部１３０と、出力部１４０と、画像記憶部１５０と、受付部１６０とを含む。

＜取得部１１０＞
取得部１１０は、撮像装置から、複数の画像と、それらの複数の画像の各々が撮像された時刻を表す情報と、を取得する。取得部１１０は、画像に、その画像を撮像した撮像装置の識別子と、その画像が撮像された時刻である撮像時刻を表す情報とを関連付ける。撮像時刻を表す情報は、画像が撮像された日付及び時刻を特定できる情報である。

取得部１１０は、取得した複数の画像を、検出部１２０に送出する。具体的には、例えば、取得部１１０は、撮像装置の識別子と、撮像時刻を表す情報と、がそれぞれ関連付けられている、複数の画像を、検出部１２０に送出する。

＜検出部１２０＞
検出部１２０は、まず、後で詳述する受付部１６０から、撮像装置の各々の、作業領域を特定する情報を受け取る。検出部１２０は、撮像装置の各々について、受け取った、作業領域を特定する情報によって特定される領域を、作業領域に設定する。作業領域は、撮像範囲を撮影した画像のうち、手の検出が行われる範囲を指す。作業領域は、ユーザ装置４００のユーザによって設定される。作業領域は、例えば、ユーザ装置４００のユーザによって指定される。作業領域を特定する情報は、ユーザ装置４００から、受付部１６０を介して、検出部１２０に送信される。なお、撮像装置の作業領域を特定する情報を受け取らなかった場合、検出部１２０は、その撮像装置の作業領域を、所定の領域に設定するよう構成されていてよい。

検出部１２０は、取得部１１０から複数の画像を受け取る。検出部１２０は、受け取った複数の画像の各々から、手の領域を検出する。具体的には、検出部１２０は、受け取った複数の画像の各々の作業領域において、手の領域を検出する。

検出部１２０は、手の領域の検出を、例えば、画像に手の領域が含まれるか否かを判定する判別器によって行う。検出器は、例えば、機械学習によって、あらかじめ学習されている検出器である。検出部１２０は、皮膚の色及び手袋の色によって手の領域を検出する方法など、他の方法によって、手の領域を検出してもよい。手の領域は、手の像が含まれる領域である。手の領域は、手袋をした手の領域を含む。手の領域は、腕の領域を含んでいてもよい。

検出部１２０は、手の検出の結果を表す情報を、判定部１３０に送出する。手の検出の結果を表す情報は、例えば、画像の作業領域から手の領域が検出されたか否かを表す情報と、その画像が撮像された時刻と、その画像を撮像した撮像装置を特定する情報と、の組み合わせである。

検出部１２０は、画像と、画像に設定されている作業領域と、画像の作業領域からの手の検出の結果とを、画像ごとに、画像記憶部１５０に格納する。上述のように、画像は、その画像を撮像した撮像装置の識別子と、その画像が撮像された撮像時刻と、に関連付けられている。検出部１２０は、具体的には、画像と、その画像を撮像した撮像装置の識別子と、その画像が撮像された撮像時刻と、手が検出された作業領域を表す情報と、手の検出の結果とを、画像記憶部１５０に格納する。

＜判定部１３０＞
判定部１３０は、検出部１２０から、手の検出の結果を表す情報を受け取る。判定部１３０は、手の検出の結果に基づいて、言い換えると、手の検出の結果を表す情報に基づいて、作業の状態を判定する。具体的には、判定部１３０は、画像の作業領域から手の領域が検出されたか否かを表す情報と、その画像が撮像された時刻と、その画像を撮像した撮像装置を特定する情報と、に基づいて、撮像装置ごとに、作業が行われていない時間帯を、作業の状態として判定する。なお、判定部１３０は、手の検出の結果を表す情報を検出部１２０から受け取るのではなく、画像記憶部１５０から読み出すよう構成されていてもよい。その場合、検出部１２０は、手の検出の結果を表す情報を判定部１３０に送出しなくてよい。

また、判定部１３０は、後で詳細に説明する受付部１６０から、作業の状態の情報の要求をユーザ装置４００から受け取ったことを通知された場合、撮像装置ごとに、作業が行われていない時間帯を、作業の状態として判定するように構成されている。

判定部１３０は、例えば、画像から手が検出されない時間帯（以下、不検出時間帯とも表記）を、作業が行われていない時間帯（以下、非作業時間帯と表記）として検出する。画像から手が検出されない時間帯は、例えば、撮像の時刻の順の複数の画像において、手が検出されなくなってから、次に手が検出される直前までの時間帯である。言い換えると、画像から手が検出されない時間帯は、例えば、撮像の時刻の順の複数の画像において、直前に撮像された画像から手が検出された、手が検出されない画像の撮像の時刻から、手が検出された次の画像の直前に撮像された、手が検出されない画像の撮像の時刻までの時間帯である。判定部１３０は、例えば、所定長さ以上の長さの不検出時間帯を、作業が行われていない時間帯（すなわち、非作業時間帯）として検出してもよい。

判定部１３０は、例えば、撮像装置ごとに、所定長さの時間帯ごとの、手が検出されない時間帯の長さの割合（以下、不検出割合と表記）を、作業の状態として算出してもよい。判定部１３０は、例えば、撮像装置ごとに、所定長さの時間帯ごとの、手が検出された時間帯（以下、検出時間帯と表記）の長さの割合（以下、検出割合と表記）を、作業の状態として算出してもよい。この場合、判定部１３０は、検出割合が１である時間帯（すなわち、不検出割合がゼロである時間帯）を、非作業時間帯としてもよい。

判定部１３０は、撮像装置ごとの、作業の状態を表す情報を、出力部１４０に送出する。

＜出力部１４０＞
出力部１４０は、まず、撮像装置の各々が撮像範囲を撮像した画像を、ユーザ装置４００に出力してもよい。その場合、出力部１４０は、例えば、取得部１１０が撮像装置の各々から取得し画像記憶部１５０に格納した画像を、画像記憶部１５０から読み出し、読み出した画像をユーザ装置４００に送出してもよい。出力部１４０は、例えば、取得部１１０が撮像装置の各々から取得した画像を、取得部１１０から受け取り、受け取った画像をユーザ装置４００に送出してもよい。なお、図１では、この場合の取得部１１０と出力部１４０とを結ぶ線は図の複雑化を防ぐために省略されている。ユーザ装置４００は、受け取った画像を表示する。ユーザ装置４００のユーザは、例えば、表示された画像において、上述の作業領域を指定する。ユーザ装置４００は、指定された作業領域を表す情報を、後述の受付部１６０に送信する。

また、出力部１４０は、撮像装置ごとの、作業の状態を表す情報を、判定部１３０から受け取る。出力部１４０は、撮像装置ごとの、作業の状態を表す情報を、ユーザ装置４００に出力する。

出力部１４０は、例えば、撮像装置ごとの作業の状態を表す情報として、非作業時間帯を表す情報を、ユーザ装置４００に出力する。出力部１４０は、非作業時間帯を表す情報として、例えば、撮像が行われた時間帯のうち、非作業時間帯と、非作業時間帯以外の時間帯である作業時間帯とを、異なる色で描いた図形を出力してもよい。作業の状態を表す情報は、この例に限られない。出力部１４０は、例えば、図２に示すような情報を作業の状態を表す情報として出力する。

図２は、作業の状態を表す情報の一例を表す図である。図２に示す例は、検出割合がゼロである時間帯と検出割合がゼロでない時間帯とを異なる色で表示した、所定長さの時間帯ごとの検出時間帯の長さの割合の推移を表す折れ線グラフである。この例では、複数の工程の作業の状態を表すグラフが、一連の作業における工程の順に表示されている。また、図２に示す例では、複数の工程の各々の作業領域を撮影した撮像装置を特定する情報（例えば、カメラＣ１、カメラＣ２、・・・、カメラＣ８）も表示されている。

出力部１４０は、さらに、後で詳述する受付部１６０から、注目時間帯を表す情報を受け取る。注目時間帯は、ユーザによる指定に基づいて設定された時間帯を表す。出力部１４０は、注目時間帯に各撮像装置によって撮像された画像を画像記憶部１５０から読み出し、読み出した画像をユーザ装置４００に出力する。

出力部１４０は、受付部１６０から、注目時間帯を表す情報に加えて、撮像装置を指定する情報を受け取った場合、撮像装置を指定する情報によって特定される撮像装置によって、注目時間帯に撮像された画像を、画像記憶部１５０から読み出す。そして、出力部１４０は、読み出した画像をユーザ装置４００に出力する。

＜画像記憶部１５０＞
画像記憶部１５０は、検出部１２０によって格納された、撮像装置ごとに、画像と、画像が撮像された撮像時刻と、画像に設定された作業領域と、手の検出の結果とを記憶する。具体的には、画像記憶部１５０は、例えば、撮像装置の識別子と、その撮像装置によって撮像された画像と、その画像が撮像された撮像時刻と、その画像に設定された作業領域の情報と、その画像の作業領域における手の検出の結果を表す情報と、の組み合わせを、撮像装置ごとに記憶していてよい。

画像記憶部１５０は、取得部１１０によって格納された、撮像装置の各々が撮像した画像を記憶してもよい。

＜受付部１６０＞
受付部１６０は、ユーザ装置４００から、撮像装置の各々の作業領域を特定する情報を受け取る。受付部１６０は、受け取った、撮像装置の各々の作業領域を特定する情報を、検出部１２０に送出する。

受付部１６０は、ユーザ装置４００から、作業の状態の情報の要求を受け取ってよい。受付部１６０は、ユーザ装置４００から作業の状態の情報の要求を受け取った場合、ユーザ装置４００から作業の状態の情報の要求を受け取ったことを、判定部１３０に通知する。

また、受付部１６０は、ユーザ装置４００から時間帯の指定を受け付ける。時間帯の指定は、例えば、上述の所定長さの時間帯のうち、１つの時間帯を特定する情報である。受付部１６０は、受け付けた、時間帯の指定に基づいて定まる時間帯を、注目時間帯に設定する。受付部１６０は、注目時間帯を表す情報を、出力部１４０に送出する。

時間帯の指定は、時間帯の開始時刻と時間帯の終了時刻との組み合わせで会ってもよい。時間帯の指定は、例えば、時刻の指定であってもよい。時間帯の指定が時刻の指定である場合、受付部１６０は、時刻の指定によって特定される時刻を含む所定長さの時間帯を所定の方法に従って決定してもよい。この場合、受付部１６０は、例えば、時刻の指定によって特定される時刻を中心とする所定長さの時間帯を決定してもよい。受付部１６０は、例えば、時刻の指定によって特定される時刻から始まる所定長さの時間帯を決定してもよい。受付部１６０は、例えば、時刻の指定によって特定される時刻に終了する所定長さの時間帯を決定してもよい。これらの場合、受付部１６０は、決定した時間帯を、注目時間帯に設定する。

受付部１６０は、ユーザ装置４００から、時間帯の指定に加えて、撮像装置の指定を受け取ってもよい。撮像装置の指定は、撮像装置を特定する情報を表す。受付部１６０は、例えば上述のように時間帯の指定に基づいて注目時間帯を設定し、撮像装置の指定と注目時間帯を表す情報とを、出力部１４０に送出する。

＜ユーザ装置４００＞
ユーザ装置４００は、例えば、表示部と入力部とを備えたコンピュータなどの装置である。

ユーザ装置４００は、支援装置１００の出力部１４０から、撮像装置の各々が撮像した画像を受け取り、受け取った画像を表示する。ユーザは、例えば、表示されている画像において、作業領域を指定する。ユーザ装置４００は、例えば、表示されている画像において設定された作業領域の範囲から、画像の座標系における座標によって表された、作業領域の範囲を特定する。ユーザ装置は、画像の座標系における座標によって表された、作業領域の範囲を特定する情報を、支援装置１００の受付部１６０に送出する。

また、ユーザ装置４００は、支援装置の出力部１４０から、撮像装置ごとの、作業の状態を表す情報を受け取る。ユーザ装置４００は、受け取った、撮像装置ごとの作業の状態を表す情報を表示する。

ユーザは、例えば、撮像装置ごとの作業の状態を表す情報の表示画面において、時間値（又は、撮像装置と時間帯と）を指定してよい。

ユーザが時間帯を指定した場合、ユーザ装置４００は、ユーザによって指定された時間帯を表す情報である、時間帯の指定を、支援装置１００の受付部１６０に送出する。

ユーザが撮像装置と時間帯とを指定した場合、ユーザ装置４００は、撮像装置を指定する情報である撮像装置の指定と、時間帯の指定とを、支援装置１００の受付部１６０に送出する。

時間帯の指定を支援装置１００の受付部１６０に送出した場合、ユーザ装置４００は、時間帯の指定に基づいて定まる注目時間帯において撮像された画像を、支援装置１００の出力部１４０から受け取り、受け取った画像を表示する。撮像装置の指定と時間帯の指定とを、支援装置１００の受付部１６０に送出した場合、ユーザ装置４００は、時間帯の指定に基づいて定まる注目時間帯において、撮像装置の指定によって特定される撮像装置によって撮像された画像を、出力部１４０から受け取る。そして、ユーザ装置４００は、受け取った画像を表示する。

＜動作＞
次に、本実施形態に係る支援装置１００の動作について、図面を使用して詳細に説明する。

図３Ａは、本実施形態に係る支援装置１００の動作の一例を表す第１のフローチャートである。

図３Ａに示す例では、まず、受付部１６０が、ユーザ装置４００から、作業領域の指定を受け付ける（ステップＳ１０１）。ステップＳ１０１において、例えば、出力部１４０が撮像装置の各々が撮像した画像をユーザ装置４００に出力してもよい。ユーザ装置４００は、画像を受け取り、受け取った画像を表示してもよい。ユーザ装置４００は、例えば表示された画像において、ユーザによって指定された作業領域を表す情報を、受付部１６０に送信する。撮像装置ごとに異なる作業領域が指定されてよい。受付部１６０は、作業領域を表す情報を受け取り、受け取った作業領域を表す情報を検出部１２０に送出する。

次に、検出部１２０が、作業領域を設定する（ステップＳ１０２）。具体的には、検出部１２０は、撮像装置ごとに、作業領域を表す情報を受け取り、受け取った情報が表す領域を、手が検出される領域である作業領域として設定する。

取得部１１０が、撮像装置の各々から画像を取得する（ステップＳ１０３）。取得部１１０は、撮像装置の各々から、画像と、その画像が撮像された撮像時刻とを取得する。取得部１１０は、取得した画像に、その画像を撮像した撮像装置の識別子と、その画像が撮像された撮像時刻とを関連付ける。取得部１１０は、撮像装置の識別子と撮像時刻とが関連付けられた画像を、画像記憶部１５０に格納する。取得部１１０は、撮像装置の識別子と撮像時刻とが関連付けられた画像を、検出部１２０に送出する。

検出部１２０は、受け取った画像の作業領域において、手の領域を検出する（ステップＳ１０４）。上述のように、作業領域は、撮像装置ごとに設定されている。検出部１２０は、受け取った画像の、その画像を撮像した撮像装置の画像に対して設定される作業領域から、手の領域を検出する。検出部１２０は、例えば、学習によって得られた、画像に手の領域が含まれているか否かを判別する判別器によって、手の領域を検出する。

検出部１２０は、手の領域の検出の結果と、画像とを、画像記憶部１５０に格納する（ステップＳ１０５）。

画像の取得が終了しない場合（ステップＳ１０６においてＮＯ）、支援装置１００の動作は、ステップＳ１０３に戻る。画像の取得が終了した場合（ステップＳ１０６においてＹＥＳ）、支援装置１００は、図３Ａに示す動作を終了する。支援装置１００は、例えば、支援装置１００の管理者による、画像の取得の終了の指示があった場合、画像の取得を終了する。

図３Ｂは、本実施形態に係る支援装置１００の動作の一例を表す第１のフローチャートである。支援装置１００は、図３Ａに示す動作と並行に、図３Ｂに示す動作を行う。

図３Ｂに示す動作では、まず、受付部１６０が、ユーザ装置４００から、作業の状態の情報の要求を受け取る（ステップＳ１０７）。ユーザ装置４００から作業の状態の情報の要求を受け取ると、受付部１６０は、ユーザ装置４００から作業の状態の情報の要求を受け取ったことを、判定部１３０に通知する。

ユーザ装置４００から作業の状態の情報の要求を受け取ったことを受付部１６０から通知されるのに応じて、判定部１３０は、作業の状態を判定する（ステップＳ１０８）。具体的には、判定部１３０は、検出部１２０による手の検出の結果に基づいて、例えば、図２に図示される、複数の作業領域ごとに、作業が行われている時間の割合の推移の生成と、作業が行われていない時間帯の判定とを行う。

次に、出力部１４０が、作業の状態を出力する（ステップＳ１０９）。具体的には、出力部１４０は、例えば、図２に示すような、作業が行われている時間の割合の推移のグラフと、作業が行われていない時間帯の表示とを含む図を、ユーザ装置４００に送出する。ユーザ装置４００は、作業の状態を受け取り、受け取った作業の状態を表示する。

支援装置１００は、図３Ｂに示す動作の後、次に説明する動作を行ってもよい。

図４は、本実施形態に係る支援装置１００の、指定された時間帯の画像を表示する動作の一例を表すフローチャートである。

まず、受付部１６０が、ユーザ装置４００から、時間帯の指定を受け取る（ステップＳ１１１）。受付部１６０は、受け取った指定に基づいて、注目時間帯を設定する（ステップＳ１１２）。出力部１４０は、注目時間帯に撮像された画像を出力する（ステップＳ１１３）。

なお、ステップＳ１１１において、受付部１６０は、ユーザ装置４００から、更に、撮像装置の指定を受け取ってもよい。その場合、ステップＳ１１３において、出力部１４０は、受け取った指定によって特定される撮像装置によって、注目時間帯に撮像された画像を出力する。

＜効果＞
本実施形態には、作業工程における作業の停止の判定の正確さを向上できるという効果がある。その理由は、判定部１３０が、画像の作業領域における、検出部１２０による手の領域が検出の結果に基づく、作業の状態を判定し、出力部１４０が、その作業の状態を出力するからである。作業領域における手の領域の検出に基づいて作業の状態を判定するので、実際に作業が停止している時間の判定の正確性が向上する。

＜第１の実施形態の変形例＞
本開示の第１の実施形態には、以下で説明する変形例のいずれか１つ以上の組み合わせを適用することができる。

＜第１の変形例＞
検出部１２０は、画像の作業領域から手の領域を抽出する。検出部１２０は、抽出した手の領域の範囲を表す情報と、その画像が撮像された時刻と、その画像を撮像した撮像装置を特定する情報と、の組み合わせを、手の検出の結果を表す情報として、判定部１３０に送出する。

判定部１３０は、手が検出されない時間帯に加えて、検出された手が作業を行っていない時間帯を、非作業時間帯として検出する。判定部１３０は、例えば、機械学習によってあらかじめ学習された、手が作業中であるか否かを判別する判別器によって、手が検出された領域において、検出された手が作業を行っているか否かを判定する。判定部１３０は、例えば、手が検出されない時間帯に加えて、手が検出された領域において、手が静止している時間帯を、非作業時間帯として検出してもよい。

＜第２の変形例＞
判定部１３０は、撮像装置の各々が撮像した画像から抽出された非作業時間帯と、複数の撮像装置の各々が撮像する撮像範囲において行われる工程の情報とに基づいて、工程の各々における非作業時間帯を特定する。上述のように、判定部１３０を含む、支援装置１００の各構成要素は、複数の工程の順番と、複数の撮像装置の各々が撮像する撮像範囲において行われる工程の情報とを参照できる。

本変形例の判定部１３０は、複数の工程の順番と、工程の各々における非作業時間帯とに基づいて、複数の工程から、作業が停滞している工程を特定し、特定した工程を表す情報を作業の状態とする。作業が停滞している工程は、例えば、他の工程における非作業時間帯の発生の原因となっている工程である。判定部１３０は、例えば、直後の工程と比較して、非作業時間帯の長さ及び数の少なくとも一方が所定基準以上大きい工程を、作業が停滞している工程として特定してよい。

出力部１４０は、作業の状態を表す情報の一部として、作業が停滞している工程を示す情報を出力してよい。出力部１４０は、例えば他の工程の色と異なる色で、作業が停滞している工程を示してもよい。出力部１４０は、例えば、作業が停滞している工程を示すマーク（例えば、矩形又は矢印等）によって、作業が停滞している工程を示してもよい。出力部１４０は、例えば、作業が停滞している工程を示す文字列のフォント、文字の太さ、文字の色などを変更することによって、作業が停滞している工程を示してもよい。

＜第３の変形例＞
ある工程における非作業時間帯が、その工程の直前の工程の作業の遅延等が原因ではない場合、直前の工程にも、対応する非作業時間帯が存在することが見込まれる。ある工程における非作業時間帯が、その工程の直前の工程の作業の遅延等が原因である場合、直前の工程には、対応する非作業時間帯が存在しないことが見込まれる。

本実施形態の判定部１３０は、連続する２つの工程の組み合わせの各々について、連続する２つの工程の非作業時間帯の長さ及び時間を比較する。そして、判定部１３０は、２つの工程のうち後の工程の非作業時間に対応する、先の工程の非作業時間帯が存在するか否かを判定する。

連続する２つの工程の全ての組み合わせについて、先の工程における非作業時間帯に起因して後の工程に非作業時間帯が生じる場合の、先の工程における非作業時間帯の発生時刻と後の工程の非作業時間帯の発生時刻との差の統計値が、予め導出されていてもよい。判定部１３０は、先の工程における非作業時間帯の発生時刻と、その非作業時間帯に起因する、後の工程の非作業時間帯の発生時刻との差の統計値をあらかじめ保持していてよい。統計値は、例えば、平均値、中央値、中間値等であってよい。統計値は、更に、分散等を含んでいてもよい。

判定部１３０は、後の工程における非作業時間帯の前の、上述の統計値に基づく範囲の時間帯（以下、影響時間帯とも表記）に、先の工程における非作業時間帯が存在するか否かを判定してよい。統計値に基づく範囲（すなわち影響時間帯）は、例えば、後の工程における非作業時間帯よりも、上述の統計値によって表される時間だけ前の時刻を含む、所定幅の時間帯である。統計値に基づく範囲は、例えば、後の工程における非作業時間帯よりも、上述の統計値によって表される時間だけ前の時刻を含む、上述の分散に基づいて定められた幅の時間帯であってもよい。

後の工程における非作業時間帯の前の、上述の統計値に基づく範囲の時間帯（すなわち影響時間帯）に、先の工程における非作業時間帯が存在する場合、判定部１３０は、先の工程に作業の遅延（又は作業の停滞）が存在しないと判定してもよい。影響時間帯に、先の工程における非作業時間帯が存在しない場合、判定部１３０は、後の工程の非作業時間帯の直前の、先の工程における作業に、作業の遅延（又は作業の停滞）が存在すると判定してよい。判定部１３０は、他の方法によって、作業の遅延の存在を判定してもよい。

判定部１３０は、後の工程における非作業時間帯の開始時刻と、上述の影響時間帯の開始時刻との間の時間帯を、先の作業における、後の工程における非作業時間帯の発生の要因の時間帯であると判定してよい。判定部１３０は、後の工程における非作業時間帯の開始時刻と、上述の影響時間帯の開始時刻との間の時間帯の先の工程における作業を、後の工程における非作業時間帯の発生の要因の作業であると判定してよい。

出力部１４０は、作業の状態を表す情報の一部として、後の工程における非作業時間帯の発生の要因であると判定された時間帯の、先の工程の作業（要因作業）を示す情報を出力してよい。出力部１４０は、例えば他の工程の色と異なる色で、要因作業の工程と時間帯とを示してもよい。出力部１４０は、例えば、要因作業の工程と時間帯とを示すマーク（例えば、矩形又は矢印等）によって、作業が停滞している工程を示してもよい。

＜第４の変形例＞
検出部１２０は、作業領域から手の領域を抽出する。

判定部１３０は、抽出された手の領域における、手の形状の変化に基づいて、実際に作業が行われているか否かを判定してもよい。判定部１３０は、例えば、手の形状、及び、手の動きの少なくとも一方に基づいて、作業が行われているか否かを判定する判定器によって、作業が行われているか否かを判定する。判定器は、例えば、機械学習によってあらかじめ得られていてよい。判定部１３０は、手の領域が検出された画像であっても、判定器が、作業が行われてないと判定した画像を、手の領域が検出されない画像とみなして、上述の作業の状態を判定する。

＜第５の変形例＞
１台の撮像装置の撮像範囲に、複数の作業領域が含まれていてもよい。また、複数の撮像装置の撮像範囲に、同一の工程の作業領域が含まれていてよい。この場合、複数の撮像装置によって撮像された同一の工程の作業領域のいずれかに手の領域が検出された場合に、検出部１２０は、その工程の作業領域に手の領域が含まれると判定してよい。

＜第６の変形例＞
図８は、第６の変形例に係る支援システム１Ａの構成を表すブロック図である。

本変形例では、支援システム１Ａは、支援装置１００にそれぞれ通信可能に接続される複数のユーザ装置４００を含む。そして、非作業時間帯として検出する不検出時間帯の長さは、ユーザ装置４００ごとに、ユーザ装置４００のユーザによって、例えばユーザ装置４００の入力部（例えば、キーボード、マウス、タッチパネルなど）を使用して設定されてよい。不検出割合を算出する時間帯の長さも、ユーザ装置４００ごとに、ユーザ装置４００のユーザによって、例えばユーザ装置４００の入力部（例えば、キーボード、マウス、タッチパネルなど）を使用して設定されてよい。なお、図８に示す例では、２台のユーザ装置４００が描かれているが、支援システム１Ａは、３台以上のユーザ装置４００を含んでいてもよい。

判定部１３０は、ユーザ装置４００ごとに、ユーザによって設定された長さ以上の不検出時間帯を、非作業時間帯として検出する。判定部１３０は、ユーザ装置４００ごとに、ユーザによって設定された長さの時間帯ごとに、不検出割合を算出する。言い換えると、判定部１３０は、ユーザ装置４００ごとに、ユーザによって設定された異なる基準で、撮像装置ごとの、作業の状態を表す情報を判定する。

以下、本変形例について、さらに具体的に説明する。

ユーザ装置４００の各々は、ユーザによって設定された、非作業時間帯として検出する不検出時間帯の長さを、支援装置１００の受付部１６０に送信してよい。ユーザ装置４００の各々は、ユーザによって設定された、不検出割合を算出する時間帯の長さを、支援装置１００の受付部１６０に送信してよい。また、ユーザ装置４００の各々は、作業の状態を表す情報の要求を、支援装置１００に送信する。なお、ユーザ装置４００は、作業の状態を表す情報の要求と共に、非作業時間帯として検出する不検出時間帯の長さと、不検出割合を算出する時間帯の長さと、の少なくとも一方を、支援装置１００に送信してもよい。

受付部１６０は、ユーザ装置４００から、非作業時間帯として検出する不検出時間帯の長さを受け取る。受付部１６０は、受け取った、非作業時間帯として検出する不検出時間帯の長さを、その不検出時間帯の長さを送信したユーザ装置４００の識別子と関連付ける。受付部１６０は、ユーザ装置４００の識別子と関連付けられた、非作業時間帯として検出する不検出時間帯の長さを、判定部１３０に送出する。判定部１３０は、ユーザ装置４００の識別子と関連付けられた、非作業時間帯として検出する不検出時間帯の長さを、受付部１６０から受け取る。

受付部１６０は、ユーザ装置４００から、不検出割合を算出する時間帯の長さを受け取る。受付部１６０は、受け取った、不検出割合を算出する時間帯の長さを、その時間帯の長さを送信したユーザ装置４００の識別子と関連付ける。受付部１６０は、ユーザ装置４００の識別子と関連付けられた、不検出割合を算出する時間帯の長さを、判定部１３０に送出する。判定部１３０は、ユーザ装置４００の識別子と関連付けられた、不検出割合を算出する時間帯の長さを、受付部１６０から受け取る。

受付部１６０は、ユーザ装置４００から、作業の状態を表す情報の要求を受け取る。受付部１６０は、受け取った、作業の状態を表す情報の要求を、その要求を送信したユーザ装置４００の識別子と関連付ける。受付部１６０は、ユーザ装置４００の識別子と関連付けられた、作業の状態を表す情報の要求を、判定部１３０に送出する。判定部１３０は、ユーザ装置４００の識別子と関連付けられた、作業の状態を表す情報の要求を、受付部１６０から受け取る。

判定部１３０は、ユーザ装置４００から送信された、作業の状態を表す情報の要求を受け取ると、撮像装置ごとの手の検出の結果を表す情報を、画像記憶部１５０から読み出す。判定部１３０は、撮像装置ごとの手の検出の結果を表す情報から、ユーザ装置４００のユーザによって設定された長さ以上の長さの不検出時間帯を、非作業時間帯として検出する。判定部１３０は、撮像装置の各々について、ユーザ装置４００のユーザによって設定された長さ（以下、算出時間長と表記）の時間帯ごとに、不検出割合を算出する。判定部１３０は、算出した、撮像装置の各々の、算出時間長の時間帯ごとの不検出割合の情報を、作業の状態を表す情報とする。判定部１３０は、作業の状態を表す情報を、作業の状態を表す情報の要求を送信したユーザ装置４００の識別子と関連付ける。判定部１３０は、作業の状態を表す情報の要求を送信したユーザ装置４００の識別子と関連付けられた、作業の状態を表す情報を、出力部１４０に送出する。

なお、作業の状態を表す情報の要求を送信したユーザ装置４００から、非作業時間帯として検出する不検出時間帯の長さが送信されなかった場合、判定部１３０は、非作業時間帯として検出する不検出時間帯の長さを、所定の不検出時間帯の長さに設定してよい。作業の状態を表す情報の要求を送信したユーザ装置４００から、不検出割合を算出する時間帯の長さが送信されなかった場合、判定部１３０は、所定長さの時間帯ごとに、不検出割合を算出してよい。

出力部１４０は、判定部１３０から、作業の状態を表す情報の要求を送信したユーザ装置４００の識別子と関連付けられた、作業の状態を表す情報を受け取る。出力部１４０は、判定部１３０から受け取った、作業の状態を表す情報を、作業の状態を表す情報に関連付けられている識別子によって特定されるユーザ装置４００に送信する。

上述の相違点を除いて、本変形例の支援システム１Ａは、第１の実施形態の支援システム１と同様である。

＜第７の変形例＞
図８は、第７の変形例に係る支援システム１Ｂの構成の例を表すブロック図である。図８に示す例では、支援システム１Ｂは、支援装置１００Ｂと、ユーザ装置４００Ｂとを含む。図８に示す例では、図が煩雑になるのを防ぐために、１つのユーザ装置４００Ｂが描かれているが、支援システム１Ｂは、複数のユーザ装置４００を含んでいてもよい。支援システム１Ｂは、以下で説明する相違点を除いて、第１の実施形態の支援システム１と同様である。

本変形例では、ユーザ装置４００Ｂは、判定部１３０と出力部４１０と入力部４２０とを含む。また、支援装置１００Ｂは、判定部１３０を含まない。

本変形例では、出力部１４０は、手の検出の結果を表す情報を、画像記憶部１５０から読み出し、ユーザ装置４００Ｂに出力する。出力部１４０は、撮像装置ごとの、作業の状態を表す情報を、ユーザ装置４００Ｂに出力しない。出力部４１０が、撮像装置ごとの、作業の状態を表す情報を、ユーザ装置４００Ｂに出力しない。他の点については、本変形例の出力部１４０は、第１の実施形態の出力部１４０と同じである。

本変形では、出力部４１０は、撮像装置ごとの、作業の状態を表す情報を、判定部１３０から受け取る。出力部４１０は、撮像装置ごとの、作業の状態を表す情報を、ユーザ装置４００Ｂのディスプレイなどの表示装置に表示する。

本変形例では、非作業時間帯として検出する不検出時間帯の長さは、ユーザ装置４００Ｂのユーザによって、例えばユーザ装置４００Ｂの入力部４２０（例えば、キーボード、マウス、タッチパネルなど）を使用して設定されてよい。不検出割合を算出する時間帯の長さも、ユーザ装置４００Ｂのユーザによって、例えばユーザ装置４００Ｂの入力部（例えば、キーボード、マウス、タッチパネルなど）を使用して設定されてよい。

本変形例の判定部１３０は、判定部１３０が含まれるユーザ装置４００Ｂのユーザによって設定された長さ以上の長さの不検出時間帯を、非作業時間帯として検出してよい。本変形例の判定部１３０は、撮像装置の各々について、判定部１３０が含まれるユーザ装置４００Ｂのユーザによって設定された長さの時間帯ごとの不検出割合を算出してよい。

なお、ユーザ装置４００Ｂのユーザによって、非作業時間帯として検出する不検出時間帯の長さが設定されなかった場合、判定部１３０は、非作業時間帯として検出する不検出時間帯の長さを、所定の不検出時間帯の長さに設定してよい。ユーザ装置４００Ｂのユーザによって、不検出割合を算出する時間帯の長さが設定されなかった場合、判定部１３０は、所定長さの時間帯ごとに、不検出割合を算出してよい。

＜第８の変形例＞
本変形例では非作業時間帯として検出する不検出時間帯の長さは、ユーザ装置４００ごとに、ユーザ装置４００のユーザによって、例えばユーザ装置４００の入力部（例えば、キーボード、マウス、タッチパネルなど）を使用して設定されてよい。不検出割合を算出する時間帯の長さも、ユーザ装置４００ごとに、ユーザ装置４００のユーザによって、例えばユーザ装置４００の入力部（例えば、キーボード、マウス、タッチパネルなど）を使用して設定されてよい。

判定部１３０は、ユーザ装置４００のユーザによって設定された長さ以上の不検出時間帯を、非作業時間帯として検出する。判定部１３０は、ユーザ装置４００のユーザによって設定された長さの時間帯ごとに、不検出割合を算出する。言い換えると、判定部１３０は、ユーザ装置４００のユーザによって設定された異なる基準で、撮像装置ごとの、作業の状態を表す情報を判定する。

以下、本変形例について、さらに具体的に説明する。

ユーザ装置４００は、ユーザによって設定された、非作業時間帯として検出する不検出時間帯の長さを、支援装置１００の受付部１６０に送信してよい。ユーザ装置４００は、ユーザによって設定された、不検出割合を算出する時間帯の長さを、支援装置１００の受付部１６０に送信してよい。また、ユーザ装置４００は、作業の状態を表す情報の要求を、支援装置１００に送信する。なお、ユーザ装置４００は、作業の状態を表す情報の要求と共に、非作業時間帯として検出する不検出時間帯の長さと、不検出割合を算出する時間帯の長さと、の少なくとも一方を、支援装置１００に送信してもよい。

受付部１６０は、ユーザ装置４００から、非作業時間帯として検出する不検出時間帯の長さを受け取る。受付部１６０は、受け取った、非作業時間帯として検出する不検出時間帯の長さを、判定部１３０に送出する。判定部１３０は、非作業時間帯として検出する不検出時間帯の長さを、受付部１６０から受け取る。

受付部１６０は、ユーザ装置４００から、不検出割合を算出する時間帯の長さを受け取る。受付部１６０は、受け取った、不検出割合を算出する時間帯の長さを、判定部１３０に送出する。判定部１３０は、不検出割合を算出する時間帯の長さを、受付部１６０から受け取る。

受付部１６０は、ユーザ装置４００から、作業の状態を表す情報の要求を受け取る。受付部１６０は、受け取った、作業の状態を表す情報の要求を、判定部１３０に送出する。判定部１３０は作業の状態を表す情報の要求を、受付部１６０から受け取る。

判定部１３０は、ユーザ装置４００から送信された、作業の状態を表す情報の要求を受け取ると、撮像装置ごとの手の検出の結果を表す情報を、画像記憶部１５０から読み出す。判定部１３０は、撮像装置ごとの手の検出の結果を表す情報から、ユーザ装置４００のユーザによって設定された長さ以上の長さの不検出時間帯を、非作業時間帯として検出する。判定部１３０は、撮像装置の各々について、ユーザ装置４００のユーザによって設定された長さ（以下、算出時間長と表記）の時間帯ごとに、不検出割合を算出する。判定部１３０は、算出した、撮像装置の各々の、算出時間長の時間帯ごとの不検出割合の情報を、作業の状態を表す情報とする。判定部１３０は、作業の状態を表す情報を、出力部１４０に送出する。

なお、作業の状態を表す情報の要求を送信したユーザ装置４００から、非作業時間帯として検出する不検出時間帯の長さが送信されなかった場合、判定部１３０は、非作業時間帯として検出する不検出時間帯の長さを、所定の不検出時間帯の長さに設定してよい。作業の状態を表す情報の要求を送信したユーザ装置４００から、不検出割合を算出する時間帯の長さが送信されなかった場合、判定部１３０は、所定長さの時間帯ごとに、不検出割合を算出してよい。

上述の相違点を除いて、本変形例の支援システム１は、第１の実施形態の支援システム１と同様である。

＜第２の実施形態＞
次に、本開示の第２の実施形態について図面を参照して詳細に説明する。

＜構成＞
図５は、本開示の第２の実施形態に係る支援システム１０１の構成の一例を表すブロック図である。図５に示す例では、支援システム１０１は、検出部１２０と、判定部１３０と、出力部１４０と、を備える。検出部１２０は、作業領域を撮像した映像から手を検出する。判定部１３０は、手の検出の結果に基づいて、作業の状態を判定する。出力部１４０は、前記作業の状態を表す情報を出力する。本実施形態の検出部１２０は、第１の実施形態の検出部１２０と同様に動作してよい。本実施形態の判定部１３０は、第１の実施形態の判定部１３０と同様に動作してよい。本実施形態の出力部１４０は、第１の実施形態の出力部１４０と同様に動作してよい。

＜動作＞
図６は、本開示の第２の実施形態に係る支援システム１０１の動作の一例を表すフローチャートである。図６に示す例では、まず、検出部１２０が、作業領域を撮像した画像から手を検出する（ステップＳ２０１）。次に、判定部１３０が、手の検出の結果に基づいて、作業の状態を判定する（ステップＳ２０２）。そして、出力部１４０が、作業の状態を表す情報を出力する（ステップＳ２０３）。

＜効果＞
以上で説明した本実施形態には、第１の実施形態の効果と同じ効果がある。その理由は、第１の実施形態の効果が生じる理由と同じである。

＜他の実施形態＞
上述の支援装置１００及び支援システム１０１は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。支援装置１００及び支援システム１０１は、専用のハードウェアによって実現することもできる。支援装置１００及び支援システム１０１は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。

図７は、本開示の実施形態に係る支援装置１００及び支援システム１０１を実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図７を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、撮像装置及びユーザ装置４００にアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、支援装置１００として動作させるプログラムが格納されている。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、支援装置１００として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、支援装置１００として動作する。

又は、記憶媒体１００５には、コンピュータ１０００を、支援システム１０１として動作させるプログラムが格納されている。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、支援システム１０１として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、支援システム１０１として動作する。

取得部１１０、検出部１２０、判定部１３０、出力部１４０、受付部１６０は、例えば、メモリ１００２にロードされたプログラムを実行するプロセッサ１００１により実現することができる。画像記憶部１５０は、コンピュータ１０００が含むメモリ１００２やハードディスク装置等の記憶装置１００３により実現することができる。取得部１１０、検出部１２０、判定部１３０、出力部１４０、画像記憶部１５０、受付部１６０の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
作業領域を撮像した映像から手を検出する検出手段と、
手の検出の結果に基づいて、作業の状態を判定する判定手段と、
前記作業の状態を表す情報を出力する出力手段と、
を備える支援システム。

（付記２）
前記検出手段は、複数の工程の作業がそれぞれなされる複数の作業領域を撮像した映像から手を検出し、
前記判定手段は、前記作業の状態として、前記複数の作業領域の各々において手が継続して検出されない時間帯である非作業時間帯を判定する
付記１に記載の支援システム。

（付記３）
前記判定手段は、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、前記複数の工程から、作業が停滞している工程を、前記作業の状態として判定する
付記２に記載の支援システム。

（付記４）
前記判定手段は、前記複数の工程の関係と、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、前記作業が停滞している工程の、非作業時間帯の発生の原因である時間帯を推定する
付記２または３に記載の支援システム。

（付記５）
前記出力手段は、前記作業の状態を表す情報として、時間の経過に伴う前記作業の状態の推移の表示を出力し、
前記支援システムは、
前記映像を記憶する映像記憶手段と、
時間帯の指定を受け付ける受付手段と、
をさらに備え、
前記出力手段は、前記指定に基づく注目時間帯に撮像された前記映像を出力する、
付記１乃至４のいずれか１項に記載の支援システム。

（付記６）
作業領域を撮像した映像から手を検出し、
手の検出の結果に基づいて、作業の状態を判定し、
前記作業の状態を表す情報を出力する、
支援方法。

（付記７）
複数の工程の作業がそれぞれなされる複数の作業領域を撮像した映像から手を検出し、
前記作業の状態として、前記複数の作業領域の各々において手が継続して検出されない時間帯である非作業時間帯を判定する
付記６に記載の支援方法。

（付記８）
前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、前記複数の工程から、作業が停滞している工程を、前記作業の状態として判定する
付記７に記載の支援方法。

（付記９）
前記複数の工程の関係と、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、前記作業が停滞している工程の、非作業時間帯の発生の原因である時間帯を推定する
付記７または８に記載の支援方法。

（付記１０）
前記作業の状態を表す情報として、時間の経過に伴う前記作業の状態の推移の表示を出力し、
時間帯の指定を受け付け、
前記指定に基づく注目時間帯に撮像された前記映像を出力する、
付記６乃至９のいずれか１項に記載の支援方法。

（付記１１）
作業領域を撮像した映像から手を検出する検出処理と、
手の検出の結果に基づいて、作業の状態を判定する判定処理と、
前記作業の状態を表す情報を出力する出力処理と、
をコンピュータに実行させるプログラム。

（付記１２）
前記検出処理は、複数の工程の作業がそれぞれなされる複数の作業領域を撮像した映像から手を検出し、
前記判定処理は、前記作業の状態として、前記複数の作業領域の各々において手が継続して検出されない時間帯である非作業時間帯を判定する
付記１１に記載のプログラム。

（付記１３）
前記判定処理は、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、前記複数の工程から、作業が停滞している工程を、前記作業の状態として判定する
付記１２に記載のプログラム。

（付記１４）
前記判定処理は、前記複数の工程の関係と、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、前記作業が停滞している工程の、非作業時間帯の発生の原因である時間帯を推定する
付記１２または１３に記載のプログラム。

（付記１５）
前記出力処理は、前記作業の状態を表す情報として、時間の経過に伴う前記作業の状態の推移の表示を出力し、
前記プログラムは、
前記映像を記憶する映像記憶処理と、
時間帯の指定を受け付ける受付処理と、
をコンピュータにさらに実行させ、
前記出力処理は、前記指定に基づく注目時間帯に撮像された前記映像を出力する、
付記１１乃至１４のいずれか１項に記載のプログラム。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 支援システム
１Ａ 支援システム
１Ｂ 支援システム
１００ 支援装置
１００Ａ 支援装置
１００Ｂ 支援装置
１０１ 支援システム
１１０ 取得部
１２０ 検出部
１３０ 判定部
１４０ 出力部
１５０ 画像記憶部
１６０ 受付部
２０１ 撮像装置
２０２ 撮像装置
２０Ｎ 撮像装置
３００ 通信ネットワーク
４００ ユーザ装置
４００Ｂ ユーザ装置
４１０ 出力部
４２０ 入力部
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体

Claims (7)

1. 複数の工程の作業がそれぞれなされる複数の作業領域を撮像した映像から手を検出する検出手段と、
   手の検出の結果に基づいて、作業の状態として、前記複数の作業領域の各々において手が継続して検出されない時間帯である非作業時間帯を判定し、前記複数の工程の関係と、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、連続する工程の前記非作業時間帯の、発生時刻の差と長さの差とを用いて、前記作業が停滞している工程の、前記非作業時間帯の発生の原因である時間帯を推定する判定手段と、
   前記作業の状態を表す情報として、推定された、前記非作業時間帯の発生の原因である時間帯を含む、時間の経過に伴う前記作業の状態の推移の表示を出力する出力手段と、
   を備える支援システム。
2. 前記判定手段は、前記複数の作業領域の各々において判定された前記非作業時間帯と前記複数の作業領域の各々において行われる工程の順序とに基づいて、前記複数の工程から、作業が停滞している工程を、前記作業の状態として判定する
   請求項１に記載の支援システム。
3. 前記映像を記憶する映像記憶手段と、
   時間帯の指定を受け付ける受付手段と、
   をさらに備え、
   前記出力手段は、前記指定に基づく注目時間帯に撮像された前記映像を出力する、
   請求項１又は２に記載の支援システム。
4. 複数の工程の作業がそれぞれなされる複数の作業領域を撮像した映像から手を検出し、
   手の検出の結果に基づいて、作業の状態として、前記複数の作業領域の各々において手が継続して検出されない時間帯である非作業時間帯を判定し、前記複数の工程の関係と、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、連続する工程の前記非作業時間帯の、発生時刻の差と長さの差とを用いて、前記作業が停滞している工程の、前記非作業時間帯の発生の原因である時間帯を推定し、
   前記作業の状態を表す情報として、推定された、前記非作業時間帯の発生の原因である時間帯を含む、時間の経過に伴う前記作業の状態の推移の表示を出力する、
   支援方法。
5. 前記複数の作業領域の各々において判定された前記非作業時間帯と前記複数の作業領域の各々において行われる工程の順序とに基づいて、前記複数の工程から、作業が停滞している工程を、前記作業の状態として判定する
   請求項４に記載の支援方法。
6. 時間帯の指定を受け付け、
   前記指定に基づく注目時間帯に撮像された前記映像を出力する、
   請求項４又は５に記載の支援方法。
7. 複数の工程の作業がそれぞれなされる複数の作業領域を撮像した映像から手を検出する検出処理と、
   手の検出の結果に基づいて、作業の状態として、前記複数の作業領域の各々において手が継続して検出されない時間帯である非作業時間帯を判定し、前記複数の工程の関係と、前記複数の作業領域の各々において判定された前記非作業時間帯に基づいて、連続する工程の前記非作業時間帯の、発生時刻の差と長さの差とを用いて、前記作業が停滞している工程の、前記非作業時間帯の発生の原因である時間帯を推定する判定処理と、
   前記作業の状態を表す情報として、推定された、前記非作業時間帯の発生の原因である時間帯を含む、時間の経過に伴う前記作業の状態の推移の表示を出力する出力処理と、
   をコンピュータに実行させるプログラム。

Images