JP7491089B2 - 作業判定装置および作業判定方法 - Google Patents

Description

本発明は、作業が正しく行われているか否かを判定する技術に関する。

製品作りのための作業の間違いや漏れによる製品品質へ影響が問題視されている。特許文献１には、撮像された画像（映像）に基づいて、作業者の体の動き（例えば手や足の動き）が所定の動きと一致するか否かを判定し、その判定結果に基づいて、作業者の動作がどの作業のものであるかを判定する技術が開示されている。

特開２００８－００３７８１号公報

しかしながら、作業者の体格は様々であるし、或る作業において作業者が常に決まった動きをするとは限らない。このため、特許文献１に記載の技術を用いたとしても、作業が正しく行われているか否かを高精度に判定できず、作業の間違いや漏れが発生することがある。

本発明は上記実情に鑑みなされたものであって、作業が正しく行われているか否かを高精度に判定して、作業の間違いや漏れを防ぐことのできる技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第一側面は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段と、前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段と、前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段と、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段とを有することを特徴とする作業判定装置を提供する。所定の通知は、例えば、作業が正しく行われていないことなどの警告（アラート）の通知であり、グラフィック（アイコンやメッセージ）の表示、音声の出力、ランプの点灯などにより実現される。所定の通知は、作業者や、作業を管理する管理者（作業監督）などに対して行われる。

作業において仕掛品に取り付けるべき部品（部品の種類（形状やサイズなど））は、作業者には依存せず、常に一定である。このため、上述した構成によれば、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定することにより、当該作業が正しく行われているか否かを高精度に判定できる。そして、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと判定した場合に所定の通知を行うことにより、作業の間違いや漏れを防ぐことができる。

作業者は、把持した部品を仕掛品に取り付けるために、当該部品を大きく動かすことが
多い。このため、前記把持判定手段は、前記部品検出手段によって検出された部品の移動距離が第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定するとしてもよい。

部品は、作業者に把持されていなくても、作業台の揺れなどにより動くことがあるが、一般的に、把持されている部品は、把持されていない部品よりも大きく動く。このため、前記把持判定手段は、前記部品検出手段によって複数の部品が検出された場合に、前記複数の部品から、移動距離が最大の部品を選択し、選択した部品の移動距離が前記第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定するとしてもよい。こうすることで、複数の部品が検出された場合でも、作業者が把持した部品を高精度に検出（特定）することができる。

前記作業と当該作業において前記仕掛品に取り付けるべき部品との対応関係を示す情報を取得する情報取得手段をさらに有し、前記把持判定手段は、前記部品検出手段による検出結果と、前記情報取得手段によって取得された前記情報とに基づいて、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定するとしてもよい。

前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した場合に、前記部品検出手段による検出結果に基づいて、前記作業が完了したことの所定の条件が満たされたか否かを判定する作業完了判定手段をさらに有するとしてもよい。こうすることで、作業が正しく行われているか否かだけでなく、作業が正しく完了したか否かまで判定することができる。

一般的に、部品を仕掛品に取り付ける際に、それらの間の距離は小さくなる。このため、前記所定の条件は、前記作業者が把持した部品と前記仕掛品との間の距離が第２の閾値以下となったことを含むとしてもよい。また、一般的に、仕掛品に部品を取り付ける際の、仕掛品に対する部品の相対的な位置や向きは予め決まっていることが多い。このため、前記所定の条件は、前記仕掛品に対する前記部品の相対的な位置が所定の位置であることを含むとしてもよいし、前記所定の条件は、前記仕掛品に対する前記部品の相対的な向きが所定の向きであることを含むとしてもよい。

前記画像取得手段は、１つ以上の作業を含み且つ前記１つ以上の作業の全てを終えた後に前記仕掛品を所定の場所に置く工程を前記作業者が行う様子を撮像した前記画像を取得し、前記部品検出手段は、さらに、前記画像取得手段によって取得された前記画像から前記仕掛品を検出し、前記作業完了判定手段は、さらに、前記部品検出手段による検出結果に基づいて、前記仕掛品が前記所定の場所に置かれたか否かを判定し、前記通知制御手段は、さらに、前記１つ以上の作業の全てを終える前に前記仕掛品が前記所定の場所に置かれたと前記作業完了判定手段が判定した場合に、前記所定の通知を行うように制御するとしてもよい。こうすることで、作業の漏れをより確実に防ぐことができる。

前記画像取得手段によって取得された前記画像から前記作業者の手を検出する手検出手段をさらに有し、前記作業完了判定手段は、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した後、前記作業者が把持した部品が前記部品検出手段によって検出されなくなった場合に、前記手検出手段によって検出された手の位置を、前記作業者が把持した部品の位置として用いるとしてもよい。こうすることで、作業者が把持した部品が当該作業者の手に隠れて検出されなくなった場合でも、作業が完了したか否かを判定することができる。

本発明の第二側面は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行
う様子を撮像した画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記画像から部品を検出する部品検出ステップと、前記部品検出ステップにおける検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定ステップと、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定ステップで判定された場合に、所定の通知を行うように制御する通知制御ステップとを有することを特徴とする作業判定方法を提供する。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する作業判定システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、作業判定方法又は作業判定システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、作業が正しく行われているか否かを高精度に判定して、作業の間違いや漏れを防ぐことができる。

図１は、本発明が適用された作業判定装置の構成例を示すブロック図である。 図２（Ａ）は、第１の実施形態に係る作業判定システムの大まかな構成例を示す模式図であり、図２（Ｂ）は、第１の実施形態に係るＰＣ（作業判定装置）の構成例を示すブロック図である。 図３は、第１の実施形態に係る作業画像の一例を示す図である。 図４は、第１の実施形態に係る作業情報の一例を示す図である。 図５は、第１の実施形態に係る処理フロー例を示すフローチャートである。 図６は、第２の実施形態に係るＰＣ（作業判定装置）の構成例を示すブロック図である。 図７は、第２の実施形態に係る処理フロー例を示すフローチャートである。 図８は、第３の実施形態に係る処理フロー例を示すフローチャートである。 図９（Ａ）～９（Ｅ）は、部品と仕掛品の状態の一例を示す図である。

＜適用例＞
本発明の適用例について説明する。作業者の体格は様々であり、或る作業において作業者が常に決まった動きをするとは限らない。このため、作業者の体の動き（例えば手や足の動き）が所定の動きと一致するか否かを判定する従来技術では、作業が正しく行われているか否かを高精度に判定できず、作業の間違いや漏れが発生することがある。

図１は、本発明が適用された作業判定装置１００の構成例を示すブロック図である。作業判定装置１００は、画像取得部１０１、部品検出部１０２、把持判定部１０３、及び、通知制御部１０４を有する。画像取得部１０１は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する。部品検出部１０２は、画像取得部１０１によって取得された画像から部品を検出する。把持判定部１０３は、部品検出部１０２による検出結果に基づいて、作業者が部品を把持したか否かを判定し、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定する。通知制御部１０４は、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと把持判定部１０３が判定した場合に、所定の通知を行うように制御する。画像取得
部１０１は本発明の画像取得手段の一例であり、部品検出部１０２は本発明の部品検出手段の一例であり、把持判定部１０３は本発明の把持判定手段の一例であり、通知制御部１０４は本発明の通知制御手段の一例である。ここで、所定の通知は、例えば、作業が正しく行われていないことなどの警告（アラート）の通知であり、グラフィック（アイコンやメッセージ）の表示、音声の出力、ランプの点灯などにより実現される。所定の通知は、作業者や、作業を管理する管理者（作業監督）などに対して行われる。

作業において仕掛品に取り付けるべき部品（部品の種類（形状やサイズなど））は、作業者には依存せず、常に一定である。このため、上述した構成によれば、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定することにより、当該作業が正しく行われているか否かを高精度に判定できる。そして、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと判定した場合に所定の通知を行うことにより、作業の間違いや漏れを防ぐことができる。

＜第１の実施形態＞
本発明の第１の実施形態について説明する。

図２（Ａ）は、第１の実施形態に係る作業判定システムの大まかな構成例を示す模式図である。第１の実施形態に係る作業判定システムは、カメラ１０、ＰＣ２００（パーソナルコンピュータ；作業判定装置）、及び、通知部２０を有する。カメラ１０とＰＣ２００は有線または無線で互いに接続されている。同様に、通知部２０とＰＣ２００も有線または無線で互いに接続されている。

カメラ１０は、カメラ１０に設けられた画像センサを用いて撮像を行い、撮像によって得られた画像をＰＣ２００へ出力する。第１の実施形態では、カメラ１０は、部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した作業画像をＰＣ２００へ出力する。ＰＣ２００は、作業画像に基づいて、作業が正しく行われているか否かを判定し、作業が正しく行われていないと判定した場合に、所定の通知を行うための制御信号を通知部２０へ出力する。通知部２０は、モニタ、スピーカー、ランプなどの少なくともいずれかを有する。通知部２０は、ＰＣ２００からの制御信号に応じて、モニタでのグラフィック（アイコンやメッセージ）の表示、スピーカーからの音声の出力、ランプの点灯などの少なくともいずれかにより、作業が正しく行われていないことなどの警告（アラート）を通知する。

なお、第１の実施形態では、カメラ１０、ＰＣ２００、及び、通知部２０が別個の装置であるとするが、そうでなくてもよい。例えば、カメラ１０、ＰＣ２００、及び、通知部２０の少なくとも２つ以上が１つの装置に含まれていていてもよい。具体的には、ＰＣ２００がカメラ１０と通知部２０の少なくとも一方を有していてもよい。また、ＰＣ２００と通知部２０の設置場所は特に限定されない。例えば、ＰＣ２００と通知部２０はカメラ１０と同じ部屋に設置されていてもよいし、そうでなくてもよい。作業者への通知を行う場合には、カメラ１０や作業者と同じ部屋に通知部２０を設置したり、作業者の携帯端末（スマートフォンやタブレットなど）を通知部２０として使用したりすればよい。作業監督への通知を行う場合には、作業監督と同じ部屋に通知部２０を設置したり、作業監督の携帯端末を通知部２０として使用したりすればよい。ＰＣ２００はクラウド上のコンピュータであってもよいし、そうでなくてもよい。

図２（Ｂ）は、ＰＣ２００の構成例を示すブロック図である。ＰＣ２００は、入力部２１０、記憶部２２０、制御部２３０、及び、出力部２４０を有する。

入力部２１０は、作業画像をカメラ１０から取得し、制御部２３０へ出力する。第１の
実施形態では、カメラ１０は動画を撮像するとし、入力部２１０は、動画の１フレームをカメラ１０から取得して制御部２３０へ出力する処理を、順次行うとする。入力部２１０による画像取得の周期は特に限定されないが、第１の実施形態では、入力部２１０は、カメラ１０による撮像に同期して作業画像（動画の１フレーム）を取得するとする。つまり、入力部２１０は、作業画像をカメラ１０から取得して制御部２３０へ出力する処理を、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で行うとする。なお、カメラ１０は静止画の撮像を順次行ってもよく、その場合に、入力部２１０は、静止画をカメラ１０から取得して制御部２３０へ出力する処理を、順次行う。入力部２１０は、本発明の画像取得手段の一例である。

図３は、第１の実施形態に係る作業画像の一例を示す図である。図３の作業画像３００には、作業台３０１、部品ケース３０２、仕掛品３０３、及び、作業者３０４が写っている。部品ケース３０２には、複数の部品３０２ａ～３０２ｉが区分けされて収納されている。こうすることで、部品の検出や、部品の移動距離の計算などが、容易かつ高精度に行えるようになる。また、第１の実施形態では、作業画像は、１つ以上の作業を含み且つ当該１つ以上の作業の全てを終えた後に仕掛品を所定の場所に置く工程を作業者が行う様子を撮像した画像でもあるとする。そして、作業台３０１では、テープなどの目印を用いて、工程の全作業を終えた後に仕掛品３０３を置く所定の場所である次工程置き場３０５が示されている。こうすることで、次工程置き場３０５の検出や、仕掛品３０３が次工程置き場３０５に置かれたか否かの判定などが、容易かつ高精度に行えるようになる。

なお、作業台３０１に置かれる部品の数は特に限定されないし、部品は部品ケース３０２に収納されていなくてもよい。部品の山が作られていてもよいが、部品の検出や部品の移動距離の計算などが容易かつ高精度に行えるように、作業順に部品が区分けされていることが好ましい。また、作業画像の撮像範囲や、作業画像に写る物体なども特に限定されない。作業や工程が行われる様子が撮像されればよく、例えば、部品ケース３０２（作業台３０１に置かれた部品）が作業画像に写っていなくてもよい。

記憶部２２０は、制御部２３０で実行されるプログラムや、制御部２３０で使用される各種データなどを記憶する。例えば、記憶部２２０は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。第１の実施形態では、作業と当該作業において仕掛品に取り付けるべき部品との対応関係を示す情報（作業情報）が、記憶部２２０に予め格納されている。作業情報を使用することで、現在の作業、次に行う作業、作業において使用すべき部品などが容易に把握可能となる。なお、ＰＣ２００が作業情報を取得する情報取得部を有していればよく、作業情報はＰＣ２００の外部装置に格納されていてもよい。情報取得部は、本発明の情報取得手段の一例である。

図４は、第１の実施形態に係る作業情報の一例を示す図である。図４の作業情報４００は、工程順かつ作業順に、作業において仕掛品に取り付けるべき部品を示している。具体的には、製品作りでは工程１～３を順に行い、工程１では作業１－１～１－３を順に行い、工程２では作業２－１～２－３を順に行い、工程３では作業３－１～３－３を順に行うことが示されている。そして、作業１－１では部品３０２ａを使用し、作業１－２では部品３０２ｂを使用し、作業１－３では部品３０２ｃを使用することが示されている。同様に、作業２－１では部品３０２ｄを、作業２－２では部品３０２ｅを、作業２－３では部品３０２ｆを、作業３－１では部品３０２ｇを、作業３－２では部品３０２ｈを使用し、作業３－３では部品３０２ｉを使用することが示されている。

制御部２３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。第１の実施形態
では、制御部２３０は、入力部２１０から作業画像を取得し、記憶部２２０から作業情報を取得し、作業画像と作業情報に基づいて、現在の作業が正しく行われているか否かを判定する。そして、制御部２３０は、現在の作業が正しく行われていないと判定した場合に、所定の通知を行うための制御信号を出力部２４０へ出力する。

出力部２４０は、制御部２３０から出力された制御信号を、通知部２０へ出力する。

制御部２３０について、より詳細に説明する。制御部２３０は、部品検出部２３１、把持判定部２３２、作業完了判定部２３３、及び、通知制御部２３４を有する。

部品検出部２３１は、入力部２１０から作業画像を取得し、取得した作業画像から部品を検出し、部品の検出結果（部品の種類や位置、向きなど）を把持判定部２３２と作業完了判定部２３３へ出力する。さらに、部品検出部２３１は、取得した作業画像から仕掛品を検出し、仕掛品の検出結果（仕掛品の位置や向きなど）を作業完了判定部２３３へ出力する。部品検出部２３１は本発明の部品検出手段の一例である。

なお、部品検出部２３１による部品検出や仕掛品検出にはどのようなアルゴリズムを用いてもよい。例えば、既存の物体検出により部品や仕掛品を検出してもよく、具体的にはＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた検出器（識別器）を用いて部品や仕掛品を検出してもよい。既存の機械学習により生成された学習済みモデルを用いて部品や仕掛品を検出してもよく、具体的にはディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）により生成された学習済みモデルを用いて部品や仕掛品を検出してもよい。

把持判定部２３２は、部品検出部２３１による検出結果（部品の検出結果）に基づいて、作業者が部品を把持したか否かを判定し、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であるか否かを判定する。具体的には、把持判定部２３２は、記憶部２２０から作業情報を取得し、部品の検出結果と、作業情報とに基づいて、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であるか否かを判定する。作業情報は、現在の作業において仕掛品に取り付けるべき部品を把握するために使用される。そして、把持判定部２３２は、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であると判定した場合に、そのことを作業完了判定部２３３へ通知する。さらに、把持判定部２３２は、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品でないと判定した場合に、そのことを通知制御部２３４へ通知する。把持判定部２３２は本発明の把持判定手段の一例である。第１の実施形態では、把持判定部２３２は記憶部２２０から作業情報を取得するため、把持判定部２３２は本発明の情報取得手段を兼ねているとも言える。

作業完了判定部２３３は、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品であると把持判定部２３２が判定した場合に、現在の作業が完了したことの所定の条件が満たされたか否かを判定する。所定の条件が満たされたか否かは、部品検出部２３１による検出結果（部品の検出結果や、仕掛品の検出結果）に基づいて判定される。さらに、作業完了判定部２３３は、部品検出部２３１による検出結果（仕掛品の検出結果）に基づいて、仕掛品が次工程置き場に置かれたか否かを判定する。例えば、部品検出部２３１は、作業画像から次工程置き場（次工程置き場の目印）を検出でき、作業完了判定部２３３は、検出された次工程置き場で仕掛品が検出された場合に、次工程置き場に仕掛品が置かれたと判定できる。なお、作業完了判定部２３３が次工程置き場を予め把握している場合には、部品検出部２３１による次工程置き場の検出は不要である。第１の実施形態では、作業完了判定部２３３は、記憶部２２０から作業情報を取得し、取得した作業情報から各工程や各作業を把握する。そのうえで、上記２つの判定を行うことで、現在の
工程の全作業を終える前に仕掛品が次工程置き場に置かれたか否かを判定できる。そして、作業完了判定部２３３は、現在の工程の全作業を終える前に仕掛品が次工程置き場に置かれたと判定した場合に、そのことを通知制御部２３４へ通知する。作業完了判定部２３３は本発明の作業完了判定手段の一例である。第１の実施形態では、作業完了判定部２３３は記憶部２２０から作業情報を取得するため、作業完了判定部２３３は本発明の情報取得手段を兼ねているとも言える。

通知制御部２３４は、把持判定部２３２や作業完了判定部２３３からの通知に応じて、所定の通知を行うための制御信号を出力部２４０へ出力する。つまり、作業者が把持した部品が現在の作業において仕掛品に取り付けるべき部品でないと把持判定部２３２が判定した場合に、通知制御部２３４は、所定の通知を行うように制御する。また、現在の工程の全作業を終える前に仕掛品が次工程置き場に置かれたと作業完了判定部２３３が判定した場合にも、通知制御部２３４は、所定の通知を行うように制御する。通知制御部２３４は本発明の通知制御手段の一例である。

図５は、第１の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図５の処理フローを繰り返し実行する。図５の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図５の処理フローが繰り返されるとする。

図５の処理フローでは、現在の作業（および工程）を把握するための現作業フラグが使用される。現作業フラグは、作業情報によって示されたいずれかの作業に対応する。例えば、現作業フラグ＝１は工程１の作業１－１に対応し、現作業フラグ＝２は工程１の作業１－２に対応し、現作業フラグ＝３は工程１の作業１－３に対応する。現作業フラグ＝４は工程２の作業２－１に対応し、現作業フラグ＝５は工程２の作業２－２に対応し、現作業フラグ＝６は工程２の作業２－３に対応する。現作業フラグ＝７は工程３の作業３－１に対応し、現作業フラグ＝８は工程３の作業３－２に対応し、現作業フラグ＝９は工程３の作業３－３に対応する。初期状態では、現作業フラグは１に設定されている。

まず、入力部２１０は、カメラ１０から作業画像を取得する（ステップＳ５００）。

次に、部品検出部２３１は、入力部２１０から作業画像を取得し、取得した作業画像から部品と仕掛品を検出する（ステップＳ５０１）。図３の作業画像３００が取得された場合には、部品３０２ａ～３０２ｉと仕掛品３０３が検出される。

次に、作業完了判定部２３３は、ステップＳ５０１の検出結果（仕掛品の検出結果）に基づいて、仕掛品が次工程置き場に置かれたか否かを判定する（ステップＳ５０２）。仕掛品が次工程置き場に置かれたと判定された場合（ステップＳ５０２：ＹＥＳ）にはステップＳ５０３へ処理が進められ、仕掛品が次工程置き場に置かれていないと判定された場合（ステップＳ５０２：ＮＯ）にはステップＳ５０５へ処理が進められる。

ステップＳ５０３では、作業完了判定部２３３は、現在の工程の全作業が完了しているか否かを判定する。現在の工程の全作業が完了していると判定された場合（ステップＳ５０３：ＹＥＳ）には図５の処理フローが終了し、現在の工程に未完了の作業があると判定された場合（ステップＳ５０３：ＮＯ）にはステップＳ５０４へ処理が進められる。

図５の処理フローでは、作業が完了したと判定される度に、現作業フラグを更新する（１インクリメントする）ことにより、現在の作業として扱う作業が次の作業に更新される。このため、作業完了判定部２３３は、現作業フラグと作業情報から、現在の工程の全作業が完了しているか否かを判定できる。

例えば、現作業フラグが１～３であれば、現在の工程は工程１であり、工程１の作業１－１～１－３の少なくともいずれかが完了していないと判定できる。現作業フラグが４となってから初めて仕掛品が次工程置き場に置かれたのであれば、現在の工程は工程１であり、工程１の作業１－１～１－３の全てが完了したと判定できる。現作業フラグが４であっても、現作業フラグが４の状態で過去に仕掛品が次工程置き場に置かれたことがあるのであれば、現在の工程は工程２であり、工程２の作業２－１が完了していないと判定できる。

同様に、現作業フラグが５または６であれば、現在の工程は工程２であり、工程２の作業２－２と作業２－３の少なくともいずれかが完了していないと判定できる。現作業フラグが７となってから初めて仕掛品が次工程置き場に置かれたのであれば、現在の工程は工程２であり、工程２の作業２－１～２－３の全てが完了したと判定できる。現作業フラグが７であっても、現作業フラグが７の状態で過去に仕掛品が次工程置き場に置かれたことがあるのであれば、現在の工程は工程３であり、工程３の作業３－１が完了していないと判定できる。現作業フラグが８または９であれば、現在の工程は工程３であり、工程３の作業３－２と作業３－３の少なくともいずれかが完了していないと判定できる。現作業フラグが１０であれば、現在の工程は工程３であり、工程３の作業３－１～３－３の全てが完了したと判定できる。

ステップＳ５０４では、通知制御部２３４は、所定の通知を行うための制御信号を出力部２４０へ出力する。その結果、出力部２４０から通知部２０へ制御信号が送られ、通知部２０により所定の通知が行われる。

ステップＳ５０５では、作業完了判定部２３３は、把持状態設定（現在の作業において仕掛品に取り付けるべき部品を作業者が把持した状態であることの設定）が有効であるか否かを判定する。把持状態設定が有効であると判定された場合（ステップＳ５０５：ＹＥＳ）にはステップＳ５１１へ処理が進められ、把持状態設定が有効でないと判定された場合（ステップＳ５０５：ＮＯ）にはステップＳ５０６へ処理が進められる。

ステップＳ５０６では、把持判定部２３２は、ステップＳ５０１で検出された部品の移動距離Ｄ１を算出する。ステップＳ５０１で複数の部品が検出された場合には、当該複数の部品のそれぞれの移動距離Ｄ１が算出される。移動距離Ｄ１の算出方法は特に限定されないが、例えば、現在の作業の開始時における部品の検出位置と、当該部品の現在の検出位置との間の距離が、移動距離Ｄ１として算出される。所定時間前における部品の検出位置と、当該部品の現在の検出位置との間の距離、つまり所定期間における部品の移動距離を、移動距離Ｄ１として算出してもよい。

ステップＳ５０７では、把持判定部２３２は、ステップＳ５０１で複数の部品が検出された場合に、当該複数の部品のうち、ステップＳ５０６で算出された移動距離Ｄ１が最大の部品を選択する。ステップＳ５０１で１つの部品が検出された場合には、当該部品が選択される。部品は、作業者に把持されていなくても、作業台の揺れなどにより動くことがあるが、一般的に、把持されている部品は、把持されていない部品よりも大きく動く。このため、ステップＳ５０７の処理により、複数の部品のうち、作業者に把持されている可能性の高い部品を選択することができる。

次に、把持判定部２３２は、ステップＳ５０７で選択した部品の移動距離Ｄ１が閾値Ｔｈ１以上であるか否かを判定する（ステップＳ５０８）。作業者は、把持した部品を仕掛品に取り付けるために、当該部品を大きく動かすことが多い。このため、ステップＳ５０８の処理により、作業者が部品を把持したか否かを判定することができる。選択された部
品の移動距離Ｄ１が閾値Ｔｈ１以上であると判定された場合（ステップＳ５０８：ＹＥＳ）、つまり作業者が部品を把持したと判定された場合には、ステップＳ５０９へ処理が進められる。選択された部品の移動距離Ｄ１が閾値Ｔｈ１未満であると判定された場合（ステップＳ５０８：ＮＯ）、つまり作業者が部品を把持していないと判定された場合には、図５の処理フローが終了する。

ステップＳ５０９では、把持判定部２３２は、作業者が把持した部品（ステップＳ５０７で選択した部品）が正しい部品（現在の作業において仕掛品に取り付けるべき部品）であるか否かを判定する。作業者が把持した部品が正しい部品であると判定された場合（ステップＳ５０９：ＹＥＳ）には、ステップＳ５１０へ処理が進められる。作業者が把持した部品が正しい部品でないと判定された場合（ステップＳ５０９：ＮＯ）には、ステップＳ５０４へ処理が進められ、所定の通知が行われる。正しい部品は、現作業フラグと作業情報から判断される。具体的には、把持判定部２３２は、作業情報において、現作業フラグに対応する作業に関連付けられている部品を、正しい部品として判断する。現作業フラグが１であれば、作業１－１に関連付けられている部品３０２ａが、正しい部品として判断される。

ステップＳ５１０では、把持判定部２３２は、把持状態設定を有効にする。

ステップＳ５１１では、作業完了判定部２３３は、作業者が把持した部品と仕掛品との間の距離Ｄ２を算出する。距離Ｄ２の算出方法は特に限定されないが、例えば、部品の検出位置（中心位置など）と仕掛品の検出位置との間の距離が、距離Ｄ２として算出される。検出矩形のＩｏＵ（部品の検出矩形と仕掛品の検出矩形との和集合に対する、部品の検出矩形と仕掛品の検出矩形との共通部分の割合（サイズ比））を、距離Ｄ２として算出してもよい。部品と仕掛品の一方の検出矩形に対する、部品の検出矩形と仕掛品の検出矩形との共通部分の割合（サイズ比）を、距離Ｄ２として算出してもよい。仕掛品が固定されている（位置や向きが変わらない）という前提があれば、仕掛品を検出せずに、作業者が把持した部品の位置などから距離Ｄ２を算出してもよい。

次に、作業完了判定部２３３は、ステップＳ５１１で算出した距離Ｄ２が閾値Ｔｈ２以下であるか否かを判定する（ステップＳ５１２）。一般的に、部品を仕掛品に取り付ける際に、それらの間の距離は小さくなる。このため、ステップＳ５１２の処理により、現在の作業が完了したか否かを判定することができる。距離Ｄ２が閾値Ｔｈ２以下であると判定された場合（ステップＳ５１２：ＹＥＳ）、つまり現在の作業が完了したと判定された場合には、ステップＳ５１３へ処理が進められる。距離Ｄ２が閾値Ｔｈ２よりも大きいと判定された場合（ステップＳ５１２：ＮＯ）、つまり現在の作業が完了していないと判定された場合には、図５の処理フローが終了する。距離Ｄ２が閾値Ｔｈ２以下であることは、上述した所定の条件の一例である。

ステップＳ５１３では、作業完了判定部２３３は、現作業フラグを更新する（１インクリメントする）ことにより、現在の作業として扱う作業を次の作業に更新する。

次に、作業完了判定部２３３は、把持状態設定を無効にする（ステップＳ５１４）。

作業において仕掛品に取り付けるべき部品（部品の種類（形状やサイズなど））は、作業者には依存せず、常に一定である。このため、第１の実施形態によれば、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定することにより、当該作業が正しく行われているか否かを高精度に判定できる。そして、作業者が把持した部品が作業において仕掛品に取り付けるべき部品でないと判定した場合に所定の通知を行うことにより、作業の間違いや漏れを防ぐことができる。

さらに、作業完了判定部２３３を用いたことにより、作業が正しく行われているか否かだけでなく、作業が正しく完了したか否かまで判定することができる。そして、工程の全作業を終える前に仕掛品が所定の場所に置かれたと判定した場合にも、所定の通知を行うことにより、作業の漏れをより確実に防ぐことができる。

＜第２の実施形態＞
本発明の第２の実施形態について説明する。

第２の実施形態に係る作業判定システムの構成は、第１の実施形態と同様である。図６は、第２の実施形態に係るＰＣ２００の構成例を示すブロック図である。第２の実施形態に係るＰＣ２００も、第１の実施形態と同様に、入力部２１０、記憶部２２０、制御部２３０、及び、出力部２４０を有する。そして、第２の実施形態に係る制御部２３０も、第１の実施形態と同様に、部品検出部２３１、把持判定部２３２、作業完了判定部２３３、及び、通知制御部２３４を有する。但し、第２の実施形態に係る制御部２３０は、手検出部２３５をさらに有する。第２の実施形態において、後述する処理以外の処理については、第１の実施形態と同様である。

手検出部２３５は、入力部２１０から作業画像を取得し、取得した作業画像から作業者の手を検出し、手の検出結果（手の位置など）を作業完了判定部２３３へ出力する。手検出部２３５は本発明の手検出手段の一例である。

図７は、第２の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図７の処理フローを繰り返し実行する。図７の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図７の処理フローが繰り返されるとする。

図７において、図５（第１の実施形態）と同じ処理には、図５と同じ符号が付されている。図７のフローチャートでは、ステップＳ５０５で把持状態設定が有効であると判定された場合（ステップＳ５０５：ＹＥＳ）に、ステップＳ５１１ではなくステップＳ７０１へ処理が進められる。

ステップＳ７０１では、作業完了判定部２３３は、作業者が把持した部品が部品検出部２３１によって検出されているか否か（作業者が把持した部品がステップＳ５０１で検出されているか否か）を判定する。作業者が把持した部品が部品検出部２３１によって検出されていると判定された場合（ステップＳ７０１：ＹＥＳ）には、ステップＳ５０５へ処理が進められる。作業者が把持した部品が部品検出部２３１によって検出されなくなったと判定された場合（ステップＳ７０１：ＮＯ）には、ステップＳ７０２へ処理が進められる。

ステップＳ７０２では、手検出部２３５は、入力部２１０から作業画像を取得し、取得した作業画像から作業者の手を検出する。次に、作業完了判定部２３３は、ステップＳ７０２で検出された手の位置を、作業者が把持した部品の位置として設定する（ステップＳ７０３）。

以上述べたように、第２の実施形態によれば、作業者が把持した部品が検出されなくなった場合に、検出された手の位置が、作業者が把持した部品の位置として用いられる。これにより、作業者が把持した部品が当該作業者の手に隠れて検出されなくなった場合でも、作業が完了したか否かを判定することができる。

＜第３の実施形態＞
本発明の第３の実施形態について説明する。第３の実施形態に係る作業判定システムの構成や、第３の実施形態に係るＰＣ２００の構成などは、第１の実施形態と同様である。

図８は、第３の実施形態に係る処理フロー例を示すフローチャートである。ＰＣ２００は、図８の処理フローを繰り返し実行する。図８の処理フローの繰り返し周期は特に限定されないが、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図８の処理フローが繰り返されるとする。

図８において、図５（第１の実施形態）と同じ処理には、図５と同じ符号が付されている。図８のフローチャートでは、ステップＳ５１２で距離Ｄ２が閾値Ｔｈ２以下であると判定された場合（ステップＳ５１２：ＹＥＳ）に、ステップＳ５１３ではなくステップＳ８０１へ処理が進められる。

ステップＳ８０１では、作業完了判定部２３３は、仕掛品に対する把持部品（作業者が把持した部品）の相対的な位置が所定の位置であるか否かを判定する。一般的に、仕掛品に部品を取り付ける際の、仕掛品に対する部品の相対的な位置は予め決まっていることが多い。このため、ステップＳ８０１の処理をさらに行うことにより、現在の作業が完了したか否かをより高精度に判定することができる。仕掛品に対する把持部品の相対的な位置が所定の位置であると判定された場合（ステップＳ８０１：ＹＥＳ）、つまり現在の作業が完了したと判定された場合には、ステップＳ５１３へ処理が進められる。仕掛品に対する把持部品の相対的な位置が所定の位置でないと判定された場合（ステップＳ８０１：ＮＯ）、つまり現在の作業が完了していないと判定された場合には、図８の処理フローが終了する。仕掛品に対する把持部品の相対的な位置が所定の位置であることは、第１の実施形態で述べた所定の条件の一例である。

なお、一般的に、仕掛品に部品を取り付ける際の、仕掛品に対する部品の相対的な向きも予め決まっていることが多い。このため、作業完了判定部２３３は、仕掛品に対する把持部品の相対的な向きが所定の向きであるか否かを判定してもよい（第３の判定）。仕掛品に対する把持部品の相対的な位置が所定の位置であることも、第１の実施形態で述べた所定の条件の一例である。

以下の３つの判定の少なくともいずれかを行えば、現在の作業が完了したか否か判定することができる。このため、３つの判定のうちの１つを行ってもよいし、３つ判定のうちの２つを行ってもよいし、３つの判定の全てを行ってもよい。２つの判定を行えば、１つの判定を行う場合よりも、現在の作業が完了したか否かの高精度な判定が期待できる。３つの判定を行えば、１つの判定を行う場合や、２つの判定を行う場合よりも、現在の作業が完了したか否かを高精度に判定することができる。
・距離Ｄ２が閾値Ｔｈ２以下であるか否かの判定
・把持部品の相対的な位置が所定の位置であるか否かの判定
・把持部品の相対的な向きが所定の向きであるか否かの判定

なお、把持部品の相対的な位置が所定の位置であるか否かの判定と、把持部品の相対的な向きが所定の向きであるか否かの判定とには、マージンを用いてもよい。つまり、把持部品の相対的な位置と所定の位置の差が閾値以下の場合に把持部品の相対的な位置が所定の位置であると判定し、当該差が閾値よりも大きい場合に把持部品の相対的な位置が所定の位置でないと判定してもよい。同様に、把持部品の相対的な向きと所定の向きの差（角度差など）が閾値以下の場合に把持部品の相対的な向きが所定の向きであると判定し、当該差が閾値よりも大きい場合に把持部品の相対的な向きが所定の向きでないと判定してもよい。

ここで、上記３つの判定の全てを行う場合の具体例を説明する。図９（Ａ）～９（Ｅ）は、部品と仕掛品の状態の一例を示す。図９（Ａ）～９（Ｅ）の間で、仕掛品の位置や向きは同じである。図９（Ａ）は、部品が仕掛品に正しく取り付けられた状態を示す。図９（Ｂ）では、部品の向きが図９（Ａ）の向きである（部品の相対的な向きが所定の向きである）。しかし、距離Ｄ２が閾値Ｔｈ２以下でないし、部品の位置が図９（Ａ）の位置でもない（部品の相対的な位置が所定の位置でない）から、作業が完了していないと判定される。図９（Ｃ）では、距離Ｄ２が閾値Ｔｈ２以下であり、且つ、部品の向きが図９（Ａ）の向きであるが、部品の位置が図９（Ａ）の位置でないため、作業が完了していないと判定される。図９（Ｄ）では、距離Ｄ２が閾値Ｔｈ２以下であり、且つ、部品の位置が図９（Ａ）の位置であるが、部品の向きが図９（Ａ）の向きでないため、作業が完了していないと判定される。図９（Ｅ）では、距離Ｄ２が閾値Ｔｈ２以下であり、且つ、部品の位置が図９（Ａ）の位置であり、且つ、部品の向きが図９（Ａ）の向きあるため、作業が完了したと判定される。

以上述べたように、第３の実施形態によれば、作業が完了したことの所定の条件として第１の実施形態と異なる条件を用いて、第１の実施形態に準じた効果を得ることができる。また、所定の条件に複数の条件を含めることにより、作業が完了したか否かをより高精度に判定することができる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。第１～第３の実施形態に係る処理を適宜組み合わせることも可能である。

＜付記１＞
部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段（１０１，２１０）と、
前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段（１０２，２３１）と、
前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段（１０３，２３２）と、
前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段（１０４，２３４）と
を有することを特徴とする作業判定装置（１００，２００）。

＜付記２＞
部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得ステップ（Ｓ５００）と、
前記画像取得ステップにおいて取得された前記画像から部品を検出する部品検出ステップ（Ｓ５０１）と、
前記部品検出ステップにおける検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定ステップ（Ｓ５０６～Ｓ５０９）と、
前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定ステップで判定された場合に、所定の通知を行うように制御する通知制御ステップ（Ｓ５０４）と
を有することを特徴とする作業判定方法。

１００：作業判定装置
１０１：画像取得部 １０２：部品検出部 １０３：把持判定部 １０４：通知制御部
１０：カメラ ２０：通知部
２００：ＰＣ（作業判定装置）
２１０：入力部 ２２０：記憶部 ２３０：制御部 ２４０：出力部
２３１：部品検出部 ２３２：把持判定部 ２３３：作業完了判定部
２３４：通知制御部 ２３５：手検出部
３００：作業画像
３０１：作業台 ３０２：部品ケース ３０２ａ～３０２ｉ：部品
３０３：仕掛品 ３０４：作業者 ３０５：次工程置き場
４００：作業情報

Claims (11)

1. 部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記画像から部品を検出する部品検出手段と、
   前記部品検出手段による検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定手段と、
   前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定手段が判定した場合に、所定の通知を行うように制御する通知制御手段とを有し、
   前記把持判定手段は、前記部品検出手段によって検出された部品の移動距離が第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定することを特徴とする作業判定装置。
2. 前記把持判定手段は、前記部品検出手段によって複数の部品が検出された場合に、前記複数の部品から、移動距離が最大の部品を選択し、選択した部品の移動距離が前記第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定する
   ことを特徴とする請求項１に記載の作業判定装置。
3. 前記作業と当該作業において前記仕掛品に取り付けるべき部品との対応関係を示す情報を取得する情報取得手段をさらに有し、
   前記把持判定手段は、前記部品検出手段による検出結果と、前記情報取得手段によって取得された前記情報とに基づいて、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する
   ことを特徴とする請求項１または２に記載の作業判定装置。
4. 前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した場合に、前記部品検出手段による検出結果に基づいて、前記作業が完了したことの所定の条件が満たされたか否かを判定する作業完了判定手段をさらに有する
   ことを特徴とする請求項１～３のいずれか１項に記載の作業判定装置。
5. 前記所定の条件は、前記作業者が把持した部品と前記仕掛品との間の距離が第２の閾値以下となったことを含む
   ことを特徴とする請求項４に記載の作業判定装置。
6. 前記所定の条件は、前記仕掛品に対する前記部品の相対的な位置が所定の位置であることを含む
   ことを特徴とする請求項４または５に記載の作業判定装置。
7. 前記所定の条件は、前記仕掛品に対する前記部品の相対的な向きが所定の向きであることを含む
   ことを特徴とする請求項４～６のいずれか１項に記載の作業判定装置。
8. 前記画像取得手段は、１つ以上の作業を含み且つ前記１つ以上の作業の全てを終えた後に前記仕掛品を所定の場所に置く工程を前記作業者が行う様子を撮像した前記画像を取得し、
   前記部品検出手段は、さらに、前記画像取得手段によって取得された前記画像から前記仕掛品を検出し、
   前記作業完了判定手段は、さらに、前記部品検出手段による検出結果に基づいて、前記仕掛品が前記所定の場所に置かれたか否かを判定し、
   前記通知制御手段は、さらに、前記１つ以上の作業の全てを終える前に前記仕掛品が前記所定の場所に置かれたと前記作業完了判定手段が判定した場合に、前記所定の通知を行うように制御する
   ことを特徴とする請求項４～７のいずれか１項に記載の作業判定装置。
9. 前記画像取得手段によって取得された前記画像から前記作業者の手を検出する手検出手段をさらに有し、
   前記作業完了判定手段は、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であると前記把持判定手段が判定した後、前記作業者が把持した部品が前記部品検出手段によって検出されなくなった場合に、前記手検出手段によって検出された手の位置を、前記作業者が把持した部品の位置として用いる
   ことを特徴とする請求項４～８のいずれか１項に記載の作業判定装置。
10. 部品を把持して当該部品を仕掛品に取り付ける作業を作業者が行う様子を撮像した画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記画像から部品を検出する部品検出ステップと、
    前記部品検出ステップにおける検出結果に基づいて、前記作業者が部品を把持したか否かを判定し、前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品であるか否かを判定する把持判定ステップと、
    前記作業者が把持した部品が前記作業において前記仕掛品に取り付けるべき部品でないと前記把持判定ステップで判定された場合に、所定の通知を行うように制御する通知制御ステップと
    を有し、
    前記把持判定ステップでは、前記部品検出ステップによって検出された部品の移動距離が第１の閾値以上である場合に、当該部品を前記作業者が把持したと判定することを特徴とする作業判定方法。
11. 請求項１０に記載の作業判定方法の各ステップをコンピュータに実行させるためのプログラム。

Images