JP7347509B2 - 作業分類システムおよび作業分類プログラム - Google Patents

Description

本発明は、作業分類システムおよび作業分類プログラムに関する。

生産現場では、マスカスタマイゼーションに向けて多品種少量生産のニーズが増加している。多品種少量生産では、段取り替え作業が多く発生する。段取り替え作業は、作業ロスが発生する原因となる。このため、多品種少量生産では、いかにして段取り替え作業において作業ロスを抑えるかが、課題となっている。

作業ロスを抑えるためには、まず、生産現場でどのような作業が行われているか、作業を分類する必要がある。

従来技術としては、たとえば、以下のような技術がある。

特許文献１では、作業者の姿勢または動作を判定し、判定した作業者の姿勢または動作から、作業に直接関わっている作業動作と、作業に直接関わっていない非作業動作を抽出している。そして、この技術では、抽出した動作についての負担値を算出し、その結果を用いて非作業動作についての負担評価情報を提示し、この情報を設備配置、ライン設計、ライン改善、安全性向上のためなどに使用している。

また、特許文献２では、作業者が非定常作業を行っている旨のアラーム情報と、作業者の作業実績情報を取得して、アラーム情報と作業実績情報とを関連付けし、定常作業可能な作業者数に応じた各作業者への作業の割り振りを行っている。これにより、この技術では、非定常作業と定常作業を区別して作業管理を行っている。

また、特許文献３では、作業開始時の作業者が写る第１の作業者画像と、作業終了時の作業者が写る第２の作業者画像とを取得して、１つの作業案件に係る作業に要した作業時間を計測する。また、この技術では、第２の作業者画像から作業案件を認識し、作業時間の計測結果および作業認識結果に基づいて、作業者および作業案件ごとの実施状況に関する情報を表示する。これにより、この技術では、画像から作業者を特定し、作業者の作業時間を取得するとともに、作業案件を認識する。このため、この技術では、端末を操作するなどの情報の入力を作業者にさせる必要がないため、作業効率の低下を避けることができる。

特開２０１７－６８４３１号公報 特開２０１１－２１６０１４号公報 特開２０１５－２２５６３０号公報

しかしながら、特許文献１の技術では、作業の分類を作業に直接関わった作業動作と関わっていない非作業動作に分類しているだけである。これでは、段取り替え作業のように、設備を止めなければならない作業と設備を止めなくてもできる作業など、設備の稼働状態に応じた分類ができない。

特許文献２の技術では、非定常作業の発生の認識は作業者から発せられるアラーム情報であり、非定常作業と定常作業などの作業分類が自動化されていない。また、特許文献２の技術においても、設備の稼働状態に応じた分類は行われていない。

特許文献３の技術は、作業の開始・終了は作業エリアの入退出時の画像で判定しており、作業エリアの入退出の単位でしか作業を分類できない。このため、特許文献３の技術においても、設備の稼働状態に応じた分類は行われていない。

本発明は、上記の事情に鑑みてなされたものであり、本発明の目的は、設備が稼働中の作業と、設備が停止中の作業を分類できる作業分類システムおよび作業分類プログラムを提供することである。

本発明の上記の目的は、下記の手段によって達成される。

（１）設備の稼働状態を取得する設備稼働状態取得部と、
作業者を含む範囲を撮影するカメラと、
前記カメラが撮影した映像データから前記作業者の位置および向きを判定する作業者位置・向き判定部と、
前記設備の稼働状態と、前記作業者の位置および向きとの組み合わせから段取り替え作業を分類する作業分類部と、
を有する、作業分類システム。

（２）前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
前記カメラの撮影範囲内であって、前記設備近傍の所定範囲を第１領域とし、
前記作業分類部は、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域外である場合に不在と分類する、上記（１）に記載の作業分類システム。

（３）前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
前記カメラの撮影範囲内であって、前記設備近傍の所定範囲を第１領域とし、前記第１領域の外側の範囲を第２領域とし、
前記作業分類部は、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合および前記第２領域内に存在する場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域および前記第２領域外である場合に不在と分類する、上記（１）に記載の作業分類システム。

（４）前記作業者を識別する作業者識別部をさらに有し、
前記作業分類部は、分類した分類結果を、前記作業者識別部が識別した前記作業者ごとに対応付けする、上記（１）～（３）のいずれか一つに記載の作業分類システム。

（５）前記作業者位置・向き判定部は、前記映像データから前記作業者の所定の関節または骨格の座標値を抽出し、その座標値から前記作業者の位置および向きを判定する、上記（１）～（４）のいずれか一つに記載の作業分類システム。

（６）前記映像データを記録する映像記録部と、
前記作業分類部が分類した分類結果と、前記映像データとを紐付けする紐付け部と、をさらに有する、上記（１）～（５）のいずれか一つに記載の作業分類システム。

（７）前記紐付け部は、前記設備稼働状態取得部が取得した稼働状態、前記作業者位置・向き判定部が判定した前記作業者の位置および向きを、前記分類結果および前記映像データにさらに紐付けする、上記（６）に記載の作業分類システム。

（８）設備の稼働状態を取得する段階（ａ）と、
作業者を含む範囲が撮影された映像データから前記作業者の位置および向きを判定する段階（ｂ）と、
前記設備の稼働状態と、前記作業者の位置および向きとの組み合わせから段取り替え作業を分類する段階（ｃ）と、
を、コンピューターに実行させるための作業分類プログラム。

（９）前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
前記段階（ｃ）は、前記映像データが撮影された範囲内であって、前記設備近傍の所定範囲を第１領域とし、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域外である場合に不在と分類する、上記（８）に記載の作業分類プログラム。

（１０）前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
前記段階（ｃ）は、前記映像データが撮影された範囲内であって、前記設備近傍の所定範囲を第１領域とし、前記第１領域の外側の範囲を第２領域とし、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合および前記第２領域内に存在する場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域および前記第２領域外である場合に不在と分類する、上記（８）に記載の作業分類プログラム。

（１１）前記作業者を識別する段階（ｄ）と、
前記段階（ｃ）により分類した分類結果を、識別した前記作業者ごとに対応付けする段階（ｅ）と、をさらに有する、上記（８）～（１０）のいずれか一つに記載の作業分類プログラム。

（１２）前記段階（ｂ）は、前記映像データから前記作業者の所定の関節または骨格の座標値を抽出し、その座標値から前記作業者の位置および向きを判定する、上記（８）～（１１）のいずれか一つに記載の作業分類プログラム。

（１３）前記映像データを記録する段階（ｆ）と、
前記段階（ｃ）により分類した分類結果と、前記映像データとを紐付けする段階（ｇ）と、をさらに有する、上記（８）～（１２）のいずれか一つに記載の作業分類プログラム。

（１４）前記段階（ｇ）は、前記稼働状態、前記作業者の位置および向きを、前記分類結果および前記映像データにさらに紐付けする、上記（１３）に記載の作業分類プログラム。

本発明によれば、設備の稼働状態を取得するとともに、作業者の位置および向きを判定して、これらの組み合わせから段取り替え作業を分類する。これにより、本発明では、設備が稼働中の作業と、設備が停止中の作業を分類できる。

実施形態の作業分類システムの機能構成を説明するための説明図である。 設備に対する作業者の位置と向きを説明するための説明図である。 設備に対する作業者の位置と向きを説明するための説明図である。 作業を分類するための分類判定表である。 各情報および分類結果を表示させたタイムチャートである。 作業の分類結果を時間割合で表示した円グラフである。 作業の分類結果を時刻および作業時間とともに示す表である。 再生された映像例を示す図である。 作業内容、取得した情報、および分類結果を詳細に示す表である。 作業分類の処理手順を示すフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、実施形態の作業分類システムの機能構成を説明するための説明図である。

作業分類システム１は、サーバー１０と、サーバー１０に接続されたカメラ２０と、サーバー１０に接続された端末１８を有する。

サーバー１０は、その機能として、作業者識別部１１、設備稼働状態取得部１２、映像記録部１３、作業者位置・向き判定部１４、作業分類部１５、製品情報取得部１６、および紐付け部１７を有する。

サーバー１０は、コンピューターであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、および外部接続のためのインターフェース（ＩＦ）などを有する。また、サーバー１０は、キーボードやマウスなどの入力装置、ディスプレイなどの出力装置を有する。

サーバー１０においては、ＣＰＵがＲＯＭやＨＤＤに記憶されているプログラムを読み出して実行することで、各機能が実現される。

また、サーバー１０においては、インターフェースが、設備５０、カメラ２０、端末１８との通信を行う。インターフェースは、たとえば、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどの各種ローカル接続インターフェースなどである。また、インターフェースは、設備５０およびカメラ２０とローカルなアナログ接続を行うための回線でもよい。また、インターフェースは、端末１８と接続するために、無線ＬＡＮ（ＷｉＦｉ）や携帯電話回線でもよい。

端末１８は、コンピューターである。端末１８としては、たとえば、パーソナルコンピューター（ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ））、タブレット、スマートフォンなどが利用される。これらは、作業者や管理者、その他の関係者が使用するコンピューターである。これらのコンピューターは、キーボード、マウス、タッチパネル、ディスプレイなどの入力装置および出力装置を有する。

サーバー１０の各機能を説明する。

作業者識別部１１は、作業領域（詳細後述）に入ってきた作業者３０を個別に認識する。作業者３０の識別は、たとえば、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）タグ３１を用いたり、顔認証、虹彩認証、指紋認証などの生体認証を用いたりして行われる。たとえば、ＲＦＩＤタグ３１を用いる場合は、ＲＦＩＤタグ３１を作業者３０に携帯させたり、作業衣や帽子、ヘルメットなどに取り付けたりする。一方、作業領域には、ＲＦＩＤタグ３１を読み取る読み取り装置を設置する。そして、作業者識別部１１は、読み取り装置によってＲＦＩＤタグ３１を読み取らせて、作業者ひとりひとりの識別情報を取得する。また、虹彩認証を用いる場合も同様に、作業者識別部１１は、これらの認証センサーやカメラを用いて作業者３０を識別する。

設備稼働状態取得部１２は、設備５０の稼働状態を取得する。設備５０の稼働状態は、たとえば、生産のための正常な運転による稼働、加工が完了して停止した完了停止、異常が発生したときの異常停止、および設備５０を使用しない停止である。

設備稼働状態取得部１２は、たとえは、設備５０に備え付けられている積層信号灯５１の発光色を検出したり、スイッチング信号を検出したりして、設備の稼働状態を取得する。発光色やスイッチング信号を検出する場合は、それらを検出する専用のセンサー（不図示）が用いられる。設備稼働状態取得部１２（サーバー１０）は、発光色やスイッチング信号を検出するセンサーと接続される。

積層信号灯５１は、３色積層灯、シグナルタワーなどとも称されており、その多くは、緑色、黄色、赤色の３色のランプが設備５０の稼働状態に合わせて発光する。積層信号灯５１は、通常、正常稼働中は緑色、生産完了による停止中は黄色、異常発生時には赤色となる。

また、設備稼働状態取得部１２は、設備５０から稼働状態を示す信号が出力されている場合は、その信号を取得してもよい。この場合、設備稼働状態取得部１２（サーバー１０）は、設備５０と接続される。

また、設備稼働状態取得部１２は、カメラ２０の映像データから稼働状態を取得してもよい。この場合は、カメラ２０の撮影範囲に積層信号灯５１が入るようにする。設備稼働状態取得部１２は、映像データから積層信号灯５１の発光色を検出する。

映像記録部１３は、カメラ２０からの映像データを記録する。映像記録部１３は、たとえば、サーバー１０内のＨＤＤである。映像データは、時間とともに記録される。

作業者位置・向き判定部１４は、映像データから作業者３０の位置および向きを検出する。

カメラ２０は、作業者３０が設備５０に対して作業を行う作業領域を含む範囲を撮影範囲２５とする。既に説明したように、カメラ２０の映像データから設備５０の稼働状態を検出する場合は、撮影範囲２５に積層信号灯５１を含むようにする。

作業者３０の位置および向きの検出には、既存の技術を用いることができる。たとえば、オープンポーズ（Ｏｐｅｎ Ｐｏｓｅ（https://github.com/CMU-Perceptual-Computing-Lab/openpose など参照））、ディープポーズ（Ｄｅｅｐ Ｐｏｓｅ（https://www.slideshare.net/mitmul/deeppose-human-pose-estimation-via-deep-neural-networks など参照））など２元の映像データ（動画）から人の骨格を推定して姿勢を認識する技術（以下、骨格認識技術という）を用いることができる。また、骨格認識技術としては、他にも、たとえばマイクロソフト社のキネクト（登録商標）など、デプスカメラ（ＲＢＧ－Ｄカメラ）やＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）を使用した技術を用いることができる。

骨格認識技術は、２次元の映像データから人の姿勢を認識できる。したがって、カメラ２０としては、一般的なムービーカメラを用いることができ、システムの構成が簡単になる。

図２ａおよび図２ｂは、設備５０に対する作業者３０の位置と向きを説明するための説明図である。図２ａは、設備５０が、自動加工機５０ａなどのように単独で設置されている例である。図２ｂは、設備５０が、流れ作業用の生産ライン５０ｂの例である。

骨格認識技術を用いた作業者３０の位置の検出においては、図２ａおよび図２ｂに示すように、撮影範囲２５の中に、第１領域４１および第２領域４２が設定される。第１領域４１は、設備近傍の所定範囲であり、たとえば、設備５０または設備５０にセットされている製品に対して作業者３０が直接作業できる範囲である。具体的には、第１領域４１は、たとえば、作業者３０が手を伸ばせば、自動加工機５０ａや生産ライン５０ｂ、さらにそれらにセットされた製品に届く範囲である。一方、第２領域４２は、第１領域４１の外側の領域である。第１領域４１と第２領域４２は排他的に設定される。

撮影範囲２５は、少なくとも第１領域４１と第２領域４２を含む範囲とする。図２ａおよび図２ｂにおいては、第２領域４２のさらに外側も撮影されている例である。

作業者位置・向き判定部１４は、映像データから作業者３０が第１領域４１に存在するか、第２領域４２に存在するか、または両方の領域に存在しない（不在）かを判定する。

骨格認識技術においては、映像の中にいる人物が３次元座標値で特定される。使用する３次元座標系や座標原点はあらかじめ設定される。また、第１領域４１および第２領域４２の範囲を示す座標値も、３次元座標系の中であらかじめ設定される。

たとえば、図２ａに示すように、設備５０が自動加工機５０ａの場合は、第１領域４１として、自動加工機５０ａの外面、たとえば操作パネルや外面の扉、原材料供給口、アクセスパネルなどに作業者３０がアクセスできる範囲（図示ａの範囲）に設定される。第２領域４２は、第１領域４１の外周端からさらに外側に設定される（図示ｂの範囲）。

また、たとえば、図２ｂに示すように、設備５０が生産ライン５０ｂの場合は、第１領域４１として、生産ライン５０ｂと平行に一定距離の範囲が設定される（図示ａの範囲）。一定距離の範囲は、作業者３０が生産ライン上のワークにアクセスできる範囲などである。第２領域４２は、第１領域４１の外周端からさらに外側に設定される（図示ｂの範囲）。

なお、第２領域４２は、上記のいずれの場合も、たとえば、作業者３０が、すぐに作業に移ることができるような範囲とすることが好ましい。第２領域４２は、具体的には、たとえば、第１領域４１の外周端から１ｍの範囲とする。

もちろん、これら第１領域４１と第２領域４２の範囲は、あくまでも一例であり、任意に設定される。

作業者位置・向き判定部１４は、まず、作業者３０の位置検出を行う。作業者位置・向き判定部１４は、骨格認識技術を用いて得られた作業者３０の骨格の中から、所定の関節の座標値を抽出し、作業者３０がどの領域内に存在するか、または両方に存在しないかを判定する。所定の関節は、たとえば、首、肩、肘、手首、腰、膝、足首などであり、あらかじめ決めておけばよい。第１領域４１と第２領域４２との境界を跨ぐように作業者３０が存在する場合は、たとえば作業者３０の所定の関節が含まれる方の領域に、その作業者３０が存在するものとする。これにより、作業者３０がどちらの領域に存在しているか、またはどちらの領域にも存在していないかが検出される。なお、関節の座標値に変えて、骨格認識技術により提供される骨格の座標値が使用されてもよい。

作業者位置・向き判定部１４は、次に、作業者３０の向きを検出する。作業者３０の向きの検出は、第１領域４１に存在する作業者３０に対してのみ実行する。

作業者位置・向き判定部１４は、首または肩の関節位置に対して腕（特に手首関節）が突出している方向が、その人の向いている方向であると判定する。図２ａおよび図２ｂにおいては、実線で示した作業者３０ａは、両腕が突出している方向が設備５０の方向であるので、設備５０の方を向いていると判定される。一方、点線で示した作業者３０ｂは、両腕が設備５０以外の方向（図では斜め後ろ向き）を向いているので、設備５０の方を向いていないと判定される。

なお、本実施形態では、少なくとも一方の腕が首または肩に対して、設備５０の方向に突出していれば、作業者３０が設備５０を向いていると判定する。設備５０に対しての作業中は、作業者３０の両腕が設備５０の方向に突出している場合もあるし、片手だけ設備５０の方向に突出している場合もある。たとえば、加工プログラムの設定変更や再起動など、操作パネルへの作業は片手でも行うことができる。そこで、本実施形態では、少なくとも一方の腕が設備５０を向いている場合には、作業者３０が設備５０を向いていると判定することとした。

作業者位置・向き判定部１４は、複数の作業者３０が撮影範囲２５内に存在する場合、それぞれの作業者３０について位置を検出し、さらに第１領域４１内に複数の作業者３０が存在する場合は、それぞれの作業者３０の向きを判定する。

なお、作業者位置および向きの判定は、２次元座標系を用いてもよい。２次元座標系を用いる場合は、たとえば、カメラ２０を、作業者３０の上（斜め上方からでもよい）から撮影する位置に設置する。映像データの中に２次元座標系が設定され、第１領域４１と第２領域４２が設定される。そして、作業者位置・向き判定部１４は、上記同様に、それぞれの領域に作業者３０が存在するか否かを判定する。

作業分類部１５は、設備稼働状態取得部１２からの設備５０の稼働状態の情報と、作業者位置・向き判定部１４からの作業者３０の状態（位置および向き）の情報から、設備５０に対して行われている作業を分類する。

図３は、作業を分類するための分類判定表である。

まず、作業分類部１５は、作業者３０の位置および向きから作業者３０の状態を、対設備作業、非設備作業、および不在の３つに分類する。

対設備作業は、第１領域４１に存在する作業者３０が設備５０の方を向いている場合である。

非設備作業は、第１領域４１に存在する作業者３０が設備５０の方を向いていない場合および第２領域４２に存在する場合である。この非設備作業は、設備５０の近傍に作業者３０がいて、設備５０に対する作業は行っていないが、すぐに設備５０に対する作業を行い得る状態である。このような設備５０に対する作業を行うことができる場合は、不在とは異なる分類としている。

不在は、作業者３０が第１領域４１にも第２領域４２にも存在しない場合である。

続いて、作業分類部１５は、設備稼働状態取得部１２からの設備５０の稼働状態と、作業者３０の作業状態の組み合わせから作業を分類する。

分類される作業は、段取り替え作業である。段取り替え作業とは、ある製品の生産または加工が終了した後、次の製品を生産または加工するために、設備５０の治工具を変更し、その製品の生産または加工が完了するまで行われる作業である。治工具の変更には、治具やツールの交換、生産や加工に必要な設備用プログラムの変更、生産または加工する製品に必要な追加部品の交換や取り付けなどが含まれる。

この段取り替え作業は、内段取り作業、外段取り作業、ムダ、および不在の４つに次の４つに分類される。

内段取り作業は、設備５０が停止中に、設備５０に対して行われる作業である。内段取り作業は、たとえば、治工具やツールの交換、設備用プログラムの変更、付加部品の取り付け、加工前製品の設備５０へのセットなどである。これらの作業は、設備５０が停止中に行われる。したがって、設備停止中（黄色、赤色、および消灯のとき）で、対設備作業の組み合わせの場合に、内段取り作業と分類される。

外段取り作業は、設備５０が稼働中に行われる作業である。外段取り作業は、たとえば、次の製品の生産または加工のための治工具や付加部品を用意するといった準備作業、生産完了または加工完了した製品の搬出、設備５０の周りの片づけや清掃などの後始末作業などである。これらの作業は、設備５０が稼働中、すなわち、前の製品が生産または加工されている間に行われることが効率的である。したがって、設備稼働中（緑色のとき）で、非設備作業の組み合わせの場合に、外段取り作業と分類される。

ムダは、設備５０が停止中にも関わらず、設備５０以外に対して作業が行われている状態である。ムダは、たとえば、次に生産または加工する製品があるにもかかわらず、それに必要な治工具を探したり、付加部品を取りに行ったりするなどである。したがって、設備停止中を示す黄色、赤色、および消灯のときに非設備作業であれば、ムダと分類される。

不在は、設備稼働中に、作業者３０が第１領域４１にも第２領域４２にも存在しない場合である。設備稼働中は、通常、設備５０付近に作業者３０がいなくてもよいので、正常な状態であり、単に、不在と分類される。

また、作業分類部１５は、分類された各作業の開始および終了時間を合わせて記録する。分類された各作業の開始および終了は、分類された時刻を開始、次の分類に切り替わる時刻を終了とする。具体的には、以下のタイミングで記録する。作業者３０が第１領域４１内に存在する場合は、向きが変わった時刻を記録する。作業者３０が第２領域４２内に存在する場合は、第２領域４２から第１領域４１へ入った時刻または第２領域４２の外に出た時刻を記録する。作業者３０が不在の場合は、第２領域４２内に入った時刻を記録する。作業者３０の位置および向きに変更がない場合は、設備５０の稼働状態が変わった時刻を記録する。

また、作業分類部１５は、作業者識別部１１が識別した作業者３０ごとに、分類結果を対応付けして記録する。作業者３０ごとに対応付けした分類結果は、たとえばサーバー１０のＨＤＤへ記録される。

製品情報取得部１６は、設備５０で生産、加工される製品の情報である製品情報を取得する。製品情報は、たとえば、設備５０に加工前の製品が到着した時点で取得されて、そのときの時刻とともに記録される。製品情報は、加工完了とともに、その時刻が記録される。製品情報は、たとえば、製品に取り付けられているバーコードやＲＦＩＤタグ３１などから読み取られるようにしてもよい。また、製品情報は、作業者３０によって、設備５０または設備５０の近くに設置された端末から入力されてもよい。また、製品情報は、サーバー１０または他のコンピューターが製品リストを記憶していて、そこから順に呼び出されるものとしてもよい。

紐付け部１７は、作業者識別部１１からの作業者情報、設備稼働状態取得部１２からの設備５０の稼働状態（設備稼働情報という）、製品情報取得部１６からの製品情報、作業分類部１５からの作業の分類結果、および映像記録部１３に記録された映像データを紐付けする（リンクさせる）。紐付け部１７は、各情報、分類結果、および映像データを、時間を基準にして紐付けする。

図４は、各情報および分類結果を表示させたタイムチャートである。なお、図において、「稼働」とは設備５０が稼働中、「対」とは対設備作業、「非」とは非設備作業、「内」とは内段取り作業、「外」とは外段取り作業をそれぞれ示す。他の図においても同じである。

図４に示すように、製品情報、設備の稼働状態、作業状態、および分類結果がタイムチャートとして示されることで、時間の経過とともに、これらがどのように行われたか、わかりやすくなる。

図５は、作業の分類結果を時間割合で表示した円グラフである。

図５に示すように、分類結果が時間割合の円グラフとして示されることで、分類された各作業がどの程度の時間割合で行われているか、わかりやすくなる。

図６は、作業の分類結果を時刻および作業時間とともに示す表である。

図６に示すように、作業の分類結果が、分類された時刻、および作業時間とともに示されることで、各作業の開始、終了時間、その作業に要した作業時間がわかりやすくなる。また、この表では、映像データを再生するための再生アイコンも表示している。再生アイコンは、時間をもとに映像記録部１３に記録されている映像データを紐付け（リンク）されている。

図７は、再生された映像例を示す図である。たとえば、図中、点線の丸３００で示した再生アイコンがクリックされると、図７に示すような映像が再生される。この映像では、自動加工機５０ａに対して作業者３０が作業をしている状態が映し出されている。

なお、映像データの再生は、図７に示したような再生アイコンのある表からの再生だけではない。映像データの再生は、たとえば、図４に示したタイムチャートにおいて、個々の情報や分類結果部分がクリックされることで再生されるようにしてもよい。

再生される映像データは、たとえば、指定された作業分類の開始から終了までである。また、再生される映像データは、指定された作業分類の開始から終了までの前後を含めて再生されるようにしてもよい。

さらに、再生される映像データは、作業分類にかかわらず任意の時間から再生されるようにしてもよい。映像データが、作業分類にかかわらず任意の時間から再生されるようにした場合は、再生されている映像データに合わせて、分類結果の表示させることが好ましい。再生されている映像データが分類結果をまたぐ場合は、分類結果の表示を切り替える。

図８は、作業内容、取得した情報、および分類結果を詳細に示す表である。

図８に示すように、作業内容、取得した情報、および分類結果が詳細に示されることで、収集された各情報が、どのように分類されたかがわかるようになる。また、この表では、各情報および分類結果に、作業内容が紐付けされているので、具体的にどのような作業行われたかもわかるようになる。また、この表では、作業を行っている作業者３０も個別に表示しているため、個々の作業者３０がどの作業にどの程度の時間を要したかがわかる。

このように詳細な情報は、タクトタイム短縮のための改善計画や生産計画を立てる際に有用なものとなる。図８に示した表においても、各情報や分類結果と映像データが紐付けされて、表内の各情報や分類結果がクリックされることで映像データが再生されるようにしてもよい。

図４～図８に示した表示例は、紐付け部１７により紐付けされた各情報が時間基準、または時間割合で出力されたものである。これらの出力は、たとえば、端末１８からのリクエストに応じて行われ、端末１８のディスプレイに表示される。

次に、作業分類を行う処理手順を説明する。図９は、作業分類の処理手順を示すフローチャートである。サーバー１０は、この処理手順に基づき作成された作業分類プログラムを実行することで、既に説明した各部の機能が実施される。

まず、サーバー１０は、作業者３０を識別する（Ｓ１）。

続いて、サーバー１０は、設備５０の稼働状態を取得する（Ｓ２）。

続いて、サーバー１０は、カメラ２０から映像データを取得する（Ｓ３）。

続いて、サーバー１０は、製品情報を取得する（Ｓ４）。

続いて、サーバー１０は、映像データから作業者３０の位置および向きを検出する（Ｓ５）。

続いて、サーバー１０は、得られた各情報から作業を分類する（Ｓ６）。

続いて、サーバー１０は、得られた各情報、分類結果、および映像データを紐付する（Ｓ７）。

続いて、サーバー１０は、処理終了の入力があれば（Ｓ８：ＹＥＳ）、この処理を終了する。一方、処理終了の入力がなければ（Ｓ８：ＮＯ）、サーバー１０は、Ｓ１へ戻り、この処理を継続する。

なお、上記処理手順において、Ｓ１～Ｓ６の処理順は、少なくともＳ３がＳ５の前までに処理されており、Ｓ１～５がＳ６より前に処理されていれば、Ｓ１～４の各ステップは、どのような順番であってもよい。

以上説明した本実施形態によれば、以下の効果を奏する。

本実施形態は、設備５０の稼働状態と作業者３０の作業状態を取得し、これらの組み合わせに応じて、段取り替え作業を、内段取り作業、外段取り作業、ムダ、不在の４つに分類する。これにより、本実施形態では、設備５０が稼働中の作業と、設備５０が停止中の作業、さらに設備５０に無関係な作業を分類できる。したがって、本実施形態では、従来、人がマニュアルで分類していたものを自動的に分類することができ、分類作業を大幅に効率化できる。

また、本実施形態では、取得した各情報、分類結果、そして映像データを時間により同期させて紐付けすることとした。これにより、本実施形態では、紐付けされた各情報および分類結果をタイムチャート、グラフ、表などとして表示することができる。さらに、それらに関連する映像データも紐付けされているので、各情報および分類結果に関連する映像データを簡単に再生することができる。特に本実施形態では、映像データを紐付けしたことで、作業の状況を可視化することができ、改善分析を効率化できる。また、本実施形態では、分析の結果から、段取り替え作業を短縮することができるようになり、設備５０のダウンタイムを減少させ、生産性を向上させることができる。

以上本発明の実施形態を説明したが、様々な変形が可能である。実施形態は、サーバー１０の機能として説明したが、このサーバー１０の機能は、小型のコンピューターに実施させることができる。たとえば、ボードＰＣなどカメラ２０に組み込んで、またはカメラ２０と一体化させて、カメラ２０内で、実施形態として説明した各機能を実行させてもよい。このようにすることで、本実施形態は、カメラ２０の設置だけで実施できる。

また、サーバー１０としては、インターネット上のクラウドサーバーを利用してもよい。クラウドサーバーを利用する場合は、設備５０およびカメラ２０に、インターネット接続可能なインターフェースを設け、クラウドサーバーへ、設備５０の稼働状態およびカメラ２０の映像データを送信する。設備５０およびカメラ２０と、インターネットとの接続は、無線接続でも、有線接続でもよい。クラウドサーバーを利用する場合は、設備５０にインターネット接続用のインターフェースを取り付けるだけで、カメラ２０は既存のインターネット接続可能なウェブカメラが利用できるので、初期投資を抑えることができる。また、クラウドサーバーを利用する場合は、映像データの中の積層信号灯５１の発光色から設備５０の稼働状態を取得することとすれば、ウェブカメラの設置だけで済むので、さらに初期投資を抑えることができる。

また、作業者３０の位置および向きの検出には、骨格認識技術だけでなく、その他のセンサーなどを用いてもよい。たとえば、物体までの距離値を得るライダー（ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ））により人の各部位までの距離値を得て、人の姿勢を推定する技術を用いることができる。また、赤外線センサ（サーマルカメラ）を用いて人の顔の温度から人の向きを判定する技術などを用いることができる。

また、実施形態では、作業者識別部１１が、作業者３０を個別に認識することとしたが、作業の分類結果を作業者３０ごとに対応付けする必要がなければ、個々の作業者３０を識別する必要はない。個々の作業者３０を識別しない場合は、作業者識別部１１はなくてもよい。作業者識別部１１を設けない場合は、当然に、ＲＦＩＤタグ３１とその読み取り装置、生体認証のための装置なども不要になるので、設備投資費用が軽減できる。

また、設備５０の稼働状態は、音で稼働中や異常停止などを知らせる音響報知機が設備５０に付いている場合は、音によりを取得されてもよい。

また、積層信号灯５１は、３色とは限らず、２色の積層信号灯５１、１色の積層信号灯５１などの場合でも適用可能である。たとえば、２色の積層信号灯５１の場合は、緑色の正常稼働と赤色の異常停止などである。この場合は、緑色が稼働中、赤色および消灯時が停止中であるので、それに合わせて処理を行えばよい。同様に、１色の場合、また、４色、５色といった積層信号灯５１が用いられている場合においても同様である。

また、実施形態では、第２領域４２を設けている。実施形態では、第２領域４２を設けることで、作業者３０が設備５０に対して作業はしていないが、すぐに作業できる位置にいることがわかる。しかし、実施形態としては、第１領域４１だけとしても作業分類は実施可能である。第１領域４１だけ設定した場合は、第１領域４１に存在する作業者３０が設備５０の方を向いていない場合を非設備作業とし、作業者３０が第１領域４１に存在しない場合を不在とする。したがって、この場合の作業分類は、設備稼働中で、作業者３０が第１領域４１に存在し、設備５０の方を向いていない場合は外段取り作業と分類される。また、設備稼働中で、作業者３０が第１領域４１に存在しない場合は不在と分類される。そのほかの分類は図３に示したものと同じである。

そのほか、実施形態の説明の中で使用した条件や数値などはあくまでも説明のためのものであり、本発明がこれら条件や数値に限定されるものではない。

本発明に係る作業分類プログラムは、専用のハードウェア回路によって実現することも可能である。また、この作業分類プログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネットなどのネットワークを介してオンラインで提供したりすることも可能である。この場合、この作業分類プログラムは、通常、記憶部を構成する磁気ディスク装置等に記憶される。また、この作業分類プログラムは、単独のアプリケーションソフトウェアとして提供したり、一機能として別のソフトウェアに組み込んで提供したりすることも可能である。

また、本発明は、特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

本出願は、２０１９年７月１０日に出願された日本国特許出願番号２０１９－１２８７３１号に基づいており、その開示内容は、参照により全体として組み入れられている。

１ 作業分類システム、
１０ サーバー、
１１ 作業者識別部、
１２ 設備稼働状態取得部、
１３ 映像記録部、
１４ 作業者位置・向き判定部、
１５ 作業分類部、
１６ 製品情報取得部、
１７ 紐付け部、
１８ 端末、
２０ カメラ、
２５ 撮影範囲、
３０、３０ａ、３０ｂ 作業者、
４１ 第１領域、
４２ 第２領域、
５０ 設備、
５０ａ 自動加工機、
５０ｂ 生産ライン、
５１ 積層信号灯。

Claims (14)

1. 設備の稼働状態を取得する設備稼働状態取得部と、
   作業者を含む範囲を撮影するカメラと、
   前記カメラが撮影した映像データから前記作業者の位置および向きを判定する作業者位置・向き判定部と、
   前記設備の稼働状態と、
   前記作業者の位置および向きとの組み合わせから段取り替え作業を分類する作業分類部と、
   を有する、作業分類システム。
2. 前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
   前記カメラの撮影範囲内であって、前記設備近傍の所定範囲を第１領域とし、
   前記作業分類部は、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域外である場合に不在と分類する、請求項１に記載の作業分類システム。
3. 前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
   前記カメラの撮影範囲内であって、前記設備近傍の所定範囲を第１領域とし、前記第１領域の外側の範囲を第２領域とし、
   前記作業分類部は、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合および前記第２領域内に存在する場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域および前記第２領域外である場合に不在と分類する、請求項１に記載の作業分類システム。
4. 前記作業者を識別する作業者識別部をさらに有し、
   前記作業分類部は、分類した分類結果を、前記作業者識別部が識別した前記作業者ごとに対応付けする、請求項１～３のいずれか一つに記載の作業分類システム。
5. 前記作業者位置・向き判定部は、前記映像データから前記作業者の所定の関節または骨格の座標値を抽出し、その座標値から前記作業者の位置および向きを判定する、請求項１～４のいずれか一つに記載の作業分類システム。
6. 前記映像データを記録する映像記録部と、
   前記作業分類部が分類した分類結果と、前記映像データとを紐付けする紐付け部と、をさらに有する、請求項１～５のいずれか一つに記載の作業分類システム。
7. 前記紐付け部は、前記設備稼働状態取得部が取得した稼働状態、前記作業者位置・向き判定部が判定した前記作業者の位置および向きを、前記分類結果および前記映像データにさらに紐付けする、請求項６に記載の作業分類システム。
8. 設備の稼働状態を取得する段階（ａ）と、
   作業者を含む範囲が撮影された映像データから前記作業者の位置および向きを判定する段階（ｂ）と、
   前記設備の稼働状態と、前記作業者の位置および向きとの組み合わせから段取り替え作業を分類する段階（ｃ）と、
   を、コンピューターに実行させるための作業分類プログラム。
9. 前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
   前記段階（ｃ）は、前記映像データが撮影された範囲内であって、前記設備近傍の所定範囲を第１領域とし、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域外である場合に不在と分類する、請求項８に記載の作業分類プログラム。
10. 前記段取り替え作業は、１つの製品が生産または加工される際の作業であり、
    前記段階（ｃ）は、前記映像データが撮影された範囲内であって、前記設備近傍の所定範囲を第１領域とし、前記第１領域の外側の範囲を第２領域とし、前記段取り替え作業を、設備停止中で前記作業者が前記第１領域内に存在し、かつ前記設備の方を向いている場合に内段取り作業と分類し、設備稼働中で前記作業者が前記第１領域内で前記設備の方を向いていない場合および前記第２領域内に存在する場合に外段取り作業と分類し、設備停止中で前記作業者が前記第１領域内で前記設備の方を向いていない場合または前記第１領域外である場合にムダと分類し、設備稼働中で前記作業者が前記第１領域および前記第２領域外である場合に不在と分類する、請求項８に記載の作業分類プログラム。
11. 前記作業者を識別する段階（ｄ）と、
    前記段階（ｃ）により分類した分類結果を、識別した前記作業者ごとに対応付けする段階（ｅ）と、をさらに有する、請求項８～１０のいずれか一つに記載の作業分類プログラム。
12. 前記段階（ｂ）は、前記映像データから前記作業者の所定の関節または骨格の座標値を抽出し、その座標値から前記作業者の位置および向きを判定する、請求項８～１１のいずれか一つに記載の作業分類プログラム。
13. 前記映像データを記録する段階（ｆ）と、
    前記段階（ｃ）により分類した分類結果と、前記映像データとを紐付けする段階（ｇ）と、をさらに有する、請求項８～１２のいずれか一つに記載の作業分類プログラム。
14. 前記段階（ｇ）は、前記稼働状態、前記作業者の位置および向きを、前記分類結果および前記映像データにさらに紐付けする、請求項１３に記載の作業分類プログラム。