JP6777266B1 - 作業要素分析装置及び作業要素分析方法 - Google Patents

Abstract

生産工場において、作業者の一連の作業を構成する作業要素を推定し、作業の抜けや作業時間を分析する技術が知られている。このとき、作業者が作業を行っている位置情報のみを用いて、作業要素を推論すると実際の作業要素とは異なる作業要素を推論してしまう場合がある。本発明によれば、あらかじめ作業における作業要素の発生確率を取得しておき、作業情報から作業要素が推論された際に発生確率を用いて訂正するので、より精度の良い作業要素を得て分析することができる。

Description

本発明は、作業者による作業要素を分析する作業要素分析装置及び作業要素分析方法に関するものである。

生産工場において、作業の抜けや作業者ごとの作業時間を把握するため、作業者が作業を行っている映像や作業者の位置情報を用いて、作業を構成する作業要素を分析する技術が知られている。特許文献１では、ある時刻における作業者の体の部位や物体の位置情報から、作業者による作業要素を推論している。

国際公開第２０１８／０８７８４４号

しかしながら、特許文献１のようにある時刻に取得した体や物体の位置情報のみから作業要素を推論すると、例えば位置情報にノイズが入ってしまった場合に実際の作業要素とは異なる作業要素を推論してしまう場合がある。
本発明は、上記課題を解決するためになされたものであり、より精度の良い作業要素分析装置を得ることを目的とする。

この発明に係る作業要素分析装置は、作業者が行う作業に付随して生じた作業情報を取得する作業情報取得部と、前記作業情報取得部が取得した前記作業情報から前記作業を構成する作業要素を推論する作業要素推論部と、前記作業要素推論部で推論した前記作業要素毎の集計値に調整値を加算した値を用いて算出した、前記作業における前記作業要素の発生確率を取得する発生確率取得部と、前記発生確率取得部が取得した前記発生確率に基づいて前記作業要素推論部が推論した作業要素を訂正する訂正部とを備える。

本発明によれば、作業における作業要素の発生確率も考慮して作業情報から推論された作業要素を訂正するので、より精度の良い作業要素を分析することができる。

本実施の形態１に係る作業要素分析装置２００の構成を示す構成図である。 本実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が作業要素を集計した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が集計値に調整値を加算した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素発生確率を算出した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が作業要素を集計した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が調整値を加算した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素遷移確率を算出した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の動作を示すフローチャートである。 本実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである。 本実施の形態２の作業要素分析装置２００の訂正部２５０が各ノードの尤度 を計算するフローチャートである。 本実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである 本実施の形態２の作業要素分析装置２００の訂正部２５０が尤度を計算する動作を示すフローチャートである。 本実施の形態２の作業要素分析装置２００の訂正部２５０が尤度を計算する際の具体的な処理コードの例を示す説明図である。 本実施の形態２に係る作業要素分析装置２００の訂正部２５０が最尤作業履歴を抽出する動作を示すフローチャートである。 本実施の形態に係る作業要素分析装置２００のハードウェア構成図である。

実施の形態１
以下、本実施の形態１に係る 作業要素分析装置について説明する。実施の形態１に係る作業要素分析装置２００は、生産工場の製造現場などにおいて作業者が行う一連の作業を分析し、その一連の作業を構成する要素である「作業要素」を検知するものである。
例えば、ある物を組み立てるという作業を行う製造現場において、作業者が部品を配置し、ネジ止めをし、固定されているか確認するという行為が行われる場合、「組み立て」が「作業」であり、「部品配置」「ねじ止め」「確認」が「作業要素」となる。ここでは、「部品配置」「ねじ止め」「確認」などの行為を作業要素としたが、これらの行為はさらに細分化することも可能であり、どの行為のまとまりを作業要素と定義するかは、ユーザが考えるまとめ方に応じてユーザが決定すればよい。本実施の形態では、作業要素を４つに分け、分けた作業要素を区別する記号として作業要素番号「０」「１」「２」「３」を付しているものとして説明する。

図１は、本実施の形態１に係る 作業要素分析装置２００の構成を示す構成図である。 作業要素分析装置２００は、カメラ１０１、マイク１０２、生産機器１０３からの信号をもとに作業者が行う作業要素を分析し、分析結果を分析結果記憶部３００へ出力する。本実施の形態の作業要素分析装置２００は、作業者が行う作業に付随して生じた作業情報を取得する作業情報取得部２１０と、作業情報取得部２１０が取得した作業情報から作業を構成する作業要素を推論する作業要素推論部２２０と、作業における作業要素の発生確率を取得する発生確率取得部２４０と、発生確率取得部２４０が取得した発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正する訂正部２５０とを有して構成されている。

このような構成の作業要素分析装置２００において、まず、作業要素推論部２２０は作業情報取得部２１０が取得した作業情報から作業を構成する作業要素を推論する。この推論方法は、従来より種々の方法がある。本実施の形態の作業要素分析装置２００は、作業情報取得部２１０が取得した作業情報にノイズがあることや、作業者が偶然に他の作業要素と同様の動作を行ったことに起因して作業要素推論部２２０が妥当な作業要素番号とは異なる作業要素番号を推論した場合に、この誤りを訂正し、より精度の良い作業要素の分析を行えるよう発生確率取得部２４０と訂正部２５０を設けている。この作業要素分析装置２００では、発生確率取得部２４０が作業において発生する可能性がある各作業要素の発生確率を取得し、この発生確率に基づいて、訂正部２５０は作業要素推論部２２０が推論した作業要素を訂正する。これにより、例えば、ある作業において発生する可能性が低い作業要素が推論された場合、その推論は誤った推論である可能性が高いので訂正されることになり、より精度の良い作業要素の分析を行うことができるものである。

以下、各部の構成を詳細に説明する。
カメラ１０１は、作業を行っている作業者及びその周辺を撮影し、映像信号に変換して出力する。マイク１０２は、作業者が作業を行う作業場や、作業者に設置され、作業者が作業を行う際に生じる音や作業者の声などの音声を電気信号に変換し、音声信号を出力する。生産機器１０３は、例えば電動ドライバなど、作業者が作業を行う際に使用する生産機器であり、電動モータの駆動、停止、トルクなどを示す状態信号を出力する。カメラ１０１、マイク１０２、生産機器１０３がそれぞれ出力した映像信号、音声信号、状態信号が、作業要素分析装置２００の作業情報取得部２１０に入力される。
作業情報取得部２１０に入力される信号は、作業者が行う作業に関する情報を含む信号が１つ以上あればよく、カメラ１０１、マイク１０２、生産機器１０３に限らず、加速度センサや深度センサ等で検知した情報を含む信号でもよい。また、作業情報取得部２１０に入力される信号は、レコーダなどの外部記録装置にあらかじめ記憶されたものを入力しても良い。

作業情報取得部２１０では、カメラ１０１、マイク１０２、生産機器１０３から入力された信号から、骨格情報抽出部２１１、画像特徴量抽出部２１２、音声特徴量抽出部２１３、生産機器特徴量抽出部２１４にて作業者が行う作業に付随して生じた作業情報を抽出し、作業情報統合部２１５にて抽出されたそれぞれの作業情報をフレームごとに統合して作業要素推論部へ出力する。

カメラ１０１から作業要素分析装置２００の作業情報取得部２１０に入力された映像信号は、作業情報取得部２１０の骨格情報抽出部２１１及び画像特徴量抽出部２１２に入力される。
骨格情報抽出部２１１では、カメラ１０１から取得した映像信号について、例えばフレームごとの画像について作業情報である作業者の骨格情報を抽出する処理を行う。ここで、骨格情報とは、画像座標系における作業者の肩、肘、手首など、人体の代表的な関節位置の座標を表した情報であり、作業者の作業姿勢を表す情報である。映像から作業者の骨格情報を抽出する方法として、作業者に取り付けたマーカ位置から関節位置を抽出する方法のほか、事前に学習済みのＣｏｎｖｏｌｕｔｉｏｎａｌ−Ｎｅｕｒａｌ−Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて関節位置を抽出する方法などがある。骨格情報抽出部２１１にて抽出された骨格情報は、作業情報統合部２１５へ入力される。
画像特徴量抽出部２１２では、カメラ１０１から取得した映像信号から、フレームごとに例えばＨｉｓｔｏｇｒａｍｓ−ｏｆ−Ｏｒｉｅｎｔｅｄ−Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量等、画像に関する特徴量を抽出する処理を行う。画像特徴量抽出部２１２にて抽出された画像特徴量情報は、作業情報統合部２１５へ入力される。

マイク１０２から作業要素分析装置２００の作業情報取得部２１０に入力された音声信号は、作業情報取得部２１０の音声特徴量抽出部２１３へ入力される。
音声特徴量抽出部２１３では、マイク１０２から取得した音声信号の音声について作業情報である音声特徴量を、例えば周波数スペクトル分析を行うことにより抽出する処理を行うことにより抽出する。音声特徴量抽出部２１３にて抽出された音声特徴量情報は、作業情報統合部２１５へ入力される。

生産機器１０３から作業要素分析装置２００の作業情報取得部２１０に入力された状態信号は、作業情報取得部２１０の生産機器特徴量抽出部２１４へ入力される。
生産機器特徴量抽出部２１４は、生産機器１０３から取得した状態信号について、例えば作業者が電動ドライバのスイッチを入れることによる稼働状態の情報、バーコードリーダがタグを読み込んだ情報などを生産機器の特徴量として抽出する処理を行う。生産機器特徴量抽出部２１４が抽出した生産機器特徴量情報は、作業情報統合部２１５へ入力される。

作業情報統合部２１５では、作業情報である骨格情報、画像特徴量情報、音声特徴量情報、生産機器特徴量情報を、時刻情報と共に同じ時刻のフレームごとに１つの作業情報として統合する。作業情報統合部２１５にて統合された作業情報は、作業要素推論部２２０に入力される。

作業要素推論部２２０は、学習部である学習済みモデル生成部２２１、学習済みモデル記憶部２２２、推論部２２３を備える。作業要素推論部２２０では、学習済みモデル生成部２２１により生成した学習済みモデルを学習済みモデル記憶部２２２にあらかじめ記憶しておくことにより、作業情報取得部２１０が取得した作業情報から学習済みモデル記憶部２２２の学習済みモデルを活用して作業を構成する作業要素をフレームごとに推論する。
なお、作業要素推論部２２０が作業要素を推論する方法は従来より種々の方法があり、上記の方法に限らず、統計データから推論を行っても良いし、ユーザが作業情報の特徴量などの情報に設定値を設けて作業要素を推論しても良い。

作業要素教示部２３０は、ユーザの入力により作業情報に対応する真の作業要素の情報である教師データを得て、教師データを作業要素推論部２２０の学習済みモデル生成部２２１に出力する。真の作業要素とは、本作業要素分析装置２００が作業情報から得るべき作業要素であり、教師データは、例えばユーザが作業要素教示部２３０にて過去の作業情報に対する作業要素番号を判定することにより得られる。
また、作業要素教示部２３０は、発生確率取得部２４０の作業要素出力確率算出部２４１及び作業要素遷移確率算出部２４３にも教師データを出力する。

学習済みモデル生成部２２１は、作業情報取得部２１０から入力された作業情報と作業要素教示部２３０から入力された教師データをもとに、作業の過程を構成する作業要素を作業情報から推論するために作業要素と作業情報との関連性を機械学習した学習済みモデルを生成し、学習済みモデル記憶部２２２に出力する。学習済みモデルを用いることで、推論部はフレームごとの作業情報に対して作業要素番号を推論する。
なお、学習済みモデルは学習済みモデル生成部２２１にて生成されたが、必ずしも作業情報取得部２１０から作業情報を取得して生成する必要はなく、学習済みモデル記憶部２２２に直接入力されても良い。その場合、学習済みモデル生成部２２１は作業要素教示部２３０に入力された学習済みモデルをそのまま学習済みモデル記憶部２２２へ出力する。
また、学習済みモデルは作業要素分析装置２００の外部で生成、記憶され、推論部２２３が推論する際にネットワークなどの手段を用いて学習済みモデルを取得する構成としても良い。

学習済みモデル記憶部２２２は、学習済みモデル生成部２２１から出力された学習済みモデルを記憶する。事前に学習済みモデルを学習済みモデル記憶部２２２に記憶しておくことで、推論部２２３にて学習済みモデルを活用して作業情報から作業要素を推論することが可能となる。学習済みモデル記憶部２２２は、推論部２２３へ学習済みモデルを出力する。

推論部２２３は、作業情報取得部２１０が取得した作業情報が入力されると、学習済みモデル記憶部２２２から出力された学習済みモデルを活用することで作業要素を推論する。作業要素は、１フレームの作業情報について作業要素ごとの確率値が推論され、最も確率の高い作業要素を作業要素推論情報として発生確率取得部２４０及び訂正部２５０へ出力される。

発生確率取得部２４０は、作業要素出力確率算出部２４１、作業要素出力確率情報記憶部２４２、作業要素遷移確率算出部２４３、作業要素遷移確率情報記憶部２４４を備える。発生確率取得部２４０では、作業における作業要素の発生確率である作業要素出力確率及び作業要素遷移確率を取得して、訂正部２５０へ出力する。本実施の形態において、作業における作業要素の発生確率は過去の作業情報に対する真の作業要素から算出されるが、作業要素に関する発生確率であればこれに限らない。

作業要素出力確率算出部２４１は、過去の作業情報に対する真の作業要素と、作業要素推論部２２０が同じ過去の作業情報から推論した作業要素との統計から算出される作業要素出力確率を算出する。過去の作業情報に対する真の作業要素の情報は、作業要素教示部２３０から出力された教師データから得られる。作業要素出力確率算出部２４１は、作業要素出力確率を算出する際に、作業要素出力確率が０とならないよう作業要素の番号に対して調整値を加える調整を行う。具体的な調整方法については後述する。このように作業要素発生確率の調整を行うことにより、作業要素出力確率を算出する際に用いた過去の作業情報では起こっていなかった作業要素推論部２２０による異常な作業要素の推論が生じた場合を考慮した訂正が可能となる。作業要素出力確率算出部２４１は、作業要素出力確率の情報を作業要素出力確率情報記憶部２４２に記憶する。作業要素出力確率情報記憶部２４２は、訂正部２５０へ作業要素出力確率の情報を出力する。

作業要素遷移確率算出部２４３は、過去に作業要素番号から次の作業要素番号へ遷移した統計から算出される作業要素遷移確率を算出する。過去に作業要素番号から次の作業要素番号へ遷移した情報は、作業要素教示部２３０から出力された教師データから得られる。作業要素遷移確率算出部２４３は、作業要素遷移確率を算出する際に、作業要素遷移確率が０とならないよう作業要素の確率に調整値を加える調整を行う。具体的な調整方法については後述する。このように作業要素遷移確率の調整を行うことにより、作業要素遷移確率を算出する際に用いた過去の作業要素では遷移していなかった作業要素の遷移が生じた場合を考慮した訂正が可能となる。作業要素遷移確率算出部２４３は、作業要素遷移確率の情報を作業要素遷移確率情報記憶部２４４に記憶する。作業要素遷移確率情報記憶部２４４は、訂正部２５０へ作業要素遷移確率の情報を出力する。

なお、作業要素推論部２２０の学習済みモデル生成部２２１が学習済みモデルを作成する際の作業情報と、発生確率取得部２４０の作業要素出力確率算出部２４１が確率を算出する際、作業要素遷移確率算出部２４３が確率を算出する際の過去の作業要素推論情報の時刻はそれぞれ異なっていてもよい。
また、例えばユーザが作業要素に関する傾向を把握しており統計結果から得られた発生確率を修正する場合に、統計結果から得られた発生確率を修正できるよう構成しても良い。その場合、本実施の形態では、作業要素出力確率情報記憶部２４２及び作業要素遷移確率情報記憶部２４４に記憶されている作業要素出力確率情報又は作業要素遷移確率情報を書き換える。

訂正部２５０は、作業要素推論部２２０から作業要素推論情報を取得すると、作業要素出力確率情報記憶部２４２及び作業要素遷移確率情報記憶部２４４から作業要素出力確率の情報及び作業要素遷移確率の情報を取得する。そして、発生確率取得部２４０が取得した発生確率である作業要素出力確率及び作業要素遷移確率に基づいて、ビタビアルゴリズムを用いて作業要素推論部２２０から取得した作業要素を訂正し、訂正した作業要素訂正情報を分析部２６０へ出力する。
訂正部２５０は、作業要素出力確率を用いて訂正することで作業要素推論部２２０が作業要素を推論する性能を考慮することができ、作業要素遷移確率を用いて訂正することで作業情報が１フレーム進んだ時に作業要素が遷移する確率を考慮することができる。このように作業要素推論部２２０が推論した作業要素の発生率を用いて作業要素を訂正することで、より精度の良い作業要素を得て分析することができる。
本実施の形態では、発生確率取得部２４０にて２つの確率が取得されたが、発生確率取得部２４０が取得する確率は１つでもよく、その場合は訂正部２５０にて１つの確率に基づいて訂正する。

分析部２６０は、訂正部２５０から出力された作業要素訂正情報について、同じ作業要素が連続する区間を当該作業要素の実施に要した時間として計上し、繰り返し行われる作業の１サイクル分にかかる時間を分析する。この時、作業要素の発生順序を評価することで作業抜けや作業の入れ違いを検知する分析を行う他、作業要素時間の上限値に基づいた異常情報を抽出する分析を行い、分析結果を分析結果記憶部３００へ出力する。ユーザは分析結果記憶部３００を参照して作業者ごとの作業時間や作業ミスの発生状況を把握する。

なお、分析部２６０及び作業要素教示部２３０は必ずしも作業要素分析装置２００に含まれる必要はなく、作業要素分析装置２００は、作業情報から作業要素が推論され、訂正されるものであればよい。

次に、本実施の形態１に係る作業要素分析装置２００の動作について説明する。
以下、繰り返して行う作業の１サイクルの作業過程が４つの作業要素で構成された例を説明する。各作業要素には、それぞれ０〜３の作業要素番号を付すものとする。

まず、作業要素推論部２２０が作業情報取得部２１０から取得した作業情報から作業要素を推論できるよう、あらかじめ作業要素と作業情報の関連性を機械学習した学習済みモデルを学習済みモデル記憶部２２２に記憶させておく。学習済みモデルは、作業情報取得部２１０から学習済みモデル生成部２２１に入力された過去の作業情報と、作業要素教示部２３０から入力される同じ過去の作業情報に対する真の作業要素の情報とをもとにして学習済みモデル生成部２２１にて生成後出力され、学習済みモデル記憶部２２２に記憶される。

また、訂正部２５０が発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正できるよう、あらかじめ補正した作業要素出力確率と作業要素遷移確率を発生確率取得部２４０の作業要素出力確率情報記憶部２４２と作業要素遷移確率情報記憶部２４４に記憶させておく。以下に作業要素出力確率と作業要素遷移確率の算出方法について説明する。

作業要素出力確率b_ikは、作業要素出力確率算出部２４１にて次のように算出されて作業要素出力確率情報記憶部２４２に記憶される。
まず、作業要素出力確率算出部２４１に作業要素推論部２２０が過去の作業情報から推論した作業要素の情報と、作業要素教示部２３０にユーザが入力した過去の作業情報に対する真の作業要素の情報が入力される。そして同一フレームの作業情報において真の作業要素の番号ｉに対して作業要素推論部２２０が推論した作業要素番号ｋとなった件数をそれぞれ集計する（以下、集計値c_{b_ik}）。図２に実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が作業要素を集計した例である説明図を示す。ここで示した例では、例えば真の作業要素番号が０の時に、作業要素番号０と推論された集計値が４３、作業要素番号１と推論された集計値が８、作業要素番号２と推論された集計値が３、作業要素番号３と推論された集計値が６となっており、単に作業情報から推論しただけでは、実際の作業要素ではない作業要素に推論される件数が１７件ある状態を示している。

次に、作業要素出力確率算出部２４１は、集計値c_{b_ik}に対し、次に示す数式１のように作業要素番号ｉの総件数に応じた調整値を集計値c_{b_ik}に加算することで補正値c'_{b_ik}を算出する。

図３は、実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が集計値に調整値を加算した例を示す説明図である。図３では、真の作業要素番号ｉに対して作業要素推論部２２０が推論した件数の合計値の１０％（W_b）を調整値として加算している。例えば、真の作業要素番号０については集計値が全部で６０あるので、その１０％である調整値６が作業要素推論部が推論したそれぞれの作業要素番号に加算されている。このように調整値を加算することにより、作業要素出力確率b_ikが０となることを防ぐことで、訂正部２５０が訂正を行う際に作業要素出力確率を求める際に使用した作業情報では起こらなかった異常な作業要素の推論が生じた場合を考慮した訂正が可能となる。

最後に、次に示す数式２で調整後の値を用いて真の作業要素番号ｉにおける作業要素推論部２２０の作業要素番号ｋの作業要素出力確率b_ikを算出する。

図４は、実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素出力確率b_ikを算出した例を示す説明図である。例えば、真の作業要素番号０に対し作業要素推論部が作業要素番号０と判定した確率は、図３に記載された真の作業要素番号が０であった補正値４９を真の作業要素番号が０であった全体の補正値８４で割った５８．３％である。このように算出された作業要素出力確率b_ikは、作業要素出力確率記憶部２４２に記憶される。

作業要素遷移確率a_ijは、作業要素遷移確率算出部２４３にて次のように算出されて作業要素遷移確率情報記憶部２４４に記憶される。
まず、作業要素遷移確率算出部２４３に、作業要素教示部２３０からユーザが入力した連続したフレームの真の作業要素の情報が入力される。真の作業要素の番号がｉであるフレームの次のフレームの作業要素番号がｊとなった件数をそれぞれ集計する（以下、集計値c_{a_ij}）。図５に実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が作業要素を集計した例である説明図を示す。ここで示した例では、例えば遷移元の作業要素番号が０の時に、遷移先の作業要素番号が０である集計値が７８、作業要素番号が１である集計値が３、作業要素番号が２である集計値が０件、作業要素が３である集計値が０件となっており、過去に作業要素番号が０から２及び３へ遷移したデータがない状態となっている。

次に、作業要素遷移確率算出部２４３は、集計値c_{a_ij}に対し、次に示す数式３のように作業要素番号ｉの総件数に応じた調整値を集計値c_{a_ij}に加算することで補正値c'_{a_ij}を算出する。

図６は、実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が調整値を加算した例を示す説明図である。図６では真の作業要素番号ｉに対して作業要素推論部２２０が推論した件数の合計値の１％（W_a）を調整値として加算している。例えば、図５にて遷移元の作業要素番号が０の集計値は全部で８１なので、その１％である調整値０．８１が加算される。このように調整値を加算することにより、図５の集計テーブルにて０であった集計値c_{a_ij}が、図６では調整値が加えられたことにより０ではなくなっている。このように、作業要素遷移確率a_ijが０となることを防ぐことで、訂正部２５０が訂正を行う際に作業要素遷移確率を求める際に使用した作業情報では起こらなかった異常な作業要素の遷移が生じた場合を考慮した訂正が可能となる。

最後に、次に示す数式４で調整後の値を用いて真の作業要素番号ｉから遷移する作業要素番号ｊの作業要素遷移確率a_ijを算出する。

図７は、実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素遷移確率を算出した例を示す説明図である。例えば、遷移元の作業要素番号が０から遷移先の作業要素番号が０である確率は、図６に記載された遷移元の作業要素番号が０であった補正値７８．８１件を遷移元の作業要素番号が０であった全体の補正値８４．２４で割った９３．６％である。このように算出された作業要素遷移確率a_ijは、作業要素遷移確率記憶部２４４に記憶される。

このように、作業要素分析装置２００は学習済みモデル記憶部２２２、作業要素出力確率情報記憶部２４２、作業要素遷移確率情報記憶部２４４に学習済みモデル、作業要素出力確率、作業要素遷移確率が記憶された状態で使用される。

次に、作業要素分析装置２００が作業要素を分析する際の動作について説明する。図８は、本実施の形態１に係る作業要素分析装置２００の動作を示すフローチャートである。
ステップＳ００１にて作業情報取得部２１０は作業情報を取得する。具体的には、カメラ１０１、マイク１０２、生産機器１０３から情報が入力されると、骨格情報抽出部２１１、画像特徴量抽出部２１２、音声特徴量抽出部２１３、生産機器特徴量抽出部２１４にて作業者が行う作業に付随して生じた作業情報である骨格情報、画像特徴量情報、音声特徴量情報、生産機器特徴量情報が抽出される。そして、それらの作業情報は作業情報統合部２１５にて時刻ごとに１フレームに統合され、統合された作業情報が作業要素推論部２２０へ出力される。

ステップＳ００２にて、作業要素推論部２２０は作業情報取得部２１０から出力された作業情報から作業を構成する作業要素を推論する。具体的には、作業要素推論部２２０の推論部２２３に作業情報取得部２１０から作業情報が入力されると、推論部２２３は学習済みモデル記憶部２２２を用いることで１フレームの作業情報に作業要素ごとの確率値が推論され、最も確率の高い作業要素を作業要素推論情報として訂正部２５０に時系列順に出力する。

ステップＳ００３にて、訂正部２５０は発生確率取得部２４０により取得された発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正する。具体的には、訂正部２５０は作業要素推論部２２０から作業要素推論情報を取得すると、発生確率取得部２４０の作業要素出力確率情報記憶部２４２に記憶された作業要素出力確率と作業要素遷移確率情報記憶部２４４に記憶された作業要素遷移確率を用いてビタビアルゴリズムを適用し、作業要素推論部２２０が推論した作業要素を訂正する。訂正された作業要素は分析部２６０に出力される。

ここで、発生確率取得部２４０にて発生確率の値が０である作業要素の発生確率に調整値を加える調整を行った場合の効果について、作業要素遷移確率の具体例を用いて説明する。
例えば、作業者が１５フレーム分の時間において、各フレームの作業要素番号がそれぞれ０００００２２２２２２３３３３となる作業を行い、作業要素推論部２２０がこれらの作業に対応した作業情報に基づいて推論し、推論結果として１５フレーム分の作業要素番号として０００００２２２２２２３１３３が出力されたとする。この場合、１３フレーム目のタイミングにおいて、作業情報にノイズが入ったり、あるいは作業者が偶然に作業要素番号１と同様の動作を行ってしまったため、推論部２２３にて１３フレーム目の作業要素番号が１と推論されている。このような推論誤りは、訂正部２５０においてこの作業要素遷移確率に基づいて訂正される。ここで、仮に図５に示すように作業要素番号が０から２へ遷移する集計値が０のまま調整が行われなかった場合、訂正部２５０において作業要素番号０から２への遷移は許されないこととなり、作業要素番号０と２の境界部分で強制的に作業要素番号１が出現するように、例えば作業要素番号が００００１２２２２２２３３３３と訂正されてしまう。このように訂正されると、作業要素番号の順番は０、１、２、３と遷移しているため、分析部２６０は作業抜けを検知する分析を行うことができない。本実施の形態のように発生確率の値が０である作業要素の発生確率に調整値を加える調整を行うことで、訂正部２５０は作業要素番号として０００００２２２２２２３３３３という結果を得ることができ、次のステップの分析部にて作業要素番号１が抜けていることを検知する分析を行うことができる。

ステップＳ００４にて、分析部２６０は訂正部２５０から出力された訂正後の作業要素を分析する。具体的には、同じ作業要素が連続する区間を当該作業要素の実施に要した時間として計上し、１サイクル分である１〜４の作業要素にかかる時間を分析したり、作業要素の遷移から作業抜けを検知する分析を行う。分析部２６０は、分析結果を分析結果記憶部３００へ出力する。

以上のように、実施の形態１に係る作業要素分析装置２００は、作業情報だけでなく、作業における作業要素の発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正するので、より精度の良い作業要素を分析することができる。

次に、実施の形態２に係る作業要素分析装置２００について説明する。実施の形態１とは作業要素推論部２２０の推論部２２３から出力される作業要素推論情報と訂正部２５０の処理方法が異なるが、その他は実施の形態１と同様である。

作業要素推論部２２０の推論部２２３は、作業情報取得部２１０が取得した作業情報が入力されると、学習済みモデル記憶部２２２から出力された学習済みモデルを用いることで１フレームの作業情報について作業要素ごとの確率値p^t _i(0.0≦p^t _i≦1.0、Σ_ip^t _i=1.0、i=0,1,…,N-1,N、N：作業要素の総数、t=0,1,…,T-1,T、T：総フレーム数)を得る。そして、得られた確率値p^t _iのうち最も確率が高い確率値p^t _iの作業要素をそのフレームの作業要素として推論する。作業要素推論部２２０は、作業要素ごとの確率値p^t _i及び推論した作業要素を作業要素推論情報として訂正部２５０へ出力する。

訂正部２５０は、発生確率取得部２４０が取得した発生確率及び作業要素ごとの確率値p^t _iに基づいて作業要素推論部２２０が推論した作業要素を訂正する。そして、確率が最も高い作業要素を作業要素訂正情報として分析部２６０へ出力する。

以下、訂正部２５０が発生確率取得部２４０が取得した発生確率及び作業要素ごとの確率値p^t _iに基づいて確率が最も高い作業要素を算出する動作について説明する。説明のため、変数V、layer、node、bestPathを次に示す数式５の通り定義する。

ここで、prvIdx^t _ikは、layer^t-1に含まれるノードnode^t-1 _IKを指し示すインデックス（I,K）（I≠i、K≠k、I＝0,1,…N-1、K＝0,1,…,N-1）を最大１つ格納できる変数である。
nxtIdx^t _ikは、layer^t+1に含まれるノードnode^t+1 _IKを指しし示すインデックス（I,K）を最大１つ格納できる変数である。
likehood^t _ikは、時刻t、インデックス（i,k）のノードnode^t _ikに付与される既定値０のスカラであり、時刻０から時刻tまで最尤な作業履歴を辿ったときの尤度を意味する。
bestPathは時刻０から時刻T-1までの尤度が最大となる作業履歴を格納する変数であり、訂正部２５０が最終的に出力する情報である。

上記の変数の定義を踏まえ、訂正部２５０の動作について説明する。図９は、実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである。
ステップＳ１０１にて、訂正部２５０は時刻０のフレームに対応する各ノードの尤度likehood⁰ _ikを計算する。図１０は、実施の形態の作業要素分析装置２００の訂正部２５０がlikehood⁰ _ik を計算するフローチャートを示す。計算式を次の数式６に示す。

ステップＳ１０２にて、訂正部２５０は時刻t={0,1,…,T-1}について、node^t-1 _IKの最適な遷移先となるノードを抽出する。図１１は、実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである。抽出条件を次の数式７に示す。

ステップＳ１０３にて、訂正部２５０は時刻t={0,1,…,T-1}のnode^t _ikについて、最適な遷移元ノードを抽出し尤度を計算する。図１２は、実施の形態２の作業要素分析装置２００の訂正部２５０が尤度を計算するフローチャートである。また、具体的な処理コードを図１３に示す。
ステップＳ１０４にて、最尤作業履歴bestPath={bestPath_t}を抽出する。図１４は、実施の形態２に係る作業要素分析装置２００の訂正部２５０が最尤作業履歴を抽出する詳細のフローチャートである。まず、ステップＳ３０１にて尤度likehood^T-1 _ikが最大となるnode^t _ikを抽出し、そのインデックス情報（i_tmp,k_tmp）を保持し、bestPath_T-1にi_tmpを登録する。次にステップＳ３０２にてt=T-1からt=1まで、次に示す数式８の処理を行うことにより、確率的に最尤な作業履歴bestPathを得る。

以上のように、実施の形態２に係る作業要素分析装置２００は、作業における作業要素の発生確率及び作業要素ごとの確率値に基づいて作業要素推論部２２０が推論した作業要素を訂正するので、より高精度な訂正を行うことができる。
なお、実施の形態２では作業要素推論部２２０から作業要素ごとの確率値p^t _i及び作業要素推論部２２０が推論した作業要素を作業要素推論情報として出力したが、作業要素推論情報は作業要素ごとの確率値p^t _iのみであっても良い。その場合、訂正部にて作業における作業要素の発生確率を用いて作業要素ごとの確率値p^t _iを訂正し、最も確率が高い作業要素番号を作業要素訂正情報とする。

図１５は、本実施の形態に係る作業要素分析装置２００のハードウェア構成図である。本実施の形態では、カメラ１０１、マイク１０２、生産機器１０３から作業要素分析装置２００の第１インターフェース２０１、第２インターフェース２０２、第３インターフェース２０３を介して信号が入力される。演算装置２０４は、ＣＰＵまたはＤＳＰなどの回路であり、骨格情報抽出部２１１、画像特徴量抽出部２１２、音声特徴量抽出部２１３、生産機器特徴量抽出部２１４、作業情報統合部２１５、学習済みモデル生成部２２１、推論部２２３、作業要素教示部２３０、作業要素出力確率算出部２４１、作業要素遷移確率算出部２４３、訂正部２５０、分析部２６０の処理を行う。主記憶装置２０５は、演算装置２０４でプログラムが実行される際にプログラムやデータを一時的に記憶する揮発性メモリである。補助記憶装置は、長期的に記憶する不揮発性メモリであり、学習済みモデルや作業要素出力確率情報、作業要素遷移確率情報を記憶する。

１０１．カメラ
１０２．マイク
１０３．生産機器
２００．作業要素分析装置
２０１．第１インターフェース
２０２．第２インターフェース
２０３．第３インターフェース
２０４．演算装置
２０５．主記憶装置
２０６．補助記憶装置
２１０．作業情報取得部
２１１．骨格情報抽出部
２１２．画像特徴量抽出部
２１３．音声特徴量抽出部
２１４．生産機器特徴量抽出部
２１５．作業情報統合部
２２０．作業要素推論部
２２１．学習済みモデル生成部
２２２．学習済みモデル記憶部
２２３．推論部
２３０．作業要素教示部
２４０．発生確率取得部
２４１．作業要素出力確率算出部
２４２．作業要素出力確率情報記憶部
２４３．作業要素遷移確率算出部
２４４．作業要素遷移確率情報記憶部
２５０．訂正部
２６０．分析部
３００．分析結果記憶部

Claims (7)

1. 作業者が行う作業に付随して生じた作業情報を取得する作業情報取得部と、
   前記作業情報取得部が取得した前記作業情報から前記作業を構成する作業要素を推論する作業要素推論部と、
   前記作業要素推論部で推論した前記作業要素毎の集計値に調整値を加算した値を用いて算出した、前記作業における前記作業要素の発生確率を取得する発生確率取得部と、
   前記発生確率取得部が取得した前記発生確率に基づいて前記作業要素推論部が推論した作業要素を訂正する訂正部とを備える
   ことを特徴とする作業要素分析装置。
2. 前記作業情報取得部が取得する作業情報は、骨格情報及び音声特徴量である
   ことを特徴とする請求項１に記載の作業要素分析装置。
3. 前記作業要素推論部は、
   前記作業の過程を構成する作業要素を前記作業情報から推論するために前記作業要素と前記作業情報との関連性を機械学習した学習部に、前記作業情報取得部が取得した前記作業情報を入力し、前記学習部を用いることで前記作業要素を推論する
   ことを特徴とする請求項１又は２に記載の作業要素分析装置。
4. 前記発生確率取得部が取得する発生確率は、
   過去の作業情報に対する前記作業要素と、前記作業要素推論部が前記過去の作業情報から推論した作業要素との統計から算出される確率である
   ことを特徴とする請求項１から３のいずれか１項に記載の作業要素分析装置。
5. 前記発生確率取得部が取得する発生確率は、
   過去に前記作業要素が遷移した作業要素の統計から算出される確率である
   ことを特徴とする請求項１から４のいずれか１項に記載の作業要素分析装置。
6. 前記作業要素推論部は、
   前記作業情報取得部が取得した前記作業情報から求めた前記作業要素ごとの確率値を出力し、
   前記訂正部は、
   前記作業要素推論部の推論結果である前記作業要素ごとの確率値に基づいて前記作業要素推論部が推論した作業要素を訂正する
   ことを特徴とする請求項１から５のいずれか１項に記載の作業要素分析装置。
7. 作業要素分析装置が作業者の作業に付随して生じた作業情報から当該作業を構成する作業要素を分析する作業要素分析方法であって、
   作業者の作業に付随して生じた作業情報を取得する作業情報取得ステップと、
   前記作業情報取得ステップにて取得した前記作業情報から前記作業を構成する作業要素を推論する作業要素推論ステップと、
   前記作業要素推論ステップで推論した前記作業要素毎の集計値に調整値を加算した値を用いて算出した、前記作業における前記作業要素の発生確率を取得する発生確率取得ステップと、
   前記発生確率取得ステップにて取得した前記発生確率に基づいて前記作業要素推論ステップにて推論した作業要素を訂正する訂正ステップと
   を含むこと特徴とする作業要素分析方法。

Images