JP6689239B2 - 検出システムおよび検出方法 - Google Patents

Description

本発明の実施形態は、検出システムおよび検出方法に関する。

一般的な製造現場では、人による作業が多く行われている。例えば、一般的な製造ラインでは、１つの原料や中間品に対して複数の作業者が順次作業を行い、１つの部品や製品が完成される。ここで、作業者の知識や作業者への教育が不十分な場合、その作業者が、担当の作業に多くの時間を費やし、当該作業者を含む製造ラインの効率が低下する。

このような未熟な作業者による製造ラインの効率低下を抑制させるために、従来、別の人が作業者を観察し、改善すべき動作を発見した場合には、その動作を指摘して改善させるといった取り組みも行われている。

しかし、この場合、観察者は、それぞれの作業者の作業全体を観察しなければならず、長大な時間を要する。また、改善すべき動作の抽出は、観察者の主観や、経験、技能に依存するため、ばらつきも生じる。
このため、自動的かつ客観的に作業者の改善すべき動作を検出可能なシステムの開発が望まれていた。

特許第２５５８９４３号公報

本発明が解決しようとする課題は、作業者の改善すべき動作を検出可能な検出システムおよび検出方法を提供することである。

実施形態に係る検出システムは、取得部と、学習部と、検出部と、を備える。前記取得部は、時系列の第１データ、時系列の第２データ、および時系列の第３データを取得する。前記第１データは、第１熟練度を有する第１作業者の第１作業における動作に基づく。前記第２データは、第２熟練度を有する第２作業者の前記第１作業における動作に基づく。前記第３データは、第３作業者の前記第１作業における動作に基づく。前記学習部は、前記第１熟練度の動作に対応する第１値を教師データとしてリカレントニューラルネットワークの第１ニューロンに設定し、前記第１データを前記リカレントニューラルネットワークに入力して学習させる。前記学習部は、前記第２熟練度に対応する第２値を教師データとして前記リカレントニューラルネットワークの第２ニューロンに設定し、前記第２データを前記リカレントニューラルネットワークに入力して学習させる。前記検出部は、学習された前記リカレントニューラルネットワークに前記第３データを入力する。前記検出部は、前記第１ニューロンまたは前記第２ニューロンの反応を検出する。

第１実施形態に係る検出システムの構成を表すブロック図である。 第１実施形態で用いるニューラルネットワークの概略構成を表す模式図である。 ＬＳＴＭ構造を表すブロック図である。 第１実施形態に係る検出システムの動作を表すフローチャートである。 （ａ）および（ｂ）は、第１実施例において取得したデータを表すグラフである。 （ａ）は、第１実施例において取得したデータを表すグラフである。（ｂ）および（ｃ）は、第１実施例におけるニューロンの活性度を表すグラフである。 （ａ）は、第２実施例におけるニューロンの活性度を表すグラフである。（ｂ）は、表示部に表示される画面を例示する模式図である。 第２実施形態に係る検出システムの動作を表す概念図である。 第２実施形態で用いるニューラルネットワークの概略構成を表す模式図である。 第２実施形態に係る検出システムの動作を表すフローチャートである。 第２実施形態に係る検出システムの他の動作を表す概念図である。 実施形態に係る検出システムを実現するための検出装置の構成を例示するブロック図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１実施形態）
図１は、第１実施形態に係る検出システムの構成を表すブロック図である。
図２は、第１実施形態で用いるニューラルネットワークの概略構成を表す模式図である。

図１に表したように、検出システム１００は、取得部１１０、動作データ保存部１２０、学習部１３０、リカレントニューラルネットワーク保存部（以下、ＲＮＮ保存部という）１４０、検出部１５０、および表示部１６０を含む。

取得部１１０は、作業者の動作に基づく時系列データを取得する。
例えば、取得部１１０は、撮像装置を含む。取得部１１０は、撮像装置を用いて、作業を行っている作業者を撮影する。取得部１１０は、撮影した映像から、作業者の骨格情報を抽出する。取得部１１０は、時間の経過に伴う骨格の一部（例えば頭部）の位置の変化を、作業者の動作に基づく時系列データとして取得する。

または、取得部１１０は、骨格情報から、関節の角度を抽出しても良い。この場合、取得部１１０は、時間の経過に伴う関節の角度（例えば肘の角度）の変化を、作業者の動作に基づく時系列データとして取得する。

または、取得部１１０は、加速度計を含んでいても良い。加速度計は、作業者の腕や脚などの身体の一部に取り付けられる。取得部１１０は、作業者が作業を行った際に得られる加速度情報を、作業者の動作に基づく時系列データとして取得する。

取得部１１０は、複数の作業者の動作に基づく時系列データを取得する。各作業者の動作は、同じ方法で取得される。一例として、取得部１１０は、第１作業者、第２作業者、および第３作業者のそれぞれの動作に基づく時系列データを取得する。

取得部１１０は、例えば、第１作業者を上方から撮影して骨格情報を抽出し、第１作業者の動作に基づく時系列データを取得する。この場合、取得部１１０は、同様に、第２作業者および第３作業者を上方から撮影して骨格情報を抽出し、それぞれ、第２作業者の動作に基づく時系列データおよび第３作業者の動作に基づく時系列データを取得する。

または、取得部１１０は、例えば、第１作業者の右前腕に取り付けられた加速度計を用いて、第１作業者の動作に基づく時系列データを取得する。この場合、取得部１１０は、同様に、第２作業者の右前腕および第３作業者の右前腕に取り付けられた加速度計を用いて、それぞれ第２作業者の動作に基づく時系列データおよび第３作業者の動作に基づく時系列データを取得する。

取得部１１０によって取得された時系列データは、動作データ保存部１２０に保存される。

学習部１３０は、動作データ保存部１２０に保存された時系列データを用いて、ＲＮＮ保存部１４０に保存されたリカレントニューラルネットワーク（以下、ＲＮＮという）を学習させる。ＲＮＮは、ニューラルネットワークの一種である。ニューラルネットワークは、人工の複数のニューロン（ノード）を用いて、生物学的な認識システムを模倣したものである。複数のニューロンは、重み付けが設定された人工のシナプス（接続線）により相互に接続される。

図２に表したように、ＲＮＮ２００は、入力層２０１、中間層２０２、および出力層２０３を含む。さらに、ＲＮＮでは、ある時間区分における中間層２０２のニューロンＮの出力が、その後の時間区分における中間層２０２のニューロンＮの出力に接続される。

学習部１３０は、入力層２０１に含まれるニューロンＮに、学習のための時系列データを入力する。また、学習部１３０は、出力層２０３に含まれるニューロンＮに、教師データを入力する。これにより、入力された時系列データと、教師データと、の差が小さくなるように、ＲＮＮに含まれる各シナプスの重み付けが変化する。

学習部１３０は、学習させたＲＮＮを、ＲＮＮ保存部１４０に保存する。

検出部１５０は、動作データ保存部１２０に保存された他の時系列データを、ＲＮＮ保存部１４０に保存されたＲＮＮに入力する。ＲＮＮの入力層２０１に時系列データが入力されると、出力層２０３のニューロンＮが反応しうる。検出部１５０は、ニューロンＮの反応を検出する。例えば、検出部１５０は、ニューロンＮの活性度と、所定の閾値と、を比較する。ニューロンＮの活性度が所定の閾値よりも高い場合、検出部１５０は、ニューロンＮが反応していると検出する。検出部１５０は、時系列データのうち当該ニューロンＮが反応した期間のデータを抽出しても良い。または、検出部１５０は、当該期間における、当該ニューロンＮの活性度を示すデータと、時系列データの一部と、を抽出しても良い。

表示部１６０は、検出部１５０による検出結果を表示する。例えば、表示部１６０は、検出部１５０によって抽出された時系列データの一部を他の部分と区別可能に表示する。検出部１５０において、ニューロンＮの反応が検出されなかった場合、表示部１６０は、その結果を表示しても良い。

ＲＮＮの中間層２０２のニューロンＮは、例えば、ＬＳＴＭ（Long Short Term Memory）構造を有する。ＬＳＴＭ構造を有するニューラルネットワークは、他の構造のニューラルネットワークに比べて、より作業周期の長い時系列データに対する認識率を高めることができる。

図３は、ＬＳＴＭ構造を表すブロック図である。
図３に表したように、ＬＳＴＭ構造３００は、忘却ゲート３１０、入力ゲート３２０、および出力ゲート３３０を含む。

図３において、ｘ_ｔは、時刻ｔにおけるニューロンＮへの入力値を表す。Ｃ_ｔは、時刻ｔにおけるニューロンＮの状態を表す。ｆ_ｔは、時刻ｔにおける忘却ゲート３１０の出力値を表す。ｉ_ｔは、時刻ｔにおける入力ゲートの出力値を表す。ｏ_ｔは、時刻ｔにおける出力ゲートの出力値を表す。ｈ_ｔは、時刻ｔにおけるニューロンＮの出力値を表す。ｆ_ｔ、ｉ_ｔ、Ｃ_ｔ、ｏ_ｔ、およびｈ_ｔは、それぞれ、以下の「式１」〜「式５」で表される。

なお、図３に表した例に限らず、ＲＮＮの中間層２０２のニューロンＮは、Gated Recurrent Unit構造またはbi-directional LSTM構造などを有していても良い。

図４を参照して、第１実施形態に係る検出システムの動作および検出方法を説明する。
図４は、第１実施形態に係る検出システムの動作を表すフローチャートである。

取得部１１０は、第１作業者の第１作業における第１身体部位の動作に基づく第１データを取得する（ステップＳ１）。第１作業者は、第１熟練度を有する。第１作業者は、第１作業に第１時間を要する。このため、ステップＳ１では、第１時間の長さの時系列データが、第１データとして取得される。

取得部１１０は、第２作業者の第１作業における第１身体部位の動作に基づく第２データを取得する（ステップＳ２）。第２作業者は、第１熟練度と異なる第２熟練度を有する。第２作業者は、第１作業に第２時間を要する。このため、ステップＳ２では、第２時間の長さの時系列データが、第２データとして取得される。第２時間は、例えば、第１時間と異なる。

ステップＳ１およびＳ２により、熟練度の異なる作業者が、同じ作業を行ったときの複数のデータが得られる。取得部１１０は、第１データおよび第２データを、動作データ保存部１２０に保存する。

学習部１３０は、第１データを、ＲＮＮ保存部１４０のＲＮＮに入力し、ＲＮＮを学習させる（ステップＳ３）。ステップＳ３では、第１熟練度の動作に対応する第１値を教師データとしてＲＮＮの第１ニューロン設定し、第１データをＲＮＮに入力する。学習させたＲＮＮを、ＲＮＮ保存部１４０に保存する。

学習部１３０は、第２データを、ＲＮＮ保存部１４０のＲＮＮに入力し、ＲＮＮを学習させる（ステップＳ４）。ステップＳ４では、第２熟練度の動作に対応する第２値を教師データとしてＲＮＮの第２ニューロンに設定し、第２データをＲＮＮに入力する。学習させたＲＮＮを、ＲＮＮ保存部１４０に保存する。

ステップＳ３およびＳ４で学習されたＲＮＮは、以下の特性を有する。
第１熟練度に相当する動作に基づくデータがＲＮＮに入力されると、第１ニューロンの活性度が高くなる。第２熟練度に相当する動作に基づくデータがＲＮＮに入力されると、第２ニューロンの活性度が高くなる。

取得部１１０は、第３作業者の第１作業における第１身体部位の動作に基づく第３データを取得する（ステップＳ５）。第３作業者は、作業の分析が行われる対象である。第３作業者は、第１作業に第３時間を要する。このため、ステップＳ５では、第３時間の長さの時系列データが、第３データとして取得される。第３時間は、例えば、第１時間および第２時間のそれぞれと異なる。取得部１１０は、第３データを、動作データ保存部１２０に保存する。

検出部１５０は、学習されたＲＮＮに、第３データを入力する（ステップＳ６）。時系列の第３データを入力している間、検出部１５０は、第１ニューロンおよび第２ニューロンのそれぞれの活性度と、所定の閾値と、を比較する。いずれかのニューロンの活性度が閾値を超えた場合、検出部１５０は、そのニューロンが反応しているものと検出する。第１ニューロンまたは第２ニューロンの反応は、第３データの当該少なくとも一部の動作が、第１熟練度または第２熟練度に相当することを意味する。例えば、検出部１５０は、第１ニューロンまたは第２ニューロンが反応した第３データの少なくとも一部を抽出する。

表示部１６０は、検出部１５０による検出結果を表示する（ステップＳ７）。例えば、表示部１６０は、反応したニューロンを表示する。検出部１５０が、第１ニューロンまたは第２ニューロンが反応した第３データの一部を抽出する場合、表示部１６０は、第３データの当該一部を表示しても良い。表示部１６０は、第３データの全体を表示し、抽出された第３データの当該一部を他と区別可能に表示しても良い。

なお、ステップＳ１の順番は、ステップＳ３の前であれば、適宜変更可能である。ステップＳ２の順番は、ステップＳ４の前であれば、適宜変更可能である。ステップＳ５の順番は、ステップＳ６の前であれば、適宜変更可能である。また、ステップＳ１、Ｓ２、およびＳ５の少なくとも２つは、同時に行われても良い。

この例では、熟練度の異なる２人の作業者のデータを用いてＲＮＮを教師有り学習させた。３人以上の作業者のデータを用いてＲＮＮを教師有り学習させても良い。この場合、ＲＮＮには、３つ以上の熟練度にそれぞれ対応する３つ以上の値が、出力層２０３の複数のニューロンＮにそれぞれ設定される。これにより、第３作業者の各時点の動作を、熟練度に応じてより細かく分類することができる。

本実施形態の効果を説明する。
本実施形態に係る検出システム１００および検出方法によれば、所定の作業時の動作において、改善すべき点が含まれているか検出することができる。一例として、第１作業者は、第１作業を早く完了させることができ、第２作業者は、第１作業により多くの時間を要する。また、第３作業者が第１作業を行う際、一部の動作は素早いが、他の一部の動作が遅い。例えばこの場合、本実施形態に係る検出システム１００および検出方法によれば、以下の結果が得られる。すなわち、第３作業者の上記一部の動作に基づく時系列データがＲＮＮに入力されている間は、第１熟練度に対応する第１ニューロンが反応する。第３作業者の上記他の一部の動作に基づく時系列データがＲＮＮに入力されている間は、第２熟練度に対応する第２ニューロンが反応する。検出部１５０は、これらのニューロンの反応を検出する。この結果、検出システム１００の使用者または分析方法の実施者は、第３作業者の動作には、作業が素早い部分と作業が遅い部分が含まれていることが分かる。

従来、動作の改善すべき点の有無は、例えば、人が観察することで確認していた。しかし、この場合、観察者は、それぞれの作業者の作業全体を観察しなければならず、長大な時間を要する。また、改善すべき点の抽出は、観察者の主観や、経験、熟練度に依存するため、ばらつきも生じる。

一方で、本実施形態に係る検出システムおよび検出方法では、改善すべき点は、ＲＮＮに基づいて検出される。このＲＮＮは、他の作業者の動作に基づくデータを用いて学習されている。従って、改善すべき点は、観察者の経験等に依存せず、客観的に検出される。さらに、改善すべき点は、本実施形態に係る検出システムおよび検出方法によって自動的に検出されるため、観察者は不要となる。このように、本実施形態によれば、自動的かつ客観的に作業者の改善すべき動作を検出できる検出システムおよび検出方法が提供される。

なお、ここでは、作業者の改善すべき動作の検出を目的とした場合を説明している。しかし、実施形態に係る検出システム１００および検出方法の用途は、この例に限定されない。例えば、作業者の優れた動作を検出するために、実施形態に係る検出システム１００および検出方法を用いることも可能である。

本実施形態では、ＲＮＮを用いて作業の分析を行っている。ＲＮＮを用いることで、以下の効果が得られる。
作業周期は、作業者ごとに異なる。従って、それぞれの作業者が同じ時刻に作業を開始しても、時間が経過するにつれて、各作業者がある時点で行っている作業にはばらつきが生じる。この点について、ＲＮＮを用いることで、このような作業周期のばらつきの影響を無くし、作業時の改善すべき動作の検出が可能となる。また、リカレントニューラルネットワークを用いることで、ある時間区分の動作と、その後の時間区分の動作と、の関連性を考慮することができるようになる。この結果、作業時間の増加を招いている動作だけでなく、その動作に繋がる原因となる動作を検出することも可能となる。

さらに、本実施形態に係る検出システムおよび検出方法において、ＲＮＮ２００の中間層２０２のニューロンＮは、図３に表したＬＳＴＭ構造を有することが望ましい。ＬＳＴＭ構造を適用することで、より長期間にわたって、中間層２０２に含まれるニューロンｎの状態を保存することが可能となる。それぞれの時点の動作の相互的な依存関係を、より長期間にわたって分析することが可能となる。従って、ある時点の動作だけでなく、その動作に繋がる前後の動作についても、出力層２０３に含まれるいずれかのニューロンが反応しうる。この結果、作業者の改善すべき動作をより包括的に検出することが可能となる。

また、それぞれの作業者の動作に基づく時系列データは、様々な方法で取得可能である。動作に基づくデータは、加速度情報や骨格情報などを利用することができる。特に、関節の角度は、当該データとして好適に用いることができる。
これは、関節の角度が、体格にあまり依存しないためである。従って、関節の角度をデータとして用いることで、体格の違いがデータに及ぼす影響を低減し、検出の精度を向上させることが可能となる。

さらに、検出部１５０は、例えば、学習されたＲＮＮに時系列データを入力し、いずれかの熟練度に対応するニューロンに反応があった場合、時系列データのうち当該ニューロンが反応した部分を抽出することも可能である。こうすることで、改善すべき点を具体的に特定することが可能となる。

（第１実施例）
図５（ａ）および図５（ｂ）は、第１実施例において取得したデータを表すグラフである。
図６（ａ）は、第１実施例において取得したデータを表すグラフである。図６（ｂ）および図６（ｃ）は、第１実施例におけるニューロンの活性度を表すグラフである。

図５（ａ）、図５（ｂ）、および図６（ａ）に表したデータは、それぞれ、第１作業者、第２作業者、および第３作業者が第１作業を行ったときの動作に基づく。図５（ａ）、図５（ｂ）、および図６（ａ）のデータは、第１作業者、第２作業者、および第３作業者のそれぞれの右手首に加速度計を取り付けて取得した。

図５（ａ）、図５（ｂ）、および図６（ａ）において、横軸は時間を表し、縦軸は加速度を表す。実線および点線は、それぞれ、Ｘ軸方向における加速度およびＹ軸方向における加速度を表す。

取得部１１０は、図５（ａ）および図５（ｂ）に表したデータを取得し、動作データ保存部１２０に保存した。学習部１３０は、図５（ａ）および図５（ｂ）に表したデータを参照し、ＲＮＮ保存部１４０に保存されたＲＮＮを学習させた。図５（ａ）および図５（ｂ）の比較から、第１作業者が第１作業に要する時間は、第２作業者が第１作業に要する時間よりも短いことがわかる。すなわち、第１作業者の熟練度は、第２作業者の熟練度よりも優れている。

検出部１５０は、図６（ａ）に表したデータを、ＲＮＮ保存部１４０に保存された、学習済みのＲＮＮに入力する。図６（ｂ）および図６（ｃ）は、それぞれ図６（ａ）に表したデータを入力したときの、第１ニューロンと第２ニューロンの活性度を表すグラフである。第１ニューロンの活性度が高い場合、入力されたデータに対応する動作は、第１作業者の第１熟練度に相当することを示す。第２ニューロンの活性度が高い場合、入力されたデータに対応する動作は、第２作業者の第２熟練度に相当することを示す。図６（ｂ）および図６（ｃ）において、横軸は時間を表し、縦軸は、ニューロンの活性度を表す。ニューロンの活性度の絶対値が大きいほど、そのニューロンが強く反応していることを示す。

図６（ｂ）および図６（ｃ）から、時刻Ｔ１〜時刻Ｔ２の間に、第２ニューロンの活性度が大きくなっていることがわかる。すなわち、第３作業者の時刻Ｔ１〜時刻Ｔ２の間の動作は、第２作業者の第２熟練度に相当することを示している。例えば、時刻Ｔ１〜時刻Ｔ２の間では、第２ニューロンの活性度が閾値を超えている。検出部１５０は、第２ニューロンが反応しているものと検出する。表示部１６０は、例えば、図６（ａ）に表したように、時刻Ｔ１〜時刻Ｔ２の第３作業者のデータを、他の部分と区別可能に表示する。この実施例の結果から、第２ニューロンの反応が検出された動作を改善した方が良いことが分かる。

なお、表示部１６０による表示方法は適宜変更可能である。例えば、表示部１６０は、図６（ａ）に表した各時点のデータの色を、ニューロンの活性度に応じて変化させても良い。例えば、ニューロンの活性度が大きくなるに応じて、色を、赤色から青色へ連続的に変化させても良い。

または、取得部１１０が、それぞれの作業者を撮影して動作に基づくデータを取得している場合、表示部１６０は、第３作業者の動作をアニメーションで表示しても良い。例えば、表示部１６０は、ニューロンが反応した動作については、色を付す等して、他と区別可能に表示する。

（第２実施例）
図７（ａ）は、第２実施例におけるニューロンの活性度を表すグラフである。図７（ｂ）は、表示部に表示される画面を例示する模式図である。
この実施例では、取得部１１０は、第１作業者〜第３作業者を撮影し、各作業者の骨格情報を抽出した。この実施例では、ＲＮＮは、第１作業者〜第３作業者の骨格の動きに基づく時系列データを用いて学習されている。

図７（ａ）に表した例では、第３作業者に関する時系列データをＲＮＮに入力した際、時刻Ｔ３〜時刻Ｔ４の間で第２ニューロンの活性度が高く、検出部１５０において第２ニューロンの反応が検出された。これは、第３作業者の時刻Ｔ３〜時刻Ｔ４の間の動作が、第２熟練度に対応することを示している。このとき、例えば、検出部１５０は、時刻Ｔ３〜時刻Ｔ４の間の、骨格情報の時系列データを抽出する。そして、表示部１６０は、抽出された骨格情報の時系列データを表示する。この実施例の結果から、第２ニューロンの反応が検出された動作を改善した方が良いことが分かる。

図７（ｂ）には、第３作業者の骨格情報が表されている。図７（ｂ）において、白丸で表されている部分は関節である。この実施例では、右腕の動作に基づく時系列データを用いて、改善すべき点を検出した。表示部１６０は、例えば図７（ｂ）に表したように、右腕の関節に灰色を付し、他の身体部位と区別可能に表示する。こうすることで、第３作業者のどの時間帯のどの部位の動作を改善すれば良いか、検出システム１００の使用者がより短時間で容易に理解できるようになる。

（第２実施形態）
図８は、第２実施形態に係る検出システムの動作を表す概念図である。
図９は、第２実施形態で用いるニューラルネットワークの概略構成を表す模式図である。
第１実施形態では、各作業者の１つの部位の動作に基づくデータを使用する例を説明した。実施形態に係る検出システムは、複数の部位の動作に基づくデータを使用しても良い。

図８に表したように、ＲＮＮの学習段階では、取得部１１０は、第１作業者および第２作業者の複数の部位の動作に基づく時系列データを取得する。第１実施形態と同様に、第１作業者は第１熟練度を有し、第２作業者は第１熟練度よりも優れた第２熟練度を有する。例えば、取得部１１０は、第１作業における、第１作業者の左手首の動作に基づく時系列データ、第１作業者の右手首の動作に基づく時系列データ、第２作業者の左手首の動作に基づく時系列データ、および第２作業者の右手首の動作に基づく時系列データを取得する。

図８および図９に表したように、第２実施形態に係る検出システムにおけるＲＮＮ２００ａは、第１ＲＮＮ部２１０、第２ＲＮＮ部２２０、および第３ＲＮＮ部２３０を含む。第１ＲＮＮ部２１０は、左手首の動作において改善すべき点が無いか検出するためのものである。第２ＲＮＮ部２２０は、右手首の動作において改善すべき点が無いか検出するためのものである。第３ＲＮＮ部２３０は、左手首と右手首を組み合わせた動作において改善すべき点が無いか検出するためのものである。

図９に表したように、第１ＲＮＮ部２１０は、第１入力層２１１、第１中間層２１２、および第１出力層２１３を含む。第２ＲＮＮ部２２０は、第２入力層２２１、第２中間層２２２、および第２出力層２２３を含む。第３ＲＮＮ部２３０は、第３中間層２３２および第３出力層２３３を含む。第３ＲＮＮ部２３０の第３中間層２３２には、第１ＲＮＮ部２１０および第２ＲＮＮ部２２０の出力が入力される。

第１ＲＮＮ部２１０の第１出力層２１３は、第１ニューロン２１３ａおよび第２ニューロン２１３ｂを含む。第２ＲＮＮ部２２０の第２出力層２２３は、第３ニューロン２２３ｃおよび第４ニューロン２２３ｄを含む。第３ＲＮＮ部２３０の第３出力層２３３は、第５ニューロン２３３ｅおよび第６ニューロン２３３ｆを含む。

学習部１３０は、第１作業者の左手首の動作に基づく時系列データ（第１データ）と、第２作業者の左手首の動作に基づく時系列データ（第２データ）と、を用いて、第１ＲＮＮ部２１０を学習させる。具体的には、学習部１３０は、第１ニューロン２１３ａに、第１熟練度の左手首の動作に対応する第１値を設定し、第１入力層２１１に第１作業者の左手首の動作に基づく時系列データを入力する。学習部１３０は、第２ニューロン２１３ｂに、第２熟練度の左手首の動作に対応する第２値を設定し、第１入力層２１１に第２作業者の左手首の動作に基づく時系列データを入力する。この学習により、第１ＲＮＮ部２１０の第１中間層２１２に含まれるシナプスの重み付けが変化する。

学習部１３０は、第１作業者の右手首の動作に基づく時系列データ（第４データ）と、第２作業者の右手首の動作に基づく時系列データ（第５データ）と、を用いて、第２ＲＮＮ部２２０を学習させる。具体的には、学習部１３０は、第３ニューロン２２３ｃに、第１熟練度の右手首の動作に対応する第３値を設定し、第２入力層２２１に第１作業者の右手首の動作に基づく時系列データを入力する。学習部１３０は、第４ニューロン２２３ｄに、第２熟練度の右手首の動作に対応する第４値を設定し、第２入力層２２１に第２作業者の右手首の動作に基づく時系列データを入力する。この学習により、第２ＲＮＮ部２２０の第２中間層２２２に含まれるシナプスの重み付けが変化する。

さらに、学習部１３０は、これら４つの時系列データを用いて、第３ＲＮＮ部２３０を学習させる。具体的には、学習部１３０は、第５ニューロン２３３ｅに、第１熟練度の左手首と右手首の組み合わせの動作に対応する第５値を設定し、第１入力層２１１および第２入力層２２１に、それぞれ、第１作業者の左手首の動作に基づく時系列データおよび第１作業者の右手首の動作に基づく時系列データを入力する。学習部１３０は、第６ニューロン２３３ｆに、第２熟練度の左手首と右手首の組み合わせの動作に対応する第６値を設定し、第１入力層２１１および第２入力層２２１に、それぞれ、第２作業者の左手首の動作に基づく時系列データおよび第１作業者の右手首の動作に基づく時系列データを入力する。これらの学習工程において、第１ＲＮＮ部２１０および第２ＲＮＮ部２２０に含まれるシナプスの重み付けは、変化しないように固定される。これにより、第３ＲＮＮ部２３０の第３中間層２３２に含まれるシナプスの重み付けが変化する。

ＲＮＮによる検出段階では、取得部１１０は、第３作業者の左手首の動作に基づく時系列データ（第３データ）と、第３作業者の右手首の動作に基づく時系列データ（第６データ）と、を取得する。検出部１５０は、第３作業者の左手首の動作に基づく時系列データを第１ＲＮＮ部２１０に入力し、第３作業者の右手首の動作に基づく時系列データを第２ＲＮＮ部２２０に入力する。第１ＲＮＮ部２１０および第２ＲＮＮ部２２０から出力された信号は、第３ＲＮＮ部２３０に入力される。

検出部１５０は、ＲＮＮにおける第１ニューロン２１３ａ〜第６ニューロン２３３ｆの反応を検出する。この結果、第３作業者の、左手首の動作、右手首の動作、および左手首と右手首の組み合わせの動作のそれぞれについて、改善すべき点が無いか検出される。

図１０は、第２実施形態に係る検出システムの動作を表すフローチャートである。
取得部１１０は、第１作業者の第１作業における第１身体部位（例えば、左手首）の動作に基づく第１データを取得する（ステップＳ１１）。取得部１１０は、第１作業者の第１作業における第２身体部位（例えば、右手首）の動作に基づく第４データを取得する（ステップＳ１２）。第１データおよび第４データは、例えば、第１時間の長さを有する時系列データである。

取得部１１０は、第２作業者の第１作業における第１身体部位の動作に基づく第２データを取得する（ステップＳ１３）。取得部１１０は、第２作業者の第１作業における第２身体部位の動作に基づく第５データを取得する（ステップＳ１４）。第２データおよび第５データは、例えば、第２時間の長さを有する時系列データである。第１データ、第２データ、第４データ、第５データは、動作データ保存部１２０に保存される。

学習部１３０は、第１データおよび第４データを第１ＲＮＮ部２１０に入力し、第１ＲＮＮ部２１０を学習させる（ステップＳ１５）。学習部１３０は、第２データおよび第４５データを第２ＲＮＮ部２２０に入力し、第２ＲＮＮ部２２０を学習させる（ステップＳ１６）。学習部１３０は、第１データ、第２データ、第４データ、および第５データを、第１ＲＮＮ部２１０および第２ＲＮＮ部２２０に入力し、第３ＲＮＮ部２３０を学習させる（ステップＳ１７）。ステップＳ１５〜ステップＳ１７における学習は、図９を参照して説明した通りである。

取得部１１０は、第３作業者の第１作業における第１身体部位の動作に基づく第３データを取得する（ステップＳ１８）。取得部１１０は、第３作業者の第１作業における第２身体部位の動作に基づく第６データを取得する（ステップＳ１９）。第３データおよび第６データは、例えば、第３時間の長さを有する時系列データである。

検出部１５０は、学習された第１ＲＮＮ部２１０に、第３データを入力し、学習された第２ＲＮＮ部２２０に、第６データを入力する（ステップＳ２０）。

ステップＳ２０において、検出部１５０は、第１ニューロン〜第６ニューロンの反応を検出する。いずれかのニューロンの反応は、第３作業者の動作が、第１熟練度または第２熟練度に相当することを意味する。

表示部１６０は、検出部１５０による検出結果を表示する（ステップＳ２１）。

なお、ステップＳ１１およびＳ１３の順番は、ステップＳ１５の前であれば、適宜変更可能である。ステップＳ１２およびＳ１４の順番は、ステップＳ１６の前であれば、適宜変更可能である。ステップＳ１８およびＳ１９の順番は、ステップＳ２０の前であれば、適宜変更可能である。また、ステップＳ１１〜Ｓ１４、Ｓ１８、およびＳ１９の少なくとも２つは、同時に実行されても良い。例えば、ステップＳ１１とＳ１２は、同時に実行される。ステップＳ１３とＳ１４は、同時に実行される。ステップＳ１８とＳ１９は、同時に実行される。

図８〜図１０に表した検出システムおよび検出方法によれば、複数の身体部位のそれぞれの動作について、改善すべき点を検出することができる。さらに、この検出システムによれば、複数の身体部位を組み合わせた動作について、改善すべき点を検出することができる。

このような複数の身体部位を組み合わせた動作における改善すべき点の検出は、特に製造現場における作業に好適に用いることができる。一般的に、１つの作業は、連続した複数の細かな作業からなる。熟練者の場合、例えば、１つの細かな作業を行っている間、ある身体部位は、この作業のために動かしつつ、複数の身体部位の全体を、次の作業のために動かしたりする。

図８〜図１０に表した検出システムによれば、複数の身体部位のそれぞれの動作のにおける改善すべき点と、複数の身体部位を組み合わせた動作における改善すべき点と、が検出できる。このため、より細かく且つ精度良く改善すべき点を検出でき、製造効率のさらなる改善が可能となる。
なお、本実施形態に係る検出システムおよび検出方法において、複数の身体部位のそれぞれの動作における改善すべき点の検出と、複数の身体部位を組み合わせた動作における改善すべき点の検出と、の一方のみが行われても良い。ただし、より精度良く作業者の動作を分析するためには、これらの両方において検出が行われることが望ましい。

また、第１ＲＮＮ部２１０の第１中間層２１２と、第２ＲＮＮ部２２０の第２中間層２２２と、は、図９に表したように、分離されており、第１中間層２１２のニューロンと第２中間層２２２のニューロンとは結合されていない。発明者らは、このように第１ＲＮＮ部２１０と第２ＲＮＮ部２２０とを分離し、それぞれ個別に学習させ、さらにこれらのＲＮＮ部の出力を第３ＲＮＮ部２３０に入力することで、複数の身体部位を組み合わせた動作における改善すべき点をより精度検出できることを発見した。すなわち、第３ＲＮＮ部２３０に、第１ＲＮＮ部２１０および第２ＲＮＮ部２２０の出力を入力させて学習させ、その第３ＲＮＮ部２３０を用いて第３作業者の動作を分析することで、第３作業者の複数の身体部位の組み合わせ動作が、第１熟練度または第２熟練度に相当する場合、より精度良く第５ニューロン２３３ｅまたは第６ニューロン２３３ｆが反応する。

図１１は、第２実施形態に係る検出システムの他の動作を表す概念図である。
図１１に表したように、実施形態に係る検出システムは、より多くの身体部位の動作に基づくデータを用いて、改善すべき点を検出しても良い。

図１１に表した例では、取得部１１０は、第１作業者〜第３作業者のそれぞれについて、左手首、左肘、右手首、および右肘のそれぞれの動作に基づく時系列データを取得する。

ＲＮＮ２００ｂは、第１ＲＮＮ部２１０、第２ＲＮＮ部２２０、第３ＲＮＮ部２３０、第４ＲＮＮ部２４０、第５ＲＮＮ部２５０、第６ＲＮＮ部２６０、および 第７ＲＮＮ部２７０を含む。
学習部１３０は、第１作業者および第２作業者の、左手首の時系列データ、左肘の時系列データ、右手首の時系列データ、および右肘の時系列データを、それぞれ、第１ＲＮＮ部２１０、第２ＲＮＮ部、第４ＲＮＮ部２４０、および第５ＲＮＮ部２５０に入力し、これらのＲＮＮ部を学習させる。学習部１３０は、第１ＲＮＮ部２１０および第２ＲＮＮ部２２０の出力を第３ＲＮＮ部２３０に入力し、第４ＲＮＮ部２４０および第５ＲＮＮ部２５０の出力を第６ＲＮＮ部２６０に入力し、第３ＲＮＮ部２３０および第６ＲＮＮ部２６０を学習させる。さらに、学習部１３０は、第３ＲＮＮ部２３０および第６ＲＮＮ部２６０の出力を第７ＲＮＮ部２７０に入力し、第７ＲＮＮ部２７０を学習させる。

検出部１５０は、第３作業者の、左手首のデータ、左肘のデータ、右手首のデータ、および右肘のデータを、それぞれ、第１ＲＮＮ部２１０、第２ＲＮＮ部２２０、第４ＲＮＮ部２４０、および第５ＲＮＮ部２５０に入力する。
これにより、第３作業者のそれぞれの身体部位の動作における改善すべき点が検出される。また、左手首と左肘とを組み合わせた左腕の動作における改善すべき点が検出される。右手首と右肘とを組み合わせた右腕の動作における改善すべき点が検出される。さらに、左腕と右腕とを組み合わせた両腕の動作における改善すべき点が検出される。

図１１に表した例に限らず、検出システム１００は、さらに、脚や、頭、胴の動作に基づくデータを取得し、これらのデータを組み合わせて動作を分析しても良い。

図１２は、実施形態に係る検出システムを実現するための検出装置の構成を例示するブロック図である。
検出装置４００は、例えば、入力装置４０２、出力装置４０４、およびコンピュータ４０６を備える。コンピュータ４０６は、例えば、ＲＯＭ(Read Only Memory)４０８、ＲＡＭ(Random Access Memory)４１０、ＣＰＵ(Central Processing Unit)４１２、および記憶装置ＨＤＤ(Hard Disk Drive)４１４を有する。

入力装置４０２は、ユーザが検出装置４００に対して情報の入力を行うためのものである。入力装置４０２は、キーボードやタッチパネルなどである。
出力装置４０４は、検出システム１００によって得られる出力結果を、ユーザに対して出力するためのものである。出力装置４０４は、ディスプレイやプリンタなどである。出力装置４０４は、表示部１６０として機能する。

ＲＯＭ４０８は、検出装置４００の動作を制御するプログラムを格納している。ＲＯＭ４０８には、コンピュータ４０６を、図１に表した、取得部１１０、学習部１３０、および検出部１５０として機能させるために必要なプログラムが格納されている。

ＲＡＭ４１０は、ＲＯＭ４０８に格納されたプログラムが展開される記憶領域として機能する。ＣＰＵ４１２は、ＲＯＭ４０８に格納された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータ４０６の動作を制御する。また、ＣＰＵ４１２は、コンピュータ４０６の動作によって得られた様々なデータをＲＡＭ４１０に展開する。ＨＤＤ４１４は、図１に表した、動作データ保存部１２０およびＲＮＮ保存部１４０をとして機能する。

以上、本発明のいくつかの第１実施形態を例示したが、これらの第１実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な第１実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら第１実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各第１実施形態は、相互に組み合わせて実施することができる。

１００ 検出システム、 １１０ 取得部、 １２０ 動作データ保存部、 １３０ 学習部、 １４０ 保存部、 １５０ 検出部、 １６０ 表示部、 ２００、２００ａ、２００ｂ リカレントニューラルネットワーク、 ２０１ 入力層、 ２０２ 中間層、 ２０３ 出力層、 ２１０ 第１ＲＮＮ部、 ２１１ 第１入力層、 ２１２ 第１中間層、 ２１３ 第１出力層、 ２２０ 第２ＲＮＮ部、 ２２１ 第２入力層、 ２２２ 第２中間層、 ２２３ 第２出力層、 ２３０ 第３ＲＮＮ部、 ２３１ 第３入力層、 ２３２ 第３中間層、 ２３３ 第３出力層、 ３００ ＬＳＴＭ構造、 ３１０ 忘却ゲート、 ３２０ 入力ゲート、 ３３０ 出力ゲート、 ４００ 検出装置

Claims (8)

1. 時系列の第１データ、時系列の第２データ、および時系列の第３データを取得する取得部であって、前記第１データは第１熟練度を有する第１作業者の第１作業における第１身体部位の動作に基づき、前記第２データは第２熟練度を有する第２作業者の前記第１作業における前記第１身体部位の動作に基づき、前記第３データは第３作業者の前記第１作業における前記第１身体部位の動作に基づく前記取得部と、
   前記第１熟練度の前記第１身体部位の動作に対応する第１値を教師データとしてリカレントニューラルネットワークの第１出力層の第１ニューロンに設定し、前記第１データを前記リカレントニューラルネットワークに入力して学習させ、前記第２熟練度の前記第１身体部位の動作に対応する第２値を教師データとして前記第１出力層の第２ニューロンに設定し、前記第２データを前記リカレントニューラルネットワークに入力して学習させる学習部と、
   学習された前記リカレントニューラルネットワークに前記第３データを入力し、前記第１ニューロンまたは前記第２ニューロンの反応を検出する検出部と、
   を備えた検出システム。
2. 前記リカレントニューラルネットワークは、入力層と、中間層と、前記第１出力層と、を含み、
   前記中間層は、Long Short Term Memory構造を有する複数のニューロンを含む請求項１記載の検出システム。
3. 前記第１データは、前記第１作業者の前記第１作業における前記第１身体部位の加速度情報であり、
   前記第２データは、前記第２作業者の前記第１作業における前記第１身体部位の加速度情報であり、
   前記第３データは、前記第３作業者の前記第１作業における前記第１身体部位の加速度情報である請求項１または２に記載の検出システム。
4. 前記第１身体部位は、第１関節を含み、
   前記第１データは、前記第１作業者の前記第１作業における前記第１関節の角度情報を含み、
   前記第２データは、前記第２作業者の前記第１作業における前記第１関節の角度情報を含み、
   前記第３データは、前記第３作業者の前記第１作業における前記第１関節の角度情報を含む請求項１または２に記載の検出システム。
5. 前記取得部は、前記第１作業者の前記第１作業における第２身体部位の動作に基づく時系列の第４データと、前記第２作業者の前記第１作業における前記第２身体部位の動作に基づく時系列の第５データと、前記第３作業者の前記第１作業における前記第２身体部位の動作に基づく時系列の第６データと、をさらに取得し、
   前記リカレントニューラルネットワークは、前記第１出力層を含む第１リカレントニューラルネットワーク部および第２リカレントニューラルネットワーク部を含み、
   前記学習部は、前記第１データおよび前記第２データを用いて前記第１リカレントニューラルネットワーク部を学習させ、
   前記学習部は、前記第１熟練度の前記第２身体部位の動作に対応する第３値を教師データとして前記第２リカレントニューラルネットワーク部の第２出力層の第３ニューロンに設定し、前記第４データを前記第２リカレントニューラルネットワーク部に入力して学習させ、前記第２熟練度の前記第２身体部位の動作に対応する第４値を教師データとして前記第２出力層の第４ニューロンに設定し、前記第５データを前記第２リカレントニューラルネットワーク部に入力して学習させ、
   前記検出部は、学習された前記第２リカレントニューラルネットワーク部に前記第６データを入力し、前記第３ニューロンまたは前記第４ニューロンの反応をさらに検出する請求項１〜４のいずれか１つに記載の検出システム。
6. 前記リカレントニューラルネットワークは、前記第１リカレントニューラルネットワーク部および第２リカレントニューラルネットワーク部の出力が入力される第３リカレントニューラルネットワーク部をさらに含み、
   前記学習部は、前記第１熟練度の前記第１身体部位および前記第２身体部位の組み合わせの動作に対応する第５値を教師データとして前記第３リカレントニューラルネットワーク部の第３出力層の第５ニューロンに設定し、前記第１データおよび前記第４データをそれぞれ前記第１リカレントニューラルネットワーク部および前記第２リカレントニューラルネットワーク部に入力して前記第３リカレントニューラルネットワーク部を学習させ、
   前記学習部は、前記第２熟練度の前記第１身体部位および前記第２身体部位の組み合わせの動作に対応する第６値を教師データとして前記第３出力層の第６ニューロンに設定し、前記第２データおよび前記第５データをそれぞれ前記第１リカレントニューラルネットワーク部および前記第２リカレントニューラルネットワーク部に入力して前記第３リカレントニューラルネットワーク部を学習させ、
   前記検出部は、前記第３データおよび前記第６データをそれぞれ前記第１リカレントニューラルネットワーク部および前記第２リカレントニューラルネットワーク部に入力し、学習された前記第３リカレントニューラルネットワーク部における前記第５ニューロンまたは前記第６ニューロンの反応を検出する請求項５記載の検出システム。
7. 前記第１リカレントニューラルネットワーク部の第１中間層と前記第２リカレントニューラルネットワーク部の第２中間層とは、分離された請求項５または６に記載の検出システム。
8. 第１熟練度を有する第１作業者の第１作業における第１身体部位の動作に基づく時系列の第１データを取得し、
   第２熟練度を有する第２作業者の前記第１作業における前記第１身体部位の動作に基づく時系列の第２データを取得し、
   前記第１熟練度の前記第１身体部位の動作に対応する第１値を教師データとしてリカレントニューラルネットワークの第１出力層の第１ニューロンに設定し、前記第１データを前記リカレントニューラルネットワークに入力して学習させ、
   前記第２熟練度の前記第１身体部位の動作に対応する第２値を教師データとして前記第１出力層の第２ニューロンに設定し、前記第２データを前記リカレントニューラルネットワークに入力して学習させ、
   第３作業者の前記第１作業における前記第１身体部位の動作に基づく時系列の第３データを取得し、
   学習された前記リカレントニューラルネットワークに前記第３データを入力し、前記第１ニューロンまたは前記第２ニューロンの反応を検出する検出方法。

Images