JP7049212B2 - 分析システム、分析方法、プログラム、及び記憶媒体 - Google Patents

分析システム、分析方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP7049212B2
JP7049212B2 JP2018150213A JP2018150213A JP7049212B2 JP 7049212 B2 JP7049212 B2 JP 7049212B2 JP 2018150213 A JP2018150213 A JP 2018150213A JP 2018150213 A JP2018150213 A JP 2018150213A JP 7049212 B2 JP7049212 B2 JP 7049212B2
Authority
JP
Japan
Prior art keywords
time
series data
work
processing unit
operations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018150213A
Other languages
English (en)
Other versions
JP2020027324A (ja
Inventor
保男 浪岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018150213A priority Critical patent/JP7049212B2/ja
Priority to CN201910227735.0A priority patent/CN110826383B/zh
Publication of JP2020027324A publication Critical patent/JP2020027324A/ja
Application granted granted Critical
Publication of JP7049212B2 publication Critical patent/JP7049212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Description

本発明の実施形態は、分析システム、分析方法、プログラム、及び記憶媒体に関する。
従来、製造現場の生産性を改善するために、ビデオ撮影やストップウォッチを用いて作業に関する情報を記録し、その情報を分析する方法が採られている。複数の作業を含む工程が繰り返し行われる場合、分析では、工程のサイクルの抽出や、その内訳であるタイミングチャートの作成、作業者間の作業の違いの抽出などが行われている。
分析に必要な時間を短縮するため、これらの分析をアシストするツールが存在する。しかし、このツールを用いた場合でも、人による情報のラベリングや判断が必要となる。また、分析する人の技術や経験などによる判断のばらつきが生じる。このため、より自動的に分析でき、且つ分析に要する時間をさらに短縮できる技術の開発が望まれている。
特開2017-091249号公報
本発明が解決しようとする課題は、作業をより自動的に分析でき、且つ分析に要する時間を短縮できる、分析システム、分析方法、プログラム、及び記憶媒体を提供することである。
実施形態に係る分析システムは、取得部と、処理部と、を備える。前記取得部は、複数の作業を含む第1工程における作業者の動作を示す時系列データを取得する。前記処理部は、前記時系列データにおける状態の変化点を複数検出し、前記複数の変化点を用いて、前記時系列データと前記複数の作業のそれぞれとの対応付けを行う。
第1実施形態に係る分析システムの構成を表すブロック図である。 第1実施形態に係る分析システムにおける処理を説明するための模式図である。 第1実施形態に係る分析システムにおける処理を説明するための模式図である。 第1実施形態に係る分析システムにおける処理を説明するための模式図である。 第1実施形態に係る分析システムにおける処理を説明するための模式図である。 第1実施形態に係る分析システムにおける処理を表すフローチャートである。 第1実施形態の第1変形例に係る分析システムにおける処理を説明するための模式図である。 第1実施形態の第1変形例に係る分析システムにおける処理を表すフローチャートである。 第1実施形態の第2変形例に係る分析システムにおける処理を説明するための模式図である。 第1実施形態の第2変形例に係る分析システムにおける処理を表すフローチャートである。 第1実施形態の第3変形例に係る分析システムにおける処理を説明するための模式図である。 第1実施形態の第3変形例に係る分析システムにおける処理を表すフローチャートである。 第1実施形態の第4変形例に係る分析システムにおける処理を説明するための模式図である。 第1実施形態の第4変形例に係る分析システムにおける処理を表すフローチャートである。 第2実施形態に係る分析システムの構成を表すブロック図である。 リカレントニューラルネットワークを表す模式図である。 LSTM構造を表すブロック図である。 第2実施形態に係る分析システムにおける処理を表すフローチャートである。 実施例において取得したデータを表すグラフである。 実施例に関するデータを表すグラフである。
以下に、本発明の各実施形態について図面を参照しつつ説明する。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1は、第1実施形態に係る分析システムの構成を表すブロック図である。
図2~図5は、第1実施形態に係る分析システムにおける処理を説明するための模式図である。
図1に表したように、分析システム1は、取得部10、処理部20、記憶部30、及び表示部40を有する。
分析システム1は、ある工程に従事する作業者の動作を分析するために用いられる。以下では、複数の作業を含む第1工程における作業者の動作を分析する場合について説明する。
取得部10は、第1工程における作業者の動作を示す時系列データを取得する。
取得部10は、例えば撮像装置を含む。取得部10は、作業を行っている作業者を撮影し、得られた映像から作業者の骨格情報を抽出する。取得部10は、時間の経過に伴う骨格の一部(例えば頭部)の位置の変化を、作業者の動作を示す時系列データとして取得する。
又は、取得部10は、骨格情報から、関節の角度を抽出しても良い。取得部10は、時間の経過に伴う関節の角度(例えば肘の角度)の変化を、作業者の動作を示す時系列データとして取得する。関節の角度は、体格にあまり依存しない。従って、関節の角度の変化を時系列データとして用いることで、体格の違いが分析に及ぼす影響を低減し、分析の精度を向上させることが可能となる。
なお、骨格情報の抽出や、骨格の位置の変化の検出、関節の角度の変化の検出などは、後述する処理部20により行われても良い。
あるいは、取得部10は、加速度計を含んでいても良い。加速度計は、作業者の腕や脚などの身体の一部に取り付けられる。取得部10は、作業者が第1工程を行った際に得られる加速度、角速度、方位などの情報を、作業者の動作を示す時系列データとして取得する。
取得部10は、取得したデータを記憶部30に記憶する。記憶部30は、ハードディスクドライブ、フラッシュメモリ、又はネットワークハードディスクなどである。
図2(a)は、取得部10により取得され、記憶部30に記憶された時系列データの一例である。図2(a)は、第1工程において、作業者の手首に取り付けた加速度計で取得された加速度情報である。図2(b)以降の時系列データは、処理部20による処理を示す。図2~図5に含まれる時系列データにおいて、横軸は時間Tiを表し、縦軸は加速度Acを表す。
処理部20(処理回路)は、記憶部30に記憶された時系列データを分析する。
まず、処理部20は、時系列データを複数の状態に分割し、状態の変化点を抽出する。状態の変化点の抽出には、例えば、階層デリクレ過程に対する隠れマルコフモデル(HDP-HMM)、k-means法、x-means法、又はスペクトラルクラスタリングが用いられる。図2(b)は、処理部20による分割の結果を表す。図2(b)に表したように、時系列データが複数の状態Aに分割され、状態A同士の間の変化点Bが抽出される。
次に、処理部20は、第1工程に含まれる各作業に要する標準的な時間を参照する。各作業の標準時間は、例えば記憶部30に予め記憶される。標準時間は、人が決定しても良いし、入力作業の手順書などに記された時間が自動的に読み込まれても良い。図2(c)は、その一例である。図2(c)の例では、第1工程Cが、作業C1(第1作業)、作業C2(第2作業)、作業C3(第3作業)を含む。作業C1~C3には、それぞれ、18秒、35秒、及び19秒を要する。
続いて、処理部20は、変化点の抽出結果及び作業の標準時間を用いて、時系列データと各作業の対応関係を分析する。まず、処理部20は、時系列データにおいて、第1工程C(作業C1)の開始点を設定する。例えば、複数の変化点Bのいずれかが開始点として設定される。又は、開始点は、ランダムに設定されても良いし、何らかのルールに基づいて設定されても良い。
処理部20は、作業C1の開始点を設定すると、作業C2の開始点の候補をサンプリングする。なお、ここでは、作業C2の開始点を作業C1の終了点に一致すると見なす場合について説明する。
一例として、図3(a)に表したように、作業C1の開始点D1が決定され、作業C2の開始点(作業C1の終了点)として、サンプルD2a~D2cが設定される。例えば、サンプルは、開始点D1から、作業C1の所要時間(18秒)が経過した後の時間を中心に、設定される。サンプルの数は、処理に要する時間及び必要な分析の精度を考慮して決定される。
サンプルは、例えば、当該中心から所定の範囲内に一定間隔又はランダムに設定される。又は、サンプルの数が、中心付近により多く、中心から離れるほど少なくなるよう設定されても良い。一例として、作業C1~C3のそれぞれについて、図3(b)に表したように、確率分布が予め設定される。図3(b)において、横軸は時間Tiを表し、縦軸は各時間をとりうる確率Pを表す。確率Pのピークは、標準時間に位置する。処理部20は、この確率分布に従ってサンプルを設定しても良い。
処理部20は、各サンプルと、各サンプルに最も近い変化点Bと、の間の距離を用いて評価値(第2評価値)を算出する。距離としては、例えば、ユークリッド距離、マンハッタン距離、マハラノビス距離などが用いられる。例えば、あるサンプルに対して算出された評価値が高いほど、そのサンプルと、そのサンプルに最も近い変化点Bと、の間の距離が短いことを示す。処理部20は、評価値が最も高いサンプルを含む、1つ以上のサンプルを抽出する。図3(a)に表した例では、サンプルD2aが変化点B1に最も近い。処理部20は、サンプルD2aを作業C2の開始点D2として設定する。
以降は、同様に、処理部20による各作業の開始点のサンプリング及び開始点の設定が繰り返される。
すなわち、処理部20は、図3(c)に表したように、作業C3の開始点の候補として、サンプルD3a~D3cを設定する。処理部20は、変化点B2に最も近いサンプルD3cを作業C3の開始点D3として設定する。
処理部20は、図4(a)に表したように、作業C3(第1工程C)の終了点の候補として、サンプルD4a~D4cを設定する。処理部20は、変化点B3に最も近いサンプルD4bを作業C3の終了点D4として設定する。
この一連の処理により、図4(b)に表したように、開始点D1~D3及び終了点D4に対応する複数のサンプルを含むサンプルパスE1が生成される。処理部20は、開始点D1の位置(時間)を変化させながら、同様の処理を繰り返す。これにより、図5(a)に表したように、複数のサンプルパスE1~Ex(xは、2以上の整数)が生成される。
処理部20は、生成された各サンプルパスについて、評価値(第1評価値)を算出する。評価値は、サンプルパスに含まれる開始点及び終了点の位置と、複数の変化点Bの位置と、の適合度合いに基づいて算出される。この適合度合いとしては、例えば、サンプルと、そのサンプルに最も近い変化点Bと、の間の距離が用いられる。例えば、あるサンプルパスに含まれる各サンプルについて、最も近い変化点Bとの間の距離をそれぞれ算出し、それらの距離の合計に基づいて評価値が算出される。例えば、距離が短いほど、評価値が高く算出される。処理部20は、評価値に基づき、複数のサンプルパスの中から、1つのサンプルパスを選定する。
選定されたサンプルパスは、時系列データの部分がどの作業の動作に対応するかを示す。例えば、時系列データにおいて、作業C1の開始点として設定されたサンプルと、作業C2の開始点として設定されたサンプルと、の間のデータは、作業C1における作業者の動作を示す。
処理部20は、前記時系列データと前記複数の作業のそれぞれとの対応関係を外部に出力する。例えば、複数のサンプルパスの中から、サンプルパスE1が選定されたとする。処理部20は、図5(b)に表したように、サンプルパスE1の開始点D1~D3及び終了点D4と、サンプルパスE1に対応する時系列データの一部と、開始点D1~D3及び終了点D4から算出される各作業の所要時間と、を表示部40に表示させる。
取得部10、処理部20、記憶部30、及び表示部40は、例えば、有線又は無線で相互に接続される。又は、これらの少なくとも一部は、ネットワークを介して互いに接続されていても良い。
第1実施形態に係る分析システム1及び分析方法によれば、作業者の動作を示す時系列データについて、どの部分がどの作業に対応するかが自動的に分析される。従って、時系列データと各作業との対応付けやラベリングを人が行う必要が無く、分析に要する時間を短縮できる。分析時間が短くなることで、例えば、よりリアルタイムに近い分析が可能となる。また、対応付けは、時系列データにおける状態の変化点に基づいて行われる。このため、分析に関する技術や経験が無いユーザでも、精度良く作業を分析することができる。
図6は、第1実施形態に係る分析システムにおける処理を表すフローチャートである。
一例として、処理部20は、図6に表した処理を実行する。まず、図2(b)に表したように、時系列データにおける複数の変化点を抽出する(ステップS1)。複数の変化点の1つを、第n作業の開始点に設定する(ステップS2)。なお、ステップS2では、n=1に設定される。すなわち、ステップS2では、最初の作業の開始点が設定される。図3(a)に表したように、第n作業の次の、第n+1作業の開始点の候補をN個サンプリングする(ステップS3)。設定された各サンプルについて、評価値を算出する(ステップS4)。評価値に基づき、図3(c)などに表したように、第n+1作業の開始点を決定する(ステップS5)。nとして、n+1を設定する(ステップS6)。第n+1作業が存在するか判断する(ステップS7)。存在する場合、ステップS3が再度実行される。存在しない場合、第1工程に含まれる全ての作業の開始点及び第1工程の終了点に対応する複数のサンプルが設定されたことを意味する。これにより、図4(b)に表したように、各作業の開始点及び第1工程の終了点を含む1つのサンプルパスが生成される。
次に、終了条件が充足されたか判断する(ステップS8)。終了条件が充足されていない場合、複数の変化点の別の1つを、第n作業の開始点に設定する(ステップS9)。なお、ステップS9では、n=1に設定される。これにより、最初の作業の開始点が、それまでと異なる位置(時間)に設定される。ステップS9の後は、ステップS3~S8が繰り返される。
終了条件は、例えば、ステップS1で抽出された複数の変化点のそれぞれが第1工程の開始点として設定され、ステップS3~S7が実行されることである。又は、時系列データの所定範囲内の変化点のそれぞれについて、ステップS3~S7が実行されることが終了条件として設定されても良い。
終了条件が充足されたときには、図5(a)に表したように、複数のサンプルパスが生成されている。それらのサンプルパスのそれぞれについて、評価値を算出する(ステップS10)。評価値に基づいて、1つ以上のサンプルパスを決定する(ステップS11)。決定したサンプルパスに関する結果を表示する(ステップS12)。結果としては、上述したように、選択されたサンプルパスに含まれる開始点及び終了点、そのサンプルパスに対応する時系列データの一部、各作業の所要時間などが表示される。
なお、図6のフローチャートに表した処理とは異なるが、ステップS8の判断が行われる際、生成されたサンプルパスの評価値を算出しても良い。例えば、その評価値が所定の条件を満たした場合に、終了条件が充足されたと判断される。この場合、ステップS10及びS11は省略され、ステップS12で条件を満たす評価値が得られたサンプルパスに関する結果が表示される。
また、上述した例では、次の作業の開始点をサンプリングした後、サンプルを絞り込み、その絞り込んだサンプルに基づいて次の開始点をサンプリングした。この方法の他に、サンプルを絞り込まず、各サンプルに基づいて次の開始点をサンプリングしても良い。この方法では、最終的に生成されるサンプルパスの数が多くなるため、複数の変化点Bとより適合するサンプルパスが得られる可能性が高まる。従って、時系列データと作業との対応関係をより精度良く分析できる。一方、サンプルを絞り込んでから次のサンプリングを行う場合、計算量が少なくなるため、分析に要する時間を短縮できる。
(第1変形例:リサンプリング)
図7は、第1実施形態の第1変形例に係る分析システムにおける処理を説明するための模式図である。
ある作業の開始点に基づき、次の作業の開始点をサンプリングした後、リサンプリングが行われても良い。
図7(a)は、図2(a)に表した時系列データの一部を拡大したものである。図7(a)に表したように作業C2の開始点の候補としてサンプルD2a~D2cが設定されると、処理部20は、各サンプルの評価値を算出する。そして、処理部20は、算出された評価値に基づき、確率分布を定義する。処理部20は、定義された確率分布に従って、作業C2の開始点の候補を再度サンプリング(リサンプリング)する。
図7(a)に表した例では、サンプルD2aが最も変化点B1に近く、サンプルD2cが最も変化点B1から遠い。従って、これらのサンプルの評価値に基づいて定義された確率分布では、サンプルD2a近傍で確率が高く、サンプルD2c近傍では確率が低くなる。この確率分布に従って、処理部20は、例えば図7(b)に表したように、サンプルD2aを中心に、複数のサンプルD2a~D2aを設定し、サンプルD2bを中心に、複数のサンプルD2b及びD2bを設定する。サンプルD2cに関しては、サンプルを設定しない。サンプルD2a~D2cに対してリサンプリングにより設定されるサンプルの数は、評価値に基づく。すなわち、変化点との距離が短いサンプルに対しては、リサンプリングによって、より多くのサンプルが設定される。
リサンプリングの後、処理部20は、例えば、サンプルD2a~D2a、D2b、及びD2bのそれぞれを作業C2の開始点の候補として設定する。そして、処理部20は、各サンプルに基づいて、次の作業の開始点の候補をサンプリング及びリサンプリングする。
図8は、第1実施形態の第1変形例に係る分析システムにおける処理を表すフローチャートである。
図8に表した第1変形例に係るフローチャートは、ステップS5に代えてステップS20及びS21を含む点で、図6に表したフローチャートと異なる。
ステップS4で評価値が算出されると、評価値に基づいて確率分布を定義する(ステップS20)。定義された確率分布に従って、第n+1作業の開始点をM個リサンプリングする(ステップS21)。その後、次の作業が存在する場合は、M個のサンプルのそれぞれについて、ステップS3において次の作業の開始点がサンプリングされる。
サンプリングの結果に基づいてリサンプリングされることで、複数の変化点Bにより一致する開始点及び終了点が得られやすくなる。これにより、分析の精度を向上させることができる。
(第2変形例:モチーフ)
図9は、第1実施形態の第2変形例に係る分析システムにおける処理を説明するための模式図である。
処理部20は、時系列データにおいて繰り返し現れる特徴的なパターン(モチーフ)を検出しても良い。まず、処理部20は、時系列データの一部を切り出す。切り出すデータの範囲(時間の長さ)は、例えば、複数の作業のいずれかの所要時間に基づいて設定される。一例として、処理部20は、図9(a)に表した全体の時系列データから、図9(b)に表したように、一部のデータを切り出す。
次に、処理部20は、切り出したデータを、時系列データにおいて同じ時間長さの別のデータと比較する。例えば、処理部20は、切り出したデータと別のデータとの間のDTW(Dynamic Time Warping)距離を算出する。DTW距離を用いることで、時間の長短に拘わらず、それらのデータ間の相関の強度を求めることができる。処理部20は、切り出したデータと似ている(相関が強い)データが見つかるまで、別のデータと比較を行う。例えば、処理部20は、上記別のデータの範囲を1フレームずつずらしながら、切り出したデータと比較する。
処理部20は、切り出したデータと似ている部分を抽出していく。例えば、DTW距離が所定値未満の部分を抽出する。DTW距離が所定値未満の部分が存在しない場合、処理部20は、別の範囲のデータ又は別の時間長さのデータを時系列データから切り出し、別のデータと比較する。
この処理により、図9(c)に表したように、複数の互いに類似する部分F(モチーフ)が抽出される。処理部20は、類似部分Fの周期Gを算出する。周期Gは、例えば、隣り合う類似部分Fの中心間の時間を平均して算出される。処理部20は、周期Gに基づき、時系列データの一部を切り出す。例えば、処理部20は、周期Gの2倍の長さのデータを、時系列データの全体から切り出す。切り出す位置は、ランダムでも良いし、所定のルールに基づいても良い。処理部20は、切り出されたデータに対して、図2(b)に表した方法と同様に、複数の変化点Bを抽出する。
図10は、第1実施形態の第2変形例に係る分析システムにおける処理を表すフローチャートである。
図10に表した第2変形例に係るフローチャートは、ステップS1に代えてステップS30~S32を含む点で、図6に表したフローチャートと異なる。
時系列データが取得されると、まず、時系列データにおける類似部分(モチーフ)を抽出する(ステップS30)。抽出された類似部分に基づき、時系列データの一部を切り出す(ステップS31)。切り出した時系列データにおける複数の変化点を抽出する(ステップS32)。以降は、抽出された複数の変化点に基づいてステップS2が実行される。
時系列データから互いに類似する複数の類似部分を抽出し、これらの類似部分に基づいて全体のデータの一部を切り出すことで、その後の処理に要する時間を大きく短縮できる。
なお、全体のデータの一部を切り出す方法として、第1工程Cの標準時間を用いる方法もある。例えば、処理部20は、全体のデータから、第1工程Cの標準時間の2倍又は3倍の長さのデータを切り出しても良い。この場合も同様に、その後の処理に要する時間を大きく短縮できる。
ただし、実際に作業者が第1工程Cに要する時間は、第1工程Cの標準時間と大きく異なる場合もある。作業者の熟練度が高いと、第1工程Cに実際に要する時間は、標準時間よりも短い可能性がある。すなわち、必要以上の長さのデータが切り出されるため、類似部分に基づいてデータを切り出した場合に比べて、その後の処理に要する時間が長くなる可能性がある。一方、作業者の熟練度が低いと、第1工程Cに実際に要する時間が標準時間よりも長い可能がある。このため、切り出したデータに全ての作業の動作が含まれず、適切に分析できない可能性がある。
類似部分を用いることで、分析の精度の低下を抑制しつつ、処理に要する時間を効果的に短縮できる。
(第3変形例:類似度)
図11(a)及び図11(b)は、第1実施形態の第3変形例に係る分析システムにおける処理を説明するための模式図である。
サンプルパスの評価値を算出する際、処理部20は、第1工程に含まれる各作業間の類似度を参照しても良い。類似度は、例えば記憶部30に記憶される。
一例として、図11(a)に表したテーブルのように、各作業の間の類似度(第2類似度)が設定される。類似度は、予め人が入力しても良いし、処理部20により自動的に設定されても良い。自動的に設定される場合、類似度は、手順書に記載された文章に基づいて設定することができる。例えば、手順書に記載された各作業の名称間の類似度を算出し、この類似度を使用する。又は、手順書に作業内容が記載されている場合、作業内容の文書間の類似度を用いても良い。
2つの作業内容が似ているほど、それらの作業において得られた時系列データの波形同士も似ている可能性が高い。図11(b)は、図5(a)に表した複数のサンプルパスE1~Exのうち、サンプルパスE1に対応するデータを表す。処理部20は、サンプルパスの評価値を算出する際に、開始点及び終了点と変化点との間の距離に加え、各作業に対応するデータ同士の間の類似度(第1類似度)を算出する。類似度としては、DTW距離が用いられる。
例えば、処理部20は、作業C1に対応するデータと、作業C2に対応するデータと、のDTW距離を算出すると、図11(a)に表したテーブルを参照する。テーブルによれば、作業C1とC2との間の類似度は低い。従って、当該DTW距離が長い場合、予め設定された類似度の情報と合致している。また、作業C1に対応するデータと作業C3に対応するデータとのDTW距離が短いと、テーブルに記憶された類似度と合致する。処理部20は、各作業に対応するデータ同士の類似度と、テーブルに記憶された類似度と、が一致しているほど、評価値を高める。
図12は、第1実施形態の第3変形例に係る分析システムにおける処理を表すフローチャートである。
図12に表した第3変形例に係るフローチャートは、ステップS10に代えてステップS40及びS41を含む点で、図6に表したフローチャートと異なる。
ステップS8で終了条件が充足されたと判断されると、予め設定された作業間の類似度を参照する(ステップS40)。あるいは、ステップS40において、手順書等を読み込んで類似度を算出しても良い。次に、類似度を用いて、各サンプルパスの評価値を算出する(ステップS41)。
例えば、各サンプルパスの開始点及び終了点について、複数の変化点との間の距離をそれぞれ計算する。さらに、各サンプルパスに基づいて、各作業に対応する時系列データの一部を抽出する。続いて、抽出されたデータ同士の間の類似度を算出し、データ間の類似度と作業間の類似度とを比較する。評価値は、距離の計算結果及び類似度の比較結果に基づいて算出される。以降は、算出された評価値に基づき、サンプルパスが決定される。
この方法によれば、時系列データと作業との対応関係をより精度良く分析することが可能となる。
(第4変形例:作業の分岐)
図13は、第1実施形態の第4変形例に係る分析システムにおける処理を説明するための模式図である。
ここでは、第1工程において、実施される作業の流れが複数存在する場合について説明する。例えば図13(a)に表したように、第1工程Cは、作業C4をさらに含む。作業C4は、作業C2と作業C3との間に行われる場合がある。作業C4が行われない場合、作業C2の直後に作業C3が行われる。すなわち、作業C2の後に実施される可能性のある作業が、作業C3と作業C4に分岐している。
この場合、処理部20は、作業C2の開始点を決定した後、作業C3及びC4のそれぞれの開始点の候補をサンプリングする。図13(a)に表した例では、作業C4に要する標準的な時間は、40秒である。処理部20は、図13(b)に表したように、開始点D3を決定した後、作業C3の標準時間である19秒後近傍に、サンプルD4a~D4cを設定する。さらに、処理部20は、作業C4の標準時間である40秒後近傍に、サンプルD4d~D4fを設定する。
処理部20は、各サンプルと、最も近い変化点Bと、の間の距離をそれぞれ算出し、評価値を算出する。処理部20は、例えば、評価値に基づき、確率分布を定義する。続いて、処理部20は、第1変形例と同様にして、確率分布に従いリサンプリングを行う。以降は、リサンプリングにより設定されたサンプルに基づき、次の作業の開始点がサンプリングされる。次の作業が存在しないサンプルについては、処理を終了し、サンプルパスを記憶部30に保存する。
図14は、第1実施形態の第4変形例に係る分析システムにおける処理を表すフローチャートである。
図14に表した第4変形例に係るフローチャートは、ステップS3に代えてステップS50を含み、ステップS5に代えてステップS20及びS21を含み、且つステップS7に代えてステップS51~S53を含む点で、図6に表したフローチャートと異なる。
ステップS50では、ステップS2又はS9で第n作業の開始点が設定されると、第n+1作業の開始点をN個サンプリングする。このとき、第n+1作業として、複数の作業が存在しうる場合は、それぞれの作業の開始点についてN個サンプリングする。次に、各サンプルの評価値を算出し(ステップS4)、評価値に基づく確率分布に従ってリサンプリングを行う(ステップS20及びS21)。その後、ステップS21のリサンプリングにより設定されたサンプルから、第n+1作業が存在するサンプルを抽出し、サンプルの集合Sを生成する(ステップS51)。さらに、第n+1作業が存在しないサンプルについては、サンプルパスを保存する(ステップS52)。
ステップS51及びS52の後は、集合Sにサンプルが存在するか判断する(ステップS53)。集合Sにサンプルが存在する場合は、集合Sに含まれる各サンプルについて、再度、第n+1作業の開始点がN個サンプリングされる(ステップS50)。集合Sにサンプルが存在しない場合は、図6に表したフローチャートと同様に、ステップS8が実行される。
第1工程に含まれる作業の流れに分岐が存在する場合、分析において分岐が考慮されないと、時系列データと作業との対応付けを精度良く行えない。本変形例に係る分析システム及び分析方法では、そのような作業の分岐がある場合でも、分岐後の各作業についてサンプリングする。従って、時系列データと作業との対応付けの精度を向上させることができる。
(第2実施形態)
図15は、第2実施形態に係る分析システムの構成を表すブロック図である。
第2実施形態に係る分析システム2は、図15に表したように、学習データ記憶部50及びRNN記憶部60をさらに有する。
第1実施形態に係る分析システム1によれば、時系列データの全体から、第1工程に対応する時系列データの一部を抽出できる。第2実施形態に係る分析システム2は、抽出された時系列データの一部を用いて、リカレントニューラルネットワーク(以下、RNNという)の学習を行う。また、分析システム2は、さらに、そのRNNを用いて作業者の動作を分析する。以降では、処理部20によるRNNの学習及びRNNを用いた分析について説明する。
(学習)
処理部20は、第1工程に対応する時系列データの一部を抽出すると、そのデータを学習データ記憶部50に記憶する。学習データ記憶部50は、時系列データの他に、その時系列データが取得された作業者の熟練度に関する情報を記憶している。熟練度は、ユーザが予め学習データ記憶部50に記憶する。又は、時系列データの時間の長さに基づいて熟練度が算出されて記憶されても良い。この場合、第1工程に要する時間が短いほど、熟練度が高く算出される。
処理部20は、学習データ記憶部50に記憶された時系列データを用いて、RNN記憶部60に記憶されたRNNを学習させる。RNNは、ニューラルネットワークの一種である。ニューラルネットワークは、人工の複数のニューロン(ノード)を用いて、生物学的な認識システムを模倣したものである。複数のニューロンは、重み付けが設定された人工のシナプス(接続線)により相互に接続される。
図16は、リカレントニューラルネットワークを表す模式図である。
図16に表したように、RNN200は、入力層201、中間層202、及び出力層203を含む。さらに、RNNでは、ある時間区分における中間層202のニューロンNの出力が、その後の時間区分における中間層202のニューロンNの出力に接続される。
処理部20は、入力層201に含まれるニューロンNに、学習のための時系列データを入力する。また、処理部20は、出力層203に含まれるニューロンNに、教師データを入力する。教師データとしては、熟練度を示す値が設定される。すなわち、入力される時系列データが熟練者の動作に基づく場合は、出力層203のニューロンNに、熟練度が高いことを示す値が設定される。学習により、入力された時系列データと、教師データと、の差が小さくなるように、RNNに含まれる各シナプスの重み付けが変化する。学習は、熟練度が互いに異なる複数の作業者から取得された時系列データを用いて行う。処理部20は、学習させたRNNを、RNN記憶部60に保存する。
学習データ記憶部50及びRNN記憶部60は、ハードディスクドライブ、フラッシュメモリ、又はネットワークハードディスクなどである。1つの記憶装置が、記憶部30、学習データ記憶部50、及びRNN記憶部60として機能しても良い。
(分析)
RNNを用いた分析では、例えば、ある作業者の動作が、どの程度の熟練度に相当するかを調べることができる。また、作業者の動作において、改善した方が良い点を発見することもできる。分析する際は、分析対象となる作業者の第1工程における動作を示す時系列データが予め記憶部30に記憶される。この時系列データは、例えば、分析システム1で説明した処理により抽出される。
処理部20は、分析対象の時系列データを、RNN記憶部60の学習済みRNNに入力する。RNNの入力層201に時系列データが入力されると、出力層203のニューロンNが反応しうる。処理部20は、出力層203のニューロンNの反応を検出する。例えば、処理部20は、ニューロンNの活性度と、所定の閾値と、を比較する。ニューロンNの活性度が所定の閾値よりも高い場合、処理部20は、ニューロンNが反応していると検出する。処理部20は、時系列データのうち当該ニューロンNが反応した期間のデータを抽出しても良い。または、処理部20は、当該期間における、当該ニューロンNの活性度を示すデータと、時系列データの一部と、を抽出しても良い。
表示部40は、処理部20による検出結果を表示する。例えば、表示部40は、処理部20によって抽出された時系列データの一部を他の部分と区別可能に表示する。ニューロンNの反応が検出されなかった場合、表示部40は、反応が検出されなかったことを示す結果を表示しても良い。
RNNの中間層202のニューロンNは、例えば、LSTM(Long Short Term Memory)構造を有する。LSTM構造を有するニューラルネットワークは、他の構造のニューラルネットワークに比べて、より作業周期の長い時系列データに対する認識率を高めることができる。
図17は、LSTM構造を表すブロック図である。
図17に表したように、LSTM構造300は、忘却ゲート310、入力ゲート320、及び出力ゲート330を含む。
図17において、xは、時間tにおけるニューロンNへの入力値を表す。Cは、時間tにおけるニューロンNの状態を表す。fは、時間tにおける忘却ゲート310の出力値を表す。iは、時間tにおける入力ゲートの出力値を表す。oは、時間tにおける出力ゲートの出力値を表す。hは、時間tにおけるニューロンNの出力値を表す。f、i、C、o、及びhは、それぞれ、以下の「数1」~「数5」で表される。
Figure 0007049212000001

Figure 0007049212000002

Figure 0007049212000003

Figure 0007049212000004

Figure 0007049212000005
なお、図17に表した例に限らず、RNNの中間層202のニューロンNは、Gated Recurrent Unit構造またはbi-directional LSTM構造などを有していても良い。
図18は、第2実施形態に係る分析システムにおける処理を表すフローチャートである。
まず、図6、図8、図10、図12、又は図14などのフローチャートに表した分析処理が実行され、第1工程における動作を示す時系列データが取得される(ステップS60)。次に、ステップS60で取得した時系列データを用いて、RNNを学習させる(ステップS61)。続いて、分析の対象となる時系列データを取得する(ステップS62)。学習されたRNNに取得した時系列データを入力し、ニューロンの反応を検出する(ステップS63)。検出の結果を表示部40に表示する(ステップS64)。
第2実施形態の効果を説明する。
第2実施形態に係る分析システム2及び分析方法によれば、ある作業者の第1工程における動作が、改善すべき点を含んでいるか検出できる。従来、動作の改善すべき点の有無は、例えば、人が観察することで確認していた。しかし、この場合、観察者は、それぞれの作業者の作業全体を観察しなければならず、長大な時間を要する。また、改善すべき点の抽出は、観察者の主観や、経験、熟練度に依存するため、ばらつきも生じる。
一方で、本実施形態に係る分析システム2及び検出方法では、改善すべき点は、RNNに基づいて検出される。このRNNは、他の作業者の動作に基づくデータを用いて学習されている。従って、改善すべき点は、観察者の経験等に依存せず、客観的に検出される。さらに、改善すべき点は、分析システム2及び検出方法によって自動的に検出されるため、観察者は不要となる。このように、本実施形態によれば、自動的かつ客観的に作業者の改善すべき動作を検出できる分析システム及び検出方法が提供される。
なお、ここでは、作業者の改善すべき動作の検出を目的とした場合を説明している。しかし、実施形態に係る分析システム2及び検出方法の用途は、この例に限定されない。例えば、作業者の優れた動作を検出するために、本実施形態に係る分析システム2及び検出方法を用いることも可能である。
また、分析システム2では、RNNを用いて作業の分析を行っている。RNNを用いることで、以下の効果が得られる。
作業周期は、作業者ごとに異なる。従って、それぞれの作業者が同じ時間に作業を開始しても、時間が経過するにつれて、各作業者がある時点で行っている作業にはばらつきが生じる。この点について、RNNを用いることで、このような作業周期のばらつきの影響を無くし、作業時の改善すべき動作の検出が可能となる。また、RNNを用いることで、ある時間区分の動作と、その後の時間区分の動作と、の関連性を考慮することができるようになる。この結果、作業時間の増加を招いている動作だけでなく、その動作に繋がる原因となる動作を検出することも可能となる。
さらに、本実施形態に係る分析システム2及び検出方法において、RNN200の中間層202のニューロンNは、図17に表したLSTM構造を有することが望ましい。LSTM構造を適用することで、より長期間にわたって、中間層202に含まれるニューロンNの状態を保存することが可能となる。それぞれの時点の動作の相互的な依存関係を、より長期間にわたって分析することが可能となる。従って、ある時点の動作だけでなく、その動作に繋がる前後の動作についても、出力層203に含まれるいずれかのニューロンNが反応しうる。この結果、作業者の改善すべき動作をより包括的に検出することが可能となる。
また、第1実施形態で説明した処理方法を用いることで、RNNの学習に必要な時系列データを自動的に抽出できる。従って、RNNによる分析の準備に要する時間を大きく短縮することが可能である。
(実施例)
図19(a)及び図19(b)は、実施例において取得したデータを表すグラフである。
図20(a)は、実施例において取得したデータを表すグラフである。図20(b)及び図20(c)は、実施例におけるニューロンの活性度を表すグラフである。
図19(a)、図19(b)、及び図20(a)に表したデータは、それぞれ、第1作業者、第2作業者、及び第3作業者が第1作業を行ったときの動作に基づく。図19(a)、図19(b)、及び図20(a)のデータは、第1作業者、第2作業者、及び第3作業者のそれぞれの右手首に加速度計を取り付けて取得した。
図19(a)、図19(b)、及び図20(a)において、横軸は時間Tiを表し、縦軸は加速度Acを表す。実線及び点線は、それぞれ、X軸方向における加速度及びY軸方向における加速度を表す。
取得部10は、図19(a)及び図19(b)に表したデータを取得し、記憶部30に記憶した。処理部20は、図19(a)及び図19(b)に表したデータを参照し、RNN記憶部60に記憶されたRNNを学習させた。図19(a)及び図19(b)の比較から、第1作業者が第1作業に要する時間は、第2作業者が第1作業に要する時間よりも短いことがわかる。すなわち、第1作業者の熟練度は、第2作業者の熟練度よりも優れている。
処理部20は、図20(a)に表したデータを、RNN記憶部60に記憶された、学習済みのRNNに入力する。図20(b)及び図20(c)は、それぞれ図20(a)に表したデータを入力したときの、第1ニューロンと第2ニューロンの活性度を表すグラフである。第1ニューロンの活性度が高い場合、入力されたデータに対応する動作は、第1作業者の第1熟練度に相当することを示す。第2ニューロンの活性度が高い場合、入力されたデータに対応する動作は、第2作業者の第2熟練度に相当することを示す。図20(b)及び図20(c)において、横軸は時間Tiを表し、縦軸はニューロンの活性度Actを表す。ニューロンの活性度の絶対値が大きいほど、そのニューロンが強く反応していることを示す。
図20(b)及び図20(c)から、時間T1~時間T2の間に、第2ニューロンの活性度が大きくなっていることがわかる。すなわち、第3作業者の時間T1~時間T2の間の動作は、第2作業者の第2熟練度に相当することを示している。例えば、時間T1~時間T2の間では、第2ニューロンの活性度が閾値を超えている。処理部20は、第2ニューロンが反応しているものと検出する。表示部40は、例えば、図20(a)に表したように、時間T1~時間T2の第3作業者のデータを、他の部分と区別可能に表示する。この実施例の結果から、第2ニューロンの反応が検出された動作を改善した方が良いことが分かる。
以上で説明した実施形態に係る分析システム及び分析方法を用いることで、第1工程における作業をより自動的に分析でき、且つ分析に要する時間を短縮できる。同様に、処理部に上述した処理を実行させるためのプログラム又はそのプログラムを記憶した記憶媒体を用いることで、第1工程における作業をより自動的に分析でき、且つ分析に要する時間を短縮できる。
例えば、本発明の実施形態は、以下の特徴を含む。
(特徴1)
複数の作業を含む第1工程における作業者の動作を示す時系列データを取得する取得部と、
1つの前記時系列データにおける状態の変化点を複数抽出し、前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う処理部と、
を備え、
前記複数の作業は、第1作業と、前記第1作業の後に行われる第2作業と、を含み、
前記処理部は、前記対応付けにおいて、
前記1つの時系列データについて、前記第1作業及び前記第2作業の開始点及び終了点にそれぞれ対応する複数のサンプルを含むサンプルパスを生成し、
前記複数のサンプルと前記複数の変化点との適合度合いに基づいて第1評価値を算出し、
前記第1評価値を用いて、前記1つの時系列データと前記第1作業及び前記第2作業のそれぞれとを対応付ける、
分析システム。
(特徴2)
前記処理部は、前記対応付けにおいて、
前記複数のサンプルに基づき、前記時系列データから、前記第1作業に対応する第1データと、前記第2作業に対応する第2データと、を抽出し、
前記第1データと前記第2データとの間の第1類似度を算出し、
前記第1評価値を算出する際、前記適合度合いと、前記第1類似度と、前記第1作業と前記第2作業との間の第2類似度と、に基づいて前記第1評価値を算出する、
特徴1記載の分析システム。
(特徴3)
前記処理部は、前記サンプルパスの生成において、
前記複数の変化点の1つを前記第1作業の開始点に設定し、
前記第1作業に要する時間に基づいて、前記第2作業の開始点の候補として複数のサンプルを設定し、
前記複数のサンプルのそれぞれについて、最も近い前記変化点までの距離を算出し、
複数の前記を用いて、前記複数のサンプルの1つを前記第2作業の開始点に設定する、
特徴1又は2に記載の分析システム。
(特徴4)
前記処理部は、前記サンプルパスの生成において、
前記複数の変化点の1つを前記第1作業の開始点に設定し、
前記第1作業に要する時間に基づいて前記第2作業の開始点の候補として複数のサンプルを設定し、
前記複数のサンプルのそれぞれについて、最も近い前記変化点までの距離を用いて第2評価値を算出し、
複数の前記第2評価値を用いて定義された確率分布に従って、前記第2作業の開始点の候補として別の複数のサンプルを設定する、
特徴1又は2に記載の分析システム。
(特徴5)
前記処理部は、
前記第1作業の開始点として設定する前記変化点を変更しながら複数の前記サンプルパスを生成し、
複数の前記サンプルパスのそれぞれについて、前記第1評価値を算出し、
複数の前記第1評価値に基づいて、複数の前記サンプルパスの1つを選定し、
前記複数のサンプルパスの前記1つに含まれる前記複数のサンプルを、前記複数の作業の開始点及び終了点とする、
特徴1~4のいずれか1つに記載の分析システム。
(特徴6)
複数の作業を含む第1工程における作業者の動作を示す時系列データを取得し、
1つの前記時系列データにおける状態の変化点を複数抽出し、
前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う分析方法であって、
前記複数の作業は、第1作業と、前記第1作業の後に行われる第2作業と、を含み、
前記対応付けにおいて、
前記1つの時系列データについて、前記第1作業及び前記第2作業の開始点及び終了点にそれぞれ対応する複数のサンプルを含むサンプルパスを生成し、
前記複数のサンプルと前記複数の変化点との適合度合いに基づいて第1評価値を算出し、
前記第1評価値を用いて、前記1つの時系列データと前記第1作業及び前記第2作業のそれぞれとを対応付ける、
分析方法。
(特徴7)
第1作業と、前記第1作業の後に行われる第2作業と、を含む複数の作業を含む第1工程における作業者の動作を示す1つの時系列データから、状態の変化点を複数抽出させ、
前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行わせ、
前記対応付けにおいて、
前記1つの時系列データについて、前記第1作業及び前記第2作業の開始点及び終了点にそれぞれ対応する複数のサンプルを含むサンプルパスを生成させ、
前記複数のサンプルと前記複数の変化点との適合度合いに基づいて第1評価値を算出させ、
前記第1評価値を用いて、前記1つの時系列データと前記第1作業及び前記第2作業のそれぞれとを対応付けさせる、
処理を処理部に実行させるプログラム。
(特徴8)
特徴7記載のプログラムを記憶した記憶媒体。


以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
1、2 分析システム、 10 取得部、 20 処理部、 30 記憶部、 40 表示部、 50 学習データ記憶部、 60 RNN記憶部、 201 入力層、 202 中間層、 203 出力層、 300 LSTM構造、 310 忘却ゲート、 320 入力ゲート、 330 出力ゲート、 A 状態、 B、B1~B3 変化点、 C 工程、 C1~C4 作業、 D1~D3 開始点、 D4 終了点、 D2a~D2c、D2a~D2a、D2b、D2b、D3a~D3c、D4a~D4f サンプル、 E1~Ex サンプルパス、 F 部分(モチーフ)、 G 周期、 N ニューロン、 S1~12、S20、S21、S30~S32、S40、S41、S50~S53、S60~S64 ステップ Ti 時間、 T1、T2 時間

Claims (7)

  1. 複数の作業を含む第1工程を繰り返す作業者の動作を示す時系列データを取得する取得部と、
    1つの前記時系列データにおける状態の変化点を複数抽出し、前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う処理部と、
    を備え、
    前記処理部は、前記対応付けにおいて、
    前記1つの時系列データから、互いに類似する複数の類似部分を抽出し、
    時間上で隣り合う前記類似部分同士の間の時間の長さに基づき、前記1つの時系列データから一部を切り出し、
    切り出された前記時系列データと、前記複数の作業のそれぞれと、を対応付ける、
    分析システム。
  2. 前記処理部は、前記時系列データのうち前記複数の作業のそれぞれと対応付けられた部分の時間の長さを算出し、外部に出力する請求項記載の分析システム。
  3. 前記処理部は、前記複数の作業のそれぞれと対応付けられた前記時系列データと、作業者の熟練度に関する情報と、を用いて、リカレントニューラルネットワークを学習させる請求項1又は2に記載の分析システム。
  4. 前記処理部は、前記第1工程における別の作業者の動作を示す別の時系列データを、学習された前記リカレントニューラルネットワークに入力し、前記リカレントニューラルネットワークの出力層の反応を検出する請求項記載の分析システム。
  5. 複数の作業を含む第1工程を繰り返す作業者の動作を示す時系列データを取得し、
    1つの前記時系列データにおける状態の変化点を複数抽出し、
    前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行う分析方法であって、
    記対応付けにおいて、
    前記1つの時系列データから、互いに類似する複数の類似部分を抽出し、
    時間上で隣り合う前記類似部分同士の間の時間の長さに基づき、前記1つの時系列データから一部を切り出し、
    切り出された前記時系列データと、前記複数の作業のそれぞれと、を対応付ける、
    分析方法。
  6. 複数の作業を含む第1工程を繰り返す作業者の動作を示す1つの時系列データから、状態の変化点を複数抽出させ、
    前記複数の変化点を用いて、前記1つの時系列データと前記複数の作業のそれぞれとの対応付けを行わせ、
    前記対応付けにおいて、
    前記1つの時系列データから、互いに類似する複数の類似部分を抽出させ、
    時間上で隣り合う前記類似部分同士の間の時間の長さに基づき、前記1つの時系列データから一部を切り出させ、
    切り出された前記時系列データと、前記複数の作業のそれぞれと、を対応付けさせる、
    処理を処理部に実行させるプログラム。
  7. 請求項記載のプログラムを記憶した記憶媒体。
JP2018150213A 2018-08-09 2018-08-09 分析システム、分析方法、プログラム、及び記憶媒体 Active JP7049212B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018150213A JP7049212B2 (ja) 2018-08-09 2018-08-09 分析システム、分析方法、プログラム、及び記憶媒体
CN201910227735.0A CN110826383B (zh) 2018-08-09 2019-03-25 分析系统、分析方法、程序以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018150213A JP7049212B2 (ja) 2018-08-09 2018-08-09 分析システム、分析方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2020027324A JP2020027324A (ja) 2020-02-20
JP7049212B2 true JP7049212B2 (ja) 2022-04-06

Family

ID=69547574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018150213A Active JP7049212B2 (ja) 2018-08-09 2018-08-09 分析システム、分析方法、プログラム、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP7049212B2 (ja)
CN (1) CN110826383B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486072A (zh) * 2020-03-17 2021-10-08 中国移动通信集团福建有限公司 数据分析方法、装置、电子设备及计算机可读存储介质
WO2023276083A1 (ja) * 2021-06-30 2023-01-05 慎平 大杉 情報処理システム、学習済みモデル、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185695A (ja) 2011-03-07 2012-09-27 Univ Of Tsukuba 作業管理システム及び作業管理方法
JP2017091249A (ja) 2015-11-11 2017-05-25 株式会社東芝 分析装置および分析方法
JP2018045512A (ja) 2016-09-15 2018-03-22 オムロン株式会社 作業性評価装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185695A (ja) 2011-03-07 2012-09-27 Univ Of Tsukuba 作業管理システム及び作業管理方法
JP2017091249A (ja) 2015-11-11 2017-05-25 株式会社東芝 分析装置および分析方法
JP2018045512A (ja) 2016-09-15 2018-03-22 オムロン株式会社 作業性評価装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尾原和也ほか3名,"ウェアラブルセンサを用いた教師なしライン作業分析に関する検討",電気学会研究会資料,日本,一般社団法人電気学会,2016年08月02日,IS-16-012~023,pp.17~20
浪岡保男ほか1名,"ウエアラブルセンサーを用いた繰り返し作業のサイクルタイム自動計測手法",東芝レビュー,2018年06月01日,第73巻, 第3号,pp.50~54

Also Published As

Publication number Publication date
JP2020027324A (ja) 2020-02-20
CN110826383A (zh) 2020-02-21
CN110826383B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN108602191B (zh) 动作信息生成装置、动作信息生成方法以及记录介质
JP6897037B2 (ja) 作業性評価装置
JP6250198B2 (ja) 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム
KR101872907B1 (ko) 듀얼 스마트 밴드를 이용한 모션 분석 장치 및 방법
KR102265525B1 (ko) 인공지능 기반의 피부 진단 방법 및 시스템
JP7049212B2 (ja) 分析システム、分析方法、プログラム、及び記憶媒体
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
US10713770B2 (en) Analysis apparatus and analysis method
JP2018026122A5 (ja)
Diete et al. A smart data annotation tool for multi-sensor activity recognition
Calvo et al. Human activity recognition using multi-modal data fusion
JP2017156978A (ja) 作業動作認識システム
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
Oğul et al. Ranking robot-assisted surgery skills using kinematic sensors
US11966836B2 (en) Detection system and detection method for using a neural network to detect a proficiency of a worker
JPH08115408A (ja) 手話認識装置
León-Duarte et al. A software tool for the calculation of time standards by means of predetermined motion time systems and motion sensing technology
Park et al. Standard time estimation of manual tasks via similarity measure of unequal scale time series
JP2022003491A (ja) 分析装置、分析システム、分析方法、プログラム、及び記憶媒体
JP2022186422A (ja) 分類装置、分類方法、及び、分類プログラム
Nömm et al. Interpretable Quantitative Description of the Digital Clock Drawing Test for Parkinson's Disease Modelling
EP3758023B1 (en) Method and device for assessing physical movement of an operator during a work cycle execution on an industrial manufacturing work station
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
Akhshik et al. Pressure Sensor Positioning for Accurate Human Interaction with a Robotic Hand
WO2022190434A1 (ja) 命令記述支援システム、命令記述支援方法および命令記述支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220325

R150 Certificate of patent or registration of utility model

Ref document number: 7049212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150