JP6951685B2 - 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム - Google Patents
動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム Download PDFInfo
- Publication number
- JP6951685B2 JP6951685B2 JP2018003475A JP2018003475A JP6951685B2 JP 6951685 B2 JP6951685 B2 JP 6951685B2 JP 2018003475 A JP2018003475 A JP 2018003475A JP 2018003475 A JP2018003475 A JP 2018003475A JP 6951685 B2 JP6951685 B2 JP 6951685B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- information
- operation information
- extracted
- worker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 551
- 238000004458 analytical method Methods 0.000 title claims description 183
- 238000000034 method Methods 0.000 claims description 121
- 230000008569 process Effects 0.000 claims description 116
- 238000000605 extraction Methods 0.000 claims description 56
- 239000000284 extract Substances 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 35
- 238000005259 measurement Methods 0.000 claims description 24
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 38
- 238000012856 packing Methods 0.000 description 19
- 230000009471 action Effects 0.000 description 16
- 210000003857 wrist joint Anatomy 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 210000003423 ankle Anatomy 0.000 description 5
- 210000001513 elbow Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 210000001624 hip Anatomy 0.000 description 5
- 210000003127 knee Anatomy 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000002832 shoulder Anatomy 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 206010049976 Impatience Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003867 tiredness Effects 0.000 description 2
- 208000016255 tiredness Diseases 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- General Factory Administration (AREA)
- Image Analysis (AREA)
Description
まず、図1を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作分析システム100は、ある作業領域Rにおいて実行された作業者の動作を定量的に示す動作情報を測定する測定部30と、作業者が動作を実行している動画を撮影する第1撮影部20a、第2撮影部20b及び第3撮影部20cと、を備える。本例の作業領域Rは、製造ライン全体を含む領域であるが、作業領域Rは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包といった動作を含む。
[機能構成]
次に、図2を用いて、本実施形態に係る動作分析システム100の機能構成の一例を説明する。動作分析システム100は、第1撮影部20a、第2撮影部20b、第3撮影部20c、測定部30及び動作分析装置10を備える。そして、動作分析装置10は、第1取得部11、第2取得部12、第3取得部13、記憶部14、抽出部15、特定部16、推定部17及び表示部10fを備える。
第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ汎用のカメラによって構成されてよく、作業領域Rにおいて第1作業者A1及び第2作業者A2が動作を実行している場面を含む動画を撮影してよい。第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ作業領域Rの一部を撮影してよく、作業領域Rよりも狭い領域の動画を撮影してよい。具体的には、第1作業者A1及び第2作業者A2により実行される動作をクローズアップした動画を撮影してよい。第1撮影部20a、第2撮影部20b及び第3撮影部20cは、例えば、第1作業者A1及び第2作業者A2の手元をクローズアップした動画を撮影してよい。
測定部30は、モーションキャプチャにより構成されてよく、ある作業領域Rにおいて実行された第1作業者A1及び第2作業者A2の動作をそれぞれ定量的に示す複数の動作情報を測定してよい。測定部30の構成は任意であるが、例えば、第1作業者A1及び第2作業者A2にパターン光を投影して、パターン光が投影された状態の第1作業者A1及び第2作業者A2の動画を撮影し、撮影した動画に基づいて、第1作業者A1及び第2作業者A2の複数の関節の座標値を測定するものであってよい。また、測定部30は、複数の作業者に関する複数の動作情報を測定する場合、動作情報に作業者を識別する情報を付加してもよい。なお、測定部30は、第1作業者A1及び第2作業者A2の複数の関節の座標値以外を測定するものであってもよく、例えば、第1作業者A1及び第2作業者A2の指先や頭部等、必ずしも関節ではない身体の代表的な位置の座標値を測定するものであってもよく、関節の座標値及び関節以外の身体の代表的な位置の座標値を併せて測定するものであってもよい。また、測定部30は、第1作業者A1及び第2作業者A2が装着したトラッカーの位置の座標値を測定するものであってもよく、その場合、身体の代表的な位置は、トラッカーの位置であってよい。また、身体の代表的な位置は、身体の特徴点の位置と言い換えてもよい。
第1取得部11は、作業領域Rにおいて実行された第1作業者A1及び第2作業者A2の動作を定量的に示す動作情報を、測定部30から取得する。第1取得部11により取得された動作情報は、記憶部14に伝送され、動作情報履歴14bとして記憶される。動作分析システム100が複数の測定部30を含む場合、第1取得部11は、複数の測定部30それぞれから動作情報を取得してよく、いずれの測定部30から取得した動作情報であるかを識別する情報を付加して、動作情報を記憶部14に伝送してもよい。なお、動作情報の具体的な例については、後に図4を用いて詳細に説明する。動作情報は、例えば、作業者の身体の代表的な位置の座標値を1秒間隔で測定した情報であってよい。
第2取得部12は、第1作業者A1及び第2作業者A2が動作を実行している動画を、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30(第4撮影部)から取得する。第2取得部12により取得された動画は、記憶部14に伝送され、動画履歴14aとして記憶される。第2取得部12は、複数の撮影部のうちいずれの撮影部から取得した動画であるかを識別する情報を付加して、動画を記憶部14に伝送してもよい。
第3取得部13は、作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報を、測定部30から取得する。第3取得部13により取得された基準動作情報は、記憶部14に伝送され、基準動作情報14cとして記憶される。なお、第3取得部13は、既に記憶された動作情報履歴14bのうち、後に説明する抽出部15により抽出されなかった動作情報を、基準動作情報として取得して、基準動作であることを示す情報を付加して記憶部14に記憶してもよい。また、第3取得部13は、既に記憶された動作情報履歴14bのうち、ユーザにより指定された動作情報を、基準動作情報として取得して、基準動作であることを示す情報を付加して記憶部14に記憶してもよい。なお、基準動作情報の具体的な例については、後に図5等を用いて詳細に説明する。基準動作情報は、例えば、作業者が従うべき標準的な動作が実行された場合における作業者の身体の代表的な位置の座標値を1秒間隔で測定した情報であってよい。
記憶部14は、少なくとも、作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報14cを記憶する。本実施形態に係る動作分析システム100では、記憶部14は、動画履歴14a、動作情報履歴14b、基準動作情報14c及び対応テーブル14dを記憶する。このうち、対応テーブル14dは、抽出部15により抽出された動作情報が示す動作が実行された作業領域Rにおける位置を推定するために用いられる。対応テーブル14dについては、後に具体的な例を示して説明する。
抽出部15は、測定部30により測定された動作情報と、基準動作情報14cとを比較して、所定の条件を満たす動作情報を抽出する。ここで、動作情報及び基準動作情報14cは、作業者の関節の座標値をそれぞれ含んでよく、抽出部15は、動作情報に含まれる座標値と、基準動作情報14cに含まれる座標値とを比較して、所定の条件を満たす動作情報を抽出してよい。この場合、所定の条件は、動作情報に含まれる座標値と、基準動作情報14cに含まれる座標値との乖離度が閾値以上であるという条件であってよい。
特定部16は、動画履歴14aを用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定する。特定部16は、動作情報が測定された時刻と、動画が撮影された時刻とを比較して、動画履歴14aのうち、抽出された動作情報が示す動作を実行している時間帯の場面を特定してよい。また、特定部16は、抽出された動作情報に付加された作業者を識別する情報に基づいて、抽出された動作情報が測定された作業者を特定してもよい。さらに、特定部16は、抽出部15により抽出された動作情報が示す工程を特定してもよいし、抽出部15により抽出された動作情報が示す要素動作を特定してもよい。
推定部17は、抽出部15により抽出された動作情報が示す動作が実行された作業領域Rにおける位置を推定する。推定部17は、記憶部14に記憶された対応テーブル14dを参照することで、抽出部15により抽出された動作情報に対応する作業領域Rにおける位置を推定してよい。本実施形態に係る動作分析システム100では、記憶部14に、工程と撮影部との対応が示された第1対応テーブルD3と、作業者の関節の座標値と撮影部との対応が示された第2対応テーブルD4と、作業者の関節の座標値及び要素動作と撮影部との対応が示された第3対応テーブルD6と、が記憶されてよい。特定部16は、複数の動画のうち、推定部17により推定された位置で撮影された動画を特定してよい。
次に、図3を用いて、本実施形態に係る動作分析装置10のハードウェア構成の一例を説明する。動作分析装置10は、演算装置に相当するCPU(Central Processing Unit)10aと、記憶部14に相当するRAM(Random Access Memory)10bと、記憶部14に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置10が一台のコンピュータで構成される場合について説明するが、動作分析装置10は、複数のコンピュータを用いて実現されてもよい。
図4は、本実施形態に係る動作分析システム100により測定される動作情報D1の一例を示す図である。同図では、測定部30によって、1秒間隔で複数の作業者の関節の座標値を測定した例を示している。
図17は、本実施形態の変形例に係る動作分析システム100により実行される表示態様の選択処理のフローチャートである。本実施形態に係る動作分析システム100は、図9に示すように、抽出された動作情報の概要、作業領域R全体を撮影した第1動画(全体動画)及び作業者の手元を撮影した第2動画(手元動画)を表示する。本変形例に係る動作分析システム100は、ユーザの選択に応じて、表示部10fに表示する内容を変更することができる。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を測定する測定部(30)と、
前記作業者が前記動作を実行している場面を含む動画を撮影する撮影部(20a、20b、20c、30)と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部(14)と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部(15)と、
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を表示する表示部(10f)と、
を備える動作分析システム。
前記測定部(30)は、複数の前記作業者の動作をそれぞれ示す複数の前記動作情報を測定し、
前記表示部(10f)は、抽出された前記動作情報が測定された前記作業者を識別する情報を表示する、
付記1に記載の動作分析システム。
前記撮影部(20a、20b、20c、30)は、前記作業領域を撮影した第1動画を撮影する第1撮影部(30)及び前記作業領域の一部を撮影した第2動画を撮影する第2撮影部(20a、20b、20c)を含み、
前記表示部(10f)は、前記第1動画及び前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している時間帯の場面をそれぞれ表示する、
付記1又は2に記載の動作分析システム。
前記第2撮影部(20a、20b、20c)は、前記作業領域の複数の部分をそれぞれ撮影した複数の前記第2動画を撮影し、
抽出された前記動作情報が示す動作が実行された前記作業領域における位置を推定する推定部(17)をさらに備え、
前記表示部(10f)は、複数の前記第2動画のうち、推定された位置で撮影された前記第2動画を表示する、
付記3に記載の動作分析システム。
前記基準動作情報は、複数の工程毎に定められており、 前記抽出部(15)は、複数の工程毎に、前記動作情報と、前記基準動作情報とを比較して、前記所定の条件を満たす動作情報を抽出し、
前記表示部(10f)は、抽出された前記動作情報が示す工程を識別する情報を表示する、
付記4に記載の動作分析システム。
前記推定部(17)は、抽出された前記動作情報が示す工程に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記5に記載の動作分析システム。
前記動作情報及び前記基準動作情報は、前記作業者の関節の座標値をそれぞれ含み、
前記抽出部(15)は、前記動作情報に含まれる前記座標値と、前記基準動作情報に含まれる前記座標値とを比較して、前記所定の条件を満たす動作情報を抽出する、
付記4に記載の動作分析システム。
前記推定部(17)は、抽出された前記動作情報に含まれる前記座標値に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記7に記載の動作分析システム。
前記基準動作情報は、複数の要素動作毎に定められており、
前記推定部(17)は、抽出された前記動作情報に含まれる前記座標値及び抽出された前記動作情報が示す前記要素動作に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記7又は8に記載の動作分析システム。
前記表示部(10f)は、前記動画を用いて抽出された前記動作情報が示す動作を前記作業者が実行している場面と、前記基準動作情報が示す前記基準動作を前記作業者が実行している場面を含む動画と、を表示する、
付記1から9のいずれか一項に記載の動作分析システム。
前記表示部(10f)は、抽出された前記動作情報を示すグラフと、前記動画のうち抽出された前記動作情報が示す動作を前記作業者が実行している前記動画の場面と、を表示する、
付記1から10のいずれか一項に記載の動作分析システム。
前記表示部(10f)は、前記動画のうち抽出された前記動作情報が示す動作を前記作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示する、
付記1から11のいずれか一項に記載の動作分析システム。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を取得する第1取得部(11)と、
前記作業者が前記動作を実行している場面を含む動画を取得する第2取得部(12)と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第3取得部(13)と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部(15)と、
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を特定する特定部(16)と、
を備える動作分析装置。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を取得することと、
前記作業者が前記動作を実行している場面を含む動画を取得することと、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を特定することと、
を含む動作分析方法。
動作分析装置に備えられた演算装置を、
ある作業領域において実行された1以上の作業者の動作を示す動作情報を取得する第1取得部(11)、
前記作業者が前記動作を実行している場面を含む動画を取得する第2取得部(12)、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第3取得部(13)、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部(15)、及び
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を特定する特定部(16)、
として動作させる動作分析プログラム。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を測定する測定部(30)と、
前記作業者が実行する前記動作をセンシングするセンサ(40a、40b、40c、30)と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部(14)と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部(15)と、
前記センサ(40a、40b、40c、30)によりセンシングされたセンシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力する出力部(18)と、
を備える動作分析システム。
前記測定部(30)は、複数の前記作業者の動作をそれぞれ示す複数の前記動作情報を測定し、
前記出力部(18)は、抽出された前記動作情報が測定された前記作業者を識別する情報を出力する、
付記16に記載の動作分析システム。
前記センサ(40a、40b、40c、30)は、前記作業領域をセンシングした第1センシングデータをセンシングする第1センサ(30)及び前記作業領域の一部をセンシングした第2センシングデータをセンシングする第2センサ(40a、40b、40c)を含み、
前記出力部(18)は、前記第1センシングデータ及び前記第2センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している時間帯の場面をそれぞれ出力する、
付記16又は17に記載の動作分析システム。
前記第2センサ(40a、40b、40c)は、前記作業領域の複数の部分をそれぞれセンシングした複数の前記第2センシングデータをセンシングし、
抽出された前記動作情報が示す動作が実行された前記作業領域における位置を推定する推定部(17)をさらに備え、
前記出力部(18)は、複数の前記第2センシングデータのうち、推定された位置でセンシングされた前記第2センシングデータを出力する、
付記18に記載の動作分析システム。
前記基準動作情報は、複数の工程毎に定められており、
前記抽出部(15)は、複数の工程毎に、前記動作情報と、前記基準動作情報とを比較して、前記所定の条件を満たす動作情報を抽出し、
前記出力部(18)は、抽出された前記動作情報が示す工程を識別する情報を出力する、
付記19に記載の動作分析システム。
前記推定部(17)は、抽出された前記動作情報が示す工程に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記20に記載の動作分析システム。
前記動作情報及び前記基準動作情報は、前記作業者の関節の座標値をそれぞれ含み、
前記抽出部(15)は、前記動作情報に含まれる前記座標値と、前記基準動作情報に含まれる前記座標値とを比較して、前記所定の条件を満たす動作情報を抽出する、
付記19に記載の動作分析システム。
前記推定部(17)は、抽出された前記動作情報に含まれる前記座標値に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記22に記載の動作分析システム。
前記基準動作情報は、複数の要素動作毎に定められており、
前記推定部(17)は、抽出された前記動作情報に含まれる前記座標値及び抽出された前記動作情報が示す前記要素動作に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記22又は23に記載の動作分析システム。
前記出力部(18)は、前記センシングデータのうち抽出された前記動作情報が示す動作を前記作業者が実行している場面と、前記基準動作情報が示す前記基準動作を前記作業者が実行している場面を含むセンシングデータと、を出力する、
付記16から24のいずれか一項に記載の動作分析システム。
前記出力部(18)は、抽出された前記動作情報を示すグラフと、前記センシングデータのうち抽出された前記動作情報が示す動作を前記作業者が実行している場面と、を出力する、
付記16から25のいずれか一項に記載の動作分析システム。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を取得する第1取得部(11)と、
前記作業者が実行する前記動作をセンシングしたセンシングデータを取得する第2取得部(12)と、
前記作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報を取得する第3取得部(13)と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部(15)と、
前記センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力する出力部(18)と、
を備える動作分析装置。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を取得することと、
前記作業者が実行する前記動作をセンシングしたセンシングデータを取得することと、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、
前記センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力することと、
を含む動作分析方法。
動作分析装置に備えられた演算装置を、
ある作業領域において実行された1以上の作業者の動作を示す動作情報を取得する第1取得部(11)、
前記作業者が実行する前記動作をセンシングしたセンシングデータを取得する第2取得部(12)、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第3取得部(13)、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部(15)、及び
前記センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力する出力部(18)、
として動作させる動作分析プログラム。
ある作業領域において実行された1以上の作業者の動作を示す動作情報を測定することと、
前記作業者が前記動作を実行している場面を含む動画を撮影することと、
前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す基準動作情報とを比較して、所定の条件を満たす動作情報が示す動作を前記作業者が実行している前記動画の場面を表示することと、
を含む動作分析方法。
Claims (14)
- ある作業領域の全体を撮影した第1動画を撮影する第1撮影部と、
前記第1動画に基づいて、前記作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を測定する測定部と、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第2動画として撮影する複数の第2撮影部と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、
前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を表示する表示部と、
を備える動作分析システム。 - 前記表示部は、前記第1動画及び前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している時間帯の場面をそれぞれ表示する、
請求項1に記載の動作分析システム。 - 抽出された前記動作情報が示す動作が実行された前記作業領域における位置を推定する推定部をさらに備え、
前記表示部は、前記第2動画のうち、推定された位置で撮影された前記第2動画を表示する、
請求項2に記載の動作分析システム。 - 前記基準動作情報は、複数の工程毎に定められており、
前記抽出部は、複数の工程毎に、前記動作情報と、前記基準動作情報とを比較して、前記所定の条件を満たす動作情報を抽出し、
前記表示部は、抽出された前記動作情報が示す工程を識別する情報を表示する、
請求項3に記載の動作分析システム。 - 前記推定部は、抽出された前記動作情報が示す工程に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
請求項4に記載の動作分析システム。 - 前記動作情報及び前記基準動作情報は、前記作業者の関節の座標値をそれぞれ含み、
前記抽出部は、前記動作情報に含まれる前記座標値と、前記基準動作情報に含まれる前記座標値とを比較して、前記所定の条件を満たす動作情報を抽出する、
請求項3に記載の動作分析システム。 - 前記推定部は、抽出された前記動作情報に含まれる前記座標値に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
請求項6に記載の動作分析システム。 - 前記基準動作情報は、複数の要素動作毎に定められており、
前記推定部は、抽出された前記動作情報に含まれる前記座標値及び抽出された前記動作情報が示す前記要素動作に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
請求項6又は7に記載の動作分析システム。 - 前記表示部は、前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面と、前記基準動作情報が示す前記基準動作を前記作業者が実行している場面を含む動画と、を表示する、
請求項1から8のいずれか一項に記載の動作分析システム。 - 前記表示部は、抽出された前記動作情報を示すグラフと、抽出された前記動作情報が示す動作を前記作業者が実行している前記第2動画の場面と、を表示する、
請求項1から9のいずれか一項に記載の動作分析システム。 - 前記表示部は、前記第2動画のうち抽出された前記動作情報が示す動作を前記作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示する、
請求項1から10のいずれか一項に記載の動作分析システム。 - ある作業領域の全体を撮影した第1動画に基づいて測定された、前記作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を取得する第1取得部と、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第2動画として取得する複数の第2取得部と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第3取得部と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、
前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を特定する特定部と、
を備える動作分析装置。 - ある作業領域の全体を撮影した第1動画に基づいて測定された、前記作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を取得することと、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第2動画として取得することと、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、
前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を特定することと、
を含む動作分析方法。 - 動作分析装置に備えられた演算装置を、
ある作業領域の全体を撮影した第1動画に基づいて測定された、作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を取得する第1取得部、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第2動画として取得する複数の第2取得部、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第3取得部、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部、及び
前記第2動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を特定する特定部、
として動作させるための動作分析プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003475A JP6951685B2 (ja) | 2018-01-12 | 2018-01-12 | 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム |
PCT/JP2018/047812 WO2019138877A1 (ja) | 2018-01-12 | 2018-12-26 | 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003475A JP6951685B2 (ja) | 2018-01-12 | 2018-01-12 | 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125023A JP2019125023A (ja) | 2019-07-25 |
JP6951685B2 true JP6951685B2 (ja) | 2021-10-20 |
Family
ID=67218589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018003475A Active JP6951685B2 (ja) | 2018-01-12 | 2018-01-12 | 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6951685B2 (ja) |
WO (1) | WO2019138877A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210225029A1 (en) * | 2018-05-16 | 2021-07-22 | Panasonic Intellectual Property Management Co., Ltd. | Work analyzing system and work analyzing method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7392312B2 (ja) * | 2019-07-29 | 2023-12-06 | コニカミノルタ株式会社 | 生産実績記録システムおよび生産実績記録プログラム |
JP7442066B2 (ja) | 2019-11-06 | 2024-03-04 | パナソニックIpマネジメント株式会社 | 作業表示方法、及び、作業表示装置 |
WO2023148970A1 (ja) * | 2022-02-07 | 2023-08-10 | 日本電気株式会社 | 管理装置、管理方法、およびコンピュータ可読媒体 |
JP2024021467A (ja) * | 2022-08-03 | 2024-02-16 | オムロン株式会社 | 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009020897A (ja) * | 2002-09-26 | 2009-01-29 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
JP2006277549A (ja) * | 2005-03-30 | 2006-10-12 | Toshiba Corp | 現場作業認証管理システム |
JP2009110239A (ja) * | 2007-10-30 | 2009-05-21 | Toshiba Corp | 作業動作分析システム及び作業動作分析方法 |
JP2016042332A (ja) * | 2014-08-19 | 2016-03-31 | 大日本印刷株式会社 | 作業動作検査システム |
US20180115749A1 (en) * | 2015-03-19 | 2018-04-26 | Nec Corporation | Surveillance system and surveillance method |
-
2018
- 2018-01-12 JP JP2018003475A patent/JP6951685B2/ja active Active
- 2018-12-26 WO PCT/JP2018/047812 patent/WO2019138877A1/ja active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210225029A1 (en) * | 2018-05-16 | 2021-07-22 | Panasonic Intellectual Property Management Co., Ltd. | Work analyzing system and work analyzing method |
US11842511B2 (en) * | 2018-05-16 | 2023-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Work analyzing system and work analyzing method |
Also Published As
Publication number | Publication date |
---|---|
JP2019125023A (ja) | 2019-07-25 |
WO2019138877A1 (ja) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6951685B2 (ja) | 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム | |
US11182599B2 (en) | Motion state evaluation system, motion state evaluation device, motion state evaluation server, motion state evaluation method, and motion state evaluation program | |
JP5528151B2 (ja) | 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム | |
US20230044842A1 (en) | Work analyzing device and work analyzing method | |
JP6369811B2 (ja) | 歩行解析システムおよび歩行解析プログラム | |
JP2012253483A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6008025B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US10783376B2 (en) | Information processing apparatus | |
US20230005161A1 (en) | Information processing apparatus and determination result output method | |
US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
CN111401340A (zh) | 目标对象的运动检测方法和装置 | |
JP2019159885A (ja) | 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム | |
JP5373128B2 (ja) | 人物特定装置、人物特定方法及び人物特定プログラム | |
JP7004218B2 (ja) | 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム | |
US11854214B2 (en) | Information processing apparatus specifying a relationship between a sensor and an object included in image data, and method and non-transitory computer-readable storage medium | |
JP2022516466A (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP2018180894A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN112602100B (zh) | 动作分析装置、动作分析方法、存储介质及动作分析系统 | |
JP7482471B2 (ja) | 学習モデルの生成方法 | |
WO2022190206A1 (ja) | 骨格認識方法、骨格認識プログラムおよび体操採点支援システム | |
JP2019197278A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
WO2023176163A1 (ja) | 作業支援装置、作業支援方法、及び作業支援プログラム | |
WO2024029411A1 (ja) | 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム | |
WO2022130610A1 (ja) | 身体能力評価サーバ、身体能力評価システム、及び身体能力評価方法 | |
JP2022189456A (ja) | 行動認識プログラム、行動認識方法および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6951685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |