JP7137150B2 - 動作分析装置、動作分析方法及び動作分析プログラム - Google Patents

動作分析装置、動作分析方法及び動作分析プログラム Download PDF

Info

Publication number
JP7137150B2
JP7137150B2 JP2019047584A JP2019047584A JP7137150B2 JP 7137150 B2 JP7137150 B2 JP 7137150B2 JP 2019047584 A JP2019047584 A JP 2019047584A JP 2019047584 A JP2019047584 A JP 2019047584A JP 7137150 B2 JP7137150 B2 JP 7137150B2
Authority
JP
Japan
Prior art keywords
motion
data
type
difference
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019047584A
Other languages
English (en)
Other versions
JP2020149492A (ja
Inventor
佑治 水野
洋貴 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019047584A priority Critical patent/JP7137150B2/ja
Priority to PCT/JP2020/010444 priority patent/WO2020184600A1/ja
Priority to CN202080004483.6A priority patent/CN112543942A/zh
Priority to EP20769352.4A priority patent/EP3940598A4/en
Publication of JP2020149492A publication Critical patent/JP2020149492A/ja
Application granted granted Critical
Publication of JP7137150B2 publication Critical patent/JP7137150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、動作分析装置、動作分析方法及び動作分析プログラムに関する。
従来、製品の製造ライン等で作業する作業者の動作をカメラで撮影したり、モーションキャプチャで動作を測定したりして、作業者の動作を分析する場合がある。
例えば、下記特許文献１には、模範者及び利用者の身体にセンサを取り付けて、模範者の動作に関するグラフと利用者の動作に関するグラフを比較することで、模範者の動作に対する利用者の動作の差異を検出する技能習得支援システムが記載されている。
また、下記特許文献２には、教師例となる理想的な動作を記録した記号列と、支援対象となる動作の記号列とを比較して差異を検出し、差異に対応する支援情報を出力する技能向上支援装置が記載されている。
さらに、下記非特許文献１には、バランスボードを用いて関節の曲げ角度を推定し、重量物を持ち上げる際の関節の曲げ角度が初心者と熟練者でどのように異なるか研究した結果が記載されている。
また、下記非特許文献２には、初心者の動作を表す時系列データ及び熟練者の動作を表す時系列データに対して拡張特異スペクトル変換を行い、動作変化点列を求めることで、初心者と熟練者の動作の差異を検出する研究の結果が記載されている。
特許第５７５７４８２号 特許第３７４７８００号
Soichiro Watanabe、外９名、"A difference of human posture between beginner and expert during lifting a heavy load", The 7th 2014 Biomedical Engineering International Conference 中西弘明、外３名、「動作教示を目的とした特異値分解を用いた動作解析法」、28th Fuzzy System Symposium (Nagoya, September 12-14, 2012)
上記の先行技術文献に記載された技術では、初心者の動作を示すデータ及び熟練者の動作を示すデータを対比して、その差異を識別している。そのため、先行技術文献に記載された分析を行うためには、初心者の動作を示すデータ及び熟練者の動作を示すデータ両方を予め収集し、その差異を識別する識別器を生成することとなる。
しかしながら、複数のタイプの動作者の動作を示すデータは、必ずしも十分な量収集できるとは限らず、特定のタイプの動作者の動作を示すデータが十分な量収集できたとしても、他のタイプの動作者の動作を示すデータが十分な量収集できない場合がある。
そこで、本発明は、特定のタイプの動作者の動作を示すデータを学習データとして用いて、他のタイプの動作者の動作状態を識別することができる動作分析装置、動作分析方法及び動作分析プログラムを提供する。
本開示の一態様に係る動作分析装置は、第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、第１動作データを再現する予測データを出力するように学習モデルを学習させる学習部と、第１タイプと異なる第２タイプの動作者により実行された所定の動作を示す第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データと、第２動作データとの差異を算出する算出部と、差異に基づいて特定される情報を出力する出力部と、を備える。
この態様によれば、第１タイプの動作者により実行された所定の動作を示す第１動作データを学習データとして用いて、第１動作データを再現する予測データを出力するように学習モデルを学習させることで、第２タイプの動作者により実行された所定の動作を示す第２動作データが比較的少なくても、学習モデルによって特定のタイプの動作者の動作状態を識別することができる。
上記態様において、出力部は、差異が所定の期間以上継続して閾値より大きい第２動作データの区間を出力してもよい。
この態様によれば、第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データが継続的に第２動作データと乖離する区間を出力することで、ノイズの影響を低減して第２タイプの動作者に特有の動作状態を識別することができる。
上記態様において、出力部は、差異が所定の期間以上継続して閾値より小さい第２動作データの区間を出力してもよい。
この態様によれば、第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データが継続的に第２動作データから乖離しない区間を出力することで、ノイズの影響を低減して第１タイプの動作者及び第２タイプの動作者に共通の動作状態を識別することができる。
上記態様において、出力部は、第２動作データのうち、区間に対応する部分を出力してもよい。
この態様によれば、出力された区間に対応する動作者の動作を容易に確認することができるようになり、動作の解析をより円滑に行うことができる。
上記態様において、算出部は、第１動作データに関する予測データと、第１動作データとの差の二乗により差異データを算出し、差異データの平均及び標準偏差に基づいて、閾値を算出してもよい。
この態様によれば、差異データの平均及び標準偏差に基づいて閾値を算出することで、適切な閾値を設定することができ、区間の抽出をより高精度に行うことができる。
上記態様において、学習モデルは、ニューラルネットワークをエンコーダ及びデコーダに用いたオートエンコーダを含んでもよい。
この態様によれば、第１動作データに含まれる複数のパターンをニューラルネットワークによってエンコードして、得られた特徴量をデコードして第１動作データを再現するオートエンコーダを生成することができる。
上記態様において、第２タイプの動作者は、第１タイプの動作者と異なる人物であり、第２タイプの動作者は、第１タイプの動作者と比較して、所定の動作の熟練度、年齢、身体的特徴及び性別の少なくともいずれかが異なってもよい。
この態様によれば、所定の動作の熟練度、年齢、身体的特徴及び性別の少なくともいずれかが第１タイプの動作者と異なる第２タイプの動作者について、第２タイプの動作者に特有の動作状態を識別することができる。
上記態様において、第２タイプの動作者は、第１タイプの動作者と同一の人物であり、第２動作データは、第１動作データと異なる時に測定されていてもよい。
この態様によれば、ある動作者により実行された所定の動作を示す第１動作データを蓄積して学習モデルを生成し、時間の経過とともにその動作者の動作がどのように変化しているかを識別することができる。
本開示の他の態様に係る動作分析方法は、第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、第１動作データを再現する予測データを出力するように学習モデルを学習させることと、第１タイプと異なる第２タイプの動作者により実行された所定の動作を示す第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データと、第２動作データとの差異を算出することと、差異に基づいて特定される情報を出力することと、を含む。
本開示の他の態様に係る動作分析プログラムは、１又は複数のコンピュータに、第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、第１動作データを再現する予測データを出力するように学習モデルを学習させることと、第１タイプと異なる第２タイプの動作者により実行された所定の動作を示す第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データと、第２動作データとの差異を算出することと、差異に基づいて特定される情報を出力することと、を実行させる。
本発明によれば、特定のタイプの動作者の動作を示すデータを学習データとして用いて、他のタイプの動作者の動作状態を識別することができる動作分析装置、動作分析方法及び動作分析プログラムを提供することができる。
本発明の実施形態に係る動作分析システムの概要を示す図である。 本実施形態に係る動作分析システムの機能ブロックを示す図である。 本実施形態に係る動作分析装置の物理的構成を示す図である。 本実施形態に係る動作分析装置により分析される初心者及び熟練者の動作の種類をまとめた表である。 本実施形態に係る動作分析装置の学習モデルの一例を示す図である。 本実施形態に係る動作分析装置の学習モデルの学習に用いられる第１動作データ及び第１予測データの一例を示す図である。 本実施形態に係る動作分析装置の学習モデルの学習に用いられる第１差異データの一例を示す図である。 本実施形態に係る動作分析装置により分析される第２動作データ及び第２予測データの一例を示す図である。 本実施形態に係る動作分析装置により分析される第２差異データの一例を示す図である。 本実施形態に係る動作分析装置により分析される第２差異データのうち一部を拡大して示した図である。 本実施形態に係る動作分析システムにより実行される動作分析処理のフローチャートである。
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作分析システム１００は、ある作業領域Ｒにおいて実行される作業者の動作を示す動画を撮影する第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃを備える。本例の作業領域Ｒは、製造ライン全体を含む領域であるが、作業領域Ｒは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包といった動作を含む。本実施形態では、作業領域Ｒにおいて３つの工程が行われ、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ所定の工程を実行する作業者の手元の動画を撮影するものであってよい。
本例では、第１作業者Ａ１及び第２作業者Ａ２が、作業領域Ｒにおいて、予め定められた動作を行う場合について説明する。第１作業者Ａ１は、例えば第１部品のピッキング、配置、固定といった動作を実行し、第２作業者Ａ２は、例えば第２部品のピッキング、配置、固定といった動作を実行することができる。以下では、第１作業者Ａ１及び第２作業者Ａ２を総称して作業者Ａと記載する。
動作分析システム１００は、動作分析装置１０を含む。動作分析装置１０は、第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、第１動作データを再現する予測データを出力するように学習モデルを学習させる。ここで、動作データは、動作者により実行された所定の動作を示す任意のデータである。例えば、動作者が作業者Ａである場合、動作データは、作業者Ａの動作を示す動画であったり、動画を解析して得られる座標値であったりしてよい。もっとも、動作データは、モーションキャプチャにより測定された動作者の動作を示す座標値であったり、加速度センサやジャイロセンサを動作者に装着させることで測定される動作者の動作を示すデータであったりしてもよい。
動作分析装置１０は、第１タイプと異なる第２タイプの動作者により実行された所定の動作を示す第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データと、第２動作データとの差異を算出する。ここで、学習モデルは、第１動作データを再現するように学習されているため、第１動作データに含まれない特徴が第２動作データに含まれる場合、学習モデルから出力される予測データは、その部分の第２動作データを精度良く再現することができず、予測データと第２動作データの間に差異が生じると考えられる。
表示部１０ｆは、予測データと、第２動作データとの差異に基づいて特定される情報を表示する。表示部１０ｆは、例えば、第２タイプの動作者に特有の動作が行われている区間を表示したり、第１タイプの動作者と第２タイプの動作者に共通した動作が行われている区間を表示したりしてよい。
このように、本実施形態に係る動作分析装置１０によれば、第１タイプの動作者により実行された所定の動作を示す第１動作データを学習データとして用いて、第１動作データを再現する予測データを出力するように学習モデルを学習させることで、第２タイプの動作者により実行された所定の動作を示す第２動作データが比較的少なくても、学習モデルによって特定のタイプの動作者の動作状態を識別することができる。
§２ 構成例
［機能構成］
次に、図２を用いて、本実施形態に係る動作分析システム１００の機能構成の一例を説明する。動作分析システム１００は、第１撮影部２０ａ、第２撮影部２０ｂ、第３撮影部２０ｃ及び動作分析装置１０を備える。そして、動作分析装置１０は、取得部１１、解析部１２、記憶部１３、学習部１４、算出部１５、出力部１６及び表示部１０ｆを備える。
＜撮影部＞
第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ汎用のカメラによって構成されてよく、作業領域Ｒにおいて第１作業者Ａ１及び第２作業者Ａ２が動作を実行している場面を含む動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ作業領域Ｒの一部を撮影してよく、作業領域Ｒよりも狭い領域の動画を撮影してよい。具体的には、第１作業者Ａ１及び第２作業者Ａ２により実行される動作をクローズアップした動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、例えば、第１作業者Ａ１及び第２作業者Ａ２の手元をクローズアップした動画を撮影してよい。
また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒの複数の部分をそれぞれ撮影した複数の動画を撮影してよい。例えば、第１撮影部２０ａは、主に第１作業者Ａ１が動作を実行している動画を撮影し、第３撮影部２０ｃは、主に第２作業者Ａ２が動作を実行している動画を撮影し、第２撮影部２０ｂは、第１作業者Ａ１が動作を実行している動画及び第２作業者Ａ２が動作を実行している動画の両方を撮影してよい。また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒにおける複数の位置でそれぞれ異なる工程が実行される動画を撮影してよい。
＜取得部＞
取得部１１は、作業者Ａにより実行された所定の動作を示す動作データを取得する。ここで、動作データは、動作者により実行された所定の動作を示す任意のデータである。例えば、動作者が作業者Ａである場合、動作データは、作業者Ａの動作を示す動画であったり、動画を解析して得られる座標値であったりしてよい。もっとも、動作データは、モーションキャプチャにより測定された動作者の動作を示す座標値であったり、加速度センサやジャイロセンサを動作者に装着させることで測定される動作者の動作を示すデータであったりしてもよい。取得部１１により取得された動画は、記憶部１３に伝送され、動画履歴１３ａとして記憶される。
取得部１１は、作業者Ａが所定の動作を行った場合に記録された、作業者Ａの複数の部位の動作を示す複数の動作データを取得してもよい。作業者Ａの複数の部位は、例えば、頭、両目、両肩、両肘、両手首、両手の各指関節、腰、両膝及び両足首等であってよい。また、取得部１１は、作業者Ａが所定の動作を行った場合に記録された、作業者Ａの左右の部位の動作を示す複数の動作データを取得してよい。作業者Ａの左右の部位は、両目、両肩、両肘、両手首、両手の各指関節、両膝及び両足首等であってよい。
本実施形態では、作業者Ａが所定により実行された所定の動作を示す動作データを取得する場合について説明するが、取得部１１は、スポーツを行う動作者により実行された所定の動作を示す動作データを取得したり、技芸を行う動作者により実行された所定の動作を示す動作データを取得したり、日常動作を行う動作者により実行された所定の動作を示す動作データを取得したりしてもよい。
＜解析部＞
解析部１２は、作業者Ａにより実行された所定の動作を示す動画を解析し、作業者Ａの動作を示す座標値を含む動作データを算出する。動作データは、作業者Ａの身体の代表的な位置の変位を示すデータであってよい。作業者の身体の代表的な位置は、身体の１つの位置であってもよいが、典型的には複数あってよい。動作データは、作業者Ａの関節の位置を骨格モデルによって示すデータであってよい。解析部１２は、例えば、Zhe Cao、外３名、"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1611.08050, 2016により開示された技術を用いて、動画から作業者Ａの動作を示す座標値を含む動作データを算出してよい。なお、加速度センサやジャイロセンサを作業者Ａに装着させて作業者Ａの動作を示す動作データを測定する場合、解析部１２によって動画から作業者Ａの動作を示す座標値を含む動作データを算出する処理は不要となる。
＜記憶部＞
記憶部１３は、動画履歴１３ａ、第１動作データ履歴１３ｂ及び学習モデル１３ｃを記憶する。動画履歴１３ａは、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃにより撮影された動画の履歴を含む。第１動作データ履歴１３ｂは、解析部１２により算出された動作データの履歴を含み、第１タイプの動作者により実行された所定の動作を示す第１動作データの履歴を含む。ここで、第１動作データ履歴１３ｂは、動作者のタイプ毎に記憶されてもよい。動作者のタイプとは、動作者の特徴を表す分類であり、例えば、作業に関する熟練者と初心者であったり、右利きと左利きであったり、男性と女性であったり、体格に関して大柄と小柄であったり、若年と中年であったり、動作データを測定した時期の違いであったりしてよい。学習モデル１３ｃは、動作データを入力として受け付けて、入力された動作データを再現する予測データを出力する。学習モデル１３ｃの構成の一例は、図５を用いて説明する。
＜学習部＞
学習部１４は、第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、第１動作データを再現する予測データを出力するように学習モデル１３ｃを学習させる。ここで、学習モデル１３ｃに入力する第１動作データは、第１動作データ履歴１３ｂから選択されてよい。
＜算出部＞
算出部１５は、第１タイプと異なる第２タイプの動作者により実行された所定の動作を示す第２動作データを学習モデル１３ｃに入力した場合に学習モデル１３ｃから出力される予測データと、第２動作データとの差異を算出する。学習モデル１３ｃは、第１動作データを再現するように学習されたモデルであるから、第２動作データが第１動作データと異なる特徴を含む場合、その部分について予測データは第２動作データから乖離すると考えられる。
＜出力部＞
出力部１６は、算出部１５により算出された予測データと第２動作データとの差異に基づいて特定される情報を出力する。出力部１６は、例えば、予測データと第２動作データとの差異が所定の期間以上継続して閾値より大きい第２動作データの区間を出力してよい。第２動作データを学習モデル１３ｃに入力した場合に学習モデル１３ｃから出力される予測データが継続的に第２動作データと乖離する区間を出力することで、ノイズの影響を低減して第２タイプの動作者に特有の動作状態を識別することができる。
また、出力部１６は、予測データと第２動作データとの差異が所定の期間以上継続して閾値より小さい第２動作データの区間を出力してもよい。第２動作データを学習モデルに入力した場合に学習モデルから出力される予測データが継続的に第２動作データから乖離しない区間を出力することで、ノイズの影響を低減して第１タイプの動作者及び第２タイプの動作者に共通の動作状態を識別することができる。
出力部１６は、予測データと第２動作データとの差異が所定の期間以上継続して閾値より小さい区間を出力したり、予測データと第２動作データとの差異が所定の期間以上継続して閾値より小さい区間に対応する第２動作データの部分を出力したりしてよい。特に、出力部１６は、動画履歴１３ａのうち、上記区間に対応する動画を出力してよい。これにより、出力された区間に対応する動作者の動作を容易に確認することができるようになり、動作の解析をより円滑に行うことができる。
第２タイプの動作者は、第１タイプの動作者と異なる人物であってよく、第２タイプの動作者は、第１タイプの動作者と比較して、所定の動作の熟練度、年齢、身体的特徴及び性別の少なくともいずれかが異なってよい。例えば、第２タイプの動作者は、所定の動作の熟練者であり、第１タイプの動作者は、所定の動作の初心者であったり、その逆であったりしてよい。また、例えば、第２タイプの動作者は、身長、体重、腕の長さ、痩せ型であるか又は肥満体型であるかといった身体的特徴が、第１タイプの動作者と異なる者であってよい。本実施形態に係る動作分析装置１０によって、所定の動作の熟練度、年齢、身体的特徴及び性別の少なくともいずれかが第１タイプの動作者と異なる第２タイプの動作者について、第２タイプの動作者に特有の動作状態を識別することができる。
また、第２タイプの動作者は、第１タイプの動作者と同一の人物であってもよく、第２動作データは、第１動作データと異なる時に測定されていてよい。例えば、第２動作データは、ある動作者が所定の動作を行う場合に直近に測定された動作データであり、第１動作データは、同一の動作者が所定の動作を行った場合に過去に測定された動作データであってよい。これにより、ある動作者により実行された所定の動作を示す第１動作データを蓄積して学習モデル１３ｃを生成し、時間の経過とともにその動作者の動作がどのように変化しているかを識別することができる。例えば、同一の動作者について、所定の動作を行う調子のばらつきを測定することができる。
［ハードウェア構成］
次に、図３を用いて、本実施形態に係る動作分析装置１０のハードウェア構成の一例を説明する。動作分析装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１３に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部１３に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置１０が一台のコンピュータで構成される場合について説明するが、動作分析装置１０は、複数のコンピュータを用いて実現されてもよい。
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、第１タイプの動作者により実行された所定の動作を示す第１動作データに対して、第２タイプの動作者により実行された所定の動作を示す第２動作データに特有の部分を抽出するプログラム（動作分析プログラム）を実行する演算装置である。なお、動作分析装置１０を複数のコンピュータで構成する場合、例えば、学習モデルを学習させることをクラウド上のコンピュータで実行し、第２動作データと予測データの差異を算出し、差異に基づいて特定される情報を出力することをローカルコンピュータで実行することとしてもよい。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
ＲＡＭ１０ｂは、記憶部１３のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する動作分析プログラムや、動画履歴１３ａ、第１動作データ履歴１３ｂ及び学習モデル１３ｃといったデータを記憶する。
ＲＯＭ１０ｃは、記憶部１３のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば動作分析プログラムや、書き換えが行われないデータを記憶する。
通信部１０ｄは、動作分析装置１０を外部機器に接続するインターフェースである。通信部１０ｄは、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃと例えばＬＡＮ（Local Area Network）により接続されて、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃから動画を受信してよい。また、通信部１０ｄは、インターネットに接続されて、インターネットを介して動画を受信したり、動作データを受信したりしてもよい。
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。
動作分析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。動作分析装置１０では、ＣＰＵ１０ａが動作分析プログラムを実行することにより、図２を用いて説明した取得部１１、解析部１２、学習部１４、算出部１５及び出力部１６の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作分析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
§３ 動作例
図４は、本実施形態に係る動作分析装置１０により分析される初心者及び熟練者の動作の種類をまとめた表である。同図では、初心者及び熟練者の動作が、「初心者に特有の動作」、「ベース動作」及び「熟練者に特有の動作」のいずれを含むかを示している。
本発明の発明者らは、初心者の動作は、「初心者に特有の動作」及び「ベース動作」によって構成されており、熟練者の動作は、「ベース動作」及び「熟練者に特有の動作」によって構成されていると考えた。初心者及び熟練者の動作は、「ベース動作」について共通しているが、初心者は、「初心者に特有の動作」を行っているために非効率であったり不安定であったりすると想定される。一方、熟練者は、「ベース動作」を行う点では初心者と変わりがないが、「初心者に特有の動作」を行っておらず（又はほとんど行っておらず）、「熟練者に特有の動作」を行っており、そのために効率的で安定した動作が実現されていると想定される。
本実施形態に係る動作分析装置１０は、第１タイプの動作者を初心者とすることで、「初心者に特有の動作」及び「ベース動作」を再現するように学習モデル１３ｃを生成する。そして、第２タイプの動作者を熟練者として、第２動作データを学習モデル１３ｃに入力して、予測データと第２動作データとの間に差異が生じている区間を特定することで、「熟練者に特有の動作」が実行されている区間を特定することができる。また、第２タイプの動作者を熟練者として、第２動作データを学習モデル１３ｃに入力して、予測データと第２動作データとの間に差異が生じていない区間を特定することで、「ベース動作」が実行されている区間を特定することができる。
また、本実施形態に係る動作分析装置１０は、第１タイプの動作者を熟練者とすることで、「ベース動作」及び「熟練者に特有の動作」を再現するように学習モデル１３ｃを生成することもできる。そして、第２タイプの動作者を初心者として、第２動作データを学習モデル１３ｃに入力して、予測データと第２動作データとの間に差異が生じている区間を特定することで、「初心者に特有の動作」が実行されている区間を特定することができる。また、第２タイプの動作者を初心者として、第２動作データを学習モデル１３ｃに入力して、予測データと第２動作データとの間に差異が生じていない区間を特定することで、「ベース動作」が実行されている区間を特定することができる。
図５は、本実施形態に係る動作分析装置１０の学習モデルの一例を示す図である。本例の学習モデルは、畳み込みニューラルネットワークをエンコーダＥＮ及びデコーダＤＥに用いたオートエンコーダを含む。なお、以下に説明する具体的数値は例示であり、適宜変更されてよい。
学習モデルは、動作データＤを入力として受け付ける。動作データＤは、例えば、１００Ｈｚでサンプリングした４０秒分（４０００サンプル）の右手及び左手のＸ座標値、Ｙ座標値及びＺ座標値（６つ）のデータであってよい。本例の場合、動作データＤの次元は、４０００×６である。
エンコーダＥＮは、１次元ＣＮＮ（Convolutional Neural Network）により構成されてよい。エンコーダＥＮは、２５６のフィルターを含む第１畳み込み層（Conv1D 4000*6*256）と、第１プーリング層（pooling 2000*6*256）と、１２８のフィルターを含む第２畳み込み層（Conv1D 2000*6*128）と、第２プーリング層（pooling 1000*6*128）と、６４のフィルターを含む第３畳み込み層（Conv1D 1000*6*64）と、第３プーリング層（pooling 500*6*64）と、を含む。エンコーダＥＮによって、４０００×６次元の動作データＤは、５００×６×６４次元の特徴量Ｆに変換される。
デコーダＤＥは、１次元ＣＮＮにより構成されてよい。デコーダＤＥは、６４のフィルターを含む第１（逆）畳み込み層（Conv1D 500*6*64）と、第１アップサンプリング層（Upsampling 1000*6*64）と、１２８のフィルターを含む第２（逆）畳み込み層（Conv1D 1000*6*128）と、第２アップサンプリング層（Upsampling 2000*6*128）と、２５６のフィルターを含む第３（逆）畳み込み層（Conv1D 2000*6*256）と、第３アップサンプリング層（Upsampling 4000*6*256）と、１つのフィルターを含む第４（逆）畳み込み層（Conv1D 4000*6*1）を含む。デコーダＤＥによって、５００×６×６４次元の特徴量Ｆは、４０００×６次元の予測データＰに変換される。
学習部１４は、予測データＰと動作データＤとの差異に基づいて、デコーダＤＥ及びエンコーダＥＮの重み係数を誤差逆伝播法によって更新し、予測データＰと動作データＤとの差異がゼロとなるように学習モデルを生成してよい。
このようにして、第１動作データに含まれる複数のパターンを畳み込みニューラルネットワークによってエンコードして、得られた特徴量をデコードして第１動作データを再現するオートエンコーダを生成することができる。
なお、学習モデルは、ＣＮＮ以外のモデルであってもよい。学習モデルは、例えば、ＬＳＴＭ（Long Short Term Memory）等の再帰型ニューラルネットワークや他の構造のニューラルネットワークを含んでもよい。また、学習モデルは、オートエンコーダ以外のモデルであってもよい。学習モデルは、例えば、自己回帰モデルを含んでもよい。
図６は、本実施形態に係る動作分析装置１０の学習モデルの学習に用いられる第１動作データＤ１及び第１予測データＰ１の一例を示す図である。同図では、横軸に時間を示し、縦軸に動作データ又は予測データの値を示して、第１動作データＤ１を実線で示し、第１予測データＰ１を破線で示している。なお、第１予測データＰ１は、第１動作データＤ１にほぼ一致しており、第１動作データＤ１に隠れてほとんど見えていない。
図７は、本実施形態に係る動作分析装置１０の学習モデルの学習に用いられる第１差異データＤｉｆｆ１の一例を示す図である。第１差異データＤｉｆｆ１は、第１動作データＤ１と、第１予測データＰ１との差の二乗により算出される。同図では、横軸に時間を示し、縦軸に差異データの値を示している。
算出部１５は、第１動作データＤ１と、第１予測データＰ１との差の二乗により第１差異データＤｉｆｆ１を算出し、第１差異データＤｉｆｆ１の平均及び標準偏差に基づいて、閾値Ｔｈを算出してよい。算出部１５は、例えば、第１差異データＤｉｆｆ１の平均に標準偏差のＮ倍（Ｎは任意の自然数）を足して閾値Ｔｈとしてよい。学習モデルは、第１差異データＤｉｆｆ１がゼロに近付くように生成され、本例に示すように、第１差異データＤｉｆｆ１が所定の期間以上継続して閾値Ｔｈより大きい区間は存在しない。なお、ノイズの影響によって、第１差異データＤｉｆｆ１が突発的に閾値Ｔｈより大きくなる瞬間が存在する。
図８は、本実施形態に係る動作分析装置１０により分析される第２動作データＤ２及び第２予測データＰ２の一例を示す図である。同図では、横軸に時間を示し、縦軸に動作データ又は予測データの値を示して、第２動作データＤ２を実線で示し、第２予測データＰ２を破線で示している。なお、第２予測データＰ２は、第２動作データＤ２にほぼ一致しており、第２動作データＤ２に隠れてほとんど見えていないが、特に区間Ｔにおいて第２動作データＤ２から乖離している。
図９は、本実施形態に係る動作分析装置１０により分析される第２差異データＤｉｆｆ２の一例を示す図である。第２差異データＤｉｆｆ２は、第２動作データＤ２と、第２予測データＰ２との差の二乗により算出される。同図では、横軸に時間を示し、縦軸に差異データの値を示している。閾値Ｔｈは、第１差異データＤｉｆｆ１の平均及び標準偏差に基づいて算出された値である。
学習モデルは、第１差異データＤｉｆｆ１がゼロに近付くように生成されているため、本例に示すように、第２予測データＰ２が第２動作データＤ２から乖離して、第２差異データＤｉｆｆ２が所定の期間以上継続して閾値Ｔｈより大きい区間Ｔが生じることがある。
図１０は、本実施形態に係る動作分析装置１０により分析される第２差異データＤｉｆｆ２のうち一部を拡大して示した図である。同図では、横軸に区間Ｔを含む時間を示し、縦軸に差異データの値を示している。
出力部１６は、第２差異データＤｉｆｆ２が所定の期間以上継続して閾値Ｔｈより大きい第２動作データＤ２の区間Ｔを出力してよい。このように、第２差異データＤｉｆｆ２が突発的に閾値Ｔｈより大きい瞬間は抽出対象から除外し、第２差異データＤｉｆｆ２が継続的に閾値Ｔｈより大きい区間Ｔを抽出することで、ノイズの影響を低減して第２タイプの動作者に特有の動作状態を識別することができる。
また、本実施形態に係る動作分析装置１０は、第１差異データＤｉｆｆ１の平均及び標準偏差に基づいて閾値を算出することで、適切な閾値Ｔｈを設定することができ、区間の抽出をより高精度に行うことができる。
図１１は、本実施形態に係る動作分析システム１００により実行される動作分析処理のフローチャートである。はじめに、動作分析システム１００は、第１タイプの動作者により実行された所定の動作を示す第１動作データを測定し、蓄積する（Ｓ１０）。
第１動作データが所定量以上蓄積した後、動作分析システム１００は、第１動作データを入力として、第１動作データを再現する予測データを出力するように学習モデルを学習する（Ｓ１１）。
その後、動作分析システム１００は、第１動作データを学習モデルに入力し、予測データを算出し（Ｓ１２）、予測データと、第１動作データとの差の二乗により差異データを算出する（Ｓ１３）。また、動作分析システム１００は、差異データの平均及び標準偏差に基づいて、閾値を算出する（Ｓ１４）。
次に、動作分析システム１００は、第２タイプの動作者により実行された所定の動作を示す第２動作データを測定する（Ｓ１５）。そして、動作分析システム１００は、第２動作データを学習モデルに入力し、予測データを算出する（Ｓ１６）。また、動作分析システム１００は、予測データと、第２動作データとの差の二乗により差異データを算出する（Ｓ１７）。
その後、第２タイプの動作者に特有の動作を抽出する場合（Ｓ１８：ＹＥＳ）、動作分析システム１００は、予測データと、第２動作データとの差異が所定の期間以上継続して閾値より大きい区間を出力する（Ｓ１９）。一方、第２タイプの動作者に特有の動作を抽出しない場合（Ｓ１８：ＮＯ）、すなわち第１タイプの動作者と第２タイプの動作者に共通の動作を抽出する場合、動作分析システム１００は、予測データと、第２動作データとの差異が所定の期間以上継続して閾値より小さい区間を出力する（Ｓ２０）。
最後に、動作分析システム１００は、第２タイプの動作者を撮影した動画のうち、出力された区間に対応する部分を出力する（Ｓ２１）。以上により、動作分析処理が終了する。
本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
［付記１］
第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、前記第１動作データを再現する予測データを出力するように学習モデルを学習させる学習部（１４）と、
前記第１タイプと異なる第２タイプの動作者により実行された前記所定の動作を示す第２動作データを前記学習モデルに入力した場合に前記学習モデルから出力される前記予測データと、前記第２動作データとの差異を算出する算出部（１５）と、
前記差異に基づいて特定される情報を出力する出力部（１６）と、
を備える動作分析装置（１０）。
［付記２］
前記出力部（１６）は、前記差異が所定の期間以上継続して閾値より大きい前記第２動作データの区間を出力する、
付記１に記載の動作分析装置（１０）。
［付記３］
前記出力部（１６）は、前記差異が所定の期間以上継続して閾値より小さい前記第２動作データの区間を出力する、
付記１に記載の動作分析装置（１０）。
［付記４］
前記出力部（１６）は、前記第２動作データのうち、前記区間に対応する部分を出力する、
付記２又は３に記載の動作分析装置（１０）。
［付記５］
前記算出部（１５）は、前記第１動作データに関する前記予測データと、前記第１動作データとの差の二乗により差異データを算出し、前記差異データの平均及び標準偏差に基づいて、前記閾値を算出する、
付記２から４のいずれか一項に記載の動作分析装置（１０）。
［付記６］
前記学習モデルは、ニューラルネットワークをエンコーダ及びデコーダに用いたオートエンコーダを含む、
付記１から５のいずれか一項に記載の動作分析装置（１０）。
［付記７］
前記第２タイプの動作者は、前記第１タイプの動作者と異なる人物であり、
前記第２タイプの動作者は、前記第１タイプの動作者と比較して、前記所定の動作の熟練度、年齢、身体的特徴及び性別の少なくともいずれかが異なる、
付記１から６のいずれか一項に記載の動作分析装置（１０）。
［付記８］
前記第２タイプの動作者は、前記第１タイプの動作者と同一の人物であり、
前記第２動作データは、前記第１動作データと異なる時に測定されている、
付記１から６のいずれか一項に記載の動作分析装置（１０）。
［付記９］
第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、前記第１動作データを再現する予測データを出力するように学習モデルを学習させることと、
前記第１タイプと異なる第２タイプの動作者により実行された前記所定の動作を示す第２動作データを前記学習モデルに入力した場合に前記学習モデルから出力される前記予測データと、前記第２動作データとの差異を算出することと、
前記差異に基づいて特定される情報を出力することと、
を含む動作分析方法。
［付記１０］
１又は複数のコンピュータに、
第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、前記第１動作データを再現する予測データを出力するように学習モデルを学習させることと、
前記第１タイプと異なる第２タイプの動作者により実行された前記所定の動作を示す第２動作データを前記学習モデルに入力した場合に前記学習モデルから出力される前記予測データと、前記第２動作データとの差異を算出することと、
前記差異に基づいて特定される情報を出力することと、
を実行させる動作分析プログラム。
１０…動作分析装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０ｇ…動作分析装置、１１…取得部、１２…解析部、１３…記憶部、１３ａ…動画履歴、１３ｂ…第１動作データ履歴、１３ｃ…学習モデル、１４…学習部、１５…算出部、１６…出力部、２０ａ…第１撮影部、２０ｂ…第２撮影部、２０ｃ…第３撮影部、１００…動作分析システム、Ａ…初心者特有の動作、Ｂ…ベース動作、Ｃ…熟練者特有の動作、Ｄ…動作データ、ＥＮ…エンコーダ、Ｆ…特徴量、ＤＥ…デコーダ、Ｐ…予測データ、Ｄ１…第１動作データ、Ｐ１…第１予測データ、Ｄｉｆｆ１…第１差異データ、Ｔｈ…閾値、Ｄ２…第２動作データ、Ｐ２…第２予測データ、Ｄｉｆｆ２…第２差異データ、Ｔ…区間、Ｒ…作業領域

Claims (9)

  1. 第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、前記第１動作データを再現する予測データを出力するように学習モデルを学習させる学習部と、
    前記第１タイプと異なる第２タイプの動作者により実行された前記所定の動作を示す第２動作データを前記学習モデルに入力した場合に前記学習モデルから出力される前記予測データと、前記第２動作データとの差異を算出する算出部と、
    前記差異に基づいて特定される情報を出力する出力部と、
    を備え、
    前記出力部は、前記差異が所定の期間以上継続して閾値より大きい前記第２動作データの区間を出力する、
    動作分析装置。
  2. 前記出力部は、前記差異が所定の期間以上継続して前記閾値より小さい前記第２動作データの区間をさらに出力する、
    請求項１に記載の動作分析装置。
  3. 前記出力部は、前記第２動作データのうち、前記区間に対応する部分を出力する、
    請求項１又は２に記載の動作分析装置。
  4. 前記算出部は、前記第１動作データに関する前記予測データと、前記第１動作データとの差の二乗により差異データを算出し、前記差異データの平均及び標準偏差に基づいて、前記閾値を算出する、
    請求項１から３のいずれか一項に記載の動作分析装置。
  5. 前記学習モデルは、ニューラルネットワークをエンコーダ及びデコーダに用いたオートエンコーダを含む、
    請求項１から４のいずれか一項に記載の動作分析装置。
  6. 前記第２タイプの動作者は、前記第１タイプの動作者と異なる人物であり、
    前記第２タイプの動作者は、前記第１タイプの動作者と比較して、前記所定の動作の熟練度、年齢、身体的特徴及び性別の少なくともいずれかが異なる、
    請求項１から５のいずれか一項に記載の動作分析装置。
  7. 前記第２タイプの動作者は、前記第１タイプの動作者と同一の人物であり、
    前記第２動作データは、前記第１動作データと異なる時に測定されている、
    請求項１から５のいずれか一項に記載の動作分析装置。
  8. 第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、前記第１動作データを再現する予測データを出力するように学習モデルを学習させることと、
    前記第１タイプと異なる第２タイプの動作者により実行された前記所定の動作を示す第２動作データを前記学習モデルに入力した場合に前記学習モデルから出力される前記予測データと、前記第２動作データとの差異を算出することと、
    前記差異に基づいて特定される情報を出力することと、
    を含み、
    前記出力することは、前記差異が所定の期間以上継続して閾値より大きい前記第２動作データの区間を出力する、
    動作分析方法。
  9. １又は複数のコンピュータに、
    第１タイプの動作者により実行された所定の動作を示す第１動作データを入力として、前記第１動作データを再現する予測データを出力するように学習モデルを学習させることと、
    前記第１タイプと異なる第２タイプの動作者により実行された前記所定の動作を示す第２動作データを前記学習モデルに入力した場合に前記学習モデルから出力される前記予測データと、前記第２動作データとの差異を算出することと、
    前記差異に基づいて特定される情報を出力することと、
    を実行させ、
    前記出力することは、前記差異が所定の期間以上継続して閾値より大きい前記第２動作データの区間を出力する、
    動作分析プログラム。
JP2019047584A 2019-03-14 2019-03-14 動作分析装置、動作分析方法及び動作分析プログラム Active JP7137150B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019047584A JP7137150B2 (ja) 2019-03-14 2019-03-14 動作分析装置、動作分析方法及び動作分析プログラム
PCT/JP2020/010444 WO2020184600A1 (ja) 2019-03-14 2020-03-11 動作分析装置、動作分析方法及び動作分析プログラム
CN202080004483.6A CN112543942A (zh) 2019-03-14 2020-03-11 动作分析装置、动作分析方法及动作分析程序
EP20769352.4A EP3940598A4 (en) 2019-03-14 2020-03-11 MOTION ANALYSIS DEVICE, MOTION ANALYSIS METHOD AND MOTION ANALYSIS PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019047584A JP7137150B2 (ja) 2019-03-14 2019-03-14 動作分析装置、動作分析方法及び動作分析プログラム

Publications (2)

Publication Number Publication Date
JP2020149492A JP2020149492A (ja) 2020-09-17
JP7137150B2 true JP7137150B2 (ja) 2022-09-14

Family

ID=72426079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019047584A Active JP7137150B2 (ja) 2019-03-14 2019-03-14 動作分析装置、動作分析方法及び動作分析プログラム

Country Status (4)

Country Link
EP (1) EP3940598A4 (ja)
JP (1) JP7137150B2 (ja)
CN (1) CN112543942A (ja)
WO (1) WO2020184600A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210187A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2024080086A1 (ja) * 2022-10-11 2024-04-18 ソフトバンクグループ株式会社 Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302122A (ja) 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
US20190065949A1 (en) 2017-08-25 2019-02-28 Kabushiki Kaisha Toshiba Detection system and detection method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS497800B1 (ja) 1969-02-13 1974-02-22
GB1411063A (en) 1973-02-14 1975-10-22 Ciba Geigy Uk Ltd Polymerisation process
JP3747800B2 (ja) * 2001-05-10 2006-02-22 日本電気株式会社 技能向上支援装置
JP5455787B2 (ja) * 2010-05-27 2014-03-26 パナソニック株式会社 動作解析装置および動作解析方法
JP5757482B2 (ja) * 2011-10-21 2015-07-29 トヨタ自動車東日本株式会社 技能習得支援システム及び技能習得支援方法
US9870622B1 (en) * 2016-07-18 2018-01-16 Dyaco International, Inc. Systems and methods for analyzing a motion based on images
JP2018067294A (ja) * 2016-10-14 2018-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 学習データ作成支援方法、学習データ作成支援装置、およびプログラム
JP6710644B2 (ja) * 2017-01-05 2020-06-17 株式会社東芝 動作解析装置、動作解析方法およびプログラム
JP6585654B2 (ja) * 2017-05-01 2019-10-02 日本電信電話株式会社 判定装置、分析システム、判定方法および判定プログラム
JP6577532B2 (ja) * 2017-07-28 2019-09-18 ファナック株式会社 機械学習装置、及びユーザ識別装置
CN109271845A (zh) * 2018-07-31 2019-01-25 浙江理工大学 基于计算机视觉的人体动作分析与评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302122A (ja) 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
US20190065949A1 (en) 2017-08-25 2019-02-28 Kabushiki Kaisha Toshiba Detection system and detection method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
菅原 俊 ほか，「ＡｕｔｏＥｎｃｏｄｅｒを用いたオンライン手書き認証」，電子情報通信学会技術研究報告，一般社団法人電子情報通信学会，2015年06月22日，第115巻, 第 117号，pp.27-32

Also Published As

Publication number Publication date
WO2020184600A1 (ja) 2020-09-17
EP3940598A4 (en) 2022-12-28
EP3940598A1 (en) 2022-01-19
CN112543942A (zh) 2021-03-23
JP2020149492A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
US8824802B2 (en) Method and system for gesture recognition
JP5483899B2 (ja) 情報処理装置および情報処理方法
CN113393489A (zh) 基于视觉的关节动作和姿态运动预测的系统、方法和介质
JPWO2009147904A1 (ja) 手指形状推定装置、手指形状の推定方法及びプログラム
JP5604225B2 (ja) 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
JP7137150B2 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
CN113228070A (zh) 用于手动装配线操作的自动重复步骤和循环检测的方法和系统
JP7480001B2 (ja) 学習装置、処理装置、学習方法、姿勢検出モデル、プログラム、及び記憶媒体
JP5186656B2 (ja) 動作評価装置および動作評価方法
CN114782497A (zh) 运动功能分析方法和电子设备
JP7061272B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
Abdulali et al. Visually guided acquisition of contact dynamics and case study in data-driven haptic texture modeling
JP2002236904A (ja) データ処理装置および方法、記録媒体、並びにプログラム
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
CN114967937B (zh) 一种虚拟人运动生成方法与系统
Ángel-López et al. Kinematic hand analysis using motion capture technology
JP7339604B2 (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
Ojha et al. Histogram based human computer interaction for gesture recognition
JP7038642B2 (ja) 作業習熟支援装置、及び作業習熟支援システム
CN113240044A (zh) 一种基于多Kinect的人体骨骼数据融合评价方法
JP2022006708A (ja) 動作認識システム、方法及びプログラム
WO2024029411A1 (ja) 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム
WO2023176163A1 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム
CN117351565A (zh) 一种基于计算机视觉的儿童精细动作评估方法与系统
CN115690901A (zh) 一种适用于舞蹈动作的评分方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220816

R150 Certificate of patent or registration of utility model

Ref document number: 7137150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150