JP7261427B2 - 複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法 - Google Patents

複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法 Download PDF

Info

Publication number
JP7261427B2
JP7261427B2 JP2021517409A JP2021517409A JP7261427B2 JP 7261427 B2 JP7261427 B2 JP 7261427B2 JP 2021517409 A JP2021517409 A JP 2021517409A JP 2021517409 A JP2021517409 A JP 2021517409A JP 7261427 B2 JP7261427 B2 JP 7261427B2
Authority
JP
Japan
Prior art keywords
torque
signal
myoelectric
cnn model
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021517409A
Other languages
English (en)
Other versions
JP2022543935A (ja
Inventor
陳成軍
黄凱
李東年
鄭帥
洪軍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Publication of JP2022543935A publication Critical patent/JP2022543935A/ja
Application granted granted Critical
Publication of JP7261427B2 publication Critical patent/JP7261427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224Measuring muscular strength
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6831Straps, bands or harnesses
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/24Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for determining value of torque or twisting moment for tightening a nut or other member which is similarly stressed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

本発明は複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法に関し、製品の組み立てモニタリングや知的生産分野に関する。
極めて正確に締め付けトルクを加えることは、ボルトの連結性能の保証や、製品の組み立て品質の向上には非常に大事な措置の一つである。今まで、組み立てスペースや、組み立て効率の影響を受けて、トルク測定機能を備えていないレンチは依然として広く使われている。したがって、トルクのリアルタイムモニタリングは急いで解決しなければならない課題の一つである。今の工場では、組み立てる際、トルクのモニタリングによく使われている工具は、トルク測定用レンチや、定トルク用レンチ及びねじり応力測定器などがある。トルク測定用レンチにより、ボルトを組み立てる過程に、リアルタイムでトルクを観察することができる。ただし、このような方法では、作業員は各種類ボルトのトルクの標準値を把握しないといけないため、過度に締め付けたり、ネジ穴が潰れてしまう状況がよくある。定トルク用レンチにより、リアルタイムでトルクをモニタリングすることができないが、ボルトの締め付けトルクの限度を設定することで、連接部品の締め付けの信頼性を保証することができるとともに、過度に締め付けたり、ネジ穴が潰れてしまう状況を避ける。ねじり応力測定器により、製品を使用中に、高強度ボルトの緩み状況に対してリアルタイムモニタリングすることができるが、上記のようなモニタリング方法は、製品の組み立てが完了した後、モニタリングを行い、そのモニタリング結果はある程度で、タイムラグがあり、また、ねじり応力測定器の超音波コンポーネンツや、圧電素子などは使用環境の影響を受けやすい。
表面筋電図(sEMG)は神経筋システムの活動を反映する1次元型の時系列信号であり、このような信号により、人体の運動性能を直接に反映させることが可能であり、医学や、リハビリテーション医学、マンマシンインタフェースなどの分野に広く使われている。また、sEMGにより、正確に計算できない人体の筋力を推定することができるため、更にsEMGを用いてジェスチャの認識や分類、筋力予測などに応用することが可能である。したがって、本発明は、筋電信号を利用して、製品を組み立てる際の締め付けトルクをモニタリングすることができる。
上記課題を解決するために、本発明は、複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法を提供し、筋電信号を取得して複数粒度並列化したCNNモデルに入力することで、トルク値が得られ、締付トルクを容易かつ正確にリアルタイムでモニタリングすることができる。
以上の目的を実現するために、本発明の使用する技術的な解決方案は以下の通りである。複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法であって、それは以下のステップを含む。ステップ1、作業員が実験台でボルトを締め付ける際のトルク信号及び筋電信号を採集し、保存する。ステップ2、実験台で締め付けトルク信号を測定するためのセンサーの検知範囲に基づいて、この検知範囲を少なくとも二種の粒度に基づいて区分し、粒度区分するごとに、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加する。ステップ3、前記筋電信号はt秒ごとに一つの時間窓とし、各時間窓に対応する筋電図を生成する。ステップ4、前記トルク信号が各前記時間窓内におけるすべてのトルクの平均値を計算し、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定する。ステップ5、サンプル集合を生成する。それは少なくとも2つ以上の粒度のサンプル集合を有し、各粒度のサンプル集合は、複数枚のトルクラベル付きの筋電図を含んで、トルクラベルに対応する粒度は、サンプル集合に対応する粒度と同じであり、トルクラベルに対応する時間窓は、筋電図に対応する時間窓と同じである。ステップ6、複数粒度並列化したCNNモデルを構築する。それは、少なくとも2つ以上の並列且つ独立したCNNモデルを有し、各独立したCNNモデルは筋電信号に対する区分する粒度が異なり、同じ粒度のサンプル集合を用いて対応な独立したCNNモデルをトレーニングする。ステップ7、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、組み立てトルクを識別する。
好ましくは、前記ステップ1において、N個チャネルを用いて同時に筋電信号を採集し、前記ステップ3において、採集した各チャネルの筋電信号に対して前処理を行った後、各チャネルの各筋電信号を正規化させて、各時間窓に対応する筋電図を作成し、各筋電図に当該時間窓内の各チャネルの正規化された筋電信号を含む。
好ましくは、公式(1)(数1)を用いて筋電信号に対して正規化を行い、筋電信号を[0,1]範囲にマッピングし、その中で、AmaxはN個チャネルの中で、筋電信号の最大値であり、AminはN個チャネルの中で、筋電信号の最小値であり、Aiは第i番目の筋電信号の値であり、A'i は第i番目の筋電信号の値が正規化された後の値である。
Figure 0007261427000001
好ましくは、前記ステップ4において、前記トルク信号に対して標準化を行った後、また平均値を求め、前記トルク信号は以下のような公式に基づいて標準化を行い、 T'iが得られ、その中で、liはi型レンチの長さであり,lmaxは最長レンチの長さであり、Ti はi型レンチにより測定したトルク値であり、T'i はi型レンチで標準化された後のトルク値である。
好ましくは、標準化公式は、数2である。
Figure 0007261427000002
好ましくは、前記ステップ6において、各前記独立したCNNモデルにトルクラベル付きの筋電図を入力した後、当該トルクラベルに対応する粒度は、モデルの粒度と一致し、トルクラベルを出力して、各独立したCNNモデルから出力してきたトルクラベルを一箇所に融合し、複数粒度並列化したCNNモデルの予測トルク値とする。
好ましくは、前記融合とは、各粒度のCNNモデルから出力した最大確率のトルクラベルに対応するトルク区間の中央値を取って、全て中央値の平均値を計算し、それを複数粒度並列化したCNNモデルの予測トルク値とする。
好ましくは、前記採取した各チャネルの筋電信号に対して前処理を行うことは、以下のステップを含む。まず採取した筋電信号を順次に50Hzローパスフィルタと30Hzゼロ位相ハイパスフィルタを通過させてから、また筋電信号の負の値を反転させて、続いて5Hzゼロ位相ローパススフィルタを用いてフィルタリングし、筋肉の低域通過濾波特性を模擬し、その中で、50Hzローパスフィルタにより、当地周波数が筋電信号に対する干渉を除去し、30Hzゼロ位相ハイパスフィルタにより、受信した筋電信号に対して不良運動軌跡を除去する。
好ましくは、前記トルク信号が標準化された後、以下のように前処理を行ってまた平均値を求め、トルク信号について、50Hzローパスフィルタを用いて、当地周波数が信号採集に対する影響を除去して、続いて処理されたトルク信号に対して、30Hzゼロ位相ハイパスフィルタを用いてフィルタリングし、不良運動軌跡を除去する。
好ましくは、前記ステップ1において、作業員は装着可能な装置を装着して筋電信号収集を行う。
好ましくは、前記装着可能な装置はMYOアームバンドである。
従来の技術と比べて、本発明の有益な効果は以下の通りである。
(1)本発明は複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法であり、複数粒度並列化したCNNモデルを利用して、作業者の筋電信号からボルトが締め付けられる際のトルク値を取得することで、製品を組み立てる際に、締め付けトルクをリアルタイムでモニタリングすることができる。
(2)本発明は複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法であり、作業員に装着可能な装置を装着するだけで、筋電信号を採集することが可能になるため、簡単に締め付けトルクをモニタリングすることができる。
(3)本発明は複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法であり、複数の異なる粒度のCNNモデルの出力結果を融合させて,より細かい粒度のトルク分類が得られ,トルク予測の精度を高める。この多粒度並列化したCNNモデルにより、各CNNモデルの高速収束を保証するとともに、モデルトルク予測全体の精度を向上させる。
本発明の筋電図-トルクのマッチング方法のフローチャートである。 本発明のサンプルをトレーニングするフローチャートである。 本発明の検知範囲を粒度に基づく区分することを示す図である。 本発明のCNNモデルを示す図である。
本発明をよりよく理解するために、これから図面と具体的な実施形態をもって、本発明について具体的に説明する。
図1と図2に示すように、複数粒度並列化されたCNN(CNN: Convolutional Neural Networks、畳み込みニューラルネットワーク)モデルに基づく筋電信号-トルクのマッチング方法であって、それは以下のステップを含む。
ステップ1、作業員が実験台でボルトを締め付ける際のトルク信号及び筋電信号を採集し、保存する。筋電信号の採集には、無線通信対応可能なMYOのような装着可能な装置を使ってもよいため、レンチや実験台等にセンサーを追加しなくて済んで、インタラクティブ性が強く、実用性も高い。
ステップ2、実験台で締め付けトルク信号を測定するためのセンサーの検知範囲に基づいて、この検知範囲を少なくとも二種の粒度に基づいて区分し、以下m粒度とn粒度に基づいて本実施形態の実施過程を説明する。粒度区分するごとに、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加する。図3に示すように、採用するセンサーの検知範囲が0~50N.mであることを例として、トルク検知範囲内のトルク値を10個トルク区間に平均に分けて、つまり、10種粒度区分し、それぞれは、[0,5),[5,10),[10,15),[15,20),[20,25),[25,30),[30,35),[35,40),[40,45),[45,50]であり、その単位はN.mであり、また、各トルク区間に一つのトルクラベルを与え、図に示すように、[0,5)に対応するトルクラベルは1となり、[5,10)に対応するトルクラベルは2となる。上記方法により、トルクの検知範囲を5種粒度や、15種粒度、20種粒度に基づいて平均に区分してもよい。
ステップ3、前記筋電信号はt秒ごとに一つの時間窓とし、各時間窓に対応する筋電図を生成する。通常、tは0.5秒より大きくない、また、8チャネルの筋電信号を同時に採集することを例として、具体的な実施過程は以下の通りである。
前処理の過程は以下の通りである。(1)50Hzローパスフィルタにより、採集した8チャネルの筋電信号に対して処理を行い、当地周波数が筋電信号に対する干渉を除去する。(2)30Hzゼロ位相ハイパスフィルタにより、(1)で処理された後の筋電信号に対して不良運動軌跡を除去する。(3)筋電信号の負の値を反転させる。(4)筋肉の低域通過濾波特性を模擬するために、5Hzゼロ位相ローパススフィルタを用いてフィルタリングする。
正規化を行う。公式(1)(数3)を用いて筋電信号に対してmax-minの正規化を行い、筋電信号を[0,1]範囲にマッピングし、筋電信号をスカラーデータに変換し、ベクトルの影響を除去する。その中で、AmaxはN個チャネルの中で、筋電信号の最大値であり、AminはN個チャネルの中で、筋電信号の最小値であり、Aiは第i番目の筋電信号の値であり、A'iは第i番目の筋電信号の値が正規化された後の値である。
Figure 0007261427000003
筋電図を作成する。各時間窓に対応する筋電図を作成し、各筋電図に当該時間窓内の各チャネルの正規化された筋電信号を含む。具体的は、サンプル周波数fを200 Hzとし、時間窓tを0.5秒とし、同じ時間を起点とし、0.5秒ごとに、8チャネルの筋電信号をセットにして一枚の筋電図を作成する。つまり、各時間窓内に8チャネルのf×t個の正規化された筋電信号値を含む。本実施形態では、f×t=100になるため、各枚の筋電図のサイズは(100,8)、その中で、8は8チャネルを有することを示す。
ステップ4、前記トルク信号が各前記時間窓内におけるすべてのトルクの平均値を計算し、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定する。具体的には、下記のことを含む。
トルク信号の標準化を行う。前記トルク信号に対して標準化を行った後、 が得られる。その中で、liはi型レンチの長さであり,lmaxは最長レンチの長さであり、Ti はi型レンチにより測定したトルク値であり、T'iはi型レンチで標準化された後のトルク値である。
前記、標準化公式は、数4である。
Figure 0007261427000004
トルク信号の前処理を行う。標準化されたトルク信号に対して、50Hzローパスフィルタにより、当地周波数が筋電信号に対する干渉を除去し、続いて30Hzゼロ位相ハイパスフィルタにより、不良運動軌跡を除去する。
筋電図のトルクラベルを確定する。筋電図に示す筋電信号の長さ(すなわち時間窓の時間の長さ)に基づいて、トルク信号の平均値を求め、t秒のトルク信号ごとに一つの平均値を計算し、当該時間窓のトルク信号の平均値とし、それによりトルク信号の平均値は筋電図と時系列上に対応できることを保証する。当該トルク信号の平均値が各粒度区分に対応なトルク区間を調べて、トルクラベルを確定し、各粒度区分された下、各時間窓のトルクラベルを生成する。
例えば、m粒度区分の場合、当該信号の平均値がトルク区間(10~15)に該当する場合、対応なトルクラベルはAとなり、n粒度区分の場合、当該信号の平均値がトルク区間(10~20)に該当する場合、対応なトルクラベルはaとなる。したがって、異なる粒度区分された下で、各枚の筋電図が対応するトルクラベルも異なる。
ステップ5、サンプル集合を生成する。それは少なくとも2つ以上の粒度のサンプル集合を有し、各粒度のサンプル集合は、複数枚のトルクラベル付きの筋電図を含んで、トルクラベルに対応する粒度は、サンプル集合に対応する粒度と同じであり、トルクラベルに対応する時間窓は、筋電図に対応する時間窓と同じである。例えば、m粒度のサンプル集合に、各枚の筋電図にm粒度が標記されたトルクラベルを有し、n粒度のサンプル集合に、各枚の筋電図にn粒度が標記されたトルクラベルを有する。
図2に示すように、ステップ6、複数粒度並列化したCNNモデルを構築する。それは、少なくとも2つ以上の並列且つ独立したCNNモデルを有し、各独立したCNNモデルは筋電信号に対する区分する粒度が異なり、同じ粒度のサンプル集合を用いて対応な独立したCNNモデルをトレーニングする。具体的には、各前記独立したCNNモデルにトルクラベル付きの筋電図を入力した後、当該トルクラベルに対応する粒度は、モデルの粒度と一致し、トルクラベルを出力して、各独立したCNNモデルから出力してきたトルクラベルを一箇所に融合し、複数粒度並列化したCNNモデルの予測トルク値とする。複数の異なる粒度のCNNモデルの出力結果を融合させて,より細かい粒度のトルク分類が得られ,トルク予測の精度を高める。
前記融合とは、各粒度のCNNモデルから出力した最大確率のトルクラベルに対応するトルク区間の中央値を取って、全て中央値の平均値を計算し、それを複数粒度並列化したCNNモデルの予測トルク値とする。例えば、m粒度の独立したCNNモデルとn粒度の独立したCNNモデルが出力した最大確率のトルクラベルに対応するトルク区間の中央値はTmとTnであり、((Tm+Tn)/2)を複数粒度並列化したCNNモデルに予測されたトルク値とし、図2格子四角形部分に示すのは、融合された後出力したトルクラベルである。
ステップ7、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、組み立てトルクを識別する。
なお、補足説明が必要なのは、本発明は以下のような構造CNNモデルを採用することができる。
図4に示すように、入力層がある。入力層は前処理された後の筋電図のことであり、入力された筋電図のサイズは(100,8,1)であり、その中で、nはn枚の筋電図を有することを示す。
畳み込み層について、畳み込み層は三回の畳み込み計算と二回のプーリング計算を含む。畳み込み計算の目的は、筋電図の特徴を抽出してバイアスを追加した後、活性化関数を介して活性化させることである。その中で、一回目の畳み込み計算では、フィルタの数は32であり、畳み込みカーネルのサイズは(10,3)であり、畳み込み計算のストライドは(1,1)であり、活性化関数はReluを用いる。二回目の畳み込み計算では、フィルタの数は64であり、畳み込みカーネルのサイズは(3,3)であり、畳み込み計算のストライドは(1,1)であり、活性化関数はReluを用いる。三回目の畳み込み計算では、フィルタの数は128であり、畳み込みカーネルのサイズは(3,3)であり、畳み込みの計算のストライドは(1,1)であり、活性化関数はReluを用い、充填層はVALIDを用いる。プーリング計算は、またサンプル採取計算を言う。主な目的は、主要な特徴を保留すると同時に、パラメータを減らし、過剰適合現象を低減し、モデルの汎化能力を高めることである。性能を比べて、ここで平均プーリングを採用し、一回目のプーリング計算で、プーリングサイズは(10,1)であり、二回目のプーリング計算で、プーリングサイズは(2,1)である。
全結合層について、全結合層はFlatten展開計算と、二回のdropout計算と全結合ニューラルネットワーク計算を含む。Flattenは次元低減の計算を行い、その目的は、Conv2Dにより計算した後の二次元データを1次元データに変換すると同時にバッチ処理に影響しないことである。dropout計算は、トレーニングサンプルが少なく、モデルパラメータが多いことによる過剰適合現象を解決することができる。ここで、0.5のdropout計算を採用する。全結合ニューラルネットワークは、設定されたラベルに基づいて、1次元データに対して分類計算し、その中で、フィルタの数は128であり、活性化関数はRelu活性化関数を用いる。
Softmax層について、Softmaxは出力層として、トルクの分類結果を出力し、また、出力結果を(0,1)にマッピングし、分類結果の確率値を示す。
上記の通り、本発明は複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法であり、複数粒度並列化したCNNモデルを利用して、作業者の筋電信号からボルトが締め付けられる際のトルク値を取得することで、製品を組み立てる際に、締め付けトルクをリアルタイムでモニタリングすることができる。作業員に装着可能な装置を装着するだけで、筋電信号を採集することが可能になるため、簡単に締め付けトルクをモニタリングすることができる。また、複数の異なる粒度のCNNモデルの出力結果を融合させて,より細かい粒度のトルク分類が得られ,トルク予測の精度を高める。この多粒度並列化したCNNモデルにより、各CNNモデルの高速収束を保証するとともに、モデルトルク予測全体の精度を向上させる。
上記の実例の説明は本技術分野の当業者が本発明の技術理念及びその特徴に対する理解及び実施することに手伝うだけに用いられる。それによって、本発明の保護範囲を制限してはいけない。本発明の原理から逸脱しない前提において、実施した改善又は修正は、いずれも本発明の保護範囲とみなすべきである。

Claims (10)

  1. 以下のステップを含むことを特徴とする複数粒度並列化されたCNNモデルに基づく筋電信号トルクのマッチング方法。
    ステップ1、作業員が実験台でボルトを締め付ける際の締め付けトルク信号及び筋電信号を採集し、保存し、
    ステップ2、実験台で締め付けトルク信号を測定するためのセンサーの検知範囲に基づいて、この検知範囲を少なくとも二種の粒度に基づいて区分し、各粒度区分に、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加し、
    ステップ3、前記筋電信号はt秒ごとに一つの時間窓とし、各時間窓に対応する筋電図を生成し、
    ステップ4、前記締め付けトルク信号が各前記時間窓内におけるすべてのトルクの平均値を計算し、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定し、
    ステップ5、サンプル集合を生成し、それは少なくとも2つ以上の粒度のサンプル集合を有し、各粒度のサンプル集合は、複数枚のトルクラベル付きの筋電図を含んで、
    ステップ6、複数粒度並列化したCNNモデルを構築し、それは、少なくとも2つ以上の並列且つ独立したCNNモデルを有し、各独立したCNNモデルは筋電信号に対する区分する粒度が異なり、同じ粒度のサンプル集合を用いて対応な独立したCNNモデルをトレーニングし、
    ステップ7、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、締め付けトルクを識別する。
  2. 前記ステップ1において、N個チャネルを用いて同時に筋電信号を採集し、Nは自然数であり、前記ステップ3において、採集した各チャネルの筋電信号に対して前処理を行った後、各チャネルの各筋電信号を正規化させて、各時間窓に対応する筋電図を作成し、各枚の筋電図に、当該時間窓内の各チャネルの正規化された筋電信号を含むことを特徴とする請求項1に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
  3. 公式(1)(数5)を用いて筋電信号に対して正規化を行い、筋電信号を[0,1]範囲にマッピングし、その中で、AmaxはN個チャネルの中で、筋電信号の最大値であり、AminはN個チャネルの中で、筋電信号の最小値であり、Aiは第i番目の筋電信号の値であり、A'iは第i番目の筋電信号の値が正規化された後の値であることを特徴とする請求項2に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
    Figure 0007261427000005
  4. 前記ステップ4において、前記締め付けトルク信号に対して標準化を行った後、また平均値を求め、前記締め付けトルク信号は以下のような公式に基づいて標準化を行い、T' i が得られ、その中で、liはi型レンチの長さであり,lmaxは最長レンチの長さであり、Tiはi型レンチにより測定したトルク値であり、T'iはi型レンチで標準化された後のトルク値であり、標準化公式は、数6であることを特徴とする請求項1に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
    Figure 0007261427000006
  5. 前記ステップ6において、各前記独立したCNNモデルにトルクラベル付きの筋電図を入力した後、当該トルクラベルに対応する粒度は、モデルの粒度と一致し、トルクラベルを出力して、各独立したCNNモデルから出力してきたトルクラベルを一箇所に融合し、複数粒度並列化したCNNモデルの予測トルク値とすることを特徴とする請求項1に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
  6. 前記融合とは、各粒度のCNNモデルから出力した最大確率のトルクラベルに対応するトルク区間の中央値を取って、全て中央値の平均値を計算し、それを複数粒度並列化したCNNモデルの予測トルク値とすることを特徴とする請求項5に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
  7. 前記採した各チャネルの筋電信号に対して前処理を行うことは、以下のステップを含む。まず採した筋電信号を順次に50Hzローパスフィルタと30Hzゼロ位相ハイパスフィルタを通過させてから、また筋電信号の負の値を反転させて、続いて5Hzゼロ位相ローパススフィルタを用いてフィルタリングし、筋肉の低域通過濾波特性を模擬し、その中で、50Hzローパスフィルタにより、当地周波数が筋電信号に対する干渉を除去し、30Hzゼロ位相ハイパスフィルタにより、受信した筋電信号に対して不良運動軌跡を除去することを特徴とする請求項2に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
  8. 前記締め付けトルク信号が標準化された後、以下のように前処理を行ってまた平均値を求め、締め付けトルク信号について、50Hzローパスフィルタを用いて、当地周波数が信号採集に対する影響を除去して、続いて処理された締め付けトルク信号に対して、30Hzゼロ位相ハイパスフィルタを用いてフィルタリングし、不良運動軌跡を除去することを特徴とする請求項4に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
  9. 前記ステップ1において、作業員は装着可能な装置を装着して筋電信号収集を行うことを特徴とする請求項1に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
  10. 前記装着可能な装置はMYOアームバンドであることを特徴とする請求項9に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
JP2021517409A 2020-02-25 2020-05-07 複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法 Active JP7261427B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010116661.6 2020-02-25
CN202010116661.6A CN111207875B (zh) 2020-02-25 2020-02-25 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法
PCT/CN2020/088876 WO2021169036A1 (zh) 2020-02-25 2020-05-07 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法

Publications (2)

Publication Number Publication Date
JP2022543935A JP2022543935A (ja) 2022-10-17
JP7261427B2 true JP7261427B2 (ja) 2023-04-20

Family

ID=70783650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517409A Active JP7261427B2 (ja) 2020-02-25 2020-05-07 複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法

Country Status (4)

Country Link
US (1) US11971319B2 (ja)
JP (1) JP7261427B2 (ja)
CN (1) CN111207875B (ja)
WO (1) WO2021169036A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592346B2 (en) * 2020-02-26 2023-02-28 Weatherford Technology Holdings, Llc Multi-range load cell
CN112486320B (zh) * 2020-11-27 2022-10-11 青岛理工大学 一种基于回归神经网络的装配扭矩监测系统及监测方法
CN112754505A (zh) * 2020-12-29 2021-05-07 深圳市联影高端医疗装备创新研究院 一种肌肉老化程度检测方法、装置及系统
CN113361686A (zh) * 2021-05-27 2021-09-07 广西大学 一种多层异构多模态卷积神经网络集成式机器人巡检方法
CN114767132B (zh) * 2022-04-20 2024-05-07 中国科学技术大学 一种基于表面肌电分解的运动单位识别方法
CN116755547A (zh) * 2023-05-16 2023-09-15 重庆理工大学 基于轻量化卷积神经网络的表面肌电信号手势识别系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140182393A1 (en) 2012-11-16 2014-07-03 Storck Bicycle Gmbh Crank arm, crankset, and power measuring device for an at least partially human powered vehicle or training device with a crank drive
CN109816049A (zh) 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
WO2019155564A1 (ja) 2018-02-08 2019-08-15 株式会社日立製作所 情報提供システムおよび情報提供方法
CN110146213A (zh) 2018-06-01 2019-08-20 华晨宝马汽车有限公司 用于检测拧紧工具的拧紧质量的方法和装置及存储介质
CN110210366A (zh) 2019-07-05 2019-09-06 青岛理工大学 装配拧紧过程样本采集系统、深度学习网络及监测系统
CN110672312A (zh) 2019-10-12 2020-01-10 北京工业大学 一种基于bp神经网络的预测螺栓残余夹紧力的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05187942A (ja) * 1992-01-09 1993-07-27 Yokogawa Electric Corp 振動式トランスデューサ
JP4049989B2 (ja) * 2000-11-30 2008-02-20 トヨタ自動車株式会社 ネジ部材用締付ソケットの摩耗判定方法および摩耗判定装置
US20030088321A1 (en) * 2001-11-05 2003-05-08 Creger Todd D Method for compensating for variations in modeled parameters of machines
US7062979B2 (en) * 2003-03-19 2006-06-20 The Boeing Company Tool and associated methods for controllably applying torque to a fastener
US7876216B2 (en) * 2008-06-25 2011-01-25 The Boeing Company Object location and reporting system for harsh RF environments
GB2552014B (en) * 2016-07-07 2020-05-13 Advanced Risc Mach Ltd Reconfigurable artificial neural networks comprising programmable non-volatile memory elements
US11331045B1 (en) * 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
CN107518896B (zh) * 2017-07-12 2019-07-30 中国科学院计算技术研究所 一种肌电臂环佩戴位置预测方法和系统
CN107895145A (zh) * 2017-10-31 2018-04-10 南京信息工程大学 基于卷积神经网络结合超高斯去噪估测手指受力的方法
CN109872145B (zh) * 2019-01-29 2020-12-08 中智沃达(北京)电力科技有限公司 基于cnn卷积神经网络的充电场智能管理系统
CN110414366B (zh) * 2019-07-04 2023-05-19 东南大学 一种基于动态信号的压阻阵列及压力分布匹配方法
CN110775057B (zh) * 2019-08-29 2020-12-15 浙江零跑科技有限公司 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法
CN110827987B (zh) * 2019-11-06 2021-03-23 西安交通大学 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140182393A1 (en) 2012-11-16 2014-07-03 Storck Bicycle Gmbh Crank arm, crankset, and power measuring device for an at least partially human powered vehicle or training device with a crank drive
WO2019155564A1 (ja) 2018-02-08 2019-08-15 株式会社日立製作所 情報提供システムおよび情報提供方法
CN110146213A (zh) 2018-06-01 2019-08-20 华晨宝马汽车有限公司 用于检测拧紧工具的拧紧质量的方法和装置及存储介质
CN109816049A (zh) 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
CN110210366A (zh) 2019-07-05 2019-09-06 青岛理工大学 装配拧紧过程样本采集系统、深度学习网络及监测系统
CN110672312A (zh) 2019-10-12 2020-01-10 北京工业大学 一种基于bp神经网络的预测螺栓残余夹紧力的方法

Also Published As

Publication number Publication date
JP2022543935A (ja) 2022-10-17
CN111207875A (zh) 2020-05-29
US20220113206A1 (en) 2022-04-14
CN111207875B (zh) 2021-06-25
WO2021169036A1 (zh) 2021-09-02
US11971319B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
JP7261427B2 (ja) 複数粒度並列化されたcnnモデルに基づく筋電信号―トルクのマッチング方法
CN107714023B (zh) 基于人工智能自学习的静态心电图分析方法和装置
US11529103B2 (en) Artificial intelligence self-learning-based automatic electrocardiography analysis method and apparatus
Panda et al. Classification of EEG signal using wavelet transform and support vector machine for epileptic seizure diction
CN103610447B (zh) 一种基于前额脑电信号的脑力负荷在线检测方法
CN103310113B (zh) 一种基于频带分离和数据建模的通用血糖预测方法
CN110210366B (zh) 装配拧紧过程样本采集系统、深度学习网络及监测系统
CN110169374B (zh) 一种奶牛采食行为与采食量的可穿戴监测装置及监测系统
CN112806977A (zh) 基于多尺度融合网络的生理参数测量方法
CN113274011A (zh) 融合脑电与功能近红外光谱技术的脑功能监测管理方法
CN117438024A (zh) 急诊病人体征数据的智能采集分析系统及方法
WO2018149147A1 (zh) 一种呼吸率提取方法及装置
CN113598784B (zh) 心律失常检测方法及系统
WO2008035611A1 (fr) Dispositif de traitement de données, procédé de traitement de données et programme de traitement de données
Wang et al. Fatigue detection of vehicular driver through skin conductance, pulse oximetry and respiration: A random forest classifier
CN113100769A (zh) 基于生理指标的无人机操作人员工作状态评估方法及系统
CN118116525B (zh) 一种基于分布式单元的药品临床试验数据处理系统
CN106691410B (zh) 一种脉搏及血红细胞浓度监测仪及方法
CN106539586A (zh) 一种呼吸率计算方法及装置
Zhou et al. A smart universal single-channel blind source separation method and applications
CN106510716A (zh) 一种基于心电信号计算呼吸率的方法及装置
CN117760481A (zh) 一种采煤机截割部故障监测方法及装置
CN114454213A (zh) 基于eemd-ht-峭度分析的工业机器人关节电流信号异常检测方法
CN115099332A (zh) 一种基于混合森林的雷达数据实时处理方法及系统
JP2008188092A (ja) データ処理方法,データ処理装置及びデータ処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R150 Certificate of patent or registration of utility model

Ref document number: 7261427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150