JP6973653B2 - リハビリテーションエクササイズ信号の信号処理方法及びシステム - Google Patents

リハビリテーションエクササイズ信号の信号処理方法及びシステム Download PDF

Info

Publication number
JP6973653B2
JP6973653B2 JP2020539008A JP2020539008A JP6973653B2 JP 6973653 B2 JP6973653 B2 JP 6973653B2 JP 2020539008 A JP2020539008 A JP 2020539008A JP 2020539008 A JP2020539008 A JP 2020539008A JP 6973653 B2 JP6973653 B2 JP 6973653B2
Authority
JP
Japan
Prior art keywords
signal
segmented
prominent
signals
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020539008A
Other languages
English (en)
Other versions
JP2021511126A (ja
Inventor
勇気 小阪
祐介 高橋
チャールズ チョイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021511126A publication Critical patent/JP2021511126A/ja
Application granted granted Critical
Publication of JP6973653B2 publication Critical patent/JP6973653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/62Time or time measurement used for time reference, time stamp, master time or clock signal
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/08Measuring physiological parameters of the user other bio-electrical signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/60Measuring physiological parameters of the user muscle strain, i.e. measured on the user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、限定されるものではないが、概して、リハビリテーションエクササイズ信号の信号処理方法及びシステムに関する。
身体的リハビリテーションは通常、エクササイズによる個人の治療を伴う。個人に取り付けられたセンサを用いてエクササイズ中に様々なデータを収集し、異なるリハビリテーションセッションで収集されたデータは期間に渡って個人の進行状況を測定するために分析される場合がある。
例えば、身体部分の動きは、角度センサなどのモーションセンサにより検出することができる。モーションセンサからの信号は、身体部分の動きに関連する進行状況を評価するのに使用することができる。しかし、これらの信号は、特定の筋肉の回復を評価するのに使用することができない。
筋肉の回復を評価するには、エクササイズ中に筋電図検査を実行することができる。特に、筋電図検査で得られた筋細胞により生成された電気信号(筋電図(EMG)と呼ばれる)はモーションセンサからの信号と組み合わせて分析することができる。異なるリハビリテーションセッションで得られたEMGを比較し、筋力の変化を評定することができる。
リハビリテーションエクササイズ中に収集された信号は通常、目視検査により手動で処理される。信号の手動処理は面倒で時間がかかることがある。信号を処理するのに、以前のデータ又はテンプレートの参照も必要とされるので、以前のデータ又はテンプレートが全く利用できない場合は、処理の遅延が生じる。更に、手動処理の結果は、ノイズ信号により正確でない場合がある。
したがって、上記問題の少なくとも1つに対処するリハビリテーションエクササイズ信号の信号処理方法及びシステムを提供する、又は有用な代替案を提供する必要性が存在する。
本発明の第1の態様によれば、リハビリテーションエクササイズ信号の信号処理方法であって、身体部分の動きに関連付けられた第1及び第2のモーション信号を受信し、前記モーション信号は前記動きの時間性データを含み、
前記モーション信号の勾配に基づき、前記第1及び第2のモーション信号のそれぞれを複数のセグメント化信号にセグメント化し、各セグメント化信号は均一な勾配を有し、
前記第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成することで前記セグメント化信号を自動的に修正し、それにより前記第1及び第2のモーション信号は一対一対応となり、
前記対応における前記マッチング信号の対応する時間間隔を抽出する、ステップを含む方法が提供される。
本発明の第2の態様によれば、
リハビリテーションエクササイズ信号の信号処理システムであって、
少なくとも1つのプロセッサと、
コンピュータプログラムコードが記憶された少なくとも1つのメモリモジュールと、を備え、
前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサを用いて、前記システムに、
身体部分の動きに関連付けられた第1及び第2のモーション信号を受信させ、前記モーション信号が前記動きの時間性データを含み、
前記モーション信号の勾配に基づいて前記第1及び第2のモーション信号のそれぞれを複数のセグメント化信号にセグメント化させ、各セグメント化信号が均一な勾配を有し、
前記第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成させることで前記セグメント化信号を自動的に修正させ、それにより、前記第1及び第2のモーション信号が一対一対応となり、
前記対応における前記マッチング信号の対応する時間間隔を抽出させるように構成された、システムが提供される。
本発明の実施形態は例としてのみ提供され、以下に記載の説明及び図面から、より理解され、当業者に容易に明らかになるであろう。
図1は、例示の実施形態にかかるリハビリテーションエクササイズ信号の信号処理システムを説明する概略図を示す。 図2Aは例示の実施形態に係る第1のリハビリテーションセッションで得られたモーション信号及びEMGを示す。 図2Bは例示の実施形態に係る第2のリハビリテーションセッションで得られたモーション信号及びEMGを示す。 図3Aは例示の実施形態に係るモーション信号のセグメント化を示す。 図3Bは図3Aに示すモーション信号のセグメント化のステップを示す。 図4は例示の実施形態に係る、モーション信号への動的時間伸縮(DTW)プロセスの適用を示す。 図5Aは図4のボックスの拡大図を示す。 図5Bは図5Aに示すモーション信号のセグメント化を示す。 図6Aは例示の実施形態に係る2つのモーション信号間のセグメント化信号の組み合わせを説明する図を示す。 図6Bは、図6Aに示すセグメント化信号の第2の組み合わせ内の顕著なセグメント化信号を説明する図を示す。 図6Cは図6Aに示す顕著なセグメント化信号のマージを説明する図を示す。 図6Dは図6Aに示す第1のモーション信号からの顕著なセグメント化信号の除去を説明する図を示す。 図6Eは図6Aに示す第1のモーション信号からの別の顕著なセグメント化信号の除去を説明する図を示す。 図7は、更なる例示の実施形態に係る2つのモーション信号間のセグメント化信号の組み合わせを説明する図を示す。 図8は、別の例示の実施形態に係る第1のモーション信号と第2のモーション信号との間のセグメント化信号の組み合わせを説明する図を示す。 図9Aは、例示の実施形態に係る、抽出された対応する時間間隔に基づいた第1のEMG及び第2のEMGのセグメント化を示す。 図9Bは、図9Aのセグメント化されたEMGの比較を示す。 図9Cは、図9Aのセグメント化されたEMGの振幅を説明する棒グラフを示す。 図10は、例示の実施形態に係るリハビリテーションエクササイズ信号の信号処理方法を説明するフローチャートを示す。 図11は例示の実施形態のシステム及び方法を実行するのに好適なコンピュータを説明する概略図を示す。
図面を参照して本発明の実施形態を単なる例として説明する。図面の同様の参照番号及び文字は、同様の要素又は同等物を指す。
以下の説明のいくつかの部分は、コンピュータメモリ内のデータについての動作のアルゴリズム及び機能的又は記号的表現の観点から、明示的又は暗示的に提示されている。これらのアルゴリズムの記述及び機能的又は記号的表現は、仕事の内容を他の当業者に最も効率的に伝達するために、データ処理技術分野の当業者によって使用される手段である。アルゴリズムは、本明細書では、かつ一般的に、所望の結果に至る自己矛盾のない一連のステップであると考えられる。ステップは、保存、転送、結合、比較、及びその他の操作が可能な、電気、磁気又は光信号などの物理量の物理的操作を必要とするものである。
特に明記されない限り、また以下の記載から明らかなように、本明細書を通して、「受信」、「セグメント化」、「修正」、「抽出」、「特定」、「矯正」、「マージ」、「算出」、「比較」、「保持」、「除去」、「決定」、「測定」等の用語を利用する記載は、コンピュータシステム内の物理量として表されるデータを、コンピュータシステム又は他の情報記憶装置、伝送又は表示装置内の物理量として同様に表される他のデータに操作及び変換する、コンピュータシステム又は同様の電子デバイスの動作及び処理を指すものであることが理解されるであろう。
本明細書はまた、方法の動作を実行するための装置を開示する。そのような装置は必要な目的のために特別に構成されてもよいし、コンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成されるコンピュータ又は他のデバイスを含んでもよい。本明細書で提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連付けられるものではない。本明細書の教示に従ったプログラムと共に様々な機械を使用することができる。あるいは、必要な方法の工程を実行するための、より特化された装置の構成が適当である場合もある。コンピュータの構造は、以下の説明から明らかになるであろう。
さらに、本明細書はまた、コンピュータプログラムも暗黙的に開示し、その点において、ここに記載される方法の個々の工程がコンピュータコードによって実施されてもよいことは当業者には明らかであるだろう。コンピュータプログラムは特定のプログラミング言語及びその実装に限定されるものではない。本明細書に含まれる開示の教示を実施するために、多様なプログラミング言語及びそのコーディングを使用できることが理解されるだろう。さらに、コンピュータプログラムは特定の制御フローに限定されるものではない。コンピュータプログラムの他の多くの変形例が存在し、それは本発明の意図又は範囲から逸脱することなく異なる制御フローを使用することができる。
さらに、コンピュータプログラムの工程の1つ以上は、順次的ではなく、並列的に実行されてもよい。そのようなコンピュータプログラムは任意のコンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、磁気ディスク又は光ディスク、メモリチップ、又はコンピュータとのインターフェースに適した他の記憶装置などの記憶装置を含むことができる。コンピュータ可読媒体はまた、インターネットシステムに代表されるような有線の媒体、又はGSM移動電話システムに代表されるようなワイヤレスの媒体を含んでもよい。コンピュータプログラムは、そのようなコンピュータにロードされて実行されると、好ましい方法の工程を実施する装置を効果的にもたらす。
図1は例示の実施形態に係るリハビリテーションエクササイズ信号の信号処理システム102を説明する概略図を示す。図1に示すように、システム102はプロセッサ104及びメモリモジュール106を含む。システム102はモーションセンサ108及び筋電図検査部110と通信可能に連結されている。
モーションセンサ108は、身体部分の動きを検出するように構成される。モーション信号は動きの検出に基づいて生成される。例えば、モーションセンサ108は、リハビリテーションエクササイズ中の上肢又は下肢の屈曲又は屈伸角度を検出し、モーション信号は、経時的な角度の変化を含む。
筋電図検査部110は筋肉の表面に取り付けたり、個人の筋肉の中に挿入したりすることが可能な電極を含む。電極は、身体部分の動きから筋肉により生成された電位を検出するように構成される。筋電図検査部110からの出力は、筋活動を追跡するのに使用され得る筋電図(EMG)である。例えば、EMGは筋肉から得られ、筋力などの筋肉の回復を評価することができる。EMGを同時に異なる筋肉から得て、特定の身体部分の回復を評価することができることに留意されたい。
モーション信号及びEMGはリハビリテーションエクササイズ中に同時に記録することができる。モーション信号及びEMGの両方の分析により、理学療法士が原始的な運動、例えば、脚の上げ下げに関連付けられた筋活動を追跡することが可能になる。こうした評価は、モーション信号又はEMGにのみ基づいた評価と比べて、筋肉の回復のより詳細な評定を提供する。以下に、リハビリテーションエクササイズから得られたモーション信号及びEMGの例を、図2A及び図2Bに関してより詳細に説明する。
実施形態では、モーション信号及びEMGはそれぞれ、モーションセンサ108及び筋電図検査部110によってシステム102に送られる。筋肉回復を評価するために、モーション及びEMGの少なくとも2つのセットが、信号処理のためにシステム102に送られる。これらのセットの信号は通常は、時間差で(例えば、一週間又は一ヶ月差で)記録され、同一のリハビリテーションエクササイズ(例えば、肢の屈曲エクササイズ)に関連付けられている。
第1のセットの信号は、第1のリハビリテーションセッションに関連付けられ、第1のモーション信号及び第1のEMGを含む。第2のセットの信号は、第2のリハビリテーションセッションに関連付けられ、第2のモーション信号及び第2のEMGを含む。第1のリハビリテーションセッションは第2のリハビリテーションセッション前に実行される。
まずモーション信号は、第1及び第2のリハビリテーションセッションにおける原始的な運動の時間間隔を抽出するように処理される。当初、モーション信号は、モーション信号の勾配に基づいて複数のセグメント化信号にセグメント化され、セグメント化信号のそれぞれは均一な勾配を有する。例えば、モーション信号は複数の部分に分割され、各部分の勾配が算出される。同様の勾配を有する隣接する部分はセグメント化信号を形成する。このようにモーション信号をセグメント化するプロセスは有利にも、入力モーション信号のみを用いてセグメント化信号を特定することができ、統計モデルのような、いかなる追加の以前のデータも必要としない。以下、モーション信号をセグメント化するステップを、図3A及び図3Bに関連して更に詳細に説明する。
たいてい、モーション信号は、望ましくない干渉ノイズを含む。モーション信号の干渉ノイズにより、モーション信号の比較において、また、後続する段階では、EMGの比較において、相違が生じる場合がある。具体的には、干渉ノイズにより、第1及び第2のモーション信号の比較は、信号の一部の部分において、1対多対応になる。換言すると、モーション信号のいくつかの点は対応するモーション信号において2つ以上のマッチング点を有する。結果として、原始的動作の時間間隔を、正確に判定することができず、回復の評価が不正確となる。したがって、より良い結果を与えるためにモーション信号の処理中に、モーション信号のノイズを除去する必要がある。ノイズを除去するには、モーション信号を手動で処理してもよい。しかし、手動の信号処理は時間がかかる。
そこで、セグメント化信号を、システム102により自動的に修正し、第1及び第2のモーション信号間で同様の勾配及び同様の時点を有するマッチング信号の複数の組み合わせを形成する。本発明の実施形態では、セグメント化信号の1つ又は複数の組み合わせが、第1及び第2のモーション信号間で特定される。特定されたセグメント化信号のそれぞれの組み合わせは、第1及び第2のモーション信号のそれぞれからの1つ又は多くのセグメント化信号を含み、それぞれの組み合わせ内のセグメント化信号は勾配及び時点の観点で同様である。換言すると、それぞれの組み合わせにおけるセグメント化信号は、数度だけの脚の上げ下げのような個人により行われた同様の運動を表すが、異なる2つのセッション、つまり、第1及び第2のリハビリテーションセッションでそれぞれ記録される。
第1及び第2のモーション信号のそれぞれのセグメント化信号を同様の勾配及び同様の時点とマッチングする組み合わせを特定するステップは動的時間伸縮(DTW)法を用いて実行することができる。DTWは、最適なマッチングを見つけるための、2つの所与のシーケンス間の類似性を測定するプロセスである。DTWにおいて、モーション信号は、非線形にワープされ、第1及び第2の信号は互いに最適にマッチングするように時間次元で変換される。結果として、第1及び第2のモーション信号におけるセグメント化信号を特定し、セグメント化信号の複数の組み合わせを形成することができる。以下、DTW法を図4に関連して更に詳細に説明する。
セグメント化信号の3種類の組み合わせが存在する。すなわち、1)第1及び第2のモーション信号のそれぞれからの1つのセグメント化信号を含む1対1対応、2)第1のモーション信号からの1つのセグメント化信号と第2のモーション信号からの複数のセグメント化信号を含む1対多の対応、3)第1のモーション信号からの複数のセグメント化信号と第2のモーション信号からの1つのセグメント化信号を含む多対1の対応である。セグメント化信号の第2の及び第3の種類の組み合わせ、つまり、1対多及び多対1の対応が、対応するモーション信号内にマッチングするセグメント化信号を有しない顕著なセグメント化信号として特定される。
これらの顕著なセグメント化信号の組み合わせは、第1及び第2のモーション信号間に1対多又は多対1の対応を生じさせる干渉ノイズセグメント化信号を含んでもよい。干渉ノイズセグメント化信号は、同様の時点で対応するモーション信号の対応を有する同様の勾配を有しないセグメント化信号である。
DTWが、組み合わせ内のノイズセグメント化信号の発生の主な原因である可能性がある。同様の勾配及び同様の時点を有する第1及び第2のモーション信号のそれぞれにおけるマッチングするセグメント化信号の組み合わせがDTWプロセスで生成されるので、同様の勾配を持たないが、対応するセグメント化信号を有する同様の時点を有するいくつかのセグメント化信号が同一の組み合わせで生成される場合がある。
1対多又は多対1の対応の例では、組み合わせは、第1のモーション信号からの1つの顕著なセグメント化信号A1と、第2のモーション信号からの2つの顕著なセグメント化信号B1及びB2とを含み得る。A1、B1及びB2が同様の時点で記録されるが、B2はA1及びB1とは異なる勾配を有する場合がある。本例では、B2は干渉ノイズとして特定されるセグメント化信号とすることができる。
顕著なセグメント化信号の組み合わせを矯正し、第1及び第2のモーション信号間のマッチング信号の組み合わせを生成し、それにより、干渉ノイズを取り除く。
それぞれの方法において2種類の矯正ステップが存在する。すなわち、1)所定の閾値ベース、2)グループ化IDベースである。
所定の閾値に基づく矯正ステップは、顕著なセグメント化信号の勾配に応じて3つの方法のうち1つで実行することができる。第1の実施形態では、顕著なセグメント化信号の組み合わせにおける同じモーション信号(つまり、第1又は第2のモーション信号)に属する顕著なセグメント化信号はマージされて、マージ信号を形成することができる。第2の実施形態では、顕著なセグメント化信号の組み合わせのセグメント化信号の一部を、モーション信号から除去することができる。第3の実施形態では、顕著なセグメント化信号の組み合わせにおけるすべてのセグメント化信号をモーション信号から除去することができる。
実施形態では、顕著なセグメント化信号の組み合わせにおいて同一のモーション信号(第1又は第2の信号)に属する複数の顕著なセグメント化信号は、マージされた信号が対応するモーション信号の対応するセグメント化信号と同様の勾配を有する場合に、マージされ得る。例えば、A1及びB1としてそれぞれ特定される、顕著なセグメント化信号の組み合わせにおいて同一のモーション信号(第1のモーション信号)に属する2つのセグメント化信号が存在し、A2は第2のモーション信号における対応するセグメント化信号である。セグメント化信号A1及びB1は、マージされた信号がA2と同様の勾配を有する場合、マージされ得る。例えば、マージ信号の勾配を算出する。算出された勾配は対応するセグメント化信号A2の勾配と比較される。
勾配差が所定の閾値内(例えば、0.5度/秒)である場合、マージ信号は対応するセグメント化信号A2のマッチング信号として保持される。一方、勾配差が所定の閾値を超える場合、A1及びB1はマージされない。この例は、以下に、図6A〜図6Cに関して更に詳細に説明する。
別の実施形態において、B1とA2との勾配差が所定の閾値を超えるが、A1及びA2の勾配差が所定の閾値内にある場合、B1は除去され、A1及びA2はマッチング信号として保持される。A1とA2との勾配差が所定の閾値を超えるが、B1及びA2の勾配差が所定の閾値内にある場合は、A1は除去され、B1及びA2はマッチング信号として保持される。A1又はB1とA2との勾配差が同一の場合も、セグメント化信号A1及びB1は対応するセグメント化信号の対応として保持される。この例は、図6D及び図6Eに関して更に詳細に説明する。
A1及びA2の勾配間の差が所定の閾値を超え、かつB1及びA2の勾配間の差が所定の閾値を超える場合、A1,B1及びA2は除去される。本例についての詳細は、以下に、図7に関して説明する。
したがって、顕著なセグメント化信号のそれぞれの組み合わせは、同一の信号(第1又は第2のモーション信号)に属する複数の顕著なセグメント化信号をマージすることにより、又は同一の信号(第1又は第2のモーション信号)に属する複数の顕著なセグメント化信号のいくつかを除去することにより、又は顕著なセグメント化信号の組み合わせの顕著なセグメント化信号のすべてを除去することにより、矯正される。こうして、干渉ノイズは有利にも除去される。
グラウンド識別子(グループID)に基づく矯正ステップは、顕著なセグメント化信号の勾配に応じて、3つの方法のうち1つ方法で実行することができる。第1の実施形態では、顕著なセグメント化信号の組み合わせ内の同一のモーション信号(つまり、第1又は第2のモーション信号)に属する顕著なセグメント化信号をマージし、マージ信号を形成することができる。第2の実施形態では、顕著なセグメント化信号の組み合わせにおけるセグメント化信号の一部をモーション信号から除去することができる。第3の実施形態では、顕著なセグメント化信号の組み合わせにおけるセグメント化信号のすべてをモーション信号から除去することができる。
当初、グルーピング方法はセグメント化信号の勾配に基づいてセグメント化信号のすべてに適用される。同一のグループに属する複数のセグメント化信号は同様の勾配を有する。算出されたグループIDは各セグメント化信号に割り当てられる。同様の勾配を有するセグメント化信号は同一のグループIDを割り当てられる。この例は、以下に、図8に関して更に詳細に説明する。
実施形態では、顕著なセグメント化信号の組み合わせ内の同一のモーション信号(第1又は第2の信号)に属する複数の顕著なセグメント化信号は、マージ済信号のグループIDが対応するモーション信号内の対応するセグメント化信号のグループIDと同一である場合、マージされ得る。ここでは、マージ信号の勾配が算出される。マージ済信号のグループIDは算出された勾配に基づいて割り当てられる。例えば、それぞれA1及びB1と特定される、顕著なセグメント化信号の組み合わせ内の同一のモーション信号(第1のモーション信号)に属する2つのセグメント化信号が存在し、A2は第2のモーション信号内の対応するセグメント化信号である。セグメント化信号A1及びB1は、マージ済信号がA2と同一のグループIDを有する場合、マージされ得る。
マージ済信号のグループIDが対応するモーション信号A2内の対応するセグメント化信号のグループIDと同一の場合は、マージ信号は対応するセグメント化信号A2のマッチング信号として保持される。一方、そのグループIDが対応するモーション信号A2内の対応するセグメント化信号のグループIDを有するグループIDと同一でない場合は、A1及びB1がマージされない。
別の実施形態において、B1のグループIDがA2のグループIDと同一ではないが、A1のグループIDがA2のグループIDと同一の場合、B1が除去され、A1及びA2はマッチング信号として保持される。A1のグループIDがA2のグループIDと同一ではないが、B1のグループIDがA2のグループIDと同一の場合は、A1は除去され、B1及びA2はマッチング信号として保持される。
A1のグループIDがA2のグループIDと同一ではなく、B1のグループIDがA2のグループIDと同一ではない場合、A1,B1及びA2は除去される。
したがって、顕著なセグメント化信号のそれぞれの組み合わせは、同一の信号(第1又は第2のモーション信号)に属する複数の顕著なセグメント化信号をマージすることにより、又は同一の信号(第1又は第2のモーション信号)に属する複数の顕著なセグメント化信号のいくつかを除去することにより、又は顕著なセグメント化信号の組み合わせ内の顕著なセグメント化信号のすべてを除去することにより、矯正される。こうして、干渉ノイズは有利にも除去される。
グループIDに基づく矯正ステップのプロセスは有利にも、所定の閾値などの所定のパラメータを用いずに、矯正ステップを実行することができる。
次に、第1及び第2のモーション信号間の各マッチング信号の対応する時間間隔が抽出される。これらの時間間隔は第1及び第2のリハビリテーションセッションにおいてモーションが行われた時間を表す。時間間隔に関する情報は、筋電図検査部110から受信した第1及び第2のEMGに転送され、期間内に発生する筋肉活動を追跡する。実施形態では、EMGは抽出された対応する時間間隔に基づいてセグメント化される。対応する時間間隔におけるセグメント化されたEMGの振幅は筋肉の強度の変化を決定するために比較される。
モーションセンサ108及び筋電図検査部110はケーブル又はワイヤレス伝送を通してシステム102と通信するように構成され得ることが理解されるであろう。通信はモーションセンサ108及び筋電図検査部110の両方とシステム102との直接伝送を伴ってもよい。通信はインターネットにより伝送されてもよい。後者の場合、個人は、自宅でリハビリテーションエクササイズを行うことができ、収集されたデータはインターネットを経由して病院で働く理学療法士に伝送される。
図2A及び図2Bは例示の実施形態に係る2つのリハビリテーションセッションで得られたモーション信号及びEMGを示す。図2Aは第1のリハビリテーションセッションで生成された結果200aを示し、図2Bは第2のリハビリテーションセッションで生成された結果200bを示す。結果は、期間を隔てて記録され、例えば、第1のリハビリテーションセッションは第2のリハビリテーションセッションの1月前に行われる。
図2A及び図2Bは第1のEMG202a,202b及び第2のEMG204a,204bを示す。これらのEMG202,204は4つの筋肉に取り付けられた筋電図検査部110によって取得される。図面はモーションセンサ108によって取得されたモーション信号206a,206bも示す。例えば、レッグエクステンションを伴うリハビリテーションセッションでは、EMG202,204は、大腿直筋、大腿二頭筋、内側広筋および半腱様筋など大腿領域のまわりの筋肉から取得することができる。モーション信号206は個人が座っているときの膝の屈曲角とすることができる。EMG202,204及びモーション信号206はシステム102で処理され、2つのリハビリテーションセッションの間における筋肉の回復を評価する。
図3A及び図3Bは例示の実施形態に係るモーション信号300セグメント化を示す。ここでは、モーション信号300は、複数の球302で表されるより小さい複数の部分に分割される。図3A及び図3Bに示すように、これらの小さい部分のそれぞれの勾配は、対象部分の前後の時点のいくつかの小さい部分、例えば、対象部分の前後の時点の2つ又は3つの部分に対して算出される。より小さい部分の勾配は図3Aに矢印304で示される。より小さい部分の勾配304を算出すると、同様の勾配を有する隣接部分は、図3Bに矢印308で示す均一な勾配を有するクラスタ又はセグメント化信号306を形成する。結果としてモーション信号300は、4つのセグメント化信号、つまり、第1のセグメント化信号310、第2のセグメント化信号312、第3のセグメント化信号314及び第4のセグメント化信号316にセグメント化される。
図4は例示の実施形態に係る第1のモーション信号400a及び第2のモーション信号400bへの動的時間伸縮(DTW)プロセスの適用を示す。2つのモーション信号400a、400b間の最適なマッチングを見つけるためにモーション信号400a,400bの類似性が測定される。同様の勾配を有するセグメント化信号の複数の組み合わせは、DTWプロセス中に特定される。セグメント化信号のこのような組み合わせの例は、参照番号402で示される。図4に示すように、1対多の対応のモーション信号400a,400bのいくつかの部分が存在する。1対多の対応の例がボックス404に示される。
図5Aは図4のボックス404の拡大図を示す。図5Bは図5Aに示すモーション信号400a,400bのセグメント化を示す。図5Bでは、モーション信号400a,400b間のセグメント化信号の3つの組み合わせ、つまり、セグメント化信号502からなる第1の組み合わせ、セグメント化信号504からなる第2の組み合わせ及びセグメント化信号506からなる第3の組み合わせが存在する。セグメント化信号からなる第2の組み合わせは第2のリハビリテーションセッションで得られた第2のモーション信号400bにおける2つの顕著なセグメント化信号X,Yと、第1のリハビリテーションセッションで得られた、第1のモーション信号400aにおける1つの顕著なセグメント化信号Zと、を含む。
図6A〜図6Eは例示の実施形態に係る顕著なセグメント化信号の矯正を説明する図を示す。図6Aは、第1のモーション信号600a及び第2のモーション信号600bを説明する図を示す。第1及び第2のモーション信号600a,600b間のセグメント化信号の3つの組み合わせ、つまり、セグメント化信号602からなる第1の組み合わせ、セグメント化信号604からなる第2の組み合わせ及びセグメント化信号606からなる第3の組み合わせが存在する。セグメント化信号からなる第2の組み合わせは、第1のモーション信号600aにおける2つの顕著なセグメント化信号X,Yと、第2のモーション信号600bにおける1つの顕著なセグメント化信号Zを含む。
図6Bは、図6Aに示すセグメント化信号604からなる第2の組み合わせにおける顕著なセグメント化信号X,Y,Zを説明する図を示す。顕著なセグメント化信号X,Yは顕著なセグメント化信号Zと異なる勾配を有する。
図6Cは図6Aの顕著なセグメント化信号X及びYのマージを説明する図を示す。図6Cに示すように、顕著なセグメント化信号X及びYはマージされ、マージ信号608を形成し、マージ信号608の勾配610が算出される。算出された勾配610は顕著なセグメント化信号Zの勾配と比較され、第1の勾配差を決定する。第1の勾配差が所定の閾値内にある場合、マージ信号608は対応する顕著なセグメント化信号Zのマッチング信号として保持される。
図6Dは、図6Aに示す第1のモーション信号600aからの顕著なセグメント化信号Yの除去を説明する図を示す。本実施形態では、第1の勾配差がこの所定の閾値を超える。顕著なセグメント化信号Xの勾配は顕著なセグメント化信号Zの勾配と比較され、第2の勾配差を決定する。第2の勾配差が所定の閾値内にある場合、顕著なセグメント化信号Yは第1のモーション信号600aから除去され、信号の更なる分析では考慮されない。顕著なセグメント化信号Xは対応する顕著なセグメント化信号Zの対応として保持される。
図6Eは図6Aに示す第1のモーション信号600aからの顕著なセグメント化信号Xの除去を説明する図を示す。本実施形態では、第1の勾配差がこの所定の閾値を超えている。顕著なセグメント化信号Yの勾配は顕著なセグメント化信号Zの勾配と比較され、第2の勾配差を決定する。第2の勾配差が所定の閾値内にある場合、顕著なセグメント化信号Xは第1のモーション信号600aから除去され、信号の更なる分析では考慮されない。顕著なセグメント化信号Yは対応する顕著なセグメント化信号Zの対応として保持される。顕著なセグメント化信号XとZとの勾配差及び顕著なセグメント化信号YとZとの勾配差はいずれも所定の閾値内にある場合、顕著なセグメント化信号(X及びY)はともに保持されることを理解されたい。
図7は、更なる例示の実施形態に係る第1及び第2のモーション信号間のセグメント化信号の組み合わせを説明する図を示す。具体的には、図7は第1のモーション信号700a及び第2のモーション信号700bを示す。第1及び第2のモーション信号700a,700b間のセグメント化信号の3つの組み合わせ、つまり、セグメント化信号702からなる第1の組み合わせ、セグメント化信号704からなる第2の組み合わせ及びセグメント化信号706からなる第3の組み合わせが存在する。セグメント化信号からなる第2の組み合わせは、第1のモーション信号700aにおける2つの顕著なセグメント化信号X,Yと、第2のモーション信号700bにおける1つの顕著なセグメント化信号Zを含む。
本実施形態では、顕著なセグメント化信号X,Yはマージされ、マージ信号の勾配は、顕著なセグメント化信号Zの勾配と比較され、第1の勾配差を決定する。第1の勾配差が所定の閾値を超える場合、顕著なセグメント化信号X,Yの勾配は個別に顕著なセグメント化信号Zの勾配と比較され、第2の勾配差を決定する。第2の勾配差が所定の閾値を超える場合、すべての顕著なセグメント化信号X,Y,Zが第1及び第2のモーション信号702a,702bから除去される。
図8は、別の例示の実施形態に係る第1のモーション信号800aと第2のモーション信号800bとの間のセグメント化信号の組み合わせを説明する図を示す。第1及び第2のモーション信号800a,800b内のセグメント化信号のそれぞれはセグメント化信号の勾配に基づいてグループ識別子(グループID)を割り当てられる。例えば、第1のモーション信号800a内の4つのセグメント化信号はそれぞれ、グループID1,グループID2,グループID3及びグループID4を割り当てられる。
図8に示すように、第1のモーション信号800aにおける2つの顕著なセグメント化信号X,Yと、第2のモーション信号800bにおける1つの顕著なセグメント化信号Zが存在する。実施形態では、顕著なセグメント化信号X,Yがマージされる。マージ信号の勾配が算出され、マージ信号は算出された勾配に基づいてグループIDを割り当てられる。マージ信号のグループIDと対応する顕著なセグメント化信号ZのグループIDは比較される。グループ識別子が同一の場合、マージ信号は対応するセグメント化信号の対応として保持される。
グループ識別子が異なる場合、対応するセグメント化信号のグループ識別子は第1及び第2の顕著なセグメント化信号のグループ識別子と比較される。対応するセグメント化信号のグループ識別子と第1の顕著なセグメント化信号のグループ識別子が同一である場合、及び対応するセグメント化信号のグループ識別子と第2の顕著なセグメント化信号のグループ識別子が異なる場合、第1の顕著なセグメント化信号が対応するセグメント化信号の対応として保持され、第2の顕著なセグメント化信号は除去される。
一方、対応するセグメント化信号のグループ識別子と第2の顕著なセグメント化信号のグループ識別子が同一である場合、及び対応するセグメント化信号のグループ識別子と第1の顕著なセグメント化信号のグループ識別子が異なる場合、第2の顕著なセグメント化信号は対応するセグメント化信号の対応として保持され、第1の顕著なセグメント化信号が除去される。
対応するセグメント化信号、第1の顕著なセグメント化信号及び第2の顕著なセグメント化信号のグループ識別子がすべて同一である場合、第1及び第2の顕著なセグメント化信号はマージされ、マージされたセグメント化信号は対応するセグメント化信号の対応として保持されることを理解されたい。
更に、対応するセグメント化信号並びに第1及び第2の顕著なセグメント化信号のグループ識別子がすべて異なる場合、第1及び第2の顕著なセグメント化信号並びに対応するセグメント化信号のすべてがモーション信号802a,802bから除去される。
顕著なセグメント化信号を矯正すると、図6A〜図6E、図7及び図8に記載する第1及び第2のモーション信号は1対1対応となる。それぞれの対のマッチング信号の対応する時間間隔が抽出され、各EMGに転送される。
図9Aは、例示の実施形態に係る抽出された対応する時間間隔に基づく第1のEMG902a及び第2のEMG902bのセグメント化を示す。第1のEMG902aは、第1のリハビリテーションセッションから取得され、第2のEMG902bは第2のリハビリテーションセッションから取得される。本例では、EMGはセグメント化され、レッグエクササイズから取得されたEMGと比較される。
図9Bは第1及び第2のリハビリテーションセッションから得られたセグメント化されたEMGの比較を示す。図9Bに示すように、同一のモーションに対するEMGが比較され、対応する時間間隔のEMGの振幅差を決定する。
図9Cは第1及び第2のリハビリテーションセッションの2つのプリミティブモーションのパフォーマンスに対するEMGの振幅を説明する棒グラフを示す。具体的には、両方のセッションにおける脚の持ち上げのEMGの振幅を、それぞれ、第1の棒904a及び第2の棒904bとして表す。両セッションにおける脚下げのEMGの振幅を、それぞれ、第3の棒906a及び第4の棒906bとして表す。図9Cに示すように、第2の棒904bは第1の棒904aより高く、第3の棒906aは第4の棒906bより高い。換言すると、第2のリハビリテーションセッションで得られたEMGの振幅は第1のリハビリテーションセッションで得られたものより高い。これは、筋力の強度が改善したことを示している。
図10は、例示の実施形態に係るリハビリテーションエクササイズ信号の信号処理方法を説明するフローチャート1000を示す。ステップ1002において、身体部分の動きに関連付けられた第1及び第2のモーション信号を受信し、モーション信号は動きの時間性データを含む。ステップ1004において、第1及び第2のモーション信号のそれぞれは、モーション信号の勾配に基づいて複数のセグメント化信号にセグメント化され、各セグメント化信号は均一な勾配を有する。ステップ1006では、セグメント化信号は自動的に修正され、第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成し、それにより第1及び第2のモーション信号は1対1対応となる。ステップ1008では、対応のマッチング信号の対応する時間間隔が抽出される。
図11は例示的なコンピューティングデバイス1100を図示し、以下、同義でコンピュータシステム1100と呼ばれ、その場合、このような1つ以上のコンピューティングデバイス1100が信号処理に使用されてもよい。例示的なコンピューティングデバイス1100は図1に示すシステム102及び図10に示す方法を実行するのに使用され得る。コンピューティングデバイス1100の以下の説明は、単なる例示として与えられ、限定することを意図したものではない。
図11に示すように、例示のコンピューティングデバイス1100はソフトウェアルーチンを実行するためのプロセッサ1107を含む。明確のため、単一のプロセッサを図示しているが、コンピューティングデバイス1100はマルチ−プロセッサシステムを含んでもよい。プロセッサ1107はコンピューティングデバイス1100の他の構成要素と通信するための通信インフラストラクチャ1106に接続されている。通信インフラストラクチャ1106は、例えば、通信バス、クロスバー又はネットワークを含んでもよい。
コンピューティングデバイス1100は、ランダムアクセスメモリ(RAM)などのメインメモリ1108と、セカンダリメモリ1110を更に含む。セカンダリメモリ1110は、例えば、ハードディスクドライブ、ソリッドステートドライブ又はハイブリッドドライブであり得るストレージドライブ1112及び/又は、磁気テープドライブ、光ディスクドライブ、(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ又はメモリカードなどの)ソリッドステートストレージドライブなどを含みうる取り外し可能ストレージドライブ1117を含んでもよい。取り外し可能ストレージドライブ1117は、周知の方法で取り外し可能記憶媒体1177から読み出す、かつ/又は取り外し可能記憶媒体1177に書き込む。取り外し可能記憶媒体1177は磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含んでもよく、それは、取り外し可能ストレージドライブ1117によって読み出され、かつ書き込まれる。当業者には理解されるように、取り外し可能記憶媒体1177はコンピュータ実行可能プログラムコード命令及び/又はデータをその内部に記憶したコンピュータ可読記憶媒体を含む。
代替の実装形態では、セカンダリメモリ1110は、付加的又は代替的に、コンピュータプログラム又は他の命令をコンピューティングデバイス1100にロードすることを可能にする他の同様の手段を含んでもよい。このような手段は、例えば、取り外し可能ストレージユニット1122及びインターフェース1150を含むことができる。取り外し可能ストレージユニット1122及びインターフェース1150の例としては、プログラムカートリッジ及びカートリッジインターフェース(ビデオゲーム機に存在するものなど)、取り外し可能メモリチップ(EPROM又はPROMなど)及び関連したソケット、取り外し可能ソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ又はメモリカードなど)、及び他の取り外し可能ストレージユニット1122及びソフトウェア及びデータを取り外し可能ストレージユニット1122からコンピュータシステム1100に転送することを可能にするインターフェース1150が挙げられる。
コンピューティングデバイス1100はまた少なくとも1つの通信インターフェース1127を含む。通信インターフェース1127は、コンピューティングデバイス1100と外部デバイス間で通信路1126を介してソフトウェア及びデータを転送することを可能にする。本発明の様々な実施形態では、通信インターフェース1127はコンピューティングデバイス1100と、パブリックデータ又はプライベートデータ通信ネットワークなどデータ通信ネットワークとの間でデータを転送させる。通信インターフェース1127は、異なるコンピューティングデバイス1100が相互接続されたコンピュータネットワークの一部を形成する、そのようなコンピューティングデバイス1100間でデータを交換するのに使用されてもよい。通信インターフェース1127の例は、モデム、ネットワークインターフェース(イーサネットカードなど)、通信ポート(シリアル、パラレル、プリンタ、GPIB、IEEE1394、RJ45、USBなど)、関連する回路を有するアンテナなどを含むことができる。通信インターフェース1127は有線であってもよいし、無線であってもよい。通信インターフェース1127を介して転送されるソフトウェア及びデータは、電子的、電磁的、光学的又は通信インターフェース1127によって受信可能な他の信号であり得る信号の形式である。これらの信号は通信路1126を介して通信インターフェースに提供される。
図11に示すように、コンピューティングデバイス1100は、関連するディスプレイ1150に画像を描画する動作を実行するディスプレイインターフェース1102と、関連するスピーカ(単数又は複数)1157を介してオーディオコンテンツを再生する動作を実行するオーディオインターフェース1152と、を更に備える。
本明細書で使用するとき、「コンピュータプログラム製品」という用語は、部分的に、取り外し可能記憶媒体1177、取り外し可能ストレージユニット1122、ストレージドライブ1112にインストールされたハードディスク、又は通信路1126(ワイヤレスリンク又はケーブル)を介して、通信インターフェース1127にソフトウェアを搬送する搬送波を指すことができる。コンピュータ可読記憶媒体は、実行及び/又は処理のために記録された命令及び/又はデータをコンピューティングデバイス1100に提供する任意の非一時的、不揮発性の有形記憶媒体を指す。このような記憶媒体の例としては、磁気テープ、CD−ROM、DVD、Blu−ray(登録商標)ディスク、ハードディスクドライブ、ROM又は集積回路、ソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ又はメモリカードなど)、ハイブリッドドライブ、PCMCIAカード等の光磁気ディスク又はコンピュータ可読カードが挙げられ、このようなデバイスはコンピューティングデバイス1100の内部に配置されても外部に配置されてもよい。コンピューティングデバイス1100への、ソフトウェア、アプリケーションプログラム、命令及び/又はデータの提供に関わり得る一時的又は無形のコンピュータ可読伝送媒体の例としては、無線又は赤外線伝送チャネル、並びに別のコンピュータ又はネットワークデバイスへのネットワーク接続、及び電子メール伝送及びウェブサイト等に記録された情報を含むインターネット又はイントラネットが挙げられる。
コンピュータプログラム(コンピュータプログラムコードとも呼ばれる)はメインメモリ1108及び/又はセカンダリメモリ1110に記憶される。コンピュータプログラムは通信インターフェース1127を介して受信されてもよい。そのようなコンピュータプログラムは、実行されると、コンピューティングデバイス1100が本明細書に記載した実施形態の1つ又は複数の特徴を実行することを可能にする。様々な実施形態では、コンピュータプログラムは、実行されると、プロセッサ1107が上記実施形態の特徴を実行することを可能にする。したがって、このようなコンピュータプログラムはコンピュータシステム1100のコントローラを表す。
ソフトウェアはコンピュータプログラム製品に記憶されてもよく、取り外し可能ストレージドライブ1117、ストレージドライブ1112、又はインターフェース1150を用いて、コンピューティングデバイス1100にロードされてもよい。コンピュータプログラム製品は非一時的コンピュータ可読媒体であってもよい。代替的、コンピュータプログラム製品は、通信路1126を介してコンピュータシステム1100にダウンロードされてもよい。ソフトウェアは、プロセッサ1107により実行されると、コンピューティングデバイス1100に本明細書に記載の実施形態の機能を実行させる。
図11の実施形態は単なる例として提示されることを理解されたい。したがって、一部の実施形態では、コンピューティングデバイス1100の1つ又は複数の特徴は省略されてもよい。また、一部の実施形態では、コンピューティングデバイス1100の1つ又は複数の特徴が組み合わされてもよい。加えて、一部の実施形態では、コンピューティングデバイス1100の1つ又は複数の特徴が1つ又は複数の構成部品に分割されてもよい。
コンピューティングデバイス1100が信号処理を実行するように構成される場合、コンピューティングシステム1100は、実行されると、コンピューティングシステム1100に、身体部分の動きに関連付けられた第1及び第2のモーション信号を受信することであって、前記モーション信号が前記動きの時間性データを含むことと、モーション信号の勾配に基づいて、前記第1及び第2のモーション信号のそれぞれを、複数のセグメント化信号にセグメント化することであって、各セグメント化信号は均一な勾配を有することと、第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成するように前記セグメント化信号を自動的に修正して、前記第1及び第2のモーション信号が1対1対応となることと、前記対応におけるマッチング信号の対応する時間間隔を抽出することと、を含むステップを実行させるアプリケーションを記憶した非一時的なコンピュータ可読媒体を有するであろう。
概略的に説明された本発明の趣旨又は範囲から逸脱することなく、特定の実施形態に示すように、本発明に対して、多数の変形及び/又は修正を行うことができることを当業者によって理解されるであろう。したがって、本実施形態は、あらゆる点で例示的であり、限定的ではないとみなされる。
例えば、上記に開示した例示的な実施形態の全部又は一部は、限定するものではないが、以下の付記として記載することができる。
(付記1)
リハビリテーションエクササイズ信号の信号処理方法であって、
身体部分の動きに関連付けられた第1及び第2のモーション信号を受信し、前記モーション信号は前記動きの時間性データを含み、
前記モーション信号の勾配に基づき、前記第1及び第2のモーション信号のそれぞれを複数のセグメント化信号にセグメント化し、各セグメント化信号は均一な勾配を有し、
前記第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成することで前記セグメント化信号を自動的に修正し、それにより前記第1及び第2のモーション信号は一対一対応となり、
前記対応における前記マッチング信号の対応する時間間隔を抽出する、ステップを含む、信号処理方法。
(付記2)
前記セグメント化信号を自動的に修正することは、
前記第1及び第2のモーション信号間のセグメント化信号の1つ又は複数の組み合わせを特定し、セグメント化信号の各組み合わせは、同様の勾配を有するセグメント化信号を含み、
同様の勾配を有するセグメント化信号の前記1つ又は複数の組み合わせを特定するステップから顕著である顕著なセグメント化信号の1つ又は複数の組み合わせを特定し、
前記第1及び第2のモーション信号のそれぞれの前記顕著なセグメント化信号を矯正し、前記マッチング信号を形成する、ステップ
を含む、付記1に記載の方法。
(付記3)
顕著なセグメント化信号の前記組み合わせを矯正することは、
第1の顕著なセグメント化信号を前記第1の顕著なセグメント化信号に隣接する第2の顕著なセグメント化信号にマージして、マージ信号を形成し、前記第1及び第2の顕著なセグメント化信号は、前記対応するモーション信号において、対応するセグメント化信号を含み、
前記マージ信号の勾配を算出し、
前記マージ信号の前記算出された勾配と、前記対応するセグメント化信号の勾配を比較し、第1の勾配差を決定し、
前記第1の勾配差が所定の閾値内の場合は、前記対応するセグメント化信号の対応として前記マージ信号を保持する、ステップを含む、付記2に記載の方法。
(付記4)
前記第1の勾配差が前記所定の閾値を超える場合、前記対応するセグメント化信号と前記第1の顕著なセグメント化信号の勾配を比較し、第2の勾配差を決定し、
前記対応するセグメント化信号と前記第2の顕著なセグメント化信号の前記勾配を比較し、第3の勾配差を決定し、
前記第2の勾配差が所定の閾値内にあり、前記第3の勾配差が前記所定の閾値を超える場合、前記第1の顕著なセグメント化信号を前記対応するセグメント化信号の対応として保持し、前記第2の顕著なセグメント化信号を除去し、
第2の勾配差が前記所定の閾値を超え、前記第3の勾配差の値が所定の閾値内にある場合、前記第2の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第1の顕著なセグメント化信号を除去し、
前記第2の勾配差及び前記第3の勾配差が所定の閾値内にあり、前記第2の勾配差が前記第3の勾配差より小さい場合、前記第1の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第2の顕著なセグメント化信号を除去し、
前記第2の勾配差及び前記第3の勾配差が所定の閾値内にある場合、前記第1の顕著なセグメント化信号と前記第2の顕著なセグメント化信号をマージし、前記マージされた信号を、前記対応するセグメント化信号の対応として保持する、ステップを更に含む、請求項3に記載の方法。
(付記5)
前記第2及び第3の勾配差が所定の閾値を超える場合、前記第1及び第2の顕著なセグメント化信号と前記対応するセグメント化信号を除去するステップを更に含む、請求項4に記載の方法。
(付記6)
前記セグメント化信号の勾配に基づいて、グループ識別子を前記セグメント化信号に割り当てるステップを更に含む、付記2に記載の方法。
(付記7)
顕著なセグメント化信号の前記組み合わせを矯正することは、
第1の顕著なセグメント化信号を、前記第1の顕著なセグメント化信号に隣接する第2の顕著なセグメント化信号にマージして、マージ信号を形成し、前記第1及び第2の顕著なセグメント化信号は、前記対応するモーション信号において、対応するセグメント化信号を含み、
前記マージ信号の勾配を算出し、
前記マージ信号の前記勾配に基づいて、グループ識別子を前記マージ信号に割り当てて、
前記マージ信号の前記グループ識別子と前記セグメント化信号の前記グループ識別子を比較し、
前記グループ識別子が同一である場合、前記マージ信号を、前記対応するセグメント化信号の対応として保持する、ステップを含む、付記6に記載の方法。
(付記8)
前記グループ識別子が異なる場合、前記対応するセグメント化信号の前記グループ識別子と前記第1の顕著なセグメント化信号の前記グループ識別子を比較するステップと、
前記対応するセグメント化信号の前記グループ識別子と前記第2の顕著なセグメント化信号の前記グループ識別子を比較し、
前記対応するセグメント化信号及び前記第1の顕著なセグメント化信号の前記グループ識別子が同一である場合、及び前記対応するセグメント化信号及び前記第2の顕著なセグメント化信号の前記グループ識別子が異なる場合、前記第1の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第2の顕著なセグメント化信号を除去し、
前記対応するセグメント化信号及び前記第2の顕著なセグメント化信号の前記グループ識別子が同一である場合及び前記対応するセグメント化信号及び前記第1の顕著なセグメント化信号の前記グループ識別子が異なる場合、前記第2の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第1の顕著なセグメント化信号を除去し、
前記対応するセグメント化信号、前記第1の顕著なセグメント化信号及び前記第2の顕著なセグメント化信号の前記グループ識別子が同一である場合、前記第1及び第2の顕著なセグメント化信号をマージし、前記マージされた信号を前記対応するセグメント化信号の対応として保持する、ステップを含む、付記7に記載の方法。
(付記9)
前記対応するセグメント化信号及び前記第1及び第2の顕著なセグメント化信号の前記グループ識別子が異なる場合、前記第1及び第2の顕著なセグメント化信号並びに前記対応するセグメント化信号を除去するステップを更に含む、付記8に記載の方法。
(付記10)
前記第1及び第2のモーション信号にそれぞれ関連付けられた第1及び第2の筋電図(EMG)を受信し、前記EMGが筋肉により生成された電位の記録を含み、前記それぞれのモーション信号と同時に記録され、
前記抽出された対応する時間間隔に応じた前記第1及び第2のEMGを比較し、前記筋力の変化を決定する、ステップを更に含む、付記1〜9のいずれか一項に記載の方法。
(付記11)
前記第1及び第2のEMGを比較することは、
前記抽出された対応する時間間隔に基づいて前記EMGをセグメント化し、
前記第1及び第2のEMG間の前記セグメント化されたEMGの振幅差を決定する、ステップ
を含む、付記10に記載の方法。
(付記12)
前記モーション信号は、時間にわたる上肢又は下肢の屈曲又は屈伸角度を含む、付記1〜11のいずれか一項に記載の方法。
(付記13)
前記第1及び第2のモーション信号間で同様の勾配を有するセグメント化信号の1つ又は複数の組み合わせを特定することは、動的時間伸縮(DTW)法を用いて前記第1及び第2のモーション信号の前記セグメント化信号間の類似性を測定することを含む、付記2に記載の方法。
(付記14)
リハビリテーションエクササイズ信号の信号処理システムであって、
少なくとも1つのプロセッサと、
コンピュータプログラムコードが記憶された少なくとも1つのメモリモジュールと、を備え、
前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサを用いて、前記システムに、
身体部分の動きに関連付けられた第1及び第2のモーション信号を受信させ、前記モーション信号が前記動きの時間性データを含み、
前記モーション信号の勾配に基づいて前記第1及び第2のモーション信号のそれぞれを複数のセグメント化信号にセグメント化させ、各セグメント化信号が均一な勾配を有し、
前記第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成させることで前記セグメント化信号を自動的に修正させ、それにより、前記第1及び第2のモーション信号が一対一対応となり、
前記対応における前記マッチング信号の対応する時間間隔を抽出させるように構成された、システム。
本出願は、2018年2月2日に出願されたシンガポール特許出願第10201800954Q号の優先権の利益に基づき、それを主張するものであり、その開示は参照によりその全体が本明細書に組み込まれる。
102 システム
104 プロセッサ
106 メモリモジュール
108 モーションセンサ
202a、202b 第1のEMGs
204a、204b 第2のEMGs
206 モーション信号
300 モーション信号
400a 第1のモーション信号
400b 第2のモーション信号
404 ボックス
502 セグメント化信号
504 セグメント化信号
506 セグメント化信号
600a 第1のモーション信号
600b 第2のモーション信号
608 マージ信号
610 勾配
700a 第1のモーション信号
700b 第2のモーション信号
800a 第1のモーション信号
800b 第2のモーション信号

Claims (14)

  1. リハビリテーションエクササイズ信号の信号処理方法であって、
    身体部分の動きに関連付けられた第1及び第2のモーション信号を受信し、前記第1及び前記第2のモーション信号は前記動きの時間性データを含み、
    前記モーション信号の勾配に基づき、前記第1及び第2のモーション信号のそれぞれを複数のセグメント化信号にセグメント化し、各セグメント化信号は均一な勾配を有し、
    前記第1及び第2のモーション信号間の同様の勾配を有するマッチング信号の複数の組み合わせを形成することで前記セグメント化信号を自動的に修正し、それにより前記第1及び第2のモーション信号は一対一対応となり、
    前記対応における前記マッチング信号の対応する時間間隔を抽出する、ステップを含む、信号処理方法。
  2. 前記セグメント化信号を自動的に修正することは、
    前記第1及び第2のモーション信号間のセグメント化信号の1つ又は複数の組み合わせを特定し、セグメント化信号のそれぞれの組み合わせは、同様の勾配を有するセグメント化信号を含み、
    同様の勾配を有するセグメント化信号の前記1つ又は複数の組み合わせを特定するステップから顕著である顕著なセグメント化信号の1つ又は複数の組み合わせを特定し、
    前記第1及び第2のモーション信号のそれぞれの前記顕著なセグメント化信号を矯正し、前記マッチング信号を形成する、ステップを含む、請求項1に記載の方法。
  3. 顕著なセグメント化信号の前記組み合わせを矯正することは、
    第1の顕著なセグメント化信号を前記第1の顕著なセグメント化信号に隣接する第2の顕著なセグメント化信号にマージしてマージ信号を形成し、前記第1及び第2の顕著なセグメント化信号は、応するモーション信号において、対応するセグメント化信号を含み、
    前記マージ信号の勾配を算出し、
    前記マージ信号の前記算出された勾配と、前記対応するセグメント化信号の勾配を比較し、第1の勾配差を決定し、
    前記第1の勾配差が所定の閾値内の場合は、前記対応するセグメント化信号の対応として前記マージ信号を保持する、ステップを含む、請求項2に記載の方法。
  4. 前記第1の勾配差が前記所定の閾値を超える場合、前記対応するセグメント化信号と前記第1の顕著なセグメント化信号の勾配を比較し、第2の勾配差を決定し、
    前記対応するセグメント化信号と前記第2の顕著なセグメント化信号の前記勾配を比較し、第3の勾配差を決定し、
    前記第2の勾配差が所定の閾値内にあり、前記第3の勾配差が前記所定の閾値を超える場合、前記第1の顕著なセグメント化信号を前記対応するセグメント化信号の対応として保持し、前記第2の顕著なセグメント化信号を除去し、
    第2の勾配差が前記所定の閾値を超え、前記第3の勾配差の値が所定の閾値内にある場合、前記第2の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第1の顕著なセグメント化信号を除去し、
    前記第2の勾配差及び前記第3の勾配差が所定の閾値内にあり、前記第2の勾配差が前記第3の勾配差より小さい場合、前記第1の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第2の顕著なセグメント化信号を除去し、
    前記第2の勾配差及び前記第3の勾配差が所定の閾値内にある場合、前記第1の顕著なセグメント化信号と前記第2の顕著なセグメント化信号をマージし、前記マージされた信号を、前記対応するセグメント化信号の対応として保持する、
    ステップを更に含む、請求項3に記載の方法。
  5. 前記第2及び第3の勾配差が所定の閾値を超える場合、前記第1及び第2の顕著なセグメント化信号と前記対応するセグメント化信号を除去するステップを更に含む、請求項4に記載の方法。
  6. 前記セグメント化信号の勾配に基づいて、グループ識別子を前記セグメント化信号に割り当てるステップを更に含む、請求項2に記載の方法。
  7. 顕著なセグメント化信号の前記組み合わせを矯正することは、
    第1の顕著なセグメント化信号を、前記第1の顕著なセグメント化信号に隣接する第2の顕著なセグメント化信号にマージしてマージ信号を形成し、前記第1及び第2の顕著なセグメント化信号は、前記対応するモーション信号において、対応するセグメント化信号を含み、
    前記マージ信号の勾配を算出し、
    前記マージ信号の前記勾配に基づいて、グループ識別子を前記マージ信号に割り当てて、
    前記マージ信号の前記グループ識別子と前記セグメント化信号の前記グループ識別子を比較し、
    前記グループ識別子が同一である場合、前記マージ信号を、前記対応するセグメント化信号の対応として保持する、ステップを含む、請求項6に記載の方法。
  8. 前記グループ識別子が異なる場合、前記対応するセグメント化信号の前記グループ識別子と前記第1の顕著なセグメント化信号の前記グループ識別子を比較し、
    前記対応するセグメント化信号の前記グループ識別子と前記第2の顕著なセグメント化信号の前記グループ識別子を比較するステップと、
    前記対応するセグメント化信号及び前記第1の顕著なセグメント化信号の前記グループ識別子が同一である場合、及び前記対応するセグメント化信号及び前記第2の顕著なセグメント化信号の前記グループ識別子が異なる場合、前記第1の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第2の顕著なセグメント化信号を除去し、
    前記対応するセグメント化信号及び前記第2の顕著なセグメント化信号の前記グループ識別子が同一である場合及び前記対応するセグメント化信号及び前記第1の顕著なセグメント化信号の前記グループ識別子が異なる場合、前記第2の顕著なセグメント化信号を、前記対応するセグメント化信号の対応として保持し、前記第1の顕著なセグメント化信号をし、
    前記対応するセグメント化信号、前記第1の顕著なセグメント化信号及び前記第2の顕著なセグメント化信号の前記グループ識別子が同一である場合、前記第1及び第2の顕著なセグメント化信号をマージし、前記マージされた信号を前記対応するセグメント化信号の対応として保持する、
    ステップを含む、請求項7に記載の方法。
  9. 前記対応するセグメント化信号及び前記第1及び第2の顕著なセグメント化信号の前記グループ識別子が異なる場合、前記第1及び第2の顕著なセグメント化信号並びに前記対応するセグメント化信号を除去するステップを更に含む、請求項8に記載の方法。
  10. 前記第1及び第2のモーション信号にそれぞれ関連付けられた第1及び第2の筋電図(EMG)を受信し、前記第1及び前記第2のEMGが筋肉により生成された電位の記録を含み、れぞれのモーション信号と同時に記録され、
    前記抽出された対応する時間間隔に応じた前記第1及び第2のEMGを比較して筋力の変化を決定する、ステップを更に含む、請求項1〜9のいずれか一項に記載の方法。
  11. 前記第1及び第2のEMGを比較することは、
    前記抽出された対応する時間間隔に基づいて前記第1及び前記第2のEMGをセグメント化し、
    前記第1及び第2のEMG間の前記セグメント化されたEMGの振幅差を決定する
    ステップを含む、請求項10に記載の方法。
  12. 前記モーション信号は、時間にわたる上肢又は下肢の屈曲又は屈伸角度を含む、請求項1〜11のいずれか一項に記載の方法。
  13. 前記第1及び第2のモーション信号間の同様の勾配を有するセグメント化信号の1つ又は複数の組み合わせを特定することは、動的時間伸縮(DTW)法を用いて前記第1及び第2のモーション信号の前記セグメント化信号間の類似性を測定することを含む、請求項2に記載の方法。
  14. リハビリテーションエクササイズ信号の信号処理システムであって、
    少なくとも1つのプロセッサと、
    コンピュータプログラムコードが記憶された少なくとも1つのメモリモジュールと、を備え、
    前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサを用いて、前記システムに、
    身体部分の動きに関連付けられた第1及び第2のモーション信号を受信させ、前記第1及び前記第2のモーション信号が前記動きの時間性データを含み、
    前記モーション信号の勾配に基づいて前記第1及び第2のモーション信号のそれぞれを複数のセグメント化信号にセグメント化させ、各セグメント化信号が均一な勾配を有し、
    前記第1及び第2のモーション信号間で同様の勾配を有するマッチング信号の複数の組み合わせを形成させことで前記セグメント化信号を自動的に修正させ、それにより、前記第1及び第2のモーション信号が一対一対応となり、
    前記対応における前記マッチング信号の対応する時間間隔を抽出させるように構成された、システム。
JP2020539008A 2018-02-02 2019-01-16 リハビリテーションエクササイズ信号の信号処理方法及びシステム Active JP6973653B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201800954Q 2018-02-02
SG10201800954QA SG10201800954QA (en) 2018-02-02 2018-02-02 Method and system for signal processing rehabilitation exercise signals
PCT/JP2019/001160 WO2019150962A1 (en) 2018-02-02 2019-01-16 Method and system for signal processing rehabilitation exercise signals

Publications (2)

Publication Number Publication Date
JP2021511126A JP2021511126A (ja) 2021-05-06
JP6973653B2 true JP6973653B2 (ja) 2021-12-01

Family

ID=67478693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020539008A Active JP6973653B2 (ja) 2018-02-02 2019-01-16 リハビリテーションエクササイズ信号の信号処理方法及びシステム

Country Status (4)

Country Link
US (1) US20210362005A1 (ja)
JP (1) JP6973653B2 (ja)
SG (1) SG10201800954QA (ja)
WO (1) WO2019150962A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766259B (zh) * 2020-03-27 2022-06-01 莊龍飛 運動課程評分方法與系統、電腦程式產品
EP4369153A1 (en) 2021-12-09 2024-05-15 Samsung Electronics Co., Ltd. Gesture recognition method using wearable device, and device therefor
WO2024040547A1 (zh) * 2022-08-26 2024-02-29 深圳市韶音科技有限公司 一种运动监控系统、设备和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4801566B2 (ja) * 2006-11-27 2011-10-26 日本電信電話株式会社 データストリーム監視装置、データストリーム監視方法、そのプログラムおよび記録媒体
JP6580497B2 (ja) * 2016-02-09 2019-09-25 Kddi株式会社 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法
WO2017179090A1 (ja) * 2016-04-11 2017-10-19 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US10426411B2 (en) * 2016-06-29 2019-10-01 Samsung Electronics Co., Ltd. System and method for providing a real-time signal segmentation and fiducial points alignment framework

Also Published As

Publication number Publication date
US20210362005A1 (en) 2021-11-25
JP2021511126A (ja) 2021-05-06
WO2019150962A1 (en) 2019-08-08
SG10201800954QA (en) 2019-09-27

Similar Documents

Publication Publication Date Title
JP6973653B2 (ja) リハビリテーションエクササイズ信号の信号処理方法及びシステム
CN109214238A (zh) 多目标跟踪方法、装置、设备及存储介质
CN108229282A (zh) 关键点检测方法、装置、存储介质及电子设备
Hsu et al. Online recursive independent component analysis for real-time source separation of high-density EEG
CN103945755B (zh) 图像处理装置
ATE533115T1 (de) Verfahren zum simulieren und erstellen eines behandlungsplans für vorhofflimmern
CN106846380B (zh) 一种医学图像配准方法及设备
US10832410B2 (en) Computer system, method, and program for diagnosing subject
CN115640506B (zh) 基于时频谱信号增强的磁粒子分布模型重建方法和系统
CN111161314A (zh) 目标对象的位置区域确定方法、装置、电子设备及存储介质
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
ATE540381T1 (de) Verfahren und mittel zur bildverarbeitung
CN106980749B (zh) 疾病的快速辅助定位方法
Abhishek et al. Stress analysis of a computer game player using electroencephalogram
CN111414579A (zh) 基于多角度相关关系获取脑区关联信息的方法和系统
Cerrolaza et al. Fully-automatic glottis segmentation with active shape models
EP3968285A3 (en) Model training method and apparatus, keypoint positioning method and apparatus, device and medium
CN113570586A (zh) 神经网络系统的创建、处理ct图像的方法及其装置
Pilotti-Riley et al. Video corroboration of player incurred impacts using trunk worn sensors among national ice-hockey team members
JPWO2020217359A5 (ja) フィッティング支援装置、フィッティング支援方法、及びプログラム
JP2010198233A (ja) 脳情報出力装置、ロボット、および脳情報出力方法
CN111067506A (zh) 一种vr游戏生理信息采集装置及方法
KR20210015176A (ko) 트레이닝 완성도를 평가하기 위한 장치 및 방법
Patil et al. Early detection of hemiplegia by analyzing the gait characteristics and walking patterns using convolutional neural networks
CN112426163A (zh) X-射线医疗设备的辅助摆位方法和系统及计算机存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R150 Certificate of patent or registration of utility model

Ref document number: 6973653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150