JP7151793B2 - センサ着脱判定プログラム、システム、及び方法 - Google Patents

センサ着脱判定プログラム、システム、及び方法 Download PDF

Info

Publication number
JP7151793B2
JP7151793B2 JP2020568898A JP2020568898A JP7151793B2 JP 7151793 B2 JP7151793 B2 JP 7151793B2 JP 2020568898 A JP2020568898 A JP 2020568898A JP 2020568898 A JP2020568898 A JP 2020568898A JP 7151793 B2 JP7151793 B2 JP 7151793B2
Authority
JP
Japan
Prior art keywords
data
sensor
predetermined
detachment
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020568898A
Other languages
English (en)
Other versions
JPWO2020157808A1 (ja
Inventor
真路 堀田
祐介 駒場
義典 柳沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2020157808A1 publication Critical patent/JPWO2020157808A1/ja
Application granted granted Critical
Publication of JP7151793B2 publication Critical patent/JP7151793B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6829Foot or ankle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

開示の技術は、センサ着脱判定プログラム、センサ着脱判定システム、及びセンサ着脱判定方法に関する。
近年、病院で医師が不足していたり、ベッド数が不足していたりすることから、患者を早期退院させて自宅でケアすることが求められている。そこで、患者の疾病からの回復状態を自宅で自動測定し、医療従事者が病院などの遠隔地から測定結果を把握できる仕組みが必要とされている。例えば、回復状態の指標として歩行特徴が臨床現場で用いられている。この歩行特徴などの情報は、患者にジャイロセンサ等のセンサを取り付けて時系列データを取得し、取得したデータを分析することで得られる。
例えば、被検者の階段歩行を平地歩行から識別する階段歩行認識装置が提案されている。この装置は、被検者の体動をモニタする3軸加速度センサ及び3軸振動ジャイロを備える。3軸振動ジャイロは、被検者の足の前後方向の回転角速度を検出するので、そのデータに基づいて階段歩行が識別される。
また、歩行者の両足の股関節、膝関節、及び足関節を挟むように取り付けられ、歩行者の歩行時の角加速度及び加速度を測定して測定データを出力する測定センサと、歩行解析部とを備える歩行解析システムが提案されている。このシステムは、歩行解析部が、測定データに基づいて、歩行状態の評価を行う。
また、歩行者の動きを検出するジャイロセンサを適切に補正する技術が提案されている。この技術は、加速度情報と角加速度情報と画像情報との相関に基づいて、ユーザが直進状態であると判定されたことに応じて、ジャイロセンサにより取得される角速度情報を補正する。
また、3軸ジャイロセンサから取得した時系列データからピーク検出を行ってスイング動作候補を抽出し、スイング動作候補の前方回転速度が最大になるように、時系列データに回転行列を掛けて補正した上で、歩行特徴を抽出する技術が提案されている。
特開2000-325329号公報 特開2012-343号公報 特開2014-196941号公報 国際公開第2018/092219号
しかしながら、従来技術では、被検者へのセンサの着脱時のデータについては考慮されていない。ジャイロセンサで取得される時系列データを分析する際、その時系列データに、被検者へジャイロセンサを着脱するときのデータが含まれていると、適切な分析結果を得ることができない、という問題がある。
一つの側面として、開示の技術は、分析対象外となるセンサ着脱時のデータを精度良く判定することを目的とする。
一つの態様として、開示の技術は、ジャイロセンサから取得した時系列データの周波数特徴を抽出する。また、開示の技術は、前記周波数特徴に基づいて、前記時系列データのうち、周波数が所定値以上である高周波の特徴を示すデータが継続的に発生している区間に応じて、センサ着脱期間を判定する。
一つの側面として、分析対象外となるセンサ着脱時のデータを精度良く判定することができる、という効果を有する。
ジャイロデータの一例を示す図である。 センサ着脱判定システムの機能ブロック図である。 周波数特徴の抽出を説明するための図である。 周波数特徴の閾値判定を説明するための図である。 着脱期間の判定を説明するための図である。 着脱期間の判定を説明するための図である。 ジャイロセンサの装着ズレを説明するための図である。 回転補正を説明するための図である。 歩行区間の検出を説明するための図である。 条件判定要素を記録したテーブルの一例を示す図である。 センサ着脱判定システムとして機能するコンピュータの概略構成を示すブロック図である。 センサ着脱判定処理の一例を示すフローチャートである。 第1実施形態における着脱判定処理の一例を示すフローチャートである。 分析処理の一例を示すフローチャートである。 判定された着脱期間の除去を説明するための図である。 交互にセンサを装着する場合のジャイロデータの一例を概略的に示す図である。 同時にセンサを装着する場合のジャイロデータの一例を概略的に示す図である。 ジャイロデータの微分値の左右差の算出を説明するための図である。 ジャイロデータの微分値の符号付き左右差の算出を説明するための図である。 ジャイロデータの微分値の左右積の算出を説明するための図である。 左右差の閾値判定を説明するための図である。 符号付き左右差の閾値判定を説明するための図である。 左右積の閾値判定を説明するための図である。 左右積が閾値を超えるセグメントに基づいて判定された着脱期間に付加するマージンを説明するための図である。 第2実施形態における着脱判定処理の一例を示すフローチャートである。
以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
まず、各実施形態の詳細を説明する前に、センサ着脱時のデータ及び分析対象のデータについて説明する。なお、以下の各実施形態では、被検者の左右の足の所定部位(例えば、足首など)に装着したジャイロセンサから取得される時系列データ(以下、「ジャイロデータ」ともいう)に基づいて、被検者の歩行特徴を分析する場合について説明する。
図1に、被検者がジャイロセンサを両足に装着し、歩行を行い、ジャイロセンサを両足から外すという一連の動作の間に取得されたジャイロデータの一例を示す。なお、以下では、左足に装着されたジャイロセンサから取得されたジャイロデータを左のジャイロデータ、右足に装着されたジャイロセンサから取得されたジャイロデータを右のジャイロデータという。
ここでは、分析対象のデータは歩行時のデータであるが、この歩行時のデータを特定するためには、例えば、所定値以上の値の変化が見られる区間のデータを抽出することが考えられる。しかし、ジャイロセンサの着脱時にも、所定値以上の値の変化が見られるため、この区間を誤って歩行時のデータとして特定してしまう場合がある。この場合、適切な分析結果を得られなくなってしまう。
そこで、以下の各実施形態では、ジャイロデータにおいて、センサ着脱時のデータを判定し、センサ着脱時のデータを除外した上で、歩行特徴の分析を行う。
以下、各実施形態について詳述する。
<第1実施形態>
図2に示すように、センサ着脱判定システム10には、ジャイロジャイロデータが入力される。ジャイロセンサは、例えば、3軸ジャイロセンサで、装着位置に対する上下、左右、前後方向の各々のジャイロデータを出力する。センサ着脱判定システム10は、入力されたジャイロデータに対してセンサの着脱判定及び分析処理を行い、分析結果を出力する。
センサ着脱判定システム10は、機能的には、図2に示すように、抽出部12と、判定部14と、分析部16とを含む。
抽出部12は、入力されたジャイロデータの周波数特徴を抽出する。センサ着脱時のジャイロデータの特徴として、時系列データの波形が高周波になることがあげられる。これは、ジャイロセンサの着脱時には、歩行時の足の動きなどに比べて、ジャイロセンサの動きの変化が速くなるためである。そこで、抽出部12は、周波数特徴として、周波数が所定値以上である高周波の特徴を示すか否かを判定可能な周波数特徴を抽出する。
例えば、抽出部12は、ジャイロデータの各時刻の値の微分値(d(t)=x(t)-x(t-1))を周波数特徴として抽出する。なお、x(t)は、時刻tのジャイロデータの値である。
ここで、上述したように、本実施形態では、センサ着脱時のジャイロデータの特徴として、高周波の特徴を用いるものである。しかし、図3の丸印で示す箇所のように、各時刻の周波数特徴(ここでは、微分値)を求めた場合、歩行時のデータであっても、断続的に高周波の特徴を示すデータが発生する。一方、センサ着脱時には、歩行時と比べ、高周波の特徴を示すデータが継続して発生する。
そこで、抽出部12は、高周波の特徴を示すデータが継続的に発生しているか否かを判定可能な周波数特徴を抽出する。例えば、抽出部12は、所定時間単位に含まれる微分値の中央値を、周波数特徴として抽出する。なお、中央値に代えて、平均値、分位数などの他の統計値を用いてもよい。これにより、図3に示すように、歩行時に発生する断続的な高周波を除いた周波数特徴を抽出することができる。
具体的には、抽出部12は、図3に示すように、時刻毎の微分値を所定時間(例えば、2秒)単位で区切ったセグメント毎に、セグメント内の微分値の中央値を求める。抽出部12は、各セグメントに時系列順にセグメント番号を付与し、そのセグメントについて求められた中央値をセグメント番号と対応付けた抽出結果を判定部14へ受け渡す。なお、以下では、セグメント番号iのセグメントを「セグメントi」と表記する。
判定部14は、抽出部12から受け渡された抽出結果に基づいて、微分値の中央値が予め定めた閾値TH1以上のセグメントを、高周波の特徴を示すデータが継続的に発生している区間と判定する。そして、判定部14は、高周波の特徴を示すデータが継続的に発生している区間に応じて、センサ着脱期間を判定する。
具体的には、判定部14は、図4に示すように、閾値判定結果として、微分値の中央値が閾値TH1以上のセグメントにフラグ「1」を付与し、微分値の中央値が閾値TH1未満のセグメントにフラグ「0」を付与する。
また、判定部14は、高周波の特徴を示すデータが継続的に発生している複数の区間のうち、連続する区間の間隔が所定時間以下の場合、連続する区間を連結する。これは、閾値判定結果に基づいてそのまま着脱期間を判定すると、センサの着脱中に動作が一瞬止まったなどの場合に、着脱期間が途切れ途切れになることを避けるためである。連結するか否かを判定するための所定時間としては、センサを装着してから取り外すまでの間に、歩行などの何らかの動作が行われる時間があることを考慮した時間(例えば、5秒)を予め定めておく。
具体的には、判定部14は、図5に示すように、閾値判定結果のフラグ「1」が付与されているセグメントで、時系列順に連続するセグメント間の時間が所定時間以下であれば、そのセグメント間のセグメントのフラグも「1」に変更する。例えば、セグメント1のフラグが「1」、セグメント2のフラグが「0」、セグメント3のフラグが「1」の場合で、セグメント1とセグメント3との間の時間が4秒で、所定時間が5秒であるとする。この場合、判定部14は、セグメント2のフラグも「1」にすることで、セグメント1の閾値判定結果とセグメント3の閾値判定結果とを連結する。
また、判定部14は、図5に示すように、閾値判定結果を連結した区間の前後に所定のマージンを加えた区間を、センサの着脱期間として判定する。これは、ジャイロデータの微分値の中央値が閾値を超えたセグメントの前後においても、センサの着脱動作が行われている可能性を考慮したものである。
判定部14は、図6に示すように、セグメント単位で判定した着脱期間を、元の時系列データであるジャイロデータの時刻に対応させた着脱期間を特定し、特定した着脱期間の情報を分析部16へ受け渡す。
分析部16は、入力されたジャイロデータのうち、判定部14から受け渡された着脱期間のデータを除いた区間のデータを分析対象のデータとして、所定の分析処理を行う。本実施形態では、歩行特徴を分析する場合を一例として詳述する。
分析部16は、着脱期間を除いた分析対象データに対して、所定の窓幅(例えば、5秒)をずらしながら設定し、窓幅内のデータの値に変化がある区間を、歩行区間の候補として抽出する。分析部16は、歩行区間の候補毎に、回転補正、歩行区間の検出、及び歩行特徴の抽出を行う。以下、回転補正、歩行区間の検出、及び歩行特徴の抽出の各々について説明する。
まず、回転補正について説明する。例えば、3軸ジャイロセンサのジャイロデータを取得する場合において、図7のAに示すように、ジャイロセンサの装着位置が回転ズレを起こすことなく正しい向きで装着されているとする。この場合には、前後方向のジャイロデータから歩行特徴を容易に抽出することができる。一方、図7のBに示すように、ジャイロセンサの装着位置が回転ズレを起こしている場合には、適切なジャイロデータを取得することができず、歩行特徴の抽出が困難となる場合がある。この問題を解消するため、分析部16は、回転補正を行う。
分析部16は、ジャイロデータの回転補正として、図8に示すように、回転操作、フィルタリング、ピーク検出、並びに評価及び選択を行う。
具体的には、分析部16は、回転操作として、前後方向のジャイロデータ及び左右方向のジャイロデータを用いて、下記の演算操作を複数の候補角度に対して実施することで回転行列をかけ、回転操作後の前後方向のジャイロデータの候補gyroX’(t)を得る。
gyroX’(t)=gyroX(t)・cosθ-gyroY(t)・sinθ
ここで、gyroX(t)は、時刻tの前後方向のジャイロデータの値、gyroY(t)は、時刻tの左右方向のジャイロデータの値、θは候補角度である。
また、分析部16は、フィルタリング処理として、回転操作後の前後方向のジャイロデータの各候補に対して、ローパスフィルタを適用し、ピーク検出を行う前に、微小なノイズピークを取り除く。
また、分析部16は、ピーク検出として、フィルタリング済の前後方向のジャイロデータの各候補から、ピークを検出する。
また、分析部16は、評価及び選択として、例えば、検出したピークの振幅の上位所定個の平均を評価値として求め、この評価値が最大である候補角度に対応する回転補正後の前後方向のジャイロデータを、歩行特徴を抽出するためのデータとして選択する。これは、人が歩くときは足を前方に振るため、ジャイロセンサが正しい角度で装着されていれば、前後方向のジャイロデータの振幅が最大になる、という原理に基づく。以降の処理では、ここで選択されたジャイロデータが用いられる。
ここで、本実施形態では、判定部14により判定されたセンサの着脱期間のデータが除かれているため、センサの着脱時に発生するジャイロデータのピークが、回転補正のためのピーク検出で検出されない。したがって、評価及び選択において、センサの着脱時に発生するジャイロデータのピークに基づく誤った評価及び選択が行われることを回避して、精度良く回転補正を行うことができる。例えば、特許文献4の技術では、センサを着脱するときの俊敏な動作が歩行スイング動作の直前や直後に入るため、この着脱動作がスイング動作候補と誤判定されてしまい、誤った回転変換がなされてしまう。本実施形態では、このような問題を解消することができる。
次に、歩行区間の検出について説明する。分析部16は、歩行区間の検出として、ピーク範囲決定、条件判定要素抽出、及び歩行条件判定を行う。
具体的には、分析部16は、ピーク範囲決定として、ピーク開始点及びピーク終了点を特定する。図9に示すように、ピーク開始点は、ピーク最大点(図9中の楕円マーク)より前の所定区間内にジャイロデータの値が最小になる点(図9中の三角マーク)とし、ピーク終了点は、ピーク最大点より後の所定区間内にジャイロデータの値が最小になる点(図9中のバツマーク)とする。
また、分析部16は、ジャイロデータに時系列順に表れるピーク毎に1歩目、2歩目、・・・とステップを割り当て、ステップ毎に、条件判定要素として、ピーク間隔、ピーク振幅、着地時間、及び足の所属側を抽出する。図9に示すように、ピーク間隔は、ピーク最大点から次のピーク最大点までの時間長である。ピーク振幅は、ピーク最大点におけるジャイロデータの値である。着地時間は、左右の一方の側のジャイロデータにおけるピーク終了点から、他方の側のジャイロデータにおける次のピーク開始点までの時間長である。足の所属側は、ピークが所属するジャイロデータが、左のジャイロデータか右のジャイロデータを示す情報である。分析部16は、抽出した条件判定要素を、例えば図10に示すようなテーブルに記録する。
また、分析部16は、歩行条件判定として、各条件判定要素が歩行区間の条件を満たすか否かを判定する。例えば、分析部16は、全てのピーク間隔が所定範囲内であること、全てのピーク振幅が所定範囲内であること、全ての着地時間が0以上であること、全てのピークが左右交互になっていることの全てを満たすか否かを判定する。全てを満たす場合に、分析部16は、該当の歩行区間の候補が歩行区間の条件を満たすと判定し、歩行区間として検出する。
また、分析部16は、歩行特徴として、歩行区間に含まれるステップ毎に、スイング時間、ストライド時間、歩幅等を抽出する。ストライド時間は、ピーク最大点から次のピーク最大点までの時間長である。スイング時間は、ピーク開始点からピーク終了点までの時間長である。歩幅は、ピーク開始点からピーク終了点までのジャイロデータを積分した値(爪先離地から踵着地までの足の角度差に相当)に所定係数を乗じて得られる値である。
分析部16は、抽出した歩行特徴を分析結果として出力する。
センサ着脱判定システム10は、例えば図11に示すコンピュータ40で実現することができる。コンピュータ40は、CPU(Central Processing Unit)41と、一時記憶領域としてのメモリ42と、不揮発性の記憶部43とを備える。また、コンピュータ40は、入力部、表示部等の入出力装置44と、記憶媒体49に対するデータの読み込み及び書き込みを制御するR/W(Read/Write)部45とを備える。また、コンピュータ40は、インターネット等のネットワークに接続される通信I/F46を備える。CPU41、メモリ42、記憶部43、入出力装置44、R/W部45、及び通信I/F46は、バス47を介して互いに接続される。
記憶部43は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を、センサ着脱判定システム10として機能させるためのセンサ着脱判定プログラム50が記憶される。センサ着脱判定プログラム50は、抽出プロセス52と、判定プロセス54と、分析プロセス56とを有する。
CPU41は、センサ着脱判定プログラム50を記憶部43から読み出してメモリ42に展開し、センサ着脱判定プログラム50が有するプロセスを順次実行する。CPU41は、抽出プロセス52を実行することで、図2に示す抽出部12として動作する。また、CPU41は、判定プロセス54を実行することで、図2に示す判定部14として動作する。CPU41は、分析プロセス56を実行することで、図2に示す分析部16として動作する。これにより、センサ着脱判定プログラム50を実行したコンピュータ40が、センサ着脱判定システム10として機能することになる。なお、プログラムを実行するCPU41はハードウェアである。
なお、センサ着脱判定プログラム50により実現される機能は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、第1実施形態に係るセンサ着脱判定システム10の作用について説明する。センサ着脱判定システム10にジャイロデータが入力されると、センサ着脱判定システム10において、図12に示すセンサ着脱判定処理が実行される。なお、センサ着脱判定処理は、開示の技術のセンサ着脱判定方法の一例である。
ステップS10で、後述する着脱判定処理が実行され、次にステップS40で、後述する分析処理が実行される。
ここで、図13を参照して、着脱判定処理について詳述する。
ステップS12で、抽出部12が、左右のジャイロセンサの各々から出力されたジャイロデータを取得する。
次に、ステップS14で、抽出部12が、取得したジャイロデータの各時刻の値の微分値(d(t)=x(t)-x(t-1))を算出する。
次に、ステップS16で、抽出部12が、時系列データであるジャイロデータを所定時間単位でセグメント毎に区切り、時系列順に1つのセグメントを処理対象のセグメントに設定する。
次に、ステップS18で、抽出部12が、処理対象のセグメント内の微分値の中央値を算出する。抽出部12は、算出した微分値の中央値と、処理対象のセグメントのセグメント番号とを対応付けた抽出結果を判定部14へ受け渡す。
次に、ステップS20で、判定部14が、抽出部12から受け渡された抽出結果に基づいて、微分値の中央値が閾値TH1以上か否かを判定して、閾値判定結果を求める。具体的には、判定部14が、閾値判定結果として、微分値の中央値が閾値TH1以上のセグメントにはフラグ「1」を付与し、微分値の中央値が閾値TH1未満のセグメントにフラグ「0」を付与する。
次に、ステップS30で、抽出部12が、ジャイロデータに上記ステップS18及びS20の処理が未処理のセグメントが存在するか否かを判定する。未処理のセグメントが存在する場合には、ステップS16に戻り、抽出部12が、次のセグメントを処理対象のセグメントに設定する。一方、全てのセグメントの処理が終了している場合には、ステップS32へ移行する。
ステップS32では、判定部14が、閾値判定結果のフラグ「1」が付与されているセグメントで、時系列順に連続するセグメント間の時間が所定時間以下であれば、そのセグメント間のセグメントのフラグも「1」に変更する。これにより、閾値判定結果を連結する。そして、判定部14が、閾値判定結果を連結した区間の前後に所定のマージンを加えた区間を、センサの着脱期間として判定する。判定部14は、セグメント単位で判定した着脱期間を、元の時系列データであるジャイロデータの時刻に対応させた着脱期間を特定し、特定した着脱期間の情報を分析部16へ受け渡す。そして、図12に示すセンサ着脱判定処理に戻る。
次に、図14を参照して、分析処理について詳述する。
ステップS42で、分析部16が、入力されたジャイロデータのうち、判定部14から受け渡された着脱期間のデータを除いた区間のデータを分析対象のデータとする。そして、分析部16が、着脱期間を除いた分析対象データに対して、所定の窓幅(例えば、5秒)をずらしながら設定し、窓幅内のデータの値に変化がある区間を、歩行区間の候補として抽出する。
次に、ステップS44で、分析部16が、歩行区間の候補の1つを処理対象の候補に設定する。
次に、ステップS46で、分析部16が、設定された候補であるジャイロデータに対する回転補正として、回転操作、フィルタリング、ピーク検出、並びに評価及び選択の処理を行う。
次に、ステップS48で、分析部16が、歩行区間の検出として、ピーク範囲決定、条件判定要素抽出、及び歩行条件判定を行って、処理対象の候補が歩行区間か否かを判定する。
次に、ステップS50で、分析部16が、上記ステップS48において歩行区間として検出されたジャイロデータから、歩行特徴として、歩行区間に含まれるステップ毎に、スイング時間、ストライド時間、歩幅等を抽出する。分析部16は、抽出した歩行特徴を分析結果として記録する。なお、上記ステップS48で、処理対象の候補が歩行区間であると判定されなかった場合には、本ステップの処理はスキップする。
次に、ステップS52で、分析部16が、上記ステップS42で抽出された歩行区間の候補のうち、上記ステップS46~S50の処理が未処理の候補が存在するか否かを判定する。未処理の候補が存在する場合には、処理はステップS44に戻り、分析部16が、次の候補を処理対象の候補に設定する。一方、全ての候補の処理が終了している場合には、ステップS54へ移行する。
ステップS54では、分析部16が、上記ステップS50で記録した分析結果を出力し、分析処理及びセンサ着脱判定処理(図12)は終了する。
以上説明したように、第1実施形態に係るセンサ着脱判定システムによれば、時系列データであるジャイロデータのうち、周波数が所定値以上である高周波の特徴を示すデータが継続的に発生している区間に応じて、センサの着脱期間を判定する。これにより、分析対象外となるセンサ着脱時のデータを精度良く判定することができる。
また、精度良く判定されたセンサの着脱期間のデータを分析対象のデータから除くことで、着脱期間のデータを除かない場合に比べ、適切な分析結果を得ることができる。
例えば、図15に示すように、ジャイロデータから着脱期間を除き、その上で、回転行列を求め、その回転行列を掛けて回転変換を行って、歩行区間の検出及び歩行特徴の抽出を行う。この場合、回転変換を行う際、及び歩行特徴を抽出する際に用いるジャイロデータの波形のピークとして、センサ着脱時に発生するピークが含まれることを回避することができる。これにより、センサの装着ズレ等の補正精度の向上、歩行区間の誤検出の低減、歩行特徴の抽出精度の向上等の効果を奏することができる。
<第2実施形態>
次に、第2実施形態について説明する。なお、第2実施形態に係るセンサ着脱判定システムにおいて、第1実施形態に係るセンサ着脱判定システム10と同様の部分については、同一符号を付して詳細な説明を省略する。
第1実施形態では、センサ着脱時のジャイロデータの特徴として、高周波の特徴を示すデータが継続的に発生している場合について説明したが、第2実施形態では、それに加え、左右のジャイロデータを比較した際の特徴も用いる。
具体的には、左右の足に交互にセンサを着脱する場合、図16に示すように、センサ着脱時において、高周波の特徴が発生するタイミングに左右差が生じる。これは、一方の足にセンサを着脱しているときに、他方の足側のセンサは装着済みで固定されているか、未装着の状態で放置されているためである。また、高周波の特徴が発生する足の所属側は、図16に示すように、センサ着脱中において左右で反転する。これは、センサ着脱を左右交互に行うためである。
また、他者の手を借りるなどして、両足のセンサを同時に着脱する場合、図17に示すように、高周波の特徴が発生するタイミングに左右差はほとんど生じない。
第2実施形態では、上記の特徴も用いて、センサの着脱期間を判定する。
第2実施形態に係るセンサ着脱判定システム210は、機能的には、図2に示すように、抽出部212と、判定部214と、分析部16とを含む。
抽出部212は、第1実施形態における抽出部12と同様に、左右の各々のジャイロデータの微分値を算出し、セグメント毎に微分値の中央値を求める。
また、抽出部212は、図18に示すように、左のジャイロデータの微分値の中央値と、右のジャイロデータの微分値の中央値との差の絶対値(以下、「左右差」という)α(n)を、下記の演算式に従ってセグメント毎に算出する。
α(n)=|d(n)-d(n)|
なお、d(n)は、左のジャイロデータのセグメントnにおける微分値の中央値、d(n)は、右のジャイロデータのセグメントnにおける微分値の中央値である。
また、抽出部212は、図19に示すように、左のジャイロデータの微分値の中央値と、右のジャイロデータの微分値の中央値との符号付きの差(以下、「符号付き左右差」という)β(n)を、下記の演算式に従ってセグメント毎に算出する。
β(n)=d(n)-d(n)
また、抽出部212は、図20に示すように、左のジャイロデータの微分値の中央値と、右のジャイロデータの微分値の中央値との積(以下、「左右積」という)γ(n)を、下記の演算式に従ってセグメント毎に算出する。
γ(n)=d(n)×d(n)
なお、左右同時にセンサを着脱する場合には、図20の右下図に示すように、左右差には、顕著な特徴は見られない。
抽出部212は、セグメント番号と、上記のように算出した左右差、符号付きの左右差、及び左右積とを対応付けた抽出結果を判定部14へ受け渡す。
判定部214は、図21に示すように、左右差が予め定めた閾値TH2以上となるデータを、センサ着脱時における高周波の特徴を示すデータとして特定する。具体的には、判定部214は、左右差が閾値TH2以上のセグメントにフラグ「1」を付与し、左右差が閾値TH2未満のセグメントにフラグ「0」を付与する。
また、判定部214は、図22に示すように、符号付き左右差が予め定めた閾値TH3以上で、かつ前後所定時間内に符号付き左右差が閾値-TH3以下となるセグメントが存在するセグメントのデータを、高周波の特徴を示すデータとして特定する。同様に、判定部214は、符号付き左右差が予め定めた閾値-TH3以下で、かつ前後所定時間内に符号付き左右差が閾値TH3以上となるセグメントが存在するセグメントのデータを、高周波の特徴を示すデータとして特定する。
具体的には、判定部214は、図22に示すように、符号付き左右差が閾値TH3以上のセグメントに仮フラグ「1」、閾値-TH3以下のセグメントに仮フラグ「-1」、閾値-TH3より大きくTH3未満のセグメントにフラグ「0」を付与する。そして、判定部214は、仮フラグ「1」又は「-1」が付与されている各セグメントについて、最終的な閾値判定結果を示すフラグを付与する。より具体的には、判定部214は、該当のセグメントの前後所定時間分のセグメントにおいて、該当のセグメントの仮フラグと符号が逆の仮フラグが付与されたセグメントが存在する場合に、該当のセグメントの仮フラグ「1」を採用する。判定部214は、符号が逆の仮フラグが付与されたセグメントが存在しない場合には、該当のセグメントの仮フラグをフラグ「0」に変更する。
また、判定部214は、図23に示すように、左右積が予め定めた閾値TH4以上となるデータを、センサ着脱時における高周波の特徴を示すデータとして特定する。具体的には、判定部214は、左右積が閾値TH4以上のセグメントにフラグ「1」を付与し、左右差が閾値TH4未満のセグメントにフラグ「0」を付与する。
判定部214は、左右差、符号付き左右差、及び左右積の各々に基づく閾値判定結果を統合して、最終的な閾値判定結果を特定する。具体的には、判定部214は、左右差及び符号付き左右差に基づくフラグの両方が「1」の場合、又は、左右積に基づくフラグが「1」の場合に、最終的なフラグ「1」をセグメントに付与する。一方、判定部214は、左右差及び符号付き左右差に基づくフラグのいずれかが「0」、かつ、左右積に基づくフラグが「0」の場合に、最終的なフラグ「0」をセグメントに付与する。これにより、センサの着脱を1人で行っているか、2人で行っているかが事前に分からない場合でも、適切に着脱期間を判定することができる。
判定部214は、第1実施形態における判定部14と同様に、最終的なフラグが「1」のセグメントの連結、及びマージンの付加を行って、センサの着脱期間を判定する。この際、左右積に基づいて最終的なフラグが「1」となったセグメントについては、付加するマージンを、左右差に基づいて最終的なフラグが「1」となったセグメントよりも長めに設定してもよい。これは、図24に示すように、センサの着脱が両足同時に行われるとしても、そのタイミングが完全一致することは稀であり、一部が重複するケースが大半をしめる。そこで、左右積が閾値TH4以上の期間の前後に、左右で着脱期間が重複していない期間があることを考慮して、長めのマージンを付加するものである。
センサ着脱判定システム210は、例えば図11に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を、センサ着脱判定システム210として機能させるためのセンサ着脱判定プログラム250が記憶される。センサ着脱判定プログラム250は、抽出プロセス252と、判定プロセス254と、分析プロセス56とを有する。
CPU41は、センサ着脱判定プログラム250を記憶部43から読み出してメモリ42に展開し、センサ着脱判定プログラム250が有するプロセスを順次実行する。CPU41は、抽出プロセス252を実行することで、図2に示す抽出部212として動作する。また、CPU41は、判定プロセス254を実行することで、図2に示す判定部214として動作する。CPU41は、分析プロセス56を実行することで、図2に示す分析部16として動作する。これにより、センサ着脱判定プログラム250を実行したコンピュータ40が、センサ着脱判定システム210として機能することになる。
なお、センサ着脱判定プログラム250により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第2実施形態に係るセンサ着脱判定システム10の作用について説明する。第2実施形態では、図12に示すセンサ着脱判定処理のステップS10で実行される着脱判定処理が第1実施形態と異なるため、図25を参照して、第2実施形態における着脱判定処理について説明する。なお、第1実施形態における着脱判定処理(図13)と同様の処理については、同一符号を付して詳細な説明を省略する。
ステップS12~S16を経て、次のステップS218で、抽出部212が、処理対象のセグメントにおけるジャイロデータの微分値の中央値の左右差、符号付き左右差、及び左右積を算出する。
次に、ステップS220で、判定部214が、左右差、符号付き左右差、及び左右積の各々の算出結果に基づいて、閾値判定を行い、着脱期間の候補となるセグメントにフラグ「1」、それ以外のセグメントにフラグ「0」を付与する。
次に、ステップS222で、判定部214が、処理対象のセグメントに付与された、左右差及び符号付き左右差に基づくフラグの両方が「1」か否かを判定する。両方「1」の場合には、ステップS226へ移行し、いずれかのフラグが「0」の場合、ステップS224へ移行する。
ステップS224では、判定部214が、処理対象のセグメントに付与された、左右積に基づくフラグが「1」か否かを判定する。「1」の場合には、ステップS226へ移行し、「0」の場合には、ステップS228へ移行する。
ステップS226では、判定部214が、処理対象のセグメントに最終的なフラグ「1」を付与する。一方、ステップS228では、判定部214が、処理対象のセグメントに最終的なフラグ「0」を付与する。
以下、第1実施形態と同様にステップS30及びS32が実行され、着脱判定処理は終了する。
以上説明したように、第2実施形態に係るセンサ着脱判定システムによれば、センサ着脱時のジャイロデータの特徴として、高周波の特徴を示すデータが継続的に発生している場合に加え、左右のジャイロデータを比較した際の特徴も用いる。これにより、2つのジャイロセンサが人体の左右で対となる位置に装着される場合において、分析対象外となるセンサ着脱時のデータを、より精度良く判定することができる。
なお、上記各実施形態では、両足にジャイロセンサを装着した際のジャイロデータを取得する場合について説明したが、これに限定されない。例えば、手首や腕などの部位にセンサが装着される場合にも適用することができる。また、第1実施形態においては、分析処理の内容にもよるが、2つのジャイロセンサが人体の左右で対となる位置に装着される場合に限定されず、1つ又は3つ以上のジャイロセンサが装着される場合にも適用することができる。3つ以上のジャイロセンサが装着される場合は、各ジャイロセンサから出力されるジャイロデータについて、第1実施形態の手法で、それぞれセンサの着脱期間の判定及び分析処理を行えばよい。
また、上記各実施形態では、分析処理として、ジャイロデータから歩行特徴を抽出する場合について説明したが、これに限定されない。ジャイロセンサが装着される部位及びその部位の動きに応じた分析処理を適宜行えばよい。
また、上記第2実施形態では、ジャイロデータの微分値のセグメント毎の中央値の左右差、符号付き左右差、及び左右積の全てを用いて、センサの着脱期間を判定する場合について説明したが、これに限定されず、いずれか1つを用いて判定してもよい。
また、上記第2実施形態では、ジャイロデータの微分値のセグメント毎の中央値を算出した後で、左右差、符号付き左右差、及び左右積を算出する場合について説明したが、これに限定されない。先に微分値の左右差、符号付き左右差、及び左右積を算出した上で、セグメント毎に、これらの算出結果の中央値をとるようにしてもよい。
また、上記第2実施形態における、左のジャイロデータと、右のジャイロデータとの差に代えて比率を用いてもよい。また、左のジャイロデータと、右のジャイロデータとの積に代えて和を用いてもよい。
また、上記各実施形態では、ジャイロデータの周波数特徴を抽出するために、ジャイロデータの微分値を用いる場合について説明したが、これに限定されず、時刻毎に周波数分析を行って、高周波の特徴を示すか否かを特定するようにしてもよい。
また、上記各実施形態では、高周波の特徴を示すデータが継続的に発生している区間を、ジャイロデータのセグメント毎に微分値の中央値をとって閾値判定することで特定する場合について説明したが、これに限定されない。例えば、閾値以上の微分値の発生頻度が所定割合以上の区間を特定するなど、他の方法を採用してもよい。
また、上記各実施形態では、センサ着脱判定システムが1つのコンピュータで実現される場合について説明したが、これに限定されず、複数のコンピュータに各機能部が分散された構成としてもよい。
また、上記各実施形態では、センサ着脱判定プログラムが記憶部に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD-ROM、DVD-ROM、USBメモリ等の記憶媒体に記憶された形態で提供することも可能である。
10、210 センサ着脱判定システム
12、212 抽出部
14、214 判定部
16 分析部
40 コンピュータ
41 CPU
42 メモリ
43 記憶部
49 記憶媒体
50、250 センサ着脱判定プログラム

Claims (8)

  1. ジャイロセンサから取得した時系列データの周波数特徴を抽出し、
    前記周波数特徴に基づいて、前記時系列データのうち、周波数が所定値以上である高周波の特徴を示すデータが継続的に発生している区間として、所定時間単位に含まれる前記周波数特徴を示す値の統計値が予め定めた第1の閾値以上の前記所定時間単位の区間を判定し、判定した前記区間に応じて、センサ着脱期間を判定する
    ことを含む処理をコンピュータに実行させるためのセンサ着脱判定プログラム。
  2. 2つの前記ジャイロセンサが人体の左右で対となる位置に装着される場合において、
    前記周波数特徴を示す値として、左の前記ジャイロセンサから取得した時系列データの周波数特徴を示す値と、右の前記ジャイロセンサから取得した時系列データの周波数特徴を示す値との差分又は比率を抽出し、
    前記差分又は比率が予め定めた第1の所定範囲内となるデータを、前記高周波の特徴を示すデータとして特定する
    請求項1に記載のセンサ着脱判定プログラム。
  3. 2つの前記ジャイロセンサが人体の左右で対となる位置に装着される場合において、
    前記周波数特徴を示す値として、左の前記ジャイロセンサから取得した時系列データの周波数特徴を示す値と、右の前記ジャイロセンサから取得した時系列データの周波数特徴を示す値との差分又は比率を抽出し、
    前記差分又は比率が予め定めた第2の所定範囲内の第1のデータのうち、前記差分又は比率が第3の所定範囲内の第2のデータが、前記第1のデータを含む所定時間内に発生している前記第1のデータ、及び、前記差分又は比率が予め定めた第3の所定範囲内の第1のデータのうち、前記差分又は比率が第2の所定範囲内の第2のデータが、前記第1のデータを含む所定時間内に発生している前記第1のデータを、前記高周波の特徴を示すデータとして特定する
    請求項1又は請求項に記載のセンサ着脱判定プログラム。
  4. 2つの前記ジャイロセンサが人体の左右で対となる位置に装着される場合において、
    前記周波数特徴を示す値として、左の前記ジャイロセンサから取得した時系列データの周波数特徴を示す値と、右の前記ジャイロセンサから取得した時系列データの周波数特徴示す値との積又は和を抽出し、
    前記積又は和が予め定めた第2の閾値以上となるデータを、前記高周波の特徴を示すデータとして特定する
    請求項1~請求項のいずれか1項に記載のセンサ着脱判定プログラム。
  5. 前記高周波の特徴を示すデータが継続的に発生している複数の区間のうち、連続する区間の間隔が所定時間以下の場合、前記連続する区間を連結した区間を、前記センサ着脱期間として判定する請求項1~請求項のいずれか1項に記載のセンサ着脱判定プログラム。
  6. 前記高周波の特徴を示すデータが継続的に発生している区間の前後に所定のマージンを加えた区間を、前記センサ着脱期間として判定する請求項1~請求項のいずれか1項に記載のセンサ着脱判定プログラム。
  7. ジャイロセンサから取得した時系列データの周波数特徴を抽出する抽出部と、
    前記周波数特徴に基づいて、前記時系列データのうち、周波数が所定値以上である高周波の特徴を示すデータが継続的に発生している区間として、所定時間単位に含まれる前記周波数特徴を示す値の統計値が予め定めた第1の閾値以上の前記所定時間単位の区間を判定し、判定した前記区間に応じて、センサ着脱期間を判定する判定部と、
    を含むセンサ着脱判定システム。
  8. ジャイロセンサから取得した時系列データの周波数特徴を抽出し、
    前記周波数特徴に基づいて、前記時系列データのうち、周波数が所定値以上である高周波の特徴を示すデータが継続的に発生している区間として、所定時間単位に含まれる前記周波数特徴を示す値の統計値が予め定めた第1の閾値以上の前記所定時間単位の区間を判定し、判定した前記区間に応じて、センサ着脱期間を判定する
    ことを含む処理をコンピュータが実行するセンサ着脱判定方法。
JP2020568898A 2019-01-28 2019-01-28 センサ着脱判定プログラム、システム、及び方法 Active JP7151793B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/002798 WO2020157808A1 (ja) 2019-01-28 2019-01-28 センサ着脱判定プログラム、システム、及び方法

Publications (2)

Publication Number Publication Date
JPWO2020157808A1 JPWO2020157808A1 (ja) 2021-12-02
JP7151793B2 true JP7151793B2 (ja) 2022-10-12

Family

ID=71841780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568898A Active JP7151793B2 (ja) 2019-01-28 2019-01-28 センサ着脱判定プログラム、システム、及び方法

Country Status (3)

Country Link
EP (1) EP3918990A4 (ja)
JP (1) JP7151793B2 (ja)
WO (1) WO2020157808A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178982A (ja) 2009-02-06 2010-08-19 Omron Healthcare Co Ltd 体動検出装置
JP2015177925A (ja) 2014-03-19 2015-10-08 日本電信電話株式会社 歩行支援装置、歩容計測装置、方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325329A (ja) 1999-03-16 2000-11-28 Hoya Corp 階段歩行認識装置
JP5586050B2 (ja) 2010-06-18 2014-09-10 国立大学法人東北大学 歩行解析システム
JP6152511B2 (ja) 2013-03-29 2017-06-28 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法
FI3542719T3 (fi) 2016-11-16 2023-03-16 Fujitsu Ltd Informaation käsittelyjärjestelmä, informaation prosessointilaite ja informaation prosessointimenetelmä
JP6773227B2 (ja) * 2017-07-04 2020-10-21 富士通株式会社 情報処理装置、情報処理システム、および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178982A (ja) 2009-02-06 2010-08-19 Omron Healthcare Co Ltd 体動検出装置
JP2015177925A (ja) 2014-03-19 2015-10-08 日本電信電話株式会社 歩行支援装置、歩容計測装置、方法及びプログラム

Also Published As

Publication number Publication date
WO2020157808A1 (ja) 2020-08-06
EP3918990A4 (en) 2022-02-09
JPWO2020157808A1 (ja) 2021-12-02
EP3918990A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
CN107080540B (zh) 用于分析人的步态和姿势平衡的系统和方法
Trojaniello et al. Accuracy, sensitivity and robustness of five different methods for the estimation of gait temporal parameters using a single inertial sensor mounted on the lower trunk
TWI498846B (zh) 步態分析方法及步態分析系統
Bejarano et al. A novel adaptive, real-time algorithm to detect gait events from wearable sensors
Yoneyama et al. Accelerometry-Based gait analysis and its application to parkinson's disease assessment—Part 2: A new measure for quantifying walking behavior
Yoneyama et al. Accelerometry-based gait analysis and its application to Parkinson's disease assessment—part 1: detection of stride event
US8007450B2 (en) Systems, devices, and methods for interpreting movement
Lanovaz et al. Validation of a commercial inertial sensor system for spatiotemporal gait measurements in children
CN104008398A (zh) 一种基于多传感器信息融合的步态分类方法
Erdem et al. Gait analysis using smartwatches
JP2010017447A (ja) 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
JP2016144598A (ja) 運動機能診断装置及び方法、並びにプログラム
Fadillioglu et al. Automated gait event detection for a variety of locomotion tasks using a novel gyroscope-based algorithm
Prakash et al. Identification of spatio-temporal and kinematics parameters for 2-D optical gait analysis system using passive markers
Paraschiv-Ionescu et al. Real-world speed estimation using single trunk IMU: methodological challenges for impaired gait patterns
Lee et al. Analysis of gait sub-movements to estimate ataxia severity using ankle inertial data
Nazarahari et al. Foot angular kinematics measured with inertial measurement units: A reliable criterion for real-time gait event detection
JP7151793B2 (ja) センサ着脱判定プログラム、システム、及び方法
Tham et al. Biomechanical ambulatory assessment of 3D knee angle using novel inertial sensor-based technique
Natarajan et al. Reha@ home-a vision based markerless gait analysis system for rehabilitation at home
EP3847961B1 (en) Walking state determination program, walking state determination method, and information processing device
Ribeiro et al. Two kinematic data-based approaches for cane event detection
KR101797287B1 (ko) 다중센서 융합을 이용한 뇌질환 환자의 상지 운동 능력 평가 방법 및 상지 운동 능력 평가 시스템
Siebers et al. Unrestricted stride detection during stair climbing using IMUs
Caicedo-Rodríguez et al. A human gait temporal parameters calculation algorithm

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R150 Certificate of patent or registration of utility model

Ref document number: 7151793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150