JP6765505B2 - 運動認識方法および装置 - Google Patents

運動認識方法および装置 Download PDF

Info

Publication number
JP6765505B2
JP6765505B2 JP2019506629A JP2019506629A JP6765505B2 JP 6765505 B2 JP6765505 B2 JP 6765505B2 JP 2019506629 A JP2019506629 A JP 2019506629A JP 2019506629 A JP2019506629 A JP 2019506629A JP 6765505 B2 JP6765505 B2 JP 6765505B2
Authority
JP
Japan
Prior art keywords
acceleration
motion
user
walking
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506629A
Other languages
English (en)
Other versions
JP2019531772A (ja
Inventor
ジュン、ジュホ
ジュン、チャングン
Original Assignee
ビフレクス インコーポレイテッド
ビフレクス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160101489A external-priority patent/KR101926170B1/ko
Priority claimed from KR1020160101491A external-priority patent/KR101830371B1/ko
Priority claimed from KR1020170030394A external-priority patent/KR101995482B1/ko
Priority claimed from KR1020170030402A external-priority patent/KR101995484B1/ko
Priority claimed from KR1020170079255A external-priority patent/KR101970674B1/ko
Application filed by ビフレクス インコーポレイテッド, ビフレクス インコーポレイテッド filed Critical ビフレクス インコーポレイテッド
Publication of JP2019531772A publication Critical patent/JP2019531772A/ja
Application granted granted Critical
Publication of JP6765505B2 publication Critical patent/JP6765505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)
  • Rehabilitation Tools (AREA)

Description

本発明は、運動認識方法および装置に関し、より詳しくは、ユーザの歩行および走行運動データを収集および分析する運動認識方法および装置に関する。
一般に、現代人の日常生活における運動量は、適切な身体健康を維持するのに相当に不足しているということが絶え間なく指摘されてきた。そのため、効果的に健康を促進する体系的な運動方法に対する関心が高まっている。具体的には、体系的で且つ効率的に迅速に身体を鍛えることができるようにする運動、長期的な観点からの健康促進のための姿勢の矯正などのような運動、および人間の寿命が延びるにつれて身体能力が低下した老人に好適な運動など、様々な運動に対する関心が高まる現状である。このような様々な要求に相応しい運動方法のうちの一つとして、誰でも容易にできる歩行運動がある。
身体的な問題のない人であれば誰でも歩行できるため、大半の人々は無意識的に慣れた姿勢で歩行をするようになる。ところが、人の身体は完璧に対称的でないため、大半の場合、不均衡で正しくない姿勢で歩行がなされる。このような誤った姿勢の持続的な歩行は筋肉と骨格を歪ませ、さらには様々な全身の痛みを誘発する原因となったりもする。一般人の場合、このような誤った歩行姿勢は身体健康を低下させる問題を生じさせ、特に子供や身体能力が低下した老人の場合、体形の歪みや健康低下の問題はさらに深刻である。一方、運動選手およびダンサーなどのように一般人よりさらに向上した身体能力を必要とする専門家には、身体能力の向上への限界を生じさせるなどの問題がある。
このように、正しい歩行姿勢は一般人から専門家に至るまで誰でも重要であり、よって、歩行姿勢の矯正をどのように効果的に実行するかに対する様々な研究が行われている。
従来技術によれば、歩行を検知するにおいて、履き物または踏み台に取り付けられる圧力センサを主に用いる。しかし、従来技術により歩行姿勢を認識および分析しようとする場合、長期間持続的に圧力を受ける過程で圧力センサが損傷する恐れがあり、そのために装置の取替えや修理によるユーザの時間的、経済的な不便をもたらす。また、人の足の大きさは個人に応じて偏差が大きく、そのために圧力センサを取り付けた履き物が様々な大きさに生産されなければならないということから、生産効率および経済性が相当に落ちるという問題がある。また、家族同士で一つの歩行姿勢矯正装置を共有することができず、足の大きさに合わせて各自で別途に購入しなければならないため、経済的な負担が増えるという問題がある。
このように歩行姿勢を矯正するために歩行を認識、検知および分析する技術において、圧力センサの他に、他方式で効果的で且つ正確に歩行を認識、検知および分析することができるようにする技術に対する要求が次第に大きくなりつつある。
本発明は、上述した技術的問題に対応するために導き出されたものであり、本発明の目的は、従来技術における限界と短所によって発生する様々な問題点を実質的に補完できるものとして、ユーザの身体に着用できるように形成され、加速度センサ、位置センサなどのようにユーザの動的物理量を測定するセンサのみを用いて効果的で且つ正確に歩行を認識、検知および分析することができる、歩行および走行モニタリングのための運動認識方法およびその装置を提供することにあり、前記方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
本発明の一実施形態によれば、運動認識方法は、上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザの頭側に着用される運動認識装置を用いた運動認識方法であって、3軸方向加速度を収集および分析して歩行および走行の有無を判断するデータ収集および運動認識ステップ、および収集された3軸方向加速度を用いてユーザ質量中心の運動状態値を算出する加速度に基づいた運動状態値導出ステップを含む。
本発明の一実施形態によれば、前記データ収集および運動認識ステップは、上下方向加速度を収集する上下方向加速度収集ステップ、収集された上下方向加速度のピークを検出するピーク検出ステップ、上下方向加速度のピーク値が予め定められた閾値以上であるか否かを判断する運動検知ステップ、上下方向加速度のピーク値が予め定められた閾値以上であれば、3軸方向加速度を収集する3軸方向加速度収集ステップ、3軸方向加速度をフーリエ変換して周波数応答グラフを導出するフーリエ変換ステップ、および周波数応答グラフを予め定められた周波数応答の概形または大きさ基準と比較して歩行および走行運動であるかまたはその他の運動であるかを判断する運動形態判断ステップを含む。
本発明の一実施形態によれば、前記運動認識方法は、前記ピーク検出ステップまたは前記フーリエ変換ステップの前に、上下方向加速度または3軸方向加速度を予め定められたバンドパスフィルタを通過させてノイズを除去するノイズ除去ステップをさらに含む。
本発明の一実施形態によれば、前記運動形態判断ステップは、下記の式を満たせばユーザの運動を歩行および走行状態であると判断し、そうでなければその他の運動であると判断する。
z、p/Mz、other>c and Mx、p/Mx、other>c
(ここで、
:上下方向加速度、
:上下方向加速度aのフーリエ変換結果における最大大きさを有する周波数、
z、p:上下方向加速度aのフーリエ変換結果において、fを中心周波数とし、1Hz未満の帯域幅を有する上下方向基準バンドに属する周波数成分のエネルギー総和、
z、other:上下方向加速度aのフーリエ変換結果において、前記上下方向基準バンドを除いた残りの周波数成分のエネルギー総和、
:予め定められた上下方向基準閾値、
:左右方向加速度、
x、p:左右方向加速度aのフーリエ変換結果において、f/2を中心周波数とし、1Hz未満の帯域幅を有する左右方向基準バンドに属する周波数成分のエネルギー総和、
x、other:左右方向加速度aのフーリエ変換結果において、前記左右方向基準バンドを除いた残りの周波数成分のエネルギー総和、
:予め定められた左右方向基準閾値)
本発明の一実施形態によれば、前記運動形態判断ステップは、ユーザの運動が歩行および走行状態である時、上下方向加速度のフーリエ変換結果において、下記の式を満たす区間が存在すればユーザの運動を走行状態であると判断し、そうでなければ歩行状態であると判断する。
<k
(ここで、
k:スタンス判別定数)
本発明の一実施形態によれば、前記加速度に基づいた運動状態値導出ステップは、3軸方向加速度それぞれの値に予め定められたゲイン値をかけてユーザ質量中心の加速度を導出する質量中心加速度導出ステップ、および予め測定されたユーザの身長情報、ユーザの位置情報および質量中心加速度を用いてユーザ質量中心の速度および位置を導出する質量中心速度および位置導出ステップを含む。
また、本発明の一実施形態によれば、運動認識装置は、上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザの頭側に着用されるセンサ信号収集部、および前記センサ信号収集部から信号の伝達を受け、3軸方向加速度および位置信号を用いてユーザ質量中心の加速度、速度、位置を含む歩行または走行運動状態値を導出し、前記歩行または走行運動状態値を分析して歩行または走行姿勢を導出する運動姿勢導出部を含む。
本発明の一実施形態によれば、前記センサ信号収集部は、3軸方向角速度センサをさらに含む。
本発明の一実施形態によれば、前記位置測定センサは、ユーザの位置を測定する。
本発明の一実施形態によれば、前記運動認識装置は、前記運動姿勢導出部により導出された歩行姿勢と基準姿勢を比較して姿勢矯正用情報を生成する運動矯正生成部をさらに含む。
本発明の一実施形態によれば、前記運動認識装置は、前記運動矯正生成部により生成された姿勢矯正用情報を音響、図解、画像を含むユーザが認識可能な情報として変換して出力する矯正情報出力部をさらに含む。
本発明の一実施形態によれば、前記運動認識装置は、前記運動姿勢導出部により導出された歩行姿勢を外部のデータベースに転送して累積的に格納するようになる。
本発明の一実施形態によれば、前記運動認識装置は、前記センサ信号収集部および前記運動姿勢導出部間の信号伝達が、ブルートゥース(登録商標)、ワイ・ファイ(登録商標)、NFCのうちから選択される少なくとも一つの無線通信によって行われる。
また、本発明の一実施形態によれば、圧力中心経路に基づいた運動姿勢導出方法は、上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザの頭側に着用される運動姿勢導出装置を用いた運動姿勢導出方法であって、前記運動姿勢導出装置により収集された3軸方向加速度を用いて算出されたユーザ質量中心の運動状態値を用いて、質量中心位置から加速度ベクトル方向に地面にプロジェクションして圧力中心経路を推算する圧力中心経路推算ステップ、上下方向加速度グラフのパターンから歩行であるかまたは走行であるかを判断する運動種類判断ステップ、および圧力中心経路推算値および3軸方向加速度に基づいて歩幅、歩間、歩角、左右非対称を含む姿勢情報を導出する運動姿勢導出ステップを含む。
本発明の一実施形態によれば、前記圧力中心経路推算ステップは、上下方向加速度および重力加速度の和に対する左右方向加速度の比率および上下方向加速度および重力加速度の和に対する前後方向加速度の比率で圧力中心の方向を決定する圧力中心方向決定ステップ、および質量中心が予め測定されたユーザの身長情報に予め定められた類推用定数をかけた値で決定される高さに位置したものに仮定し、前記圧力中心方向決定ステップで決定された方向に地面にプロジェクションして圧力中心位置を類推する圧力中心位置類推ステップを含む。
本発明の一実施形態によれば、前記圧力中心経路推算ステップは、前記圧力中心位置類推ステップで類推された圧力中心位置に予め定められた前後および左右方向補正用定数をかけた値で補正される圧力中心位置補正ステップをさらに含む。
本発明の一実施形態によれば、前記運動姿勢導出ステップは、ユーザの運動が走行である場合、時間領域で測定された上下方向加速度においてローカルマキシマムを中間支持時点に定義し、ユーザの運動が歩行である場合、時間領域で測定された上下方向加速度においてローカルミニマムを中間支持時点に定義する、中間支持時点決定ステップ、およびユーザの運動が走行である場合、時間領域で測定された上下方向加速度において定数値で表れる区間を空中浮遊区間に決定し、残りの区間を片足支持区間に決定し、ユーザの運動が歩行である場合、時間領域で測定された上下方向加速度においてピーク値が形成される区間を両足支持区間に決定し、残りの区間を片足支持区間に決定する、区間分類決定ステップを含む。
本発明の一実施形態によれば、前記運動姿勢導出ステップは、ユーザの位置情報を予め定められた時間間隔ごとに測定して平均速度を算出するステップ、前記時間間隔の間の前記中間支持時点数を測定して歩行周波数を算出するステップ、および前記平均速度を前記歩行周波数で分けて歩幅を算出するステップを含んでなり、前後方向の歩幅を算出する。
本発明の一実施形態によれば、前記運動姿勢導出ステップは、前記中間支持時点に該当する圧力中心位置値を用いて左右方向の歩間を算出する。
本発明の一実施形態によれば、前記運動姿勢導出ステップは、前記片足支持区間の開始時点に該当する圧力中心位置値および前記片足支持区間の終了時点に該当する圧力中心位置値を用いて歩角を算出する。
本発明の一実施形態によれば、前記運動姿勢導出ステップは、時間領域で測定された左右方向加速度の符号を基準に支持している足を把握するステップ、および時間領域で測定された上下方向加速度のピーク値、谷値および二つの間の差値を比較するステップを含み、左右非対称および繰り返し性を算出する。
また、本発明の一実施形態によれば、圧力中心経路に基づいた運動姿勢導出装置は、上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザの頭側に着用されるセンサ信号収集部、および前記センサ信号収集部から信号の伝達を受け、3軸方向加速度および位置信号を用いてユーザ質量中心の加速度、速度、位置を含む歩行または走行運動状態値を導出し、前記歩行または走行運動状態値から圧力中心経路を推算し、前記圧力中心経路を分析して歩行または走行姿勢を導出する運動姿勢導出部を含む。
本発明によれば、ユーザの身体(例えば、頭側または腰側)において加速度、位置などを測定し、それを質量中心の運動状態値に変換するなどのような本発明の特徴的な分析アルゴリズムを用いることによって、効果的で且つ正確に歩行を認識、検知および分析することができる。
また、本発明によれば、ユーザの身体において加速度、位置などを測定し、それを質量中心の運動状態値に変換し、それより圧力中心経路を推算するなどのような本発明の特徴的な分析アルゴリズムを用いることによって、効果的で且つ正確に歩行を認識、検知および分析することができる。特に、本発明は、ユーザ身体の質量中心の運動と最も類似して表れる位置で測定された加速度を用いることによって(具体的には、左右方向の加速度は頭側で測定し、前後方向の加速度および位置は腰側で測定し、上下方向の加速度は頭側または腰側で測定するようにすることによって)、より正確な加速度および位置の測定が可能である。
なお、本発明によれば、装置構成的な側面から、加速度センサ、位置センサなどのようにユーザの動的物理量を測定するセンサのみを利用できるという長所がある。すなわち、従来には、ユーザの足で押されることによって歩行を認知する圧力センサを用いることによって、装置耐久度および寿命低下の問題、ユーザの身体寸法に応じた別途装置の生産および使用問題などの種々の問題があった。しかし、本発明の場合、このような問題の原因である圧力センサを足部分に配置するという技術構成そのものが完全に排除されるため、上述したような種々の問題が根本的に除去されるものである。また、それよりユーザ便宜性の向上、ユーザまたは生産者の各々における経済性の向上などのような効果も得ることができる。
本発明の一実施形態による運動姿勢導出装置の使用状態を示す。 本発明の一実施形態による運動姿勢導出装置の概略図を示す。 本発明の一実施形態による運動姿勢導出方法のフローチャートを示す。 本発明の一実施形態による質量中心および圧力中心間の関係図を示す。 本発明の一実施形態による圧力中心方向の決定および位置類推を説明する。 本発明の一実施形態による推算された圧力中心経路の例示を示す。 本発明の一実施形態による歩行および走行時の時間に対する上下方向加速度グラフの例示を示す。 本発明の一実施形態による加速度信号測定結果の例示を示す。 本発明の他の実施形態による運動認識方法のフローチャートを示す。 本発明の他の実施形態によるデータ収集および運動認識ステップの詳細フローチャートを示す。 本発明の他の実施形態による加速度信号測定結果の例示を示す。 本発明の他の実施形態による加速度に基づいた運動状態値導出ステップの詳細フローチャートを示す。 本発明のまた他の実施形態による運動姿勢導出装置の使用状態を示す。 本発明のまた他の実施形態による運動姿勢導出装置の概略図を示す。 本発明のまた他の実施形態によるケガ危険性定量化装置の概略図を示す。 本発明のまた他の実施形態によるケガ危険性定量化方法のフローチャートを示す。 本発明のまた他の実施形態による走行時における上下方向加速度グラフを示す。 本発明のまた他の実施形態による走行時における上下方向加速度グラフに傾きを表示する。 本発明のまた他の実施形態による走行時における上下方向加速度グラフに衝撃量を表示する。
以下では、添付図面を参照して本発明の好ましい実施形態について詳しく説明する。図面上、同一の参照符号は同一の構成要素を指し示し、各構成要素の大きさは説明の明瞭性のために誇張されてもよい。
図1は、本発明の一実施形態による運動姿勢導出装置の使用状態を示す。
本発明の一実施形態による運動姿勢導出装置100は、図1に示すようにユーザの頭側に着用される。本実施形態による運動姿勢導出装置100は、図1に示すように頭側に着用されたバンドまたは帽子に備えられる形態からなってもよく、より小型化させてイヤホンのように耳にさす形態からなってもよいが、他の形態からなってもよいことは当業者にとって明らかなことである。
図2は、本発明の一実施形態による運動姿勢導出装置の概略図を示す。
本実施形態による運動姿勢導出装置100は、図2に示すように、センサ信号収集部110および運動姿勢導出部121を含む。本実施形態による運動姿勢導出装置100は、運動矯正生成部122および矯正情報出力部130をさらに含む。
センサ信号収集部110は、上下、左右、前後を含む3軸方向加速度センサ111、およびユーザの位置を測定する位置測定センサ112を含む。3軸方向加速度センサ111は、ジャイロスコープを内蔵する形態などのように、一般に3軸方向の加速度を測定するのに用いられるセンサのうち好適なものを選択して採用することができる。位置測定センサ112は、ユーザの絶対位置を測定するためのものであって、例えば、GPS信号を用いてユーザの位置を測定するようになってもよく、または、最近GPSより正確性の高い超精密衛星航法技術が開発されているところ、このような技術が適用されるセンサが用いられてもよい。さらに、センサ信号収集部110は、以下にてより詳細に説明する運動認識および分析過程における正確度を高めるように、図2に示すように3軸方向角速度センサ113をさらに含むことができる。
本実施形態によるセンサ信号収集部110は、図1に示すようにユーザの頭側に着用され、加速度、速度および位置などのようなユーザの動的物理量を測定する。従来には、歩行モニタリングのために直接足で押される部分である履き物および踏み台などに備えられる圧力センサを用いた。そのため、センサの損傷が早く進行して装置耐久度および寿命が短くなるという問題があった。また、使用中の装置の損傷による歩行認識および分析正確性の低下、頻繁な装置の取替えによる便宜性および経済性の低下などの問題がある。さらに、このような装置が履き物に備えられる場合、ユーザの足の大きさに応じてユーザごとに各々別の装置が必要となって、ユーザ便宜性および経済性の低下が加重され、生産者にとっては大きさ別に別途生産をしなければならず経済的な負担を生じさせるなどの問題があった。
しかし、本実施形態は、歩行認識をするにおいて足で押される圧力を用いるという概念から完全に脱して、図1に示すようにユーザの頭側で測定される加速度、速度および位置などのようなユーザの動的物理量を測定し、以下にて記述する本発明の特徴的な分析アルゴリズムを適用して歩行の認識、検知および分析を実現する。このように、本実施形態は、従来技術とは測定位置および測定物理量が互いに異なる。この時、従来技術で指摘された種々の問題点の根本的な原因は「圧力センサを足部分に配置する」という技術構成から来るものであるところ、本発明によれば、その構成だけで上述したような種々の問題を根本的に除去できる。
運動姿勢導出部121は、センサ信号収集部110から信号の伝達を受け、3軸方向加速度および位置信号を用いてユーザ質量中心の加速度、速度、位置を含む歩行または走行運動状態値を導出し、前記歩行または走行運動状態値を分析して歩行または走行姿勢を導出する役割をする。具体的には、運動姿勢導出部121は、前記歩行または走行運動状態値から圧力中心経路を推算し、前記圧力中心経路を分析して歩行または走行姿勢を導出する。前記運動姿勢導出部121で用いられる本発明の分析アルゴリズムについては後ほど詳しく説明するので、ここではその説明を省略する。
一方、運動姿勢導出部121は、様々な計算を実行できる集積回路の形態からなってセンサ信号収集部110と一つの基板上に形成されてもよく、または別途のコンピュータなどのような形態からなってもよい。この時、運動姿勢導出部121がセンサ信号収集部110とは別に形成される場合、センサ信号収集部110および運動姿勢導出部121間の信号伝達のために、図2に示すように通信部114が備えられてもよい。通信部114は、有線または無線通信からなることができる。無線通信としてはブルートゥース、ワイ・ファイおよびNFC技術を用いてもよいが、他の無線通信技術を用いてもよいことは当業者にとって明らかなことである。
運動矯正生成部122は、運動姿勢導出部121により導出された歩行姿勢と基準姿勢を比較して姿勢矯正用情報を生成する役割をする。運動姿勢導出部121は、上述したようにセンサ信号収集部110により収集された信号に基づいてユーザの歩行または走行姿勢を導出し、具体的な例を挙げれば、歩行または走行時におけるユーザの進行方向、速度などを導出することができ、それより歩行姿勢の要素のうちの一つである歩幅を得ることができる。この場合、運動矯正生成部122は、歩行および走行速度別に最適な身長−歩幅関係データを内蔵しておき、該ユーザの歩行姿勢情報をそれと比較して、該ユーザの身長に比べて歩幅が過度に広いかまたは狭くはないかを判断し、最適範囲から脱する場合、減らしたり増やしたりしなければならない歩幅矯正量を容易に算出することができる。
矯正情報出力部130は、このように運動矯正生成部122により生成された姿勢矯正用情報を音響、図解、画像を含むユーザが認識可能な情報として変換して出力する。例えば、歩幅矯正量が算出されて歩幅を減らす必要がある場合、運動姿勢導出装置100上に備えられたスピーカを介して「歩幅を減らして下さい」のような音声が出力されるようにするか、または警告音が鳴るようにしてユーザが最適歩幅でないことを認知し歩行姿勢を変えるように誘導することができる。または、スマートフォン、コンピュータまたは専用ディスプレイなどと接続され、図解または画像として正確な矯正情報が出力されるようにすることもできるなど、様々な形態への実現が可能である。
さらに、運動姿勢導出装置100は、運動姿勢導出部121により導出された歩行姿勢を外部のデータベース140に転送して累積的に格納するようになることができる。このような歩行または走行運動分析を必要とするユーザは健康促進のために毎日散歩またはジョギングをする一般人や身体能力を向上させるために訓練する専門家などであり、このような運動分析データが累積されて時間的な変化を見ることができるようになることが当然好ましい。それのみならず、このように運動分析データが大量に累積格納されると、このようなデータがビッグ・データとして活用されて各種の統計や分析に使用できるなど、様々な活用が可能である。
本発明の一実施形態による運動姿勢導出方法は、運動姿勢導出装置100を用いて、ユーザの運動を検知し、歩行であるか走行であるかを判断するなどの分析を行う。この時、前述したように、本発明で用いられる分析アルゴリズムは、ユーザの頭側で測定される動的物理量を利用するところ、運動姿勢導出装置100は、最小限には上下、左右、前後を含む3軸方向加速度センサ111およびユーザの位置を測定する位置測定センサ112を含めばよく、運動姿勢導出部121において以下にて説明する分析アルゴリズムが実行されればよい。また、運動姿勢導出装置100は、装置の機能向上のために、前述した様々な付加構成をさらに含んでいてもよいことは勿論である。
図3は、本発明の一実施形態による運動姿勢導出方法のフローチャートを示す。本実施形態による運動姿勢導出方法は、図示したように、圧力中心経路推算ステップ、運動種類判断ステップおよび運動姿勢導出ステップを含む。以下では、各ステップについてより詳しく説明する。
前記圧力中心経路推算ステップにおいては、運動姿勢導出装置100により収集された3軸方向加速度(a、a、a)を用いて算出されたユーザ質量中心の運動状態値を用いて、質量中心位置から加速度ベクトル方向に地面にプロジェクションして圧力中心経路を推算する。
運動姿勢導出装置100において3軸方向加速度センサ111を用いて左右、前後、上下の3軸方向加速度を収集することができ、それを積分するかまたは時間当たりに位置測定センサ112を用いて収集された位置情報を用いて速度、位置などを全て求めることができる。一方、一般にある対象物の運動を分析する場合にはその対象物の質量中心の運動を基準に分析し、運動姿勢導出装置100はユーザの頭側に備えられるものであるため、そこで測定された値を質量中心の運動状態値に変換して分析することが好ましい。このようにユーザの頭側の位置で測定された値をユーザ質量中心の値に変換することは、ユーザの身長情報などのような身体情報を用いて予め求められたゲイン値を適切にかけるなどによって容易に導出することができる。
このように質量中心の運動状態値(各方向に対する時間当たりの加速度/速度/位置、周波数分析など)を導出すると、それより圧力中心経路を推算することができる。人体は、歩行または走行時、支持する足に加えられる反作用圧力を用いて挙動する。この反作用圧力の和を地面反力(Ground reaction force;GRF)と言い、この圧力の中心を圧力中心(Center of pressure;COP)と言う。この時に発生する地面反力は、圧力中心から人体質量中心(center of mass;COM)に向かう特性を有することが明らかになっている。
図4は、本発明の一実施形態による質量中心および圧力中心間の関係図を示す。
本発明においては、直ちにこのような生体力学的特性を逆に利用して、質量中心で測定された力のベクトル方向に地面にプロジェクションして圧力中心を類推するようにしている。
図5は、本発明の一実施形態による圧力中心方向の決定および位置類推を説明する。
圧力中心方向とは、質量中心から圧力中心に向かう方向をいう。前記圧力中心経路推算ステップは、圧力中心方向を先に決定し、該方向にプロジェクションして圧力中心位置を類推するようになる。より詳しく説明すれば、先ず、圧力中心方向決定ステップにおいては、図5に示すように、上下方向加速度aおよび重力加速度gの和に対する左右方向加速度aの比率および上下方向加速度aおよび重力加速度gの和に対する前後方向加速度aの比率で圧力中心の方向を決定する。このように圧力中心の方向が決定されると、次に圧力中心位置類推ステップにおいては、質量中心が予め測定されたユーザの身長情報に予め定められた類推用定数をかけた値で決定される高さに位置したものに仮定し、前記圧力中心方向決定ステップで決定された方向に地面にプロジェクションして圧力中心位置を類推する。ここで、類推用定数とはユーザの身長に応じた質量中心の高さを言う。一般に子供の質量中心が成人の質量中心より比率上高く、男性の質量中心が女性の質量中心より比率上高く表れることがよく知られており、その比率も知られているのは勿論である。具体的な例を挙げれば、成人男性の質量中心は平均的に身長の55.27%位置にあることが知られており、この場合、類推用定数は0.5527になる。したがって、例えば、ユーザの身長情報を入力する時、子供/成人および男性/女性の区分情報を共に入力するようにすることによって、好適な類推用定数が選択されて算出に用いられることができる。
このように求められた圧力中心位置の正確度をさらに高めるために、前記圧力中心位置類推ステップで類推された圧力中心位置に予め定められた前後および左右方向補正用定数をかけた値で補正される圧力中心位置補正ステップがさらに実行されてもよい。ここで、前後および左右方向補正用定数とは、上述したようなプロジェクション方法により求めた圧力中心位置を実際の前後および左右方向圧力中心と統計的に一致させる定数である。
前記運動種類判断ステップにおいては、上下方向加速度aグラフのパターンから歩行であるかまたは走行であるかを判断する。
図6は、推算された圧力中心経路として求められた足着地パターンの一つの例示である。図示したように、左右の足が交互に地面を支持しつつ進行されることが分かる。
一方、歩行と走行を区分するのは、歩行の場合は片足または両足が常に地面に接している反面、走行の場合は片足または両足が常に地面から浮いているということである。
図7は、歩行および走行時の時間に対する上下方向加速度グラフの例示を示す。図7(A)に示された歩行時のグラフの場合、両足が全て地面に接する瞬間にピークが発生するのを確認することができ、図7(B)に示された走行時のグラフの場合、両足が全て地面から浮いている瞬間に上下方向加速度aが最小値になる定数値区間が存在することを確認することができる。このように歩行および走行時それぞれの場合、上下方向加速度aグラフのパターンが互いに異なって表れることを用いて、現在行われているユーザの運動が歩行であるかまたは走行であるかを判断することができる。
前記運動姿勢導出ステップにおいては、圧力中心経路推算値および3軸方向加速度(a、a、a)に基づいて歩幅、歩間、歩角、左右非対称を含む姿勢情報を導出する。図6の圧力中心経路の例示および図7の歩行または走行時の上下方向加速度の例示を参照してより詳しく説明する。
先ず、ユーザの運動が歩行である場合と走行である場合に様相が多少異なって表れるということを上記で説明し、勿論、共通に表れる事項もある。前述したように、歩行の場合は片足または両足が常に地面に接しており、走行の場合は片足または両足が常に地面から浮いている。すなわち、歩行時および走行時、共通に片足のみで支持される区間が存在する。このようなことを考慮して、前記運動姿勢導出ステップにおいては、先ず、中間支持時点を決定する中間支持時点決定ステップと、両足支持区間、片足支持区間、空中浮遊区間を決定する区間分類決定ステップとを含んでなり、歩行および走行を区分しつつ姿勢を導出する基礎情報を形成するようになる。
さて、歩行運動を噛み砕いて描写すれば以下のとおりである。先ず、一方の足の踵が地面を踏む瞬間に他方の足の爪先も地面からまだ離れていない状態、すなわち、両足が支持されている状態から始まる。この状態で、一方の足のみで地面を支持しつつ他方の足が地面から離れ、該他方の足を空中で振って前方に進行しつつ人の胴体も前方に移動するようになる。そして、該他方の足の踵が地面を踏む瞬間に一方の足の爪先が地面からまだ離れていない状態、すなわち、両足が支持されている状態が再びなされて一歩の歩行になる。この過程で、片足のみで支持されたまま、人の胴体が前方に移動している瞬間には人の頭が上下方向に大きく揺れない反面(上下方向加速度aにおいてローカルミニマムが形成される)、足が地面を踏む瞬間に上下方向に最も大きく揺れるようになる(上下方向加速度aにおいてピーク値が形成される)。
すなわち、歩行運動は、両足が全て地面を踏んでいる状態の区間、片足のみが地面を踏んでいる状態の区間に分けることができ、片足のみが地面を踏んでいる状態の間に上下方向への揺れが最も少ない。このような運動の様相が図7(A)によく示されており、このような例示に示されているように、中間支持時点決定ステップにおいては、ユーザの運動が歩行である場合、時間領域で測定された上下方向加速度aにおいてローカルミニマムを中間支持時点に定義する。また、区間分類決定ステップにおいては、ユーザの運動が歩行である場合、時間領域で測定された上下方向加速度aにおいてピーク値が形成される区間を両足支持区間に決定し、残りの区間を片足支持区間に決定する。
次に、走行運動を噛み砕いて描写すれば以下のとおりである。先ず、前方に出ている一方の足が地面を蹴飛ばす瞬間(この瞬間、他方の足は空中に浮いている)から始まる。この状態で、一方の足が地面を蹴飛ばして浮き上がりつつ両足が全て空中に浮いている状態のまま、人の胴体が前方に移動し、それと共に両足を空中で振りつつ前後が変わって他方の足が前方に出てくるようになる。前方に出てきた他方の足が地面に接すると同時に地面を蹴飛ばす瞬間が再びなされて一歩の走行になる。この過程で、片足で地面を蹴飛ばす瞬間には人の頭が上下方向に最も大きく揺れる反面(上下方向加速度aにおいてローカルマキシマムが形成される)、空中に浮いたまま進んでいる状態では上下方向にほぼ揺れなくなる(上下方向加速度aにおいて定数値が形成される)。
すなわち、走行運動は、両足が全て空中に浮いている状態の区間、片足のみが地面を踏んでいる状態の区間に分けることができ、両足が全て空中に浮いている状態の間に上下方向への揺れが最も少ない。このような運動の様相が図7(B)によく示されており、このような例示に示されているように、中間支持時点決定ステップにおいては、ユーザの運動が走行である場合、時間領域で測定された上下方向加速度aにおいてローカルマキシマムを中間支持時点に定義する。また、区間分類決定ステップにおいては、ユーザの運動が走行である場合、時間領域で測定された上下方向加速度aにおいて定数値で表れる区間を空中浮遊区間に決定し、残りの区間を片足支持区間に決定する。ここで、空中浮遊区間に表れる定数値は、加速度計が重力以外に他の外力が作用しない時の信号レベルの既に設定された値であって、約0に近い値に適切に決定できる。すなわち、前記定数値は現在スタンスを判別できるようにする基準値であるところ、このような意味でスタンス判別定数(stance phase constant)と呼ばれ、要約すれば、走行時に上下方向加速度がスタンス判別定数より小さければ空中浮遊区間、大きければ片足支持区間に判別する。
このように姿勢導出のための基礎情報が導出されると、始めて歩幅、歩間、歩角、左右非対称などの歩行または走行姿勢の導出が可能となる。
歩幅:先ず、ユーザの位置情報を予め定められた時間間隔ごとに測定して平均速度を算出する。次に、前記時間間隔の間の前記中間支持時点数を測定して歩行周波数を算出する。最後に、前記平均速度を前記歩行周波数で分けることによってユーザの歩幅を正確に算出することができる。
歩間:前記中間支持時点に該当する圧力中心位置値を用いて左右方向の歩間を算出することができる。すなわち、図7(A)または(B)に示される中間支持時点に該当する時間値を図6に示される圧力中心位置値に適用して、該時間値に該当する圧力中心位置を探せば、左側足が地面を踏んだ位置および右側発が地面を踏んだ位置が出てくるようになり、これらの間隔を測ってユーザの歩間を正確に算出することができる。
歩角:前記片足支持区間の開始時点に該当する圧力中心位置値および前記片足支持区間の終了時点に該当する圧力中心位置値を用いて歩角を算出することができる。噛み砕いて説明すれば、片足支持区間の開始時点には踵が地面を踏み、片足支持区間の終了時点には爪先が地面を踏むようになる。
すなわち、上述したように圧力中心位置間の角度を求めるということは、地面を踏んだ瞬間の踵の位置と爪先の位置がなす角度、すなわち、歩角を求めるということであり、このような方法によりユーザの歩角を正確に算出することができる。
左右非対称:先ず、時間領域で測定された左右方向加速度aの符号を基準に支持している足を把握する。次に、時間領域で測定された上下方向加速度aのピーク値、谷値および二つの間の差値を比較する。すなわち、左側足が支持している時と右側足が支持している時のピーク値、谷値などを比較することによって、ユーザの左右非対称を正確に算出することができる。また、同様な方式で歩行または走行の繰り返し性も算出することができる。
図8は、加速度信号測定結果の例示として、図8の一番下のグラフにおいて上下方向加速度aの左右非対称が強く表れていることが分かる。
上述したような方法で歩幅、歩間、歩角、左右非対称などの歩行または走行姿勢を導出することによって、ユーザが正しい姿勢で歩行または走行をしているか否かをリアルタイムでモニタリングすることができる。勿論、この時、最適な姿勢に該当する歩幅、歩間、歩角、左右非対称値を予め格納しておき、現在モニタリング中の現在の各姿勢値と比較して矯正量を算出することができる。それをユーザにリアルタイムで知らせるかまたは格納しておき、後ほど確認できるようにすることによって、ユーザはより正しい姿勢への歩行または走行に自身の姿勢を効果的に矯正していけるようになる。
図9は、本発明の他の実施形態による歩行および走行モニタリングのための運動認識方法のフローチャートを示す。
本実施形態による運動認識方法は大きく2ステップからなり、すなわち、3軸方向加速度(a、a、a)を収集および分析して歩行および走行の有無を判断するデータ収集および運動認識ステップと、収集された3軸方向加速度(a、a、a)を用いてユーザ質量中心の運動状態値を算出する加速度に基づいた運動状態値導出ステップとを含んでなる。以下では、各ステップの細部ステップについてより詳しく説明する。
図10は、本発明の他の実施形態によるデータ収集および運動認識ステップの詳細フローチャートを示す。
図10に示すように、前記データ収集および運動認識ステップは、上下方向加速度収集ステップ、ピーク検出ステップ、運動検知ステップ、3軸方向加速度収集ステップ、フーリエ変換ステップ、および運動形態判断ステップを含む。前記データ収集および運動認識ステップは、ユーザに運動が発生しているか、また、運動が発生したとすればその運動が歩行または走行に該当するかを認識する。
図10に示すように、最初には、収集されるデータ変数が初期化されて、運動認識を実行する準備が行われる。
前記上下方向加速度収集ステップにおいては、3軸方向加速度(a、a、a)を全て収集するのではなく、一旦、上下方向加速度aを収集する。収集された上下方向加速度aはそのまま使用してもよいが、予め定められたバンドパスフィルタを通過させてノイズを除去するノイズ除去ステップを経るようにすることがより好ましい。この時、前記バンドパスフィルタは、例えば、一般的な人の歩行または走行周波数に該当する0.1〜5Hzに形成されてもよいが、この範囲は適切に変更できることは当業者にとって明らかなことである。
前記ピーク検出ステップにおいては、このように収集された上下方向加速度aのピークを検出し、前記運動検知ステップにおいては、上下方向加速度aのピーク値が予め定められた閾値以上であるか否かを判断することによって運動が発生したか否かを判断する。前記運動検知ステップで運動が発生していないと判断されると、再び最初の準備ステップに戻って変数初期化がなされる。
さらに詳しく説明すれば、運動認識装置100において分析を実行するにおいて、常に3軸方向加速度(a、a、a)を収集するようになる場合、運動をしないでいる時、不要な計算負荷が発生することによって電力消耗、発熱などの問題が生じうる。一方、ユーザが静かに座っていたりもぞもぞしたりする程度に動く場合と、歩いたり走ったりする程度に動く場合において、最も大きく差が出るのは、ユーザが上下に揺れる程度、すなわち、上下方向加速度aである。したがって、運動認識装置100を着用したユーザの上下方向加速度aを先に収集して、該値がある閾値以上になればユーザが歩いたり走ったりしていると判断し、その時から本格的な運動検知を始めるようにすることによって、前述した不要な計算負荷の問題を防止することができる。
前記3軸方向加速度収集ステップにおいては、上述したように上下方向加速度aのピーク値が予め定められた閾値以上であれば、3軸方向加速度(a、a、a)を収集する。ここでも同様に、収集された3軸方向加速度(a、a、a)がそのまま使用されてもよいが、予め定められたバンドパスフィルタを通過させてノイズを除去するノイズ除去ステップを経るようにすることがより好ましい。この時のバンドパスフィルタは前述の上下方向加速度aにおけるノイズ除去に用いられたバンドパスフィルタと同一に形成されてもよく、または適切に変更設定されてもよい。
前記フーリエ変換ステップにおいては、3軸方向加速度(a、a、a)をフーリエ変換して周波数応答グラフを導出し、前記運動形態判断ステップにおいて始めて周波数応答グラフを予め定められた周波数応答の概形または大きさ基準と比較して歩行および走行運動であるかまたはその他の運動であるかを判断するようになる。前記運動形態判断ステップにおいて歩行および走行運動に該当する運動が発生しなかったと判断されると、再び最初の準備ステップに戻って変数初期化がなされ、そうではなく歩行および走行運動が発生したと判断されると、加速度に基づいた運動状態値導出ステップが実行されるようになる。
このように前記運動形態判断ステップにおいては、ユーザの運動が歩行および走行状態であるかを判断する。
図11は、本発明の他の実施形態による歩行時の加速度信号測定結果の例示を示す。図11の左側には、横軸が時間/縦軸が左右(x)、前後(y)、上下(z)それぞれの3軸方向加速度(a、a、a)である時間領域加速度グラフが示されており、右側には、上述したように、横軸が周波数、縦軸が大きさである前記フーリエ変換ステップを通じて導出された周波数応答グラフが示されている。
歩行または走行時には当然周期的に上下方向、前後方向、左右方向に揺れ、すなわち、図11の左側に示すように周期的な信号が発生する。この時、左右の足が交互に踏み出されて歩行または走行がなされるため、左右方向の周期的な信号の周波数は、上下方向および前後方向の周期的な信号の周波数の1/2の値を有し、これは、図11の右側グラフからも容易に確認することができる。一方、歩行時には常に片足または両足が地面に接し、走行時には片足または両足が地面から浮いている。すなわち、歩行や走行がなされる時には、頭側における大きい揺れが必ず周期的に発生する。
上述したようなことを考慮して、前記運動形態判断ステップは、下記の式を満たせばユーザの運動を歩行および走行状態であると判断し、そうでなければその他の運動であると判断する。すなわち、下記の関係式を容易に噛み砕いて説明すれば、上下方向および左右方向に周期的に揺れる程度があるレベル以上に大きく表れると、歩行または走行がなされていると判断する。
z、p/Mz、other>c and Mx、p/Mx、other>c
(ここで、
:上下方向加速度、
:上下方向加速度aのフーリエ変換結果における最大大きさを有する周波数、
z、p:上下方向加速度aのフーリエ変換結果において、fを中心周波数とし、1Hz未満の帯域幅を有する上下方向基準バンドに属する周波数成分のエネルギー総和、
z、other:上下方向加速度aのフーリエ変換結果において、前記上下方向基準バンドを除いた残りの周波数成分のエネルギー総和、
:予め定められた上下方向基準閾値、
:左右方向加速度、
x、p:左右方向加速度aのフーリエ変換結果において、f/2を中心周波数とし、1Hz未満の帯域幅を有する左右方向基準バンドに属する周波数成分のエネルギー総和、
x、other:左右方向加速度aのフーリエ変換結果において、前記左右方向基準バンドを除いた残りの周波数成分のエネルギー総和、
:予め定められた左右方向基準閾値)
上記のような式を満たすことによってユーザの運動が歩行および走行状態であると判断された時、その次にはその運動が歩行であるか走行であるかを判断しなければならない。この時、前述したように、歩行時には常に片足または両足が地面に接し、走行時には片足または両足が地面から浮いている。ここで、走行中に両足が地面から浮いている時点では、両足が空中で振られているため、ユーザに上下方向にさらに加えられる外部の力がなく、よって、この時には、上下方向加速度aが最小の定数値として形成されるようになる。
上述したようなことを考慮して、前記運動形態判断ステップは、上下方向加速度aのフーリエ変換結果において、下記の式を満たす区間が存在すればユーザの運動を走行状態であると判断し、そうでなければ歩行状態であると判断する。
<k
(ここで、
k:スタンス判別定数)
ここで、スタンス判別定数(stance phase constant)は、加速度計が重力の以外に他の外力が作用しない時の信号レベルの既に設定された値であって、約0に近い値に適切に決定できる。
上述したような細部ステップからなる前記データ収集および運動認識ステップを通じてユーザの歩行または走行運動が検知されると、収集された変数を用いて加速度に基づいた運動状態値導出ステップが行われる。
図12は、本発明の他の実施形態による加速度に基づいた運動状態値導出ステップの詳細フローチャートを示す。
図示したように、加速度に基づいた運動状態値導出ステップは、質量中心加速度導出ステップ、および質量中心速度および位置導出ステップを含む。
前記質量中心加速度導出ステップにおいては、3軸方向加速度(a、a、a)それぞれの値に予め定められたゲイン値をかけてユーザ質量中心の加速度を導出する。一般に、ある対象物の運動を分析する場合、その対象物の質量中心の運動を基準に分析し、先に分析に用いられた全ての変数値はユーザの頭側で測定されたものであるため、それを質量中心の運動状態値に変換する。このようなゲイン値は定数ベクトル(γ)で示され、ユーザの身長情報などのような身体情報を用いて予め求めることができる。
前記質量中心速度および位置導出ステップにおいては、予め測定されたユーザの身長情報、ユーザの位置情報および質量中心加速度を用いてユーザ質量中心の速度および位置を導出する。すなわち、上述したように求められた質量中心加速度を積分して(積分定数値が加えられた)質量中心の速度、位置を求めることができ、または、位置測定センサにより時間的に測定されたユーザの位置情報を用いて質量中心の速度、位置を求めることもできる。この二つの計算値の間には積分定数値だけの誤差があるところ、それを適切に比較して正確な質量中心の速度、位置値を求めることができる。
上述したように、本発明によれば、ユーザの頭側で測定された加速度、位置などを用いて、ユーザが歩行または走行運動をしているかを正確に判断することができ、また、歩行または走行時にユーザの質量中心がどのように運動しているか(すなわち、質量中心の加速度、速度、位置がどのように表されるか)を正確に把握することができる。したがって、それに基づいて歩行または走行姿勢の様々な要素を導出し、姿勢の矯正に活用することができる。
図13は、本発明のまた他の実施形態による運動姿勢導出装置の使用状態を示す。
本実施形態による運動姿勢導出装置1300は、図13に示すように、ユーザの身体、より具体的には頭側および腰側に分けて着用される。すなわち、本実施形態による運動姿勢導出装置1300は、図13の概略図に示すように、頭側に着用される頭側センサ信号収集部1310Hはイヤホンのように耳にさす形態からなり、腰側に着用される腰側センサ信号収集部1310Wはベルトにさす形態からなる。勿論、これに本発明が限定されるものではなく、例えば、前記頭側センサ信号収集部1310Hがヘアーバンド形態、メガネ形態、別途の帽子にさして付着する形態、ヘルメット形態など、多様に変更実施できることは勿論である。
図14は、本発明のまた他の実施形態による運動姿勢導出装置の概略図を示す。
本発明のまた他の実施形態による運動姿勢導出装置1300は、図14に示すように、頭側センサ信号収集部1310H、腰側センサ信号収集部1310Wおよび運動姿勢導出部1421を含む。運動姿勢導出装置1300は、運動矯正生成部1422および矯正情報出力部1430をさらに含む。
頭側センサ信号収集部1310Hは、上下、左右、前後を含む頭側3軸方向加速度センサ1411Hを含んでなり、腰側センサ信号収集部1310Wは、上下、左右、前後を含む腰側3軸方向加速度センサ1411Wおよびユーザの位置を測定する位置測定センサ1412Wを含んでなる。
頭側および腰側3軸方向加速度センサ1411H、1411Wは、ジャイロスコープを内蔵する形態などのように、一般に3軸方向の加速度を測定するのに用いられるセンサのうち好適なものを選択して採用することができる。位置測定センサ1412Wは、ユーザの絶対位置を測定するためのものであって、例えば、GPS信号を用いてユーザの位置を測定するようになってもよく、または、最近GPSより正確性の高い超精密衛星航法技術が開発されているところ、このような技術が適用されるセンサが用いられてもよい。さらに、頭側および腰側センサ信号収集部1310H、1310Wは、以下にてより詳細に説明する運動認識および分析過程における正確度を高めるように、図14に示すように3軸方向角速度センサ1412Hをさらに含んでなることができる。
本実施形態による運動姿勢導出装置1300において、頭側および腰側センサ信号収集部1310H、1310Wは、図13に示すように、ユーザの頭側および腰側に着用され、加速度、速度、位置などのようなユーザの動的物理量を測定する。特に、本実施形態においては、姿勢導出のためのユーザの動的物理量の測定時、ユーザ身体の質量中心の運動と最も類似して表れる位置で測定された値を用いる。具体的に例を挙げれば、本発明においては、左右方向の加速度は頭側で測定し、前後方向の加速度および位置は腰側で測定し、上下方向の加速度は頭側または腰側で測定するようにする。上下方向の加速度の場合についてさらに詳しく説明すれば、上下方向の加速度は頭側または腰側のいずれで測定しても正確によく表れるため、頭側や腰側の二つのうちの一つで測定された値を選択的に用いてもよく、または両側で測定された値の平均値を用いてもよいなど、適切に選択することができる。
勿論、一般に、加速度センサは上下、左右、前後、すなわち、3軸方向の加速度を全て測定できるようになり、よって、頭側センサ信号収集部1310Hの単独または腰側センサ信号収集部1310Wの単独により収集された上下、左右、前後方向加速度を用いて、後ほど説明する種々の計算を実行してもよいことは勿論である。ところが、歩行および走行がなされる時、相対的に頭側における左右動きとユーザ身体の質量中心の左右動きがより類似して表れ、また、相対的に腰側における前後動きとユーザ身体の質量中心の前後動きがより類似して表れる。さらに、上下動きは、頭側、腰側、質量中心の全てにおいて類似して表れる。一方、後ほど説明する本発明の運動認識方法において、究極的には、ユーザ身体の質量中心における動的物理量を用いて運動認識や姿勢導出などが行われる。このようなことを総合して見る時、頭側で左右方向加速度を測定し、腰側で前後方向加速度を測定し、頭側または腰側のうちから適切に所望のとおりに選択して上下方向加速度を測定するかまたは両方ともで測定して平均値を出した値として上下方向加速度を算出することによって、最終的な運動認識や姿勢導出などが遥かに正確に行われる効果を得ることができる。
運動姿勢導出部1421は、頭側および腰側センサ信号収集部1310H、1310Wから信号の伝達を受け、3軸方向加速度および位置信号を用いてユーザ質量中心の加速度、速度、位置を含む歩行または走行運動状態値を導出し、前記歩行または走行運動状態値を分析して歩行または走行姿勢を導出する役割をする。具体的には、運動姿勢導出部1421は、前記歩行または走行運動状態値から圧力中心経路を推算し、前記圧力中心経路を分析して歩行または走行姿勢を導出する。運動姿勢導出部1421で用いられる本発明の分析アルゴリズムについては、後ほどさらに詳しく説明するので、ここではその説明を省略する。
一方、運動姿勢導出部1421は、様々な計算を実行できる集積回路の形態からなって、腰側センサ信号収集部1310Wと一体として一つの基板上に形成されてもよく、または別途のコンピュータなどのような形態からなってもよい。さらに、頭側および前記腰側センサ信号収集部1310H、1310Wには、運動姿勢導出部1421との信号伝達のために、各々、頭側通信部1413Hおよび腰側通信部1413Wが備えられてもよい。腰側センサ信号収集部1310Wが運動姿勢導出部1421と一体になる場合、腰側通信部1310Wは運動姿勢導出部1421と直接接続されて信号伝達をしてもよく、または腰側通信部1413Wは頭側通信部1413Hから伝達されてくる信号を受けて前記運動姿勢導出部1421に伝達する役割をしてもよい。頭側および腰側通信部1413H、1413Wは有線からなってもよく、またはユーザ便宜性をさらに高めるようにブルートゥース、ワイ・ファイ、NFCのうちから選択される少なくとも一つの無線通信を用いて信号が伝達されてもよい。
運動矯正生成部1422は、運動姿勢導出部1421により導出された歩行姿勢と基準姿勢を比較して姿勢矯正用情報を生成する役割をする。運動姿勢導出部1421においては、上述したように頭側および腰側センサ信号収集部1310H、1310Wにより収集された信号に基づいてユーザの歩行または走行姿勢を導出し、具体的な例を挙げれば、歩行または走行時におけるユーザの進行方向、速度などを導出することができ、それより歩行姿勢の要素のうちの一つである歩幅を得ることができる。この場合、運動矯正生成部1422においては、歩行および走行速度別に最適な身長−歩幅関係データを内蔵しておき、該ユーザの歩行姿勢情報をそれと比較して、該ユーザの身長に比べて歩幅が過度に広いかまたは狭くはないかを判断し、最適範囲から脱する場合、減らしたり増やしたりしなければならない歩幅矯正量を容易に算出することができる。
矯正情報出力部1430は、このように運動矯正生成部1422により生成された姿勢矯正用情報を音響、図解、画像を含むユーザが認識可能な情報として変換して出力する。例えば、歩幅矯正量が算出されて歩幅を減らす必要がある場合、運動姿勢導出装置1300上に備えられたスピーカを介して「歩幅を減らして下さい」のような音声が出力されるようにするか、または警告音が鳴るようにしてユーザが最適歩幅でないことを認知し歩行姿勢を変えるように誘導することができる。特に、このように構成される場合、矯正情報出力部1430は頭側センサ信号収集部1310Hと一体になることによって、ユーザの情報収集器官、すなわち、目、耳などに近く配置されて情報を伝達するようになることが好ましい。すなわち、具体的な例示として、頭側センサ信号収集部1310Hが図13に示された例示のように耳にさすイヤホンの形態からなり、出力される情報形態が音声、音響信号である場合、矯正情報伝達の効率が極大化される。または、スマートフォン、コンピュータまたは専用ディスプレイなどと接続され、図解または画像として正確な矯正情報が出力されるようにすることもできるなど、様々な形態への実現が可能である。
さらに、運動姿勢導出装置1300は、運動姿勢導出部1421により導出された歩行姿勢を外部のデータベース1440に転送して累積的に格納するようになることができる。このような歩行または走行運動分析を必要とするユーザは健康促進のために毎日散歩またはジョギングをする一般人や身体能力を向上させるために訓練する専門家などであり、このような運動分析データが累積されて時間的な変化を見ることができるようになることが当然好ましい。それのみならず、このように運動分析データが大量に累積格納されると、このようなデータがビッグ・データとして活用されて各種の統計や分析に使用できるなど、様々な活用が可能である。
上述したような本実施形態による運動姿勢導出装置1300において、運動認識から運動姿勢導出を経て矯正情報出力までなされる具体的で且つ総合的な例示を挙げれば以下のとおりである。先ず、前述したようにユーザ身体の質量中心の運動と類似するように、頭側で左右方向加速度を収集し、腰側で前後方向加速度および位置を収集し、頭側または腰側で上下方向加速度を収集する。
腰側センサ信号収集部1310Wは運動姿勢導出部1421と一体になることができ、よって、頭側センサ信号収集部1310Hにより収集された物理量は頭側通信部1413Hを介して運動姿勢導出部1421側に伝達される。この時、腰側センサ信号収集部1310Wに備えられた腰側通信部1413Wが該信号の伝達を受けて運動姿勢導出部1421に伝達すればさらに効率的である。
このように収集された加速度および位置などの物理量を用いて、運動姿勢導出部1421においては、ユーザの歩行および走行姿勢を導出する。運動矯正生成部1422においては、このように導出された実際の姿勢と理想的な基準姿勢を比較して姿勢矯正用情報を生成する。運動姿勢導出部1421および運動矯正生成部1422も一体になってもよく、すなわち、これらは腰側センサ信号収集部1310Wと一体になるようになる。
このように生成された姿勢矯正用情報がユーザに効果的に伝達されるためには、ユーザの情報収集器官である目、耳などに近い頭側から情報が伝達されるようにすることが好ましい。前述したように頭側センサ信号収集部1310Hと矯正情報出力部1430が一体になる場合、前記生成された姿勢矯正用情報が腰側通信部1413Wおよび頭側通信部1413Hを順次経て矯正情報出力部1430に伝達され、ユーザの耳に音声メッセージを伝達するなどのような形態で矯正情報の効果的な伝達が行われる。
本発明のまた他の実施形態による運動姿勢導出方法は、運動姿勢導出装置1300を用いて、ユーザの運動を検知し、歩行であるか走行であるかを判断するなどの分析を行う。この時、前述したように、本発明で用いられる分析アルゴリズムは、ユーザの頭側および腰側で測定される動的物理量を利用するところ、前記運動姿勢導出装置1300は、最小限には上下、左右、前後を含む頭側3軸方向加速度センサ1411H、上下、左右、前後を含む腰側3軸方向加速度センサ1411W、およびユーザの位置を測定する位置測定センサ1412Wを含めばよく、前記運動姿勢導出部1421において以下にて説明する分析アルゴリズムが実行されればよい。また、前記運動姿勢導出装置1300は、装置の機能向上のために、前述した様々な付加構成をさらに含んでいてもよいことは勿論である。
図15は、本発明のまた他の実施形態によるケガ危険性定量化装置の概略図を示す。
本実施形態によるケガ危険性定量化装置1500は、歩行または走行時に発生しうるケガ危険性をユーザに知らせる装置である。より具体的に説明すれば以下のとおりである。歩行または走行時、姿勢が誤っていたり地面が固いなどのような様々な理由で足首、膝、腰などに無理な負担がかかり、それがケガにつながる危険があるという問題がよく知られている。このような危険を避けるために、従来には衝撃吸収のような機能性スニーカーを着用するなどのような程度の対処しかなく、実際にどれほどケガ危険性が発生するかを知ることができる正確な指標がなかった実情である。本実施形態においては、このようなケガ危険性を判断指標をもって定量化し、それを用いてケガ危険性があるレベル以上に上がれば、ユーザに警報で危険程度を知らせるようにする。それにより、ユーザはケガが発生する前に適切に歩行または走行を止めたり、姿勢を矯正したり、スニーカーを取替えたり、歩行または走行コースを変更したりするなどのような対処ができるようになって、窮極的には、歩行または走行時に発生するケガ危険性を大幅に低減することができる。
本実施形態によるケガ危険性定量化装置1500は、センサ信号収集部1510、制御部1520および警報部1530を含む。ケガ危険性定量化装置1500は、データベース1540をさらに含むことができる。
センサ信号収集部1510は加速度センサ1511を含み、ユーザの腕を除いた上体に着用される。センサ信号収集部1510は単一であってもよく、または複数であってもよい。センサ信号収集部1510は、2個形成されてユーザの頭側および腰側の各々に着用されてもよく、この場合、ユーザの頭側に着用されるセンサ信号収集部を頭側センサ信号収集部1510H、ユーザの腰側に着用されるセンサ信号収集部を腰側センサ信号収集部1510Wに区分することができる。着用状態の具体的な例示として、頭側に着用される頭側センサ信号収集部1510Hはイヤホンのように耳にさす形態からなり、腰側に着用される腰側センサ信号収集部1510Wはベルトにさす形態からなる。勿論、これに本発明が限定されるものではなく、例えば、前記頭側センサ信号収集部1510Hがヘアーバンド形態、メガネ形態、別途の帽子にさして付着する形態、ヘルメット形態など、多様に変更実施できることは勿論である。また、図面には示されていないが、センサ信号収集部1510はユーザの腕を除いた上体のどこにでも着用でき、例えば、胸部位に着用されるようにする場合、衣服の胸ポケットに収容されるかまたはさして付着する形態、別途のチョッキやハーネスなどを用いて着用する形態などのような様々な変更実施が可能である。
センサ信号収集部1510は、上述したように加速度センサ1511を含む。加速度センサ1511は、ジャイロスコープを内蔵する形態などのように、一般に3軸方向の加速度を測定するのに用いられるセンサのうち好適なものを選択して採用することができる。一方、センサ信号収集部1510に、加速度センサ1511により収集された加速度データ信号を用いて計算を実行し制御するなどの役割をする制御部1520が直接備えられるようにすることもできる。または、制御部1520は、従来に用いられるスマートフォンにアプリの形態で実現されるようにできるなど、様々な変更実施が可能である。すなわち、このように制御部1520がセンサ信号収集部1510とは別の装置により実現される場合、加速度センサ1511により収集された加速度データ信号が制御部1520に円滑に伝達されるように、センサ信号収集部1510は通信部1512をさらに含んでいてもよい。このような信号伝達はワイヤリングを介した有線通信によって行われてもよく、ブルートゥース、ワイ・ファイ、NFCなどのような無線通信によって行われてもよいなど、必要な条件や要求される性能に応じて好適な形態を選択して採用することができる。
後ほど本実施形態によるケガ危険性定量化方法の説明においてさらに詳しく説明するが、本実施形態においてはケガ危険性を判断するにおいて上下方向加速度を用いる。
また、本実施形態においては、ケガ危険性を定量化するために上下方向加速度を用いる。一般に走行がなされる時、相対的に頭側における左右動きとユーザ身体の質量中心の左右動きがより類似して表れ、また、相対的に腰側における前後動きとユーザ身体の質量中心の前後動きがより類似して表れる。さらに、上下動きは、頭部から腰部までを含む上体および質量中心の全てにおいて類似して表れる。但し、上体のうち腕部分は、質量中心の動きの他にも前後方向に揺れる別の動きをするため、腕は除外される。このようなことを考慮する時、上下方向の加速度は腕を除いた上体のうちどこで測定してもよい。さらに詳しく説明すれば、上下方向の加速度は腕を除いた上体のどこで測定しても正確によく表れるため、頭側や腰側の二つのうちの一つで測定された値を選択的に用いてもよく、または両側で測定された値の平均値を用いてもよいなど、適切に選択することができる。
制御部1520は、センサ信号収集部1510から信号の伝達を受け、上下方向加速度aに基づいて算出される少なくとも一つのケガ危険性判断指標を導出し、前記ケガ危険性判断指標を用いて警報発生有無を判断および制御する役割をする。より具体的には、制御部1520は、前記ケガ危険性判断指標として、上下方向加速度aの平均傾き、上下方向加速度aの最大傾き、最大衝撃力、衝撃量のうちから選択される少なくとも一つを導出し、それにより、ケガ危険性を定量化し、危険程度を判別するようになる。制御部1520で行われるケガ危険性判断指標の導出などについては、後ほど本実施形態によるケガ危険性定量化方法を説明しつつさらに詳しく説明する。
制御部1520の実際の実施形態は、必要や目的に応じて多様に形成されることができる。すなわち、制御部1520は、様々な計算を実行できる集積回路の形態からなって、センサ信号収集部1510と一体として一つの基板上に形成されてもよく、別途の専用装置(すなわち、ケガ危険性の定量化用途にのみ作られた独立した装置)や別途のコンピュータなどのような形態からなってもよく、または前述したように従来に用いられるスマートフォンにアプリの形態で実現されてもよい。前述したように、制御部1520がセンサ信号収集部1510と一体になっている場合には、加速度センサ1511から直接信号の伝達を受けるようになることができる。一方、制御部1520が別の装置やスマートフォンのアプリの形態からなるなどのようにセンサ信号収集部1510とは独立に形成されている場合には、加速度センサ1511から有線または無線通信によって信号の伝達を受けるようになることができる。
警報部1530は、制御部1520から警報発生制御信号を受けてユーザにケガ危険性を警報する役割をする。制御部1520においては、上下方向加速度aに基づいて算出される少なくとも一つのケガ危険性判断指標を導出し、それを用いて警報発生有無を判断し、ケガ危険性が予め定められた基準以上であると判断されれば、警報部1530が警報を発生させるように制御することによってユーザに危険を知らせる。
警報部1530は、音響、図解、画像を含むユーザが認識可能な情報として警報信号を出力する。例えば、警報部1530が音響を出力するスピーカ形態からなる場合、ケガ危険性が基準以上であれば警告音が鳴るようにすることができる。または、本実施形態による装置がグーグルグラス(登録商標)のような拡張現実メガネに適用される場合、警報部1530は、拡張現実メガネ上に赤色の警告用図形またはこのような図形が瞬く画像を出力するか、または「ケガ危険性が何%です」などのようなメッセージを出力するようになることができる。または、警報部1530が熱電素子により実現され、ユーザの皮膚に直間接的に接触した形態からなって、ケガ危険性が基準以上であれば、冷たくなったりまたは熱くなったりすることによってユーザに警報することもできる。他の例示として、ユーザが視覚障害者である場合のために、警報部1530が変更可能な点字形態として触覚によって認識される形態からなってもよい。このように、前記警報部は、ユーザが認識可能な情報として警報信号を出力できるものであれば、いかなる形態からなってもよい。
さらに、ケガ危険性定量化装置1500は、ケガ危険性警報発生時点および該時点におけるケガ危険性判断指標値を含むケガ危険性データを外部のデータベース1540に転送して累積的に格納するようになることができる。このような歩行または走行運動分析を必要とするユーザは健康促進のために毎日散歩またはジョギングをする一般人や身体能力を向上させるために訓練する専門家などであり、このような運動分析データが累積されて時間的な変化を見ることができるようになることが当然好ましい。それのみならず、このように運動分析データが大量に累積格納されると、このようなデータがビッグ・データとして活用されて各種の統計や分析に使用できるなど、様々な活用が可能である。
図16は、本発明のまた他の実施形態によるケガ危険性定量化方法のフローチャートを示す。
本実施形態によるケガ危険性定量化方法は、上述したように加速度センサ1511を含んでなり、ユーザの腕を除いた上体に着用される少なくとも一つのセンサ信号収集部1510を用いて測定された上下方向加速度aを用いてケガ危険性判断指標を導出してケガ危険性を定量化する。このために、本実施形態によるケガ危険性定量化方法は、データ収集ステップ、判断指標導出ステップ、ケガ危険性判断ステップ、およびケガ危険性警報ステップを含む。さらに、ケガ危険性判断指標導出の正確性を高めるために、ノイズ除去ステップをさらに含む。図16に示された各ステップについてさらに詳しく説明すれば以下のとおりである。
前記データ収集ステップにおいては、センサ信号収集部1510が測定された上下方向加速度aを収集する。収集された上下方向加速度aはそのまま使用してもよいが、予め定められたバンドパスフィルタを通過させてノイズを除去するノイズ除去ステップを経るようにすることがより好ましい。この時、前記バンドパスフィルタは、例えば、一般的な人の歩行または走行周波数に該当する0.1〜5Hzに形成されてもよいが、この範囲は適切に変更決定されてもよいことは勿論である。
前記判断指標導出ステップにおいては、上下方向加速度aに基づいて算出される少なくとも一つのケガ危険性判断指標を導出する。この時、前記ケガ危険性判断指標は、上下方向加速度aの平均傾き、上下方向加速度aの最大傾き、最大衝撃力、衝撃量のうちから選択される少なくとも一つであってもよい。各々の判断指標については後ほどさらに詳しく説明する。
前記ケガ危険性判断ステップにおいては、前記ケガ危険性判断指標が予め定められた基準より大きいか否かを判断する。この時、前記ケガ危険性判断指標が上述したように複数であってもよく、種々の判断指標のいずれか一つだけが基準以上である時に警報を発生してもよく、全てが基準以上である時に警報を発生してもよく、または適切に優先順位をおいて段階的に警報を発生してもよい。前記ケガ危険性判断ステップにおいて、前記ケガ危険性判断指標が予め定められた基準より小さければ、警報を発生せず、再びデータ収集ステップに戻る。さらに、前記ケガ危険性判断ステップにおいては、周期的な信号で表れる上下方向加速度aデータに対して少なくとも2周期以上のデータを取り集めて算出された前記ケガ危険性判断指標を用いて判断が行われるようにすることが好ましい。
前記ケガ危険性警報ステップにおいては、前記ケガ危険性判断指標のうち少なくとも一つが各々予め定められた基準より大きい場合、ユーザにケガ危険性を警報する。ケガ危険性の警報形態は、前述したように音響、図解、画像などの様々な形態であってもよく、ユーザは、このように警報を受けることによって、能動的にケガ危険性を減らすための対処(運動終了、姿勢矯正、履き物の取替え、コース変更など)をすることで、窮極的にケガ危険性を大幅に低減することができる。
以下では、本発明で用いられるケガ危険性判断指標の種々の例示と各々を導出する過程についてより具体的に説明する。
図17は、本発明のまた他の実施形態による走行時における上下方向加速度グラフを示す。
図示したように、上下方向加速度aは、時間に対して周期的な形態で表れる(歩行または走行そのものが周期的な運動であるので、これは当然のことである)。走行運動を噛み砕いて描写すれば以下のとおりである。先ず、前方に出ている一方の足が地面を蹴飛ばす瞬間(この瞬間、他方の足は空中に浮いている)から始まる。この状態で、一方の足が地面を蹴飛ばして浮き上がりつつ両足が全て空中に浮いている状態のまま、人の胴体が前方に移動し、それと共に両足を空中で振りつつ前後が変わって他方の足が前方に出てくるようになる。前方に出てきた他方の足が地面に接すると同時に地面を蹴飛ばす瞬間が再びなされて一歩の走行になる。この過程で、片足で地面を蹴飛ばす瞬間には人の頭が上下方向に最も大きく揺れる反面(上下方向加速度aにおいてローカルマキシマムが形成される)、空中に浮いたまま進んでいる状態では上下方向にほぼ揺れなくなる(上下方向加速度aにおいて定数値が形成される)。
直ちにこのように足が地面を蹴飛ばす瞬間に関節に最も多い衝撃が加えられ、このような衝撃は図17のような上下方向加速度グラフにおいて一番目のピーク(peak)形態で表れる。この時の衝撃の程度に応じてケガ危険性が異なり、本発明においては、それを指標化することによって定量化された判断の根拠として用いた。このような判断指標として、本発明においては、前述したように、上下方向加速度aの平均傾き、上下方向加速度aの最大傾き、最大衝撃力、衝撃量を用いる。
図18は、本発明のまた他の実施形態による走行時における上下方向加速度グラフに傾きを示す。それを通じて上下方向加速度aの平均傾きおよび最大傾きを導出する過程について説明する。
先ず、前記ケガ危険性判断指標として上下方向加速度aの平均傾き値を選択する場合、前記ケガ危険性判断指標は下記の式を用いて算出される。
(ここで、a:上下方向加速度、mean:平均値算出関数、i:インデックス番号、t:i番目の時間、ti−1:i−1番目の時間、t:衝撃開始時間、t:衝撃終了時間)
衝撃開始時間とは、実際的には足が地面に着地する瞬間を意味する。これは、上下方向加速度aが0以下の値から0近くの所定の基準値(例えば、0.3m/s)を上向き突破する時点に決定することができる。ここで、衝撃開始時間を決定する基準値の具体的な値は、上述した例のように0.5m/s以下の値の中から適切に決定できる。衝撃終了時間は一番目のピーク値が表れる時刻であり、グラフ上で直観的にも容易に確認することができる。インデックスiは衝撃開始時間から衝撃終了時間までの時間をnで分けてデジタル化した時間のインデックスであって、nは必要に応じて適切に決定すればよい。
平均傾き値は、直ちにこのように、衝撃開始時間から衝撃終了時間までをn等分した時、各々の間隔で求められたn個の傾き値の平均値である。図18はある一つの周期における上下方向加速度aグラフを示しており、このような一つの周期で上述したような平均傾き値を求めることができる。一方、図17に示すように走行中には図18のような形態のグラフが続けて繰り返され、上述したような平均傾き値は各周期ごとに(すなわち、各歩ごとに)求められることができる。この時、前記判断指標導出ステップにおいて、ユーザ質量mおよび平均傾きの積として算出される平均垂直負荷率(average vertical loading rate)がさらに算出されることができる。
一方、前記ケガ危険性判断指標として上下方向加速度aの最大傾き値を選択する場合、前記ケガ危険性判断指標は下記の式を用いて算出される。
i=1、2、…、n、
=t、t=t
(ここで、a:上下方向加速度、max:最大値算出関数、i:インデックス番号、t:i番目の時間、ti−1:i−1番目の時間、t:衝撃開始時間、t:衝撃終了時間)
前記最大傾きは、平均傾きに関する説明で記述したように、ある一つの周期(一歩)における衝撃開始時間から衝撃終了時間までの間で求められたn個の傾き値のうち最大値である。この時、前記判断指標導出ステップにおいて、ユーザ質量mおよび最大傾きの積として算出される最大垂直負荷率(instantaneous vertical loading rate)がさらに算出されることができる。
図19は、本発明のまた他の実施形態による走行時における上下方向加速度グラフに衝撃量を示す。それを通じて最大衝撃力および衝撃量を導出する過程について説明する。
先ず、前記ケガ危険性判断指標として最大衝撃力値を選択する場合、前記ケガ危険性判断指標は下記の式を用いて算出される。
(ここで、a:上下方向加速度、m:ユーザ質量、t:衝撃終了時間)
前述したように衝撃終了時間は一番目のピーク値が表れる時刻であるため、当然、最大衝撃力が表れる時刻は衝撃終了時間になる。図19に上下方向加速度aの一番目のピーク(1st peak)が表示されており、これにユーザ質量mをかけた値が直ちに最大衝撃力値になる。
一方、前記ケガ危険性判断指標として衝撃量値を選択する場合、前記ケガ危険性判断指標は下記の式を用いて算出される。
(ここで、a:上下方向加速度、m:ユーザ質量、t:衝撃開始時間、t:衝撃終了時間)
図19に衝撃開始時間から衝撃終了時間の間の上下方向加速度aグラフ面積が表示されており、この面積にユーザ質量mをかけた値が直ちに衝撃量値になる。
以上、本発明の好ましい実施形態が詳細に記述されているが、本発明の範囲はそれに限定されず、様々な変形および均等な他の実施形態が可能である。よって、本発明の真の技術的保護範囲は添付された特許請求の範囲によって定められなければならない。
例えば、本発明の例示的な実施形態による装置は、図示されたような装置各々のユニットにカップリングされたバス、前記バスにカップリングされた少なくとも一つのプロセッサを含むことができ、コマンド、受信されたメッセージ、または生成されたメッセージを格納するために前記バスにカップリングされ、前述したようなコマンドを実行するための少なくとも一つのプロセッサにカップリングされたメモリを含むことができる。
また、本発明に係るシステムは、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして実現することができる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが格納される全ての記録装置を含む。前記コンピュータ読み取り可能な記録媒体は、マグネチック格納媒体(例えば、ROM、フロッピーディスク、ハードディスクなど)、および光学的読取媒体(例えば、CD−ROM、DVDなど)を含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークを介して接続されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行されることができる。
本発明によれば、ユーザの身体(例えば、頭側または腰側)において加速度、位置などを測定し、それを質量中心の運動状態値に変換するなどのような本発明の特徴的な分析アルゴリズムを用いることによって、効果的で且つ正確に歩行を認識、検知および分析することができる。
また、本発明によれば、ユーザの身体において加速度、位置などを測定し、それを質量中心の運動状態値に変換し、それより圧力中心経路を推算するなどのような本発明の特徴的な分析アルゴリズムを用いることによって、効果的で且つ正確に歩行を認識、検知および分析することができる。特に、本発明は、ユーザ身体の質量中心の運動と最も類似して表れる位置で測定された加速度を用いることによって(具体的には、左右方向の加速度は頭側で測定し、前後方向の加速度および位置は腰側で測定し、上下方向の加速度は頭側または腰側で測定するようにすることによって)、より正確な加速度および位置の測定が可能である。
また、本発明によれば、装置構成的な側面から、加速度センサ、位置センサなどのようにユーザの動的物理量を測定するセンサのみを利用できるという長所がある。すなわち、従来には、ユーザの足で押されることによって歩行を認知する圧力センサを利用することによって、装置耐久度および寿命低下の問題、ユーザの身体寸法に応じた別途装置の生産および使用問題などの種々の問題があった。しかし、本発明の場合、このような問題の原因である圧力センサを足部分に配置するという技術構成そのものが完全に排除されるため、上述したような種々の問題が根本的に除去されるものである。また、それよりユーザ便宜性の向上、ユーザまたは生産者の各々における経済性の向上などのような効果も得ることができる。

Claims (15)

  1. 上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザのに着用される運動認識装置を用いた運動認識方法であって、
    3軸方向加速度を収集および分析して、歩行および走行の有無を判断するデータ収集および運動認識ステップ、および
    前記データ収集および運動認識ステップにおいて歩行または走行運動が検知されると、収集された3軸方向加速度および前記位置測定センサによって測定された前記ユーザの位置を用いてユーザ質量中心の加速度、速度、位置を含む運動状態値を算出する、加速度に基づいた運動状態値導出ステップを含んでなることを特徴とする運動認識方法。
  2. 前記データ収集および運動認識ステップは、
    上下方向加速度を収集する上下方向加速度収集ステップ、
    収集された上下方向加速度のピークを検出するピーク検出ステップ、
    上下方向加速度のピーク値が予め定められた閾値以上であるか否かを判断する運動検知ステップ、
    上下方向加速度のピーク値が予め定められた閾値以上であれば、3軸方向加速度を収集する3軸方向加速度収集ステップ、
    3軸方向加速度をフーリエ変換して周波数応答グラフを導出するフーリエ変換ステップ、および
    周波数応答グラフを予め定められた周波数応答の概形または大きさ基準と比較して、歩行および走行の運動であるかまたはその他の運動であるかを判断する運動形態判断ステップを含んでなることを特徴とする、請求項1に記載の運動認識方法。
  3. 前記運動認識方法は、
    前記ピーク検出ステップまたは前記フーリエ変換ステップの前に、
    上下方向加速度または3軸方向加速度を予め定められたバンドパスフィルタを通過させてノイズを除去するノイズ除去ステップをさらに含んでなることを特徴とする、請求項2に記載の運動認識方法。
  4. 前記運動形態判断ステップは、
    下記の式を満たせばユーザの運動を歩行および走行状態であると判断し、そうでなければその他の運動であると判断することを特徴とする、請求項2に記載の運動認識方法。
    z、p/Mz、other>c and Mx、p/Mx、other>c
    (ここで、
    :上下方向加速度、
    :上下方向加速度aのフーリエ変換結果における最大大きさを有する周波数、
    z、p:上下方向加速度aのフーリエ変換結果において、fを中心周波数とし、1Hz未満の帯域幅を有する上下方向基準バンドに属する周波数成分のエネルギー総和、
    z、other:上下方向加速度aのフーリエ変換結果において、前記上下方向基準バンドを除いた残りの周波数成分のエネルギー総和、
    :予め定められた上下方向基準閾値、
    :左右方向加速度、
    x、p:左右方向加速度aのフーリエ変換結果において、f/2を中心周波数とし、1Hz未満の帯域幅を有する左右方向基準バンドに属する周波数成分のエネルギー総和、
    x、other:左右方向加速度aのフーリエ変換結果において、前記左右方向基準バンドを除いた残りの周波数成分のエネルギー総和、
    :予め定められた左右方向基準閾値)
  5. 前記運動形態判断ステップは、
    ユーザの運動が歩行および走行状態である時、
    上下方向加速度のフーリエ変換結果において、下記の式を満たす区間が存在すればユーザの運動を走行状態であると判断し、そうでなければ歩行状態であると判断することを特徴とする、請求項4に記載の運動認識方法。
    <k
    (ここで、
    k:スタンス判別定数)
  6. 前記加速度に基づいた運動状態値導出ステップは、
    3軸方向加速度それぞれの値に予め定められたゲイン値をかけてユーザ質量中心の加速度を導出する質量中心加速度導出ステップ、および
    予め測定されたユーザの身長情報、ユーザの位置情報および質量中心加速度を用いてユーザ質量中心の速度および位置を導出する質量中心速度および位置導出ステップを含んでなることを特徴とする、請求項1に記載の運動認識方法。
  7. 上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザのに着用されるセンサ信号収集部、および
    前記センサ信号収集部から信号の伝達を受け、3軸方向加速度および位置信号を用いてユーザ質量中心の加速度、速度、位置を含む歩行または走行の運動状態値を導出し、前記歩行または走行の運動状態値を分析して歩行または走行の姿勢を導出する運動姿勢導出部を含んでなることを特徴とする運動認識装置。
  8. 前記センサ信号収集部は、
    3軸方向角速度センサをさらに含んでなることを特徴とする、請求項7に記載の運動認識装置。
  9. 前記位置測定センサは、
    ユーザの位置を測定することを特徴とする、請求項7に記載の運動認識装置。
  10. 前記運動認識装置は、
    前記運動姿勢導出部により導出された歩行姿勢と基準姿勢を比較して姿勢矯正用情報を生成する運動矯正生成部をさらに含んでなることを特徴とする、請求項7に記載の運動認識装置。
  11. 前記運動認識装置は、
    前記運動矯正生成部により生成された姿勢矯正用情報を音響、図解、画像を含むユーザが認識可能な情報として変換して出力する矯正情報出力部をさらに含んでなることを特徴とする、請求項10に記載の運動認識装置。
  12. 前記運動認識装置は、
    前記運動姿勢導出部により導出された歩行姿勢を外部のデータベースに転送して累積的に格納するようになることを特徴とする、請求項7に記載の運動認識装置。
  13. 前記運動認識装置は、
    前記センサ信号収集部と前記運動姿勢導出部との間の信号伝達が、
    ブルートゥース、ワイ・ファイ、NFCのうちから選択される少なくとも一つの無線通信によって行われることを特徴とする、請求項7に記載の運動認識装置。
  14. 上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザのに着用される運動姿勢導出装置を用いた運動姿勢導出方法であって、
    前記運動姿勢導出装置により収集された3軸方向加速度および前記ユーザの位置を用いて算出されたユーザ質量中心の加速度、速度、位置を含む運動状態値を用いて、質量中心位置から加速度ベクトル方向に地面にプロジェクションして圧力中心経路を推算する圧力中心経路推算ステップ、
    上下方向加速度グラフのパターンから歩行であるかまたは走行であるかを判断する運動種類判断ステップ、および
    圧力中心経路推算値および3軸方向加速度に基づいて歩幅、歩間、歩角、左右非対称を含む姿勢情報を導出する運動姿勢導出ステップを含んでなることを特徴とする圧力中心経路に基づいた運動姿勢導出方法。
  15. 上下、左右、前後を含む3軸方向加速度センサおよびユーザの位置を測定する位置測定センサを含んでなり、ユーザのに着用されるセンサ信号収集部、および
    前記センサ信号収集部から信号の伝達を受け、3軸方向加速度および位置信号を用いてユーザ質量中心の加速度、速度、位置を含む歩行または走行の運動状態値を導出し、前記歩行または走行の運動状態値から圧力中心経路を推算し、前記圧力中心経路を分析して歩行または走行の姿勢を導出する運動姿勢導出部を含んでなることを特徴とする圧力中心経路に基づいた運動姿勢導出装置。

JP2019506629A 2016-08-09 2017-08-08 運動認識方法および装置 Active JP6765505B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR10-2016-0101491 2016-08-09
KR1020160101489A KR101926170B1 (ko) 2016-08-09 2016-08-09 보행 및 주행 모니터링을 위한 운동 인식 방법 및 장치
KR1020160101491A KR101830371B1 (ko) 2016-08-09 2016-08-09 압력 중심 경로 기반 운동 자세 도출 방법 및 장치
KR10-2016-0101489 2016-08-09
KR10-2017-0030402 2017-03-10
KR10-2017-0030394 2017-03-10
KR1020170030394A KR101995482B1 (ko) 2017-03-10 2017-03-10 보행 및 주행 모니터링을 위한 운동 인식 방법 및 장치
KR1020170030402A KR101995484B1 (ko) 2017-03-10 2017-03-10 압력 중심 경로 기반 운동 자세 도출 방법 및 장치
KR1020170079255A KR101970674B1 (ko) 2017-06-22 2017-06-22 주행 시 부상 위험성 정량화 방법 및 장치
KR10-2017-0079255 2017-06-22
PCT/KR2017/008534 WO2018030743A1 (ko) 2016-08-09 2017-08-08 운동 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2019531772A JP2019531772A (ja) 2019-11-07
JP6765505B2 true JP6765505B2 (ja) 2020-10-07

Family

ID=61162849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506629A Active JP6765505B2 (ja) 2016-08-09 2017-08-08 運動認識方法および装置

Country Status (3)

Country Link
JP (1) JP6765505B2 (ja)
CN (2) CN109310913B (ja)
WO (2) WO2018030734A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022942B1 (ko) * 2018-05-10 2019-09-19 주식회사 비플렉스 상하 지면 반력 힘의 기울기 예측 방법 및 이를 이용하는 주행 시 부상 위험성 정량화 장치
CN109621331A (zh) * 2018-12-13 2019-04-16 深圳壹账通智能科技有限公司 辅助健身方法、装置及存储介质、服务器
CN111790133B (zh) * 2019-04-03 2021-06-08 杭州乾博科技有限公司 一种智能搏击球训练结束识别方法及系统
EP3735900B1 (en) * 2019-05-07 2022-07-27 Bodytone International Sport, S.L. Treadmill for sport training
KR102304300B1 (ko) * 2019-05-08 2021-09-23 주식회사 비플렉스 머리부 가속도 센서를 통한 보행인자 검출 방법 및 장치
CN110180158B (zh) * 2019-07-02 2021-04-23 乐跑体育互联网(武汉)有限公司 一种跑步状态识别方法、系统及终端设备
CN113509173A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 运动姿势识别方法、终端设备及存储介质
CN111569397B (zh) * 2020-04-30 2021-06-15 东莞全创光电实业有限公司 手柄类运动计数方法及终端
TWI741724B (zh) * 2020-08-05 2021-10-01 美律實業股份有限公司 身體質量指數區間估測裝置及其操作方法
CN112130677B (zh) * 2020-09-23 2023-05-12 深圳市爱都科技有限公司 一种可穿戴终端及其举手识别方法
JP2022120517A (ja) * 2021-02-05 2022-08-18 パナソニックIpマネジメント株式会社 音響装置および音響制御方法
WO2023128511A1 (ko) * 2021-12-28 2023-07-06 주식회사 디랙스 운동 자세 분석 장치 및 이를 포함하는 스마트 운동 기기
CN116491935B (zh) * 2023-06-29 2023-08-29 深圳市微克科技有限公司 一种智能穿戴设备的运动健康监测方法、系统及介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
JPH09330424A (ja) * 1996-06-07 1997-12-22 Matsushita Electric Ind Co Ltd 3次元骨格構造の動き変換装置
JP3443077B2 (ja) * 1999-09-20 2003-09-02 ソニー株式会社 ロボットの運動パターン生成装置及び運動パターン生成方法、並びにロボット
WO2005021107A1 (en) * 2003-08-27 2005-03-10 Steffan Klein Personel training system and method
KR100620118B1 (ko) * 2004-03-31 2006-09-13 학교법인 대양학원 관성센서를 이용한 보행패턴 분석장치 및 그 방법
JP5028751B2 (ja) * 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
GB0602127D0 (en) * 2006-02-02 2006-03-15 Imp Innovations Ltd Gait analysis
US7561960B2 (en) * 2006-04-20 2009-07-14 Honeywell International Inc. Motion classification methods for personal navigation
US7610166B1 (en) * 2006-07-21 2009-10-27 James Solinsky Geolocation system and method for determining mammal locomotion movement
KR100894895B1 (ko) * 2007-05-21 2009-04-30 연세대학교 산학협력단 운동, 균형 및 보행측정방법 및 치료시스템
KR100962530B1 (ko) * 2007-09-28 2010-06-14 한국전자통신연구원 생체신호 측정 장치 및 방법
JP2009204568A (ja) * 2008-02-29 2009-09-10 Seiko Instruments Inc 歩行シミュレーション装置
CN101881625B (zh) * 2008-08-19 2012-09-12 幻音科技(深圳)有限公司 步幅校正方法、测距方法及计步装置
CN102144248B (zh) * 2008-09-04 2014-05-14 皇家飞利浦电子股份有限公司 预防跌倒系统
KR101101003B1 (ko) * 2009-12-14 2011-12-29 대구대학교 산학협력단 센서노드를 이용한 신체의 움직임 및 균형 감지 시스템 및 방법
KR101633362B1 (ko) * 2010-01-18 2016-06-28 삼성전자 주식회사 인간형 로봇 및 그 보행 제어방법
ES2846821T3 (es) * 2010-07-14 2021-07-29 Ecole Polytechnique Fed Lausanne Epfl Sistema y método para la evaluación de la marcha en 3D
JP2012024275A (ja) * 2010-07-22 2012-02-09 Omron Healthcare Co Ltd 歩行姿勢判定装置
EP2422698A1 (en) * 2010-08-26 2012-02-29 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Method and system for determining the walking or running speed of a person
KR20120059824A (ko) * 2010-12-01 2012-06-11 경희대학교 산학협력단 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템
JP5895253B2 (ja) * 2011-06-22 2016-03-30 ゴルフゾン カンパニー リミテッド ユーザーに対するカスタマイズ練習環境を提供する仮想ゴルフシミュレーション装置、これとネットワークで連結されるサーバー、及び仮想ゴルフシミュレーションを用いたユーザーカスタマイズ練習環境の提供方法
US9448067B2 (en) * 2011-09-23 2016-09-20 Creatz Inc. System and method for photographing moving subject by means of multiple cameras, and acquiring actual movement trajectory of subject based on photographed images
US9101812B2 (en) * 2011-10-25 2015-08-11 Aquimo, Llc Method and system to analyze sports motions using motion sensors of a mobile device
JP5915285B2 (ja) * 2012-03-15 2016-05-11 セイコーエプソン株式会社 状態検出装置、電子機器、測定システム及びプログラム
CN103729614A (zh) * 2012-10-16 2014-04-16 上海唐里信息技术有限公司 基于视频图像的人物识别方法及人物识别装置
JP2014236774A (ja) * 2013-06-06 2014-12-18 セイコーエプソン株式会社 生体情報処理装置および生体情報処理方法
JP6358889B2 (ja) * 2013-09-26 2018-07-18 株式会社メガチップス 歩行者観測システム、プログラムおよび進行方向推定方法
JP6134680B2 (ja) * 2014-03-19 2017-05-24 日本電信電話株式会社 歩行支援装置、歩容計測装置、方法及びプログラム
JP2016034481A (ja) * 2014-07-31 2016-03-17 セイコーエプソン株式会社 情報分析装置、運動解析システム、情報分析方法、分析プログラム、画像生成装置、画像生成方法、画像生成プログラム、情報表示装置、情報表示システム、情報表示プログラム及び情報表示方法
JP2016034480A (ja) * 2014-07-31 2016-03-17 セイコーエプソン株式会社 報知装置、運動解析システム、報知方法、報知プログラム、運動支援方法及び運動支援装置
JP6080078B2 (ja) * 2014-08-18 2017-02-15 高知県公立大学法人 姿勢および歩行状態推定装置
HK1203120A2 (en) * 2014-08-26 2015-10-16 高平 A gait monitor and a method of monitoring the gait of a person
US10448867B2 (en) * 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
TWM499888U (zh) * 2014-11-10 2015-05-01 Alexandave Ind Co Ltd 姿勢穩定度之評估與復健系統
CN104382599B (zh) * 2014-12-05 2017-01-18 京东方科技集团股份有限公司 用于测量颈椎活动的方法、设备和可穿戴装置
JPWO2016092912A1 (ja) * 2014-12-11 2017-09-21 ソニー株式会社 プログラム及び情報処理システム

Also Published As

Publication number Publication date
CN109414608A (zh) 2019-03-01
WO2018030743A1 (ko) 2018-02-15
WO2018030734A1 (ko) 2018-02-15
CN109310913A (zh) 2019-02-05
CN109414608B (zh) 2021-04-02
CN109310913B (zh) 2021-07-06
JP2019531772A (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
JP6765505B2 (ja) 運動認識方法および装置
JP7101835B2 (ja) 運動認識システム
KR102043104B1 (ko) 운동 인식 방법 및 장치
US11497966B2 (en) Automatic coaching system and method for coaching user's exercise
Strohrmann et al. Monitoring kinematic changes with fatigue in running using body-worn sensors
JP2010005033A (ja) 歩行動作分析装置
Fasel et al. An inertial sensor-based system for spatio-temporal analysis in classic cross-country skiing diagonal technique
JP6516283B2 (ja) 運動解析装置
GB2533430A (en) Biomechanical analysis
JP6724984B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6781798B2 (ja) Ivlr予測方法およびそれを用いた走行時のケガ危険性定量化装置
JP2020120807A (ja) 転倒リスク評価装置、転倒リスク評価方法及び転倒リスク評価プログラム
KR102081735B1 (ko) 운동 인식 방법 및 장치
KR102020796B1 (ko) 주행 및 보행 시 보행 안정성 평가 방법 및 장치
KR101830371B1 (ko) 압력 중심 경로 기반 운동 자세 도출 방법 및 장치
KR102039381B1 (ko) 주행 및 보행 시 좌우 불균형 평가 방법 및 장치
KR102055661B1 (ko) 사용자의 운동을 코칭하는 자동 코칭 시스템 및 방법
KR101995482B1 (ko) 보행 및 주행 모니터링을 위한 운동 인식 방법 및 장치
KR101926170B1 (ko) 보행 및 주행 모니터링을 위한 운동 인식 방법 및 장치
CN112839569A (zh) 评估人类移动的方法和系统
KR20210040671A (ko) 동적으로 변화하는 인체 무게 중심 궤적 추정 장치 및 그 방법
KR101995484B1 (ko) 압력 중심 경로 기반 운동 자세 도출 방법 및 장치
Patterson et al. Using a shoe mounted tri-axial accelerometer to detect kinematic changes during stiff ankle walking
Parisi et al. Low-complexity inertial sensor-based characterization of the UPDRS score in the gait task of parkinsonians
WO2018087654A1 (en) A method and system for determining the power developed by a runner

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R150 Certificate of patent or registration of utility model

Ref document number: 6765505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250