JP6243731B2 - Mobile motion state display device, method and system, and program - Google Patents
Mobile motion state display device, method and system, and program Download PDFInfo
- Publication number
- JP6243731B2 JP6243731B2 JP2013269498A JP2013269498A JP6243731B2 JP 6243731 B2 JP6243731 B2 JP 6243731B2 JP 2013269498 A JP2013269498 A JP 2013269498A JP 2013269498 A JP2013269498 A JP 2013269498A JP 6243731 B2 JP6243731 B2 JP 6243731B2
- Authority
- JP
- Japan
- Prior art keywords
- directions
- acceleration
- time
- time range
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Rehabilitation Tools (AREA)
Description
本発明は、加速度センサ（sensor）を用いて人の歩行などの移動運動を評価するための技術に関する。 The present invention relates to a technique for evaluating a moving motion such as walking of a person using an acceleration sensor.
従来、医療施設や介護施設等において、歩行障害を持つ患者に対するリハビリテーション（rehabilitation）が行われている。このリハビリテーションでは、一般的に、患者に適した歩行訓練プログラム（program）を作成したり、患者の回復レベル（level）を把握したりするために、理学療法士などの指導員が、患者の歩行運動を繰り返し評価する。この評価の基準には、例えば、患者の歩行中における体重バランス（balance）の変化の様子などが含まれる。なお、体重バランスとは、体を移動させる向きやその強さを示す概念と考えることができる。 Conventionally, rehabilitation for patients with gait disorders has been performed in medical facilities, nursing homes, and the like. In this rehabilitation, an instructor, such as a physical therapist, generally uses a patient's gait exercises to create a gait training program suitable for the patient and to understand the patient's recovery level. Is repeatedly evaluated. The criteria for this evaluation include, for example, how the weight balance changes during walking of the patient. The weight balance can be considered as a concept indicating the direction in which the body is moved and its strength.
一方、加速度センサを用いて人の歩行中に生じる加速度を測定し、その測定結果を用いて歩行運動の評価を行う試みが成されている（例えば、特許文献１，要約等参照）。 On the other hand, an attempt has been made to measure acceleration generated during walking of a person using an acceleration sensor and to evaluate walking movement using the measurement result (for example, see Patent Document 1, Abstract, etc.).
ここで、上述のリハビリテーションにおいては、理学療法士などの指導員が患者の歩行運動を目視で確認し主観で判断するため、評価がばらつくことがある。また、既存の歩行評価技術においても、評価結果を客観的に示す方法は未だ確立されていない。特に、患者の歩行中における体重バランスの左右方向及び前後方向の動きを知ることは、患者の歩行評価に効果的であると考えられるが、そのような歩行運動の解析結果を効率的に確認できるものは、現時点において存在していない。 Here, in the above-mentioned rehabilitation, since an instructor such as a physical therapist visually confirms the walking motion of the patient and makes a subjective judgment, the evaluation may vary. Moreover, even in the existing walking evaluation technology, a method for objectively indicating the evaluation result has not been established yet. In particular, knowing the lateral and forward / backward movements of the weight balance during walking of the patient is considered effective for evaluating the walking of the patient, but the analysis result of such walking movement can be confirmed efficiently. Nothing currently exists.
このような事情により、人の歩行などの移動運動の評価に有用な移動運動の解析結果を効率的に確認できる技術が望まれている。 Under such circumstances, there is a demand for a technique capable of efficiently confirming the analysis result of the moving motion that is useful for evaluating the moving motion such as walking of a person.
第１の観点の発明は、
加速度センサを用いて計測された人の移動運動中の各時刻における２方向の加速度成分に対応するデータ（data）点の分布または軌跡を表す２次元マップ（map）を表示するよう表示部を制御する第１の表示制御手段と、
前記２方向の加速度成分が計測された時間範囲内において注目時間範囲を設定する設定手段と、
設定された前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を結んだ軌跡線を前記２次元マップ上に表示するよう表示部を制御する第２の表示制御手段と、を備えた移動運動状態表示装置を提供する。
The invention of the first aspect
Controls the display unit to display a two-dimensional map (map) representing the distribution or trajectory of data (data) points corresponding to acceleration components in two directions at each time during the movement of a person measured using an acceleration sensor First display control means for
Setting means for setting a time range of interest within a time range in which the acceleration components in the two directions are measured;
Second display control means for controlling the display unit to display on the two-dimensional map a trajectory line connecting the data points corresponding to the acceleration components in the two directions at each time within the set time range of interest. And a mobile motion state display device.
第２の観点の発明は、
前記設定手段が、操作者により指定された時間範囲を前記注目時間範囲として設定する、上記第１の観点の移動運動状態表示装置を提供する。
The invention of the second aspect is
The moving motion state display device according to the first aspect is provided in which the setting means sets a time range designated by an operator as the attention time range.
第３の観点の発明は、
前記設定手段が、前記２次元マップ上において前記操作者により指定されたデータ点に対応する前記２方向の加速度成分が計測された時刻を含む所定の時間範囲を前記注目時間範囲として設定する、上記第２の観点の移動運動状態表示装置を提供する。
The invention of the third aspect is
The setting means sets, as the attention time range, a predetermined time range including a time at which the acceleration component in the two directions corresponding to the data point specified by the operator on the two-dimensional map is measured; A moving motion state display device according to a second aspect is provided.
第４の観点の発明は、
前記設定手段が、前記２次元マップにおいて前記２方向の加速度成分が共に０（ゼロ）となる原点から最も離れたデータ点に対応する前記２方向の加速度成分が計測された時刻を含む所定の時間範囲を前記注目時間範囲として設定する、上記第１の観点の移動運動状態表示装置を提供する。
The invention of the fourth aspect is
A predetermined time including a time at which the setting means measures the acceleration component in the two directions corresponding to the data point farthest from the origin where the acceleration components in the two directions are both 0 (zero) in the two-dimensional map. The moving motion state display device according to the first aspect, in which a range is set as the attention time range, is provided.
第５の観点の発明は、
前記注目時間範囲が、移動運動の左右一歩ずつを含む一周期分の時間幅を有する、上記第１の観点から第４の観点のいずれか一つの観点の移動運動状態表示装置を提供する。
The invention of the fifth aspect is
The mobile motion state display device according to any one of the first to fourth aspects, wherein the attention time range has a time width corresponding to one cycle including one step on the left and right of the mobile motion.
第６の観点の発明は、
前記注目時間範囲が、前記一周期に相当する期間である、上記第５の観点の移動運動状態表示装置を提供する。
The invention of the sixth aspect is
The mobile movement state display device according to the fifth aspect, wherein the attention time range is a period corresponding to the one cycle.
第７の観点の発明は、
前記第２の表示制御手段が、前記軌跡線を描くように動画的に表示させる、上記第１の観点から第６の観点のいずれか一つの観点の移動運動状態表示装置を提供する。
The invention of the seventh aspect
A moving motion state display device according to any one of the first to sixth aspects is provided, wherein the second display control means displays the moving image so as to draw the locus line.
第８の観点の発明は、
前記第２の表示制御手段が、前記軌跡線を、設定された速度レベル（level）にて描くように表示させる、上記第７の観点の移動運動状態表示装置を提供する。
The invention of the eighth aspect
The mobile motion state display device according to the seventh aspect, wherein the second display control means displays the trajectory line so as to be drawn at a set speed level (level).
第９の観点の発明は、
前記第２の表示制御手段が、前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を、該加速度成分が計測された各タイミングと時間間隔同士の比率が同じである各タイミングで通過して描くように、前記軌跡線を表示させる、上記第７の観点または第８の観点の移動運動状態表示装置を提供する。
The invention of the ninth aspect is
The second display control means sets each data point corresponding to the acceleration component in the two directions at each time within the time range of interest to the same ratio between the timing at which the acceleration component is measured and the time interval. The moving motion state display device according to the seventh aspect or the eighth aspect, which displays the trajectory line so as to pass and draw at each timing.
第１０の観点の発明は、
前記第２の表示制御手段が、前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を、該加速度成分が計測された順番とは逆の順番にて通過して描くように、前記軌跡線を表示させる、上記第７の観点または第８の観点の移動運動状態表示装置を提供する。
The invention of the tenth aspect is
The second display control means passes each data point corresponding to the acceleration component in the two directions at each time within the time range of interest in an order opposite to the order in which the acceleration component was measured. The moving motion state display device according to the seventh aspect or the eighth aspect, which displays the trajectory line as depicted.
第１１の観点の発明は、
前記２次元マップが、計測された前記各時刻における前記２方向の加速度成分について、前記２方向の加速度成分の組合せごとにおける計測頻度を表す画像である、上記第１の観点から第１０の観点のいずれか一つの観点の移動運動状態表示装置を提供する。
The invention of the eleventh aspect is
From the first aspect to the tenth aspect, the two-dimensional map is an image representing the measurement frequency for each combination of acceleration components in the two directions with respect to the measured acceleration components in the two directions at each time. A moving motion state display device according to any one of the aspects is provided.
第１２の観点の発明は、
前記２方向が、前記人の左右方向、前後方向及び上下方向のうちの２方向である、上記第１の観点から第１１の観点のいずれか一つの観点の移動運動状態表示装置を提供する。
The invention of the twelfth aspect is
The mobile motion state display device according to any one of the first to eleventh aspects is provided, wherein the two directions are two directions of the left-right direction, the front-rear direction, and the up-down direction of the person.
第１３の観点の発明は、
前記２方向が、前記人の左右方向及び前後方向である、上記第１２の観点の移動運動状態表示装置を提供する。
The invention of the thirteenth aspect is
The mobile motion state display device according to the twelfth aspect, wherein the two directions are the left-right direction and the front-rear direction of the person.
第１４の観点の発明は、
前記移動運動が、歩行運動である、上記第１の観点から第１３の観点のいずれか一つの観点の移動運動状態表示装置を提供する。
The invention of the fourteenth aspect is
The mobile motion state display device according to any one of the first to thirteenth aspects is provided, wherein the mobile motion is a walking motion.
第１５の観点の発明は、
前記移動運動が、走行運動である、上記第１の観点から第１３の観点のいずれか一つの観点の移動運動状態表示装置を提供する。
The invention of the fifteenth aspect is
A mobile motion state display device according to any one of the first to thirteenth aspects is provided, wherein the mobile motion is a traveling motion.
第１６の観点の発明は、
加速度センサを用いて人の移動運動中の各時刻における２方向の加速度成分を計測するステップ（step）と、
前記２方向の加速度成分が計測された時間範囲内において注目時間範囲を設定するステップと、
計測された前記各時刻における２方向の加速度成分に対応した各データ点の分布または軌跡を表す２次元マップと、設定された前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を結んだ軌跡線とを対応付けて表示するよう表示部を制御するステップと、を備えた移動運動状態表示方法を提供する。
The invention of the sixteenth aspect is
A step of measuring acceleration components in two directions at each time during the movement of a person using an acceleration sensor;
Setting an attention time range within a time range in which the acceleration components in the two directions are measured;
A two-dimensional map representing the distribution or trajectory of each data point corresponding to the measured acceleration component in each of the two directions at each time, and the corresponding acceleration component in each of the two directions at each time within the set time range of interest. And a step of controlling the display unit to display the locus lines connecting the data points in association with each other.
第１７の観点の発明は、
人に取り付けられる加速度センサと、
前記加速度センサを用いて計測された前記人の移動運動中の各時刻における２方向の加速度成分に対応するデータ点の分布または軌跡を表す２次元マップを表示するよう表示部を制御する第１の表示制御手段と、
前記２方向の加速度成分が計測された時間範囲内において注目時間範囲を設定する設定手段と、
設定された前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を結んだ軌跡線を前記２次元マップ上に表示するよう表示部を制御する第２の表示制御手段と、を備えた移動運動状態表示システム（system）を提供する。
The invention of the seventeenth aspect is
An acceleration sensor attached to a person;
A first control unit that controls a display unit to display a two-dimensional map representing a distribution or locus of data points corresponding to acceleration components in two directions at each time during the movement of the person measured using the acceleration sensor. Display control means;
Setting means for setting a time range of interest within a time range in which the acceleration components in the two directions are measured;
Second display control means for controlling the display unit to display on the two-dimensional map a trajectory line connecting the data points corresponding to the acceleration components in the two directions at each time within the set time range of interest. And a mobile motion state display system comprising:
第１８の観点の発明は、
コンピュータ（computer）を、
上記第１の観点から第１５の観点のいずれか一つの観点の移動運動状態表示装置として機能させるためのプログラム（program）を提供する。
The invention of the eighteenth aspect is
Computer
A program for causing a mobile motion state display device according to any one of the first to fifteenth aspects to function is provided.
上記観点の発明によれば、人の移動運動中の各時刻における２方向の加速度成分に対応するデータ点の分布または軌跡を表す２次元マップ上に、注目時間範囲内の各時刻における上記２方向の加速度成分に対応するデータ点を結んだ軌跡線を表示するので、加速度成分の分布情報、例えば体重バランスの移動範囲及び集中領域を示す情報だけでなく、加速度成分の時間的情報、例えば特定の体重バランスの移動についてどのような動きの中で発生したものなのかを示す情報をも得ることができる。操作者は、これらの情報を用いて、人の移動運動の総合的な評価を行うことができる。よって、上記観点の発明によれば、操作者は、人の歩行などの移動運動の評価に有用な移動運動の解析結果を効率的に確認することができる。 According to the above aspect of the invention, on the two-dimensional map representing the distribution or trajectory of data points corresponding to the acceleration components in the two directions at each time during the movement of the person, the two directions at each time within the time range of interest. Since the trajectory line connecting the data points corresponding to the acceleration component is displayed, not only the distribution information of the acceleration component, for example, the information indicating the movement range and concentration area of the weight balance, but also the temporal information of the acceleration component, for example, a specific It is also possible to obtain information indicating what kind of movement occurred regarding the movement of the weight balance. Using this information, the operator can perform a comprehensive evaluation of the person's movement. Therefore, according to the invention of the above aspect, the operator can efficiently confirm the analysis result of the moving motion that is useful for evaluating the moving motion such as walking of a person.
以下、発明の実施形態について説明する。なお、これにより発明は限定されない。 Embodiments of the invention will be described below. The invention is not limited thereby.
図１は、歩行状態表示システム１の構成を概略的に示す図である。なお、歩行状態表示システム（system）１は、発明における移動運動状態表示システムの一例である。 FIG. 1 is a diagram schematically showing the configuration of the walking state display system 1. The walking state display system (system) 1 is an example of the mobile movement state display system in the invention.
歩行状態表示システム１は、図１に示すように、加速度センサモジュール（sensor module）２と、歩行状態表示装置３とを有している。加速度センサモジュール２は、患者１０の背面の腰部中央等に、粘着パッド（pad）やバンド（band）等により装着される。歩行状態表示装置３は、操作者１１が携帯したり操作したりして使用される。なお、歩行状態表示装置３は、発明における移動運動状態表示装置の一例である。 As shown in FIG. 1, the walking state display system 1 includes an acceleration sensor module 2 and a walking state display device 3. The acceleration sensor module 2 is attached to the center of the lower back of the patient 10 using an adhesive pad or a band. The walking state display device 3 is used by being carried or operated by the operator 11. The walking state display device 3 is an example of the mobile movement state display device in the invention.
図２は、加速度センサモジュール２及び歩行状態表示装置３のハードウェア（hardware）の構成を示す図である。 FIG. 2 is a diagram illustrating a hardware configuration of the acceleration sensor module 2 and the walking state display device 3.
図２に示すように、加速度センサモジュール２は、プロセッサ（processor）２１と、加速度センサ２２と、メモリ（memory）２３と、通信Ｉ／Ｆ２４と、バッテリ（battery）２５とを有している。歩行状態表示装置３は、例えば、スマートフォン（smart
phone）、タブレット型コンピュータ（tablet computer）、ノートパソコン（note PC）などのコンピュータ端末であり、プロセッサ３１と、ディスプレイ３２と、操作部３３と、メモリ３４と、通信Ｉ／Ｆ３５と、バッテリ３６とを有している。なお、プロセッサ２１及びプロセッサ３１は、それぞれ、単一のプロセッサに限定されず、複数のプロセッサである場合も考えられる。
As shown in FIG. 2, the acceleration sensor module 2 includes a processor 21, an acceleration sensor 22, a memory 23, a communication I / F 24, and a battery 25. The walking state display device 3 is, for example, a smartphone (smart
phone), tablet computer, note PC, and the like, and includes a processor 31, a display 32, an operation unit 33, a memory 34, a communication I / F 35, a battery 36, and the like. have. Note that the processor 21 and the processor 31 are not limited to a single processor, but may be a plurality of processors.
図３は、加速度センサモジュール２及び歩行状態表示装置３の機能的な構成を示す機能ブロック（block）図である。 FIG. 3 is a functional block diagram showing functional configurations of the acceleration sensor module 2 and the walking state display device 3.
加速度センサモジュール２は、図３に示すように、加速度センサ部２０１と、サンプリング（sampling）部２０２と、送信部２０３とを有している。なお、サンプリング部２０２及び送信部２０３は、プロセッサ２１がメモリ２３に記憶されている所定のプログラム（program）を読み出して実行することにより実現される。 As shown in FIG. 3, the acceleration sensor module 2 includes an acceleration sensor unit 201, a sampling unit 202, and a transmission unit 203. The sampling unit 202 and the transmission unit 203 are realized by the processor 21 reading out and executing a predetermined program stored in the memory 23.
加速度センサ部２０１は、センサ本体を基準とした３次元直交座標系におけるｘ，ｙ，ｚの各軸方向の加速度成分について、その加速度成分に応じたアナログ（analog）信号をほぼリアルタイム（real time）に出力する。 The acceleration sensor unit 201 outputs an analog signal corresponding to the acceleration component in almost real time with respect to the acceleration component in each of the x, y, and z axes in the three-dimensional orthogonal coordinate system based on the sensor body. Output to.
サンプリング部２０２は、そのアナログ信号を所定のサンプリング周波数でサンプリングしてデジタル（digital）の加速度データに変換する。サンプリング周波数は、例えば１２８Ｈｚである。サンプリング部２０２は、例えば、１ｇ（重力加速度）＝９．８ｍ／ｓ2＝加速度データ値１２８となるスケール（scale）で、加速度データを出力する。なお、ここでは、加速度成分の正負は、右側寄り、前側寄り、上側寄りをそれぞれ正とする。 The sampling unit 202 samples the analog signal at a predetermined sampling frequency and converts it into digital acceleration data. The sampling frequency is, for example, 128 Hz. The sampling unit 202 outputs acceleration data at a scale where, for example, 1 g (gravitational acceleration) = 9.8 m / s 2 = acceleration data value 128. Here, the positive and negative acceleration components are positive on the right side, on the front side, and on the upper side.
送信部２０３は、サンプリングされた各時刻における加速度成分を表す加速度データをほぼリアルタイム（real time）にて無線で送信する。 The transmission unit 203 wirelessly transmits the acceleration data representing the sampled acceleration component at each time in almost real time.
なお、本例では、加速度センサモジュール２は、センサ本体のｘ軸方向、ｙ軸方向及びｚ軸方向が、それぞれ、患者１０のＲＬ（Right-Left）方向、ＡＰ（Anterior-Posterior）方向及びＳＩ（Superior-Inferior）方向と一致するように取り付けられる。ＲＬ方向、ＡＰ方向及びＳＩ方向は、それぞれサジタル（sagittal）方向、コロナル（coronal）方向及びアキシャル（axial）方向とも言う。また、本例では、加速度センサモジュール２の姿勢（傾き）は、患者１０の歩行中において変化しないものと仮定する。 In this example, in the acceleration sensor module 2, the x-axis direction, the y-axis direction, and the z-axis direction of the sensor body are the RL (Right-Left) direction, AP (Anterior-Posterior) direction, and SI of the patient 10, respectively. (Superior-Inferior) It is attached to match the direction. The RL direction, the AP direction, and the SI direction are also referred to as a sagittal direction, a coronal direction, and an axial direction, respectively. In this example, it is assumed that the posture (inclination) of the acceleration sensor module 2 does not change while the patient 10 is walking.
歩行状態表示装置３は、図３に示すように、操作部３０１と、ディスプレイ（display）部３０２と、患者情報受付部３０３と、受信部３０４と、歩行加速度算出部３０５と、２次元マップ生成部３０６と、注目時間範囲設定部３０７と、部分軌跡線生成部３０８と、表示制御部３１０と、ＧＵＩ（Graphical User Interface）部３１１と、記憶部３１２とを有している。なお、患者情報受付部３０３、受信部３０４、歩行加速度算出部３０５、２次元マップ生成部３０６、注目時間範囲設定部３０７、部分軌跡線生成部３０８、表示制御部３１０、及びＧＵＩ部３１１は、プロセッサ３１がメモリ３４に記憶されている所定のプログラムを実行することにより実現される。また、２次元マップ生成部３０６及び表示制御部３１０は、発明における第１の表示制御手段の一例である。注目時間範囲設定部３０７は、発明における設定手段の一例である。また、部分軌跡線生成部３０８及び表示制御部３１０は、発明における第２の表示制御手段の一例である。 As illustrated in FIG. 3, the walking state display device 3 includes an operation unit 301, a display unit 302, a patient information reception unit 303, a reception unit 304, a walking acceleration calculation unit 305, and a two-dimensional map generation. A unit 306, an attention time range setting unit 307, a partial trajectory line generation unit 308, a display control unit 310, a GUI (Graphical User Interface) unit 311, and a storage unit 312. The patient information reception unit 303, the reception unit 304, the walking acceleration calculation unit 305, the two-dimensional map generation unit 306, the attention time range setting unit 307, the partial trajectory line generation unit 308, the display control unit 310, and the GUI unit 311 This is realized by the processor 31 executing a predetermined program stored in the memory 34. The two-dimensional map generation unit 306 and the display control unit 310 are an example of a first display control unit in the invention. The attention time range setting unit 307 is an example of setting means in the invention. The partial trajectory line generation unit 308 and the display control unit 310 are an example of the second display control unit in the invention.
操作部３０１は、操作者１１の操作を受け付ける。操作部３０１は、例えば、タッチパネル（touch panel）、タッチパッド（touch pad）、キーボード（keyboard）、マウス（mouse）などにより構成されている。なお、操作者１１は、例えば、理学療法士などの指導員である。 The operation unit 301 receives an operation of the operator 11. The operation unit 301 includes, for example, a touch panel, a touch pad, a keyboard, a mouse, and the like. The operator 11 is an instructor such as a physical therapist, for example.
ディスプレイ部３０２は、画像を表示する。ディスプレイ部３０２は、例えば、液晶パネル、有機ＥＬパネルなどにより構成されている。 The display unit 302 displays an image. The display unit 302 is configured by, for example, a liquid crystal panel, an organic EL panel, or the like.
患者情報受付部３０３は、患者情報の入力を受け付け、入力された患者情報を記憶部３１２に記憶させる。 The patient information accepting unit 303 accepts input of patient information and causes the storage unit 312 to store the input patient information.
受信部３０４は、加速度センサモジュール２の送信部２０３から送信された加速度データを無線で受信する。なお、送信部２０３と受信部３０４との無線通信には、例えば、ブルートゥース（Bluetooth（登録商標））等の規格を用いることができる。 The reception unit 304 wirelessly receives the acceleration data transmitted from the transmission unit 203 of the acceleration sensor module 2. Note that standards such as Bluetooth (registered trademark) can be used for wireless communication between the transmission unit 203 and the reception unit 304, for example.
歩行加速度算出部３０５は、取得された加速度データに基づいて、患者１０の歩行中における左右方向、前後方向及び上下方向の加速度成分ａx，ａy，ａzをそれぞれ算出する。なお、本例では、これらの加速度成分ａx，ａy，ａzは、重力加速度ｇの成分を除去して、患者１０の純粋な歩行運動により生じた加速度成分として算出することを想定する。ただし、より簡便に、重力加速度ｇの成分を含む形で算出してもよい。また、左右方向、前後方向及び上下方向は、それぞれ、水平左右方向、水平進行方向及び鉛直方向を想定する。ただし、より簡便に、加速度センサモジュール２のセンサ本体を基準としたｘ軸方向、ｙ軸方向及びｚ軸方向としてもよい。 Based on the acquired acceleration data, the walking acceleration calculation unit 305 calculates acceleration components a x , a y , and a z in the left-right direction, the front-rear direction, and the vertical direction while the patient 10 is walking. In this example, it is assumed that these acceleration components a x , a y , and a z are calculated as acceleration components generated by pure walking motion of the patient 10 by removing the gravitational acceleration g component. However, it may be calculated more simply in a form including the component of gravitational acceleration g. Further, the horizontal direction, the front-rear direction, and the vertical direction are assumed to be a horizontal left-right direction, a horizontal traveling direction, and a vertical direction, respectively. However, the x-axis direction, the y-axis direction, and the z-axis direction based on the sensor body of the acceleration sensor module 2 may be more simply used.
２次元マップ生成部３０６は、患者１０の歩行中の各時刻においてサンプリングされた、患者１０の左右方向及び前後方向の加速度成分ａx，ａyの分布を表す２次元マップＭを生成する。２次元マップＭは、例えば、これら２方向の加速度成分ａx，ａyを２軸とする２次元座標系Ｋにおいて、患者１０の歩行中の各時刻におけるこれら２方向の加速度成分ａx，ａyに対応するデータ点をプロットすることにより生成される。２次元マップＭは、例えば、患者１０の歩行中における水平面方向での体重バランスについて、移動範囲の広さや偏り、左右対称性、移動パターン等を評価するのに参照される。 The two-dimensional map generation unit 306 generates a two-dimensional map M representing the distribution of acceleration components a x and a y in the left and right direction and the front and rear direction of the patient 10 sampled at each time during walking of the patient 10. The two-dimensional map M, for example, these two directions acceleration component a x, in the two-dimensional coordinate system K to two axes a y, the acceleration components of these two directions at each time of walking of the patient 10 a x, a Generated by plotting the data points corresponding to y . The two-dimensional map M is referred to, for example, for evaluating the width and deviation of the movement range, left-right symmetry, movement pattern, and the like regarding the weight balance in the horizontal plane direction while the patient 10 is walking.
注目時間範囲設定部３０７は、上記２方向の加速度成分ａx，ａyが計測された時間範囲内において、すなわち、取得された加速度データに対応する最初の時刻から最後の時刻までの時間範囲内において、注目時間範囲Ｒtを設定する。本例では、操作者１１が、表示された２次元マップＭ上において所望のデータ点ＤAを指定し、注目時間範囲設定部３０７が、その指定されたデータ点ＤAに対応する加速度成分が計測された時刻ｔAを含む所定の時間範囲を注目時間範囲Ｒtとして設定する。 The attention time range setting unit 307 is within the time range in which the acceleration components a x and a y in the two directions are measured, that is, within the time range from the first time to the last time corresponding to the acquired acceleration data. , The attention time range Rt is set. In this example, the operator 11 designates a desired data point D A on the displayed two-dimensional map M, and the attention time range setting unit 307 has an acceleration component corresponding to the designated data point D A. A predetermined time range including the measured time t A is set as the attention time range R t .
部分軌跡線生成部３０８は、２次元座標系Ｋにおいて、注目時間範囲Ｒt内の各時刻ｔA1〜ｔAnにおける上記２方向の加速度成分に対応した各データ点を時系列的な順番で結んだ部分軌跡線Ｌを生成する。 In the two-dimensional coordinate system K, the partial trajectory line generation unit 308 connects the data points corresponding to the acceleration components in the two directions at the respective times t A1 to t An within the attention time range R t in time series order. A partial locus line L is generated.
表示制御部３１０は、ディスプレイ部３０２に、２次元座標系Ｋと、２次元マップＭと、部分軌跡線Ｌとを表示させる。 The display control unit 310 causes the display unit 302 to display the two-dimensional coordinate system K, the two-dimensional map M, and the partial locus line L.
ＧＵＩ部３１１は、いわゆるグラフィカル・ユーザ・インタフェースとして機能する。ＧＵＩ部３１１は、ディスプレイ部３０２の画面にポインタＰを表示させる。 The GUI unit 311 functions as a so-called graphical user interface. The GUI unit 311 displays a pointer P on the screen of the display unit 302.
記憶部３１２は、入力された患者情報、取得された加速度データ、算出された各加速度成分、生成された２次元マップなどのデータを記憶する。なお、これらのデータは、必要に応じて、歩行状態表示装置３に接続されたデータベース４１に転送されたり、外付けのＤＶＤ−ＲＯＭ、メモリカード（memory card）などの媒体や、インターネット（internet）を介して接続された外部の媒体などを含む記憶媒体４２に保存されたりする。 The storage unit 312 stores input patient information, acquired acceleration data, calculated acceleration components, data such as a generated two-dimensional map, and the like. These data are transferred to the database 41 connected to the walking state display device 3 as necessary, or to a medium such as an external DVD-ROM or a memory card, or the Internet. Or stored in a storage medium 42 including an external medium connected via the.
これより、歩行状態表示システム１における処理の流れについて説明する。 Hereafter, the flow of processing in the walking state display system 1 will be described.
図４は、歩行状態表示システム１における処理の流れを示すフロー（flow）図である。 FIG. 4 is a flow diagram showing a processing flow in the walking state display system 1.
ステップ（step）Ｓ１では、操作者１１が操作部３０１を操作して、患者１０の患者情報を歩行状態表示装置３に入力する。患者情報受付部３０３は、その患者情報の入力を受け付け、記憶部３１２に記憶させる。患者情報には、例えば、患者のＩＤ番号、氏名、年齢、性別、生年月日などが含まれる。なお、後述する患者１０の加速度データや、当該加速度データを基に得られたグラフ（graph）、解析結果などは、この患者情報と対応付けて記憶部３１２に記憶される。 In step S <b> 1, the operator 11 operates the operation unit 301 to input patient information of the patient 10 to the walking state display device 3. The patient information accepting unit 303 accepts input of the patient information and stores it in the storage unit 312. The patient information includes, for example, the patient ID number, name, age, sex, date of birth, and the like. Note that acceleration data of the patient 10 described later, a graph obtained based on the acceleration data, an analysis result, and the like are stored in the storage unit 312 in association with the patient information.
ステップＳ２では、患者１０の歩行中の各時刻ｔiにおける加速度データを取得する。ここでは、まず、操作者１１が、患者１０の腰部に加速度センサモジュール２を取り付ける。そして、患者１０に、標準的な歩行速度でしばらく歩行してもらう。歩行は、通常、距離にして５ｍ〜２０ｍ程度、時間にして２０秒〜３分程度、歩数にして１０歩〜４０歩程度である。加速度センサモジュール２のサンプリング部２０２は、加速度センサ部２０１の出力に基づいて、患者１０の歩行中におけるｘ軸方向、ｙ軸方向、ｚ軸方向それぞれの加速度成分Ａx，Ａy，Ａzをサンプリングして計測する。加速度センサモジュール２の送信部２０３は、計測された加速度成分を表す加速度データをほぼリアルタイムで送信する。歩行状態表示装置３は、送信部２０３から送信された加速度データを、受信部３０４を用いて受信して取得する。取得された加速度データは、記憶部３１２に送信され記憶される。 In step S2, acceleration data at each time t i during walking of the patient 10 is acquired. Here, first, the operator 11 attaches the acceleration sensor module 2 to the waist of the patient 10. Then, the patient 10 is allowed to walk for a while at a standard walking speed. Walking is usually about 5 to 20 m in distance, about 20 seconds to 3 minutes in time, and about 10 to 40 steps in number of steps. Based on the output of the acceleration sensor unit 201, the sampling unit 202 of the acceleration sensor module 2 calculates acceleration components A x , A y , and A z in the x-axis direction, the y-axis direction, and the z-axis direction during walking of the patient 10. Sampling and measuring. The transmission unit 203 of the acceleration sensor module 2 transmits acceleration data representing the measured acceleration component almost in real time. The walking state display device 3 receives and acquires the acceleration data transmitted from the transmission unit 203 using the reception unit 304. The acquired acceleration data is transmitted to and stored in the storage unit 312.
ステップＳ３では、歩行加速度算出部３０５が、取得された加速度データを記憶部３１２から読み出し、当該加速度データに基づいて、患者１０の歩行中の各時刻における左右方向、前後方向及び上下方向の加速度成分ａx，ａy，ａzを算出する。なお、ここでは、加速度データが表す加速度から重力加速度ｇの成分を除去する処理を含む所定のアルゴリズム（algorithm）を用いて、各加速度成分を算出する。算出された各加速度成分は、記憶部３１２に送信され記憶される。 In step S3, the walking acceleration calculation unit 305 reads the acquired acceleration data from the storage unit 312, and based on the acceleration data, acceleration components in the left-right direction, the front-rear direction, and the up-down direction at each time during walking of the patient 10. a x , a y , and a z are calculated. Here, each acceleration component is calculated using a predetermined algorithm (algorithm) including processing for removing the component of gravitational acceleration g from the acceleration represented by the acceleration data. The calculated acceleration components are transmitted to and stored in the storage unit 312.
図５は、患者１０の歩行中の各時刻における左右方向、前後方向及び上下方向の加速度成分ａx，ａy，ａzの一例を示す図である。図５において、横軸は時間、縦軸は加速度成分の大きさ（相対値）をそれぞれ表している。 FIG. 5 is a diagram illustrating an example of acceleration components a x , a y , a z in the left-right direction, the front-rear direction, and the vertical direction at each time during walking of the patient 10. In FIG. 5, the horizontal axis represents time, and the vertical axis represents the magnitude (relative value) of the acceleration component.
ステップＳ４では、操作者１１が、操作部３０１を操作して、加速度成分の測定結果及び解析結果を表示するための複数の機能の中から、実行させたい所望の機能を選択する。本例では、操作者１１は、患者１０の左右方向及び前後方向の加速度成分の２次元マップと部分軌跡線とを表示する機能を選択するものとする。このような表示によれば、患者１０の歩行中における加速度成分について、水平面方向での全体的な移動範囲及び集中領域と、関心のある加速度成分がどのような時間的動きの中で計測されたものであるかとを確認することができる。 In step S4, the operator 11 operates the operation unit 301 to select a desired function to be executed from a plurality of functions for displaying the measurement result and analysis result of the acceleration component. In this example, it is assumed that the operator 11 selects a function for displaying a two-dimensional map and partial trajectory lines of acceleration components in the left-right direction and the front-rear direction of the patient 10. According to such a display, with respect to the acceleration component during walking of the patient 10, the overall movement range and concentration region in the horizontal plane direction and the acceleration component of interest were measured in any temporal movement. It can be confirmed whether it is a thing.
ステップＳ５では、２次元マップ生成部３０６が、ステップＳ４での操作者１１による選択操作に応答して、２次元マップＭを生成する。本例では、２次元マップ生成部３０６は、２次元マップＭとして、ステップＳ３にて得られた各時刻における左右方向及び前後方向の加速度成分ａx，ａyについてこれら２方向の加速度成分の組合せごとにおける計測頻度の分布を表すマップを生成する。２次元マップＭの生成方法は、例えば次の通りである。 In step S5, the two-dimensional map generation unit 306 generates a two-dimensional map M in response to the selection operation by the operator 11 in step S4. In this example, the two-dimensional map generation unit 306 uses the two-dimensional map M as a two-dimensional map M for the acceleration components a x and a y in the left and right directions and the front and rear directions obtained at step S3. A map representing the distribution of the measurement frequency for each is generated. A method for generating the two-dimensional map M is, for example, as follows.
まず、取得された患者１０の各時刻ｔiにおける左右方向及び前後方向の加速度成分ａx(i),ａy(i)を、記憶部３１２から読み出す。次に、取得された各時刻ｔiでの左右方向及び前後方向の加速度成分ａx(i),ａy(i)について、これら２方向の加速度成分の組合せごとにおける計測頻度を求める。次いで、これら２方向の加速度成分ａx，ａyを２軸とした２次元座標系Ｋを用意する。そして、この２次元座標系Ｋにおいて、上記組合せに対応した座標の画素に、当該組合せの計測頻度を画素値として設定する。各画素は、その画素値に応じた色や明度で表す。これにより、２次元マップＭが生成される。なお、本例におけるこの２次元マップＭは、いわゆる、各画素を２次元的なビンとした２次元ヒストグラム（histogram）である。 First, the acquired acceleration components a x (i), a y (i) in the left-right direction and the front-rear direction at each time t i of the patient 10 are read from the storage unit 312. Next, for the acquired acceleration components a x (i), a y (i) in the left-right direction and the front-rear direction at each time t i , the measurement frequency for each combination of acceleration components in these two directions is obtained. Next, a two-dimensional coordinate system K having these two-direction acceleration components a x and a y as two axes is prepared. In the two-dimensional coordinate system K, the measurement frequency of the combination is set as a pixel value for the pixel of the coordinate corresponding to the combination. Each pixel is represented by a color or brightness according to the pixel value. Thereby, a two-dimensional map M is generated. The two-dimensional map M in this example is a so-called two-dimensional histogram (histogram) in which each pixel is a two-dimensional bin.
ステップＳ６では、表示制御部３１０が、２次元座標系Ｋにおける２次元マップＭを、ディスプレイ部３０２の画面に表示させる。 In step S <b> 6, the display control unit 310 displays the two-dimensional map M in the two-dimensional coordinate system K on the screen of the display unit 302.
図６は、表示された２次元マップＭの一例を示す図である。 FIG. 6 is a diagram illustrating an example of the displayed two-dimensional map M.
ステップＳ７では、ＧＵＩ部３１１が、ポインタ（pointer）Ｐをディスプレイ部３０２の画面に表示させる。操作者１１は、表示された２次元マップＭ上において、ポインタＰを用いて所望のデータ点ＤAを指定する。 In step S <b> 7, the GUI unit 311 displays a pointer P on the screen of the display unit 302. The operator 11 is, in the two-dimensional map M displayed, specifying the desired data point D A using the pointer P.
ステップＳ８では、注目時間範囲設定部３０７は、指定されたデータ点ＤAに対応する加速度成分が計測された時刻ｔAを含む所定の時間範囲を注目時間範囲Ｒtとして設定する。 In step S8, the attention time range setting unit 307 sets a predetermined time range including the time t A when the acceleration component corresponding to the designated data point D A is measured as the attention time range R t .
図７は、２次元マップＭ上で所望のデータ点ＤAがポインタＰを用いて指定された様子を示す図である。 Figure 7 is a diagram showing a specified manner with the desired data point D A pointer P on the two-dimensional map M.
指定されたデータ点ＤAに対応する加速度成分が計測された時刻ｔAと注目時間範囲Ｒtとの関係や注目時間範囲の時間幅Δｔは、所定の設定がプリセット（preset）されている。ただし、この設定は任意の設定に変更可能である。例えば、操作者１１による操作や他のアプリケーションプログラム（application program）等の出力に基づいて設定が変更される。プリセットでは、例えば、指定されたデータ点ＤAに対応する加速度成分が計測された時刻ｔAを中心とし、所定の時間幅Δｔ１を有する時間範囲を、注目時間範囲Ｒtとして設定する。時間幅Δｔ１は、例えば、０．２秒〜２秒程度が想定される。また例えば、上記の時刻ｔAを中心とし、加速度データの所定のサンプリング回数ｎ分に相当する時間長を時間幅とする時間範囲を、注目時間範囲Ｒtとして設定する。所定のサンプリング回数ｎは、サンプリング周波数を１２８Ｈｚとした場合には、例えば、２０〜２５０回程度が想定される。 Predetermined settings are preset for the relationship between the time t A at which the acceleration component corresponding to the designated data point D A is measured and the attention time range R t and the time width Δt of the attention time range. However, this setting can be changed to any setting. For example, the setting is changed based on an operation by the operator 11 or an output from another application program. In the preset, for example, a time range having a predetermined time width Δt1 around the time t A when the acceleration component corresponding to the designated data point D A is measured is set as the attention time range R t . The time width Δt1 is assumed to be about 0.2 seconds to 2 seconds, for example. Further, for example, a time range centering on the above-described time t A and having a time width corresponding to a predetermined sampling number n of acceleration data is set as the attention time range R t . For example, when the sampling frequency is 128 Hz, the predetermined sampling number n is assumed to be about 20 to 250 times.
ステップＳ９では、部分軌跡線生成部３０８が、２次元座標系Ｋにおいて、注目時間範囲Ｒt内の各時刻ｔA1〜ｔAnにおける上記２方向の加速度成分ａx，ａyに対応した各データ点を時系列的な順番で結んだ部分軌跡線Ｌを生成する。部分軌跡線Ｌは、操作者１１が関心を持つデータ点に対応する加速度成分が計測された時刻を含む時間帯において、加速度成分の部分的な時間変化を表す軌跡を描く線となる。操作者１１は、このような部分軌跡線Ｌを参照することにより、患者１０の水平面方向における体重バランスの移動の中で関心のある移動がどのような動作の中で発生したものなのかを把握することができる。その結果、例えば、患者１０の歩行運動が理想的な動作の流れに沿って行われているかを位相ごとに詳しく調べたり、平均的な動作から外れた気になる動作に特化してその動作の流れを調べたりすることができる。 In step S9, the partial trajectory line generation unit 308, in the two-dimensional coordinate system K, each data corresponding to the acceleration components a x and a y in the two directions at each time t A1 to t An within the time range of interest R t . A partial trajectory line L connecting points in a time series order is generated. The partial trajectory line L is a line that draws a trajectory representing a partial change in the acceleration component in the time zone including the time when the acceleration component corresponding to the data point that the operator 11 is interested in is measured. By referring to the partial trajectory line L, the operator 11 grasps in what operation the movement of interest occurred in the movement of the weight balance of the patient 10 in the horizontal plane direction. can do. As a result, for example, whether the walking motion of the patient 10 is performed along the flow of an ideal motion is examined in detail for each phase, or the motion of the patient 10 is specialized for a motion that deviates from the average motion. You can check the flow.
ステップＳ１０では、表示制御部３１０が、この部分軌跡線Ｌを、設定された速度レベルにて、ペン（pen）で描くかの如く動画的に表示させる。 In step S10, the display control unit 310 displays the partial trajectory line L as a moving image as if it was drawn with a pen at the set speed level.
図８は、２次元マップＭ上に部分軌跡線Ｌが表示された様子を示す図である。 FIG. 8 is a diagram illustrating a state in which the partial trajectory line L is displayed on the two-dimensional map M.
この部分軌跡線Ｌは、注目時間範囲Ｒtにおける上記２方向の加速度成分ａx，ａyの時間変化を表している。部分軌跡線Ｌは、データ点Ｄ間を直線で結んだ折れ線としてもよいが、図８の例のように、データ点間を曲線で結んだスムージング（smoothing）曲線としてもよい。部分軌跡線Ｌは、基本的には、注目時間範囲Ｒt内の各時刻における上記２方向の加速度成分ａx，ａyに対応した各データ点を、その加速度成分が計測された順番にて通過して描くように表示させる。すなわち、部分軌跡線Ｌは、注目時間範囲Ｒt内で最早の時刻ｔA1に計測された加速度成分に対応するデータ点ＤA1から、最遅の時刻ｔAnに計測された加速度成分に対応するデータ点ＤAnまでを、その時刻の順番に沿って結ぶように描かれる。しかし、部分軌跡線Ｌは、必要に応じてその逆方向に描かれるようにしてもよい。すなわち、注目時間範囲Ｒt内の各時刻における上記２方向の加速度成分ａx，ａyに対応した各データ点を、その加速度成分が計測された順番とは逆の順番にて通過して描くように表示させるようにしてもよい。部分軌跡線Ｌを描く速度レベルＶＬは、所定の速度レベルがプリセットされているが、任意の速度レベルに変更可能である。例えば、操作者１１による操作や他のアプリケーションプログラム等の出力に基づいて、部分軌跡線Ｌを描く速度レベルＶＬを上げたり下げたりすることができる。プリセットでは、例えば、部分軌跡線Ｌをすべて描くのに掛かる時間が所定の時間となるように設定される。この所定の時間は、例えば、１秒〜３秒程度が想定される。 This partial trajectory line L represents the time change of the acceleration components a x and a y in the two directions in the attention time range R t . The partial trajectory line L may be a broken line connecting the data points D with straight lines, but may be a smoothing curve connecting the data points with curved lines as in the example of FIG. The partial trajectory line L basically indicates each data point corresponding to the acceleration components a x and a y in the two directions at each time within the time range of interest R t in the order in which the acceleration components are measured. Display as if passing through. That is, the partial trajectory line L corresponds to the acceleration component measured at the latest time t An from the data point D A1 corresponding to the acceleration component measured at the earliest time t A1 within the attention time range R t . The data point D An is drawn so as to be connected in the order of the time. However, the partial locus line L may be drawn in the opposite direction as necessary. That is, the data points corresponding to the acceleration components ax and ay in the two directions at each time within the time range of interest Rt are displayed so as to pass through in the order opposite to the order in which the acceleration components were measured. You may make it make it. A predetermined speed level is preset as the speed level VL for drawing the partial locus line L, but can be changed to an arbitrary speed level. For example, the speed level VL for drawing the partial trajectory line L can be raised or lowered based on the operation by the operator 11 or the output of another application program or the like. In the preset, for example, the time required to draw all the partial locus lines L is set to be a predetermined time. The predetermined time is assumed to be about 1 to 3 seconds, for example.
また、本例では、表示制御部３１０は、注目時間範囲Ｒt内の各時刻における上記２方向の加速度成分ａx，ａyに対応した各データ点を、その加速度成分が計測された各タイミング（timing）と時間間隔同士の比率が同じである各タイミングで通過して描くように、部分軌跡線Ｌを表示させる。別の言い方をすれば、時間的に互いに隣接するデータ点間ごとにおける部分軌跡線Ｌの描画時間の比率と、そのデータ点間ごとにおける加速度成分のサンプリング時刻間の時間の比率とが同じになるように、部分軌跡線Ｌを描く速度Ｖを調整する。これにより、部分軌跡線Ｌを描く際の各データ点を通過するタイミングの時間的な流れが、各データ点に対応する加速度成分が実際にサンプリングされたタイミングの時間的な流れを、速度を変えて（遅くして）再現したものとなる。すなわち、データ点Ｄが表す加速度成分の時間に対する変化の速さが部分軌跡線Ｌの描画速度に反映され、加速度成分の急激な変化と緩やかな変化が、部分軌跡線Ｌの高速な描画と低速な描画として再現される。その結果、操作者１１は、患者１０の体重バランスの移動の様子をより直感的に把握することができる。 Further, in this example, the display control unit 310 uses the data points corresponding to the acceleration components a x and a y in the two directions at the respective times within the attention time range R t as the timings at which the acceleration components are measured. The partial trajectory line L is displayed so as to pass and draw at each timing at which the ratio between (timing) and the time interval is the same. In other words, the ratio of the drawing time of the partial locus line L between the data points adjacent to each other in time is the same as the ratio of the time between the sampling times of the acceleration components between the data points. In this way, the speed V at which the partial locus line L is drawn is adjusted. As a result, the temporal flow at the timing of passing through each data point when the partial locus line L is drawn is changed to the temporal flow at the timing at which the acceleration component corresponding to each data point is actually sampled. (Slower). That is, the speed of change of the acceleration component represented by the data point D with respect to time is reflected in the drawing speed of the partial locus line L, and a rapid change and a gradual change of the acceleration component cause a high speed drawing and a low speed of the partial locus line L. Reproduced as a simple drawing. As a result, the operator 11 can more intuitively understand how the weight balance of the patient 10 moves.
ステップＳ１１では、表示制御部３１０が、操作者１１の操作に応じて、新たなデータ点を指定し、新たな部分軌跡線Ｌの表示を行うか否かを決定する。新たな部分軌跡線Ｌの表示を行うと決定した場合には、ステップＳ４に戻り、新たな部分軌跡線Ｌの表示を行わないと決定した場合には、当該表示処理を終了する。 In step S11, the display control unit 310 designates a new data point and determines whether or not to display a new partial trajectory line L in accordance with the operation of the operator 11. If it is determined to display a new partial locus line L, the process returns to step S4. If it is determined not to display a new partial locus line L, the display process is terminated.
このような本実施形態によれば、患者１０の歩行中の各時刻における２方向の加速度成分に対応するデータ点の分布または軌跡を表す２次元マップＭ上に、注目時間範囲Ｒt内の各時刻における上記２方向の加速度成分に対応するデータ点を結んだ部分軌跡線Ｌを表示するので、加速度成分の分布情報、例えば体重バランスの移動範囲及び集中領域を示す情報だけでなく、加速度成分の時間的情報、例えば特定の体重バランスの移動についてどのような動きの中で発生したものなのかを示す情報をも得ることができる。操作者１１は、これらの情報を用いて、患者１０の歩行運動の総合的な評価を行うことができる。よって、本実施形態によれば、患者１０の歩行評価に有用な歩行運動の解析結果を効率的に確認することができる。 According to the present embodiment as described above, each of the points in the attention time range R t is displayed on the two-dimensional map M representing the distribution or trajectory of the data points corresponding to the acceleration components in the two directions at each time during walking of the patient 10. Since the partial trajectory line L connecting the data points corresponding to the acceleration components in the two directions at the time is displayed, not only the acceleration component distribution information, for example, the information indicating the movement range and concentration area of the weight balance, but also the acceleration component It is also possible to obtain temporal information, for example, information indicating what kind of movement occurred regarding movement of a specific weight balance. The operator 11 can perform comprehensive evaluation of the walking motion of the patient 10 using these pieces of information. Therefore, according to the present embodiment, it is possible to efficiently confirm the analysis result of the walking motion that is useful for the walking evaluation of the patient 10.
特に、本実施形態では、２次元座標系Ｋに、患者１０の左右方向及び前後方向の加速度成分ａx，ａyの分布を表す２次元マップＭが表示される。そのため、操作者１１は、患者１０の歩行中における水平面方向での体重バランスの移動範囲や集中領域などを把握することができ、これら体重バランスの移動範囲と集中領域から、患者１０が理想的な体重移動をどの程度行っているか理解することができる。例えば、体重バランスの移動範囲が逆三角形を覆うような形状に近く、集中領域が逆三角形の頂点の位置に近いときは、理想的な体重移動が行われていると考えることができる。一方、体重バランスの移動範囲が台形をを覆うような形状に近く、集中領域が台形の頂点の位置に近いときは、理想から外れた体重移動が行われていると考えることができる。 In particular, in the present embodiment, the two-dimensional coordinate system K displays a two-dimensional map M representing the distribution of acceleration components a x , a y in the left-right direction and the front-rear direction of the patient 10. Therefore, the operator 11 can grasp the movement range and concentration area of the weight balance in the horizontal plane direction while the patient 10 is walking, and the patient 10 is ideal from the movement range and concentration area of the weight balance. Understand how much weight transfer is taking place. For example, when the moving range of the weight balance is close to a shape that covers an inverted triangle and the concentration area is close to the position of the apex of the inverted triangle, it can be considered that an ideal weight shift is performed. On the other hand, when the movement range of the weight balance is close to a shape that covers the trapezoid and the concentration area is close to the position of the apex of the trapezoid, it can be considered that the weight shift deviates from the ideal.
また、本実施形態では、上記２次元マップＭ上に、注目時間範囲Ｒt内の各時刻ｔA1〜ｔAnにおける上記２方向の加速度成分ａx，ａyによるデータ点Ｄを結ぶ部分軌跡線Ｌが表示される。そのため、２次元マップＭだけでは把握できない情報として、注目する時間帯における患者１０の体重バランスの移動経路（経過）を把握することができる。これにより、例えば、体重バランスの集中領域が、左前、右前、左後、及び右後の計４箇所あった場合に、患者１０の右足一歩の踏出し時の体重バランスの移動が、右後から右前なのか、左後から右前なのかを見ることができ、右後から右前なら腰曲がり歩行であり、左後から右前なら関節不良の歩行であると言ったように、患者１０の歩行タイプ（type）を切り分けることができる。 In the present embodiment, the partial trajectory line connecting the data points D by the acceleration components a x and a y in the two directions at the respective times t A1 to t An within the time range of interest R t on the two-dimensional map M. L is displayed. Therefore, as information that cannot be grasped only by the two-dimensional map M, it is possible to grasp the movement path (progress) of the weight balance of the patient 10 in the time period of interest. Thereby, for example, when there are a total of four areas where the weight balance is concentrated on the left front, right front, left rear, and right rear, the movement of the weight balance when the patient 10 steps on the right foot is changed from the right rear. It is possible to see whether it is right front or left back to right front. If it is said that it is walking with a bend from right back to right front and walking with poor joints from left back to right front, the walking type of patient 10 ( type).
また、本実施形態によれば、２次元マップＭ上で操作者１１により指定されたデータ点に対応する加速度成分が計測された時刻を含むように注目時間範囲Ｒtを設定しているので、操作者１１は、例えば、体重バランスの急激な移動や関心のある移動が認められるデータ点を指定することで、その体重バランスの移動が患者１０のどのような動きの中でどのタイミングで得られたものなのかを把握することができ、その移動が偶然起きた単発的なものであるか患者１０に特徴的なものであるかを切り分けることができる。 Further, according to the present embodiment, the attention time range R t is set so as to include the time when the acceleration component corresponding to the data point designated by the operator 11 on the two-dimensional map M is measured. For example, the operator 11 designates a data point at which a rapid movement of the weight balance or a movement of interest is recognized, so that the movement of the weight balance can be obtained at any timing in any movement of the patient 10. It is possible to determine whether the movement is a single occurrence that occurred accidentally or a characteristic of the patient 10.
操作者１１は、このような評価に基づいて患者１０の歩行中の動きを詳細に把握し、例えば効果的な歩行訓練プラン（plan）を作成することができる。 The operator 11 can grasp in detail the movement of the patient 10 while walking based on such evaluation, and can create an effective walking training plan (plan), for example.
なお、発明は、上記実施形態に限定されず、その趣旨を逸脱しない範囲において種々の変更が可能である。 The invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the invention.
例えば、本実施形態では、注目時間範囲設定部３０７は、２次元マップＭ上で操作者１１により指定されたデータ点ＤAに対応する加速度成分が計測された時刻ｔAを含む所定の時間範囲を注目時間範囲Ｒtとして設定しているが、別法として、２次元マップＭにおいて上記２方向の加速度成分ａx，ａyが共に０となる原点Ｏから最も離れたデータ点ＤFに対応する加速度成分が計測された時刻ｔFを含む所定の時間範囲を注目時間範囲Ｒtとして設定してもよい。この場合、部分軌跡線Ｌは、最も大きな加速度成分が得られた時刻ｔF周辺の加速度成分の時間変化を表す軌跡を描いた線となる。操作者１１は、このような部分軌跡線Ｌを参照することにより、患者１０の水平面方向における体重バランスの移動の中で最も急激な移動がどのような動作の中で発生したのかを把握することができる。その結果、例えば、患者１０が歩行中に体重バランスを大きく崩したときのその原因を読み解くことができる。 For example, in the present embodiment, the attention time range setting unit 307 includes a predetermined time range including a time t A when the acceleration component corresponding to the data point D A specified by the operator 11 on the two-dimensional map M is measured. Is set as the attention time range R t , but as an alternative, it corresponds to the data point DF farthest from the origin O where the acceleration components a x and a y in the two directions are both 0 in the two-dimensional map M. A predetermined time range including the time t F when the acceleration component to be measured is measured may be set as the attention time range R t . In this case, the partial trajectory line L is a line depicting a trajectory representing a temporal change in the acceleration component around the time t F when the largest acceleration component is obtained. By referring to such a partial locus line L, the operator 11 grasps in what operation the most rapid movement of the weight balance movement in the horizontal plane direction of the patient 10 has occurred. Can do. As a result, for example, the cause when the patient 10 greatly loses his / her weight balance while walking can be interpreted.
また例えば、注目時間範囲設定部３０７は、２次元マップＭにおけるデータ点Ｄとは独立に、操作者１１により直接的に指定された所望の時間範囲を注目時間範囲Ｒtとして設定してもよい。この場合、部分軌跡線Ｌは、操作者１１が関心を持つ時間帯における加速度成分の時間変化を表す軌跡を描く線となる。操作者１１は、このような部分軌跡線Ｌを参照することにより、患者１０の水平面方向における体重バランスの移動の中で関心のある時間帯での移動がどのように発生したのかを把握することができる。その結果、例えば、対象者１０の歩行運動の開始直後や終了間際における動作の流れを調べることができる。 Also, for example, the attention time range setting unit 307 may set a desired time range directly designated by the operator 11 as the attention time range R t independently of the data point D in the two-dimensional map M. . In this case, the partial trajectory line L is a line that draws a trajectory representing a temporal change in the acceleration component in the time zone in which the operator 11 is interested. The operator 11 grasps how the movement in the time zone of interest has occurred in the movement of the weight balance in the horizontal plane direction of the patient 10 by referring to such a partial locus line L. Can do. As a result, for example, the flow of motion immediately after the start of the walking motion of the subject 10 or just before the end can be examined.
あるいは、注目時間範囲設定部３０７は、指定されたデータ点ＤAに対応する加速度成分が計測された時刻ｔA周辺の各時刻における加速度成分（上下方向の加速度成分が好ましい）を解析して、その周期的な時間変化を認識し、上記の時刻ｔAを含み、患者１０の左右一歩ずつの着地と踏切を含む一周期分の時間幅を有する時間範囲を、注目時間範囲Ｒtとして設定してもよい。この場合、部分軌跡線Ｌは、常に、歩行運動における左右一歩ずつの動作を含む一周期分の加速度成分の時間変化を表す軌跡を描く線となる。操作者（指導員）１１は、このような部分軌跡線Ｌを参照することにより、患者１０の水平面方向における体重バランスの移動の中で関心のある移動が、一周期分の歩行中においてどのようなタイミングで発生したものなのかを把握することができる。その結果、例えば、患者１０の左右一歩ずつの着地及び踏切が理想的に行われているかなどを調べることができる。なお、注目時間範囲Ｒtは、上記一周期に相当する期間であってもよい。この場合、注目時間範囲Ｒtは、左右一歩ずつの動作が途中で切れることなく確保され、操作者１１にとってよりイメージ（image）しやすく観察に適した形態にて部分軌跡線Ｌを表示することができる。 Alternatively, the attention time range setting unit 307 analyzes the acceleration component at each time around the time t A when the acceleration component corresponding to the designated data point D A is measured (preferably the vertical acceleration component), Recognizing the periodic time change, a time range including the above-described time t A and having a time width for one cycle including landing and level crossing of the patient 10 step by step is set as the attention time range R t. May be. In this case, the partial trajectory line L is always a line that draws a trajectory representing the temporal change of the acceleration component for one cycle including the operation of one step left and right in the walking motion. The operator (instructor) 11 refers to the partial trajectory line L so that the movement of interest in the movement of the body weight balance in the horizontal plane direction of the patient 10 during the walking for one cycle. It is possible to grasp whether it occurred at the timing. As a result, for example, it is possible to check whether the patient 10 is ideally landing and crossing one step at the left and right. Note that the attention time range Rt may be a period corresponding to the one period. In this case, the attention time range Rt is ensured so that the operation of each step on the left and right is not interrupted in the middle, and the partial trajectory line L is displayed in a form suitable for observation, which is easier for the operator 11 to image. Can do.
また例えば、本実施形態では、２次元マップＭは、所定の２方向の加速度成分の取得頻度を表す２次元ヒストグラムであるが、上記２次元ヒストグラムにスムージング処理を施した後、一定の間隔を置いた複数の頻度値について同じ頻度値の画素を線で結んだ、いわゆる等高線表示で表現したものであってもよい。あるいは、当該２方向の加速度成分を表す各データ点を２次元座標系に単純にプロットしたものであってもよい。あるいは、当該２方向の加速度成分を表す各データ点を、時系列的に線で結んでなる全体軌跡線を表すものであってもよい。ただし、２次元マップＭをこの全体軌跡線を表すものとした場合、上記の部分軌跡線Ｌとこの全体軌跡線とを差別化するため、お互いに線の色や太さ、実線／破線の別などの表示形態を変える必要がある。 Further, for example, in the present embodiment, the two-dimensional map M is a two-dimensional histogram representing the acquisition frequency of acceleration components in two predetermined directions, and after performing smoothing processing on the two-dimensional histogram, a certain interval is set. Alternatively, a plurality of frequency values may be expressed by so-called contour display in which pixels having the same frequency value are connected by lines. Alternatively, each data point representing the acceleration component in the two directions may be simply plotted in a two-dimensional coordinate system. Or you may represent the whole locus line which connects each data point showing the acceleration component of the said 2 direction with a line in time series. However, when the two-dimensional map M represents the entire trajectory line, the partial trajectory line L and the entire trajectory line are differentiated from each other. It is necessary to change the display form.
また例えば、本実施形態では、対象者１０の歩行中における左右方向及び前後方向の加速度成分ａx，ａyの２次元マップを生成し表示している。しかしながら、患者１０の歩行中における他の２方向の加速度成分、例えば、前後方向及び上下方向の加速度ａy，ａz、あるいは、左右方向及び上下方向の加速度ａx，ａzの２次元マップを生成し表示するようにしてもよい。 Further, for example, in the present embodiment, a two-dimensional map of acceleration components a x and a y in the left-right direction and the front-rear direction during walking of the subject 10 is generated and displayed. However, a two-dimensional map of acceleration components in other two directions during walking of the patient 10, for example, longitudinal and vertical accelerations a y and a z or horizontal and vertical accelerations a x and a z. It may be generated and displayed.
また例えば、本実施形態は、発明を、人の歩行運動に適用した例であるが、人のその他の移動運動、例えば人の走行運動などにも適用することができる。 Further, for example, the present embodiment is an example in which the invention is applied to a walking motion of a person, but can also be applied to other moving motions of a person, such as a traveling motion of a person.
また例えば、本実施形態は、人に装着した加速度センサの出力から人の移動運動中における加速度を基に、上記の２次元マップＭ及び部分軌跡線Ｌを生成し表示する装置であるが、コンピュータをこのような装置として機能させるためのプログラムもまた発明の実施形態の一つである。 Further, for example, the present embodiment is a device that generates and displays the two-dimensional map M and the partial trajectory line L based on the acceleration during the movement of the person from the output of the acceleration sensor worn on the person. A program for causing a computer to function as such a device is also an embodiment of the invention.
１ 歩行状態表示システム
１０ 患者
１１ 操作者
２ 加速度センサモジュール
２１ プロセッサ
２２ 加速度センサ
２３ メモリ
２４ 通信Ｉ／Ｆ
２５ バッテリ
２０１ 加速度センサ部
２０２ サンプリング部
２０３ 送信部
３ 歩行状態表示装置
３１ プロセッサ
３２ ディスプレイ
３３ 操作部
３４ メモリ
３５ 通信Ｉ／Ｆ
３６ バッテリ
３０１ 操作部
３０２ ディスプレイ部
３０３ 患者情報受付部
３０４ 受信部
３０５ 歩行加速度算出部
３０６ ２次元マップ生成部
３０７ 注目時間範囲設定部
３０８ 部分軌跡線生成部
３１０ 表示制御部
３１１ ＧＵＩ部
３１２ 記憶部
４１ データベース
４２ 記憶媒体
DESCRIPTION OF SYMBOLS 1 Walking state display system 10 Patient 11 Operator 2 Acceleration sensor module 21 Processor 22 Acceleration sensor 23 Memory 24 Communication I / F
25 Battery 201 Acceleration sensor unit 202 Sampling unit 203 Transmitting unit 3 Walking state display device 31 Processor 32 Display 33 Operation unit 34 Memory 35 Communication I / F
36 battery 301 operation unit 302 display unit 303 patient information reception unit 304 reception unit 305 walking acceleration calculation unit 306 two-dimensional map generation unit 307 attention time range setting unit 308 partial trajectory line generation unit 310 display control unit 311 GUI unit 312 storage unit 41 Database 42 Storage medium
Claims (18)
前記２方向の加速度成分が計測された時間範囲内において注目時間範囲を設定する設定手段と、
設定された前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を結んだ軌跡線を前記２次元マップ上に表示するよう表示部を制御する第２の表示制御手段と、を備えた移動運動状態表示装置。 First display control for controlling the display unit to display a two-dimensional map representing a distribution or trajectory of data points corresponding to acceleration components in two directions at each time during the movement of a person measured using an acceleration sensor Means,
Setting means for setting a time range of interest within a time range in which the acceleration components in the two directions are measured;
Second display control means for controlling the display unit to display on the two-dimensional map a trajectory line connecting the data points corresponding to the acceleration components in the two directions at each time within the set time range of interest. And a mobile motion state display device.
前記２方向の加速度成分が計測された時間範囲内において注目時間範囲を設定するステップと、
計測された前記各時刻における２方向の加速度成分に対応した各データ点の分布または軌跡を表す２次元マップと、設定された前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を結んだ軌跡線とを対応付けて表示するよう表示部を制御するステップと、を備えた移動運動状態表示方法。 Measuring an acceleration component in two directions at each time during the movement of a person using an acceleration sensor;
Setting an attention time range within a time range in which the acceleration components in the two directions are measured;
A two-dimensional map representing the distribution or trajectory of each data point corresponding to the measured acceleration component in each of the two directions at each time, and the corresponding acceleration component in each of the two directions at each time within the set time range of interest. And a step of controlling the display unit so as to display the locus lines connecting the data points in association with each other.
前記加速度センサを用いて計測された前記人の移動運動中の各時刻における２方向の加速度成分に対応するデータ点の分布または軌跡を表す２次元マップを表示するよう表示部を制御する第１の表示制御手段と、
前記２方向の加速度成分が計測された時間範囲内において注目時間範囲を設定する設定手段と、
設定された前記注目時間範囲内の各時刻における前記２方向の加速度成分に対応した各データ点を結んだ軌跡線を前記２次元マップ上に表示するよう表示部を制御する第２の表示制御手段と、を備えた移動運動状態表示システム。 An acceleration sensor attached to a person;
A first control unit that controls a display unit to display a two-dimensional map representing a distribution or locus of data points corresponding to acceleration components in two directions at each time during the movement of the person measured using the acceleration sensor. Display control means;
Setting means for setting a time range of interest within a time range in which the acceleration components in the two directions are measured;
Second display control means for controlling the display unit to display on the two-dimensional map a trajectory line connecting the data points corresponding to the acceleration components in the two directions at each time within the set time range of interest. And a mobile motion state display system.
請求項１から請求項１５のいずれか一項に記載の移動運動状態表示装置として機能させるためのプログラム。 Computer
The program for functioning as a mobile exercise | movement state display apparatus as described in any one of Claims 1-15.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013269498A JP6243731B2 (en) | 2013-12-26 | 2013-12-26 | Mobile motion state display device, method and system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013269498A JP6243731B2 (en) | 2013-12-26 | 2013-12-26 | Mobile motion state display device, method and system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015123216A JP2015123216A (en) | 2015-07-06 |
| JP6243731B2 true JP6243731B2 (en) | 2017-12-06 |
Family
ID=53534390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013269498A Active JP6243731B2 (en) | 2013-12-26 | 2013-12-26 | Mobile motion state display device, method and system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6243731B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110801366A (en) * | 2019-11-01 | 2020-02-18 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | Passive track error detection device and method for rocker type rehabilitation mechanism |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017189490A (en) * | 2016-04-15 | 2017-10-19 | セイコーエプソン株式会社 | Display method, swing analysis device, swing analysis system, swing analysis program, and recording medium |
| JP6828265B2 (en) * | 2016-04-15 | 2021-02-10 | セイコーエプソン株式会社 | Display method, swing analysis device, swing analysis system, swing analysis program, and recording medium |
| JP6330093B1 (en) * | 2017-08-21 | 2018-05-23 | ミライアプリ株式会社 | Motion determination program, motion determination device, motion determination image generation program, motion determination image generation device |
| JP2021027801A (en) * | 2017-11-29 | 2021-02-25 | シャープ株式会社 | Information processing device, program, server, and information processing method |
| CN112835036A (en) * | 2020-12-29 | 2021-05-25 | 湖南时变通讯科技有限公司 | Method, device and equipment for generating mobile distribution diagram and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5111993B2 (en) * | 2007-10-03 | 2013-01-09 | バイセン株式会社 | Action identification system |
| JP5724237B2 (en) * | 2010-07-27 | 2015-05-27 | オムロンヘルスケア株式会社 | Walking change judgment device |
-
2013
- 2013-12-26 JP JP2013269498A patent/JP6243731B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110801366A (en) * | 2019-11-01 | 2020-02-18 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | Passive track error detection device and method for rocker type rehabilitation mechanism |
| CN110801366B (en) * | 2019-11-01 | 2021-11-19 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | Passive track error detection device and method for rocker type rehabilitation mechanism |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015123216A (en) | 2015-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6243731B2 (en) | Mobile motion state display device, method and system, and program | |
| CN105688396B (en) | Movable information display system and movable information display methods | |
| EP3120256B1 (en) | Method and system for delivering biomechanical feedback to human and object motion | |
| JP5896240B2 (en) | Exercise support device, exercise support method, and exercise support program | |
| JP5811360B2 (en) | Exercise information display system, exercise information display method, and exercise information display program | |
| JP6152763B2 (en) | Exercise support device, exercise support method, and exercise support program | |
| US20130171596A1 (en) | Augmented reality neurological evaluation method | |
| US20210068674A1 (en) | Track user movements and biological responses in generating inputs for computer systems | |
| JP2013188294A (en) | Exercise information generation system, exercise information generation program and exercise information generation method | |
| JP6241488B2 (en) | Exercise support device, exercise support method, and exercise support program | |
| JP2013188293A (en) | Exercise information display system, exercise information display program and exercise information display method | |
| JP6243732B2 (en) | Mobile motion state display device, method and system, and program | |
| JP6243730B2 (en) | Mobile motion state display device, method and system, and program | |
| JP6378492B2 (en) | Moving motion analysis apparatus and program | |
| JP6552875B2 (en) | Moving motion analysis apparatus, method and program | |
| CN107847791B (en) | Instruct adaptability decision maker, system, method and recording medium | |
| JP6381252B2 (en) | Moving motion analysis apparatus and program | |
| JP6371056B2 (en) | Mobile motion state display device, method and system, and program | |
| JP6327445B2 (en) | Data analysis apparatus, data analysis method, and data analysis program | |
| JP2018075377A (en) | Exercise device, and arm drop angle detection method and program | |
| JP7127605B2 (en) | Exercise support device, exercise support method and exercise support program | |
| JP6666003B2 (en) | Walking guidance method and walking guidance device | |
| JP6486200B2 (en) | Mobile motion analysis apparatus, system, and program | |
| CN219021189U (en) | Automatic upper limb movement function evaluation system based on clinical scale | |
| JP2018158052A (en) | Motion analysis device, motion analysis system, motion analysis method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150527 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150602 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6243731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |