JP6478936B2 - Behavior estimation device, behavior estimation method, and behavior estimation program - Google Patents
Behavior estimation device, behavior estimation method, and behavior estimation program Download PDFInfo
- Publication number
- JP6478936B2 JP6478936B2 JP2016054162A JP2016054162A JP6478936B2 JP 6478936 B2 JP6478936 B2 JP 6478936B2 JP 2016054162 A JP2016054162 A JP 2016054162A JP 2016054162 A JP2016054162 A JP 2016054162A JP 6478936 B2 JP6478936 B2 JP 6478936B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- change
- posture
- position information
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、行動推定装置、行動推定方法及び行動推定プログラムに関する。 Embodiments described herein relate generally to a behavior estimation device, a behavior estimation method, and a behavior estimation program.
従来、身体の所定部位に装着したセンサから取得した測定値をもとに、行動を推定する技術が知られている。古くは、身体の腰位置等に装着し、歩行に伴い発生する上下の振動を検出することにより、歩数をカウントする歩数計が広く知られている。近年では、加速度センサを用いて動きパターンを高精度に計測し、歩数だけではなく、静止している時間や寝ている時間、立つ動作や座る動作等も推定できるものが存在する。 2. Description of the Related Art Conventionally, a technique for estimating behavior based on measurement values acquired from a sensor attached to a predetermined part of the body is known. In the past, pedometers that count the number of steps by attaching to the waist position of the body and detecting the vertical vibration that occurs with walking are widely known. In recent years, there are some devices that can measure a motion pattern with high accuracy using an acceleration sensor and estimate not only the number of steps but also a stationary time, a sleeping time, a standing motion, and a sitting motion.
一般に、高精度に行動を推定するためには、腰等の体幹部にセンサを装着することが好ましい。立つ動作や座る動作等の行動は、体幹部に重力方向の動きが生じるため、このような動きをセンサで検出し、その時系列のパターンから推定している。例えば、重力方向の加速度を計測し、上向き及び下向きの加速度のピークが連続して観測された場合に、その順序により立つ動作や座る動作を検出する技術がある。このほかにも、重力方向加速度の時系列パターンを計測し、予め用意された立つ動作等に対応するパターンとのマッチングにより、立つ動作が行われたことを検出する技術がある。 In general, in order to estimate behavior with high accuracy, it is preferable to attach a sensor to a trunk such as the waist. Behaviors such as standing and sitting are caused by movement in the direction of gravity in the trunk, and such movement is detected by a sensor and estimated from the time-series pattern. For example, there is a technique that measures acceleration in the gravitational direction and detects a standing motion or a sitting motion according to the order when upward and downward acceleration peaks are continuously observed. In addition to this, there is a technique for measuring a time-series pattern of acceleration in the gravitational direction and detecting that a standing motion has been performed by matching with a pattern corresponding to a standing motion prepared in advance.
しかしながら、従来技術は、体幹以外の部位にセンサを装着する場合に、行動を高精度に推定することが困難であるという問題がある。上述したように、腰等の体幹部にセンサを装着することで、行動を高精度に推定することは可能である。例えば、手首等の体幹以外の部位にセンサを装着する場合には、立つ動作や座る動作が行われていても、手首には重力方向の動きが生じない可能性も有り得るため、行動推定の精度が低下する。 However, the conventional technique has a problem that it is difficult to estimate the behavior with high accuracy when the sensor is attached to a part other than the trunk. As described above, it is possible to estimate the behavior with high accuracy by attaching the sensor to the trunk such as the waist. For example, when a sensor is attached to a part other than the trunk, such as the wrist, there is a possibility that the wrist does not move in the direction of gravity even if standing or sitting is performed. Accuracy is reduced.
本発明が解決しようとする課題は、体幹以外の部位にセンサを装着する場合であっても、行動を高精度に推定することができる行動推定装置、行動推定方法及び行動推定プログラムを提供することである。 The problem to be solved by the present invention is to provide a behavior estimation device, a behavior estimation method, and a behavior estimation program capable of estimating behavior with high accuracy even when a sensor is attached to a part other than the trunk. That is.
実施形態の行動推定装置は、姿勢情報算出部と、第1位置情報算出部と、第2位置情報算出部と、行動推定部とを有する。姿勢情報算出部は、センサが装着された第1部位の動きを示す時系列情報から、第1部位の姿勢又は姿勢の変化を表す姿勢情報を算出する。第1位置情報算出部は、時系列情報から第1部位の位置又は位置の変化を表す第1位置情報を算出する。第2位置情報算出部は、姿勢情報、第1位置情報、及び、第1部位と第2部位との間の距離を示す距離情報から、第2部位の位置又は位置の変化を表す第2位置情報を算出する。行動推定部は、第2位置情報の時系列変化から行動を推定する。第2部位は、第1部位に対して位置が一意に定まる部位であって、第1部位よりも体幹に近い部位である。 The behavior estimation apparatus according to the embodiment includes an attitude information calculation unit, a first position information calculation unit, a second position information calculation unit, and a behavior estimation unit. The posture information calculation unit calculates posture information representing a posture of the first part or a change in posture from time-series information indicating the movement of the first part to which the sensor is attached. The first position information calculation unit calculates first position information representing the position of the first part or a change in the position from the time series information. The second position information calculation unit is a second position that represents the position of the second part or a change in the position from the posture information, the first position information, and the distance information indicating the distance between the first part and the second part. Calculate information. The behavior estimating unit estimates the behavior from the time series change of the second position information. The second part is a part whose position is uniquely determined with respect to the first part, and is a part closer to the trunk than the first part.
(実施形態)
図1は、実施形態に係る行動推定システム1のシステム構成例を示す図である。図1に示すように、行動推定システム1には、行動推定装置100と、センサ200とが含まれる。行動推定システム1において、各装置は、無線又は有線により通信可能である。行動推定システム1は、体幹以外の特定部位にセンサ200(例えば、モーションセンサ)を装着し、ユーザの動きに応じてセンサ200によって測定された測定値をもとに、該ユーザの行動を推定するものである。
(Embodiment)
FIG. 1 is a diagram illustrating a system configuration example of a behavior estimation system 1 according to the embodiment. As shown in FIG. 1, the behavior estimation system 1 includes a
例えば、センサ200は、ユーザの手首、足首又は頭等の体幹以外の部位に装着されるモーションセンサであり、これらの部位の動きに応じて測定される測定値を出力する。測定値は、行動推定装置100に対して出力される。本実施形態では、主に、ユーザの手首にセンサ200を装着する場合を例に挙げる。例えば、行動推定装置100は、PC(Personal Computer)やサーバ装置、タブレット端末等の情報処理装置である。かかる行動推定装置100は、センサ200によって出力された測定値をもとに、該センサ200を装着したユーザの行動を推定する。
For example, the
図2は、実施形態に係る行動推定装置100のハードウェア構成例を示すブロック図である。図2に示すように、行動推定装置100は、CPU(Central Processing Unit)12と、ROM(Read Only Memory)13と、RAM(Random Access Memory)14と、通信部15とを有する。上記各部は、バス11により互いに接続される。
FIG. 2 is a block diagram illustrating a hardware configuration example of the
CPU12は、行動推定装置100全体の動作を制御する。CPU12は、RAM14等を作業領域として、ROM13等に記憶されたプログラムを実行することで、行動推定装置100全体の動作を制御する。RAM14は、各種処理に関する情報等を一時的に記憶するとともに、ROM13等に格納されたプログラムの実行時の作業領域として使用される。ROM13は、行動推定装置100による処理を実現するためのプログラムを記憶する。通信部15は、無線又は有線によるネットワークを介して、センサ200等の外部装置と通信する。なお、図2に示したハードウェア構成は一例であり、上記の他にも、処理結果を出力する表示部や各種情報を入力する操作部等が含まれていても良い。
CPU12 controls operation | movement of the
図3は、実施形態に係るセンサ200の装着例を説明する図である。図3に示すように、センサ200は、ユーザの手首等の体幹以外の部位に装着される。以下では、センサ200を装着する手首等の部位を「第1部位」と呼ぶ。また、第1部位に対してその位置が一意に定まる部位であって、第1部位よりも体幹に近い部位を「第2部位」と呼ぶ。図3に示す例では、手首を第1部位としたとき、肘が第2部位となる。一般に、肘は、手首と直線的な位置関係を有し、また、手首に対してその位置が一意に定まる部位であって、手首よりも体幹に近い部位である。後述するように、第2部位である肘の位置(位置の変化)は、第1部位である手首の姿勢や位置、第1部位と第2部位との間の距離から算出することができる。なお、足首を第1部位とする場合には、膝が第2部位となる。また、頭を第1部位とする場合には、首が第2部位となる。何れの場合であっても、第2部位は、第1部位に対してその位置が一意に定まる部位であって、第1部位よりも体幹に近い部位となる。第1部位と第2部位とは、上記の例に限られるものではない。
FIG. 3 is a diagram illustrating an example of mounting the
図4は、実施形態に係る行動推定装置100の機能構成例を示すブロック図である。図4に示すように、行動推定装置100は、姿勢情報算出部110と、第1位置情報算出部120と、取得部130と、第2位置情報算出部140と、行動推定部150とを有する。上記各部は、これらの一部又は全てがソフトウェア(プログラム)で実現されても良いし、ハードウェア回路で実現されても良い。
FIG. 4 is a block diagram illustrating a functional configuration example of the
姿勢情報算出部110は、第1部位の姿勢情報を算出する。より具体的には、姿勢情報算出部110は、通信部15を介してセンサ200から出力された測定値の時系列情報から、該センサ200が装着された手首等である第1部位の姿勢又は姿勢の変化を表す姿勢情報を算出する。一つの様態として、姿勢情報は、重力方向軸に直交する平面を基準としたときのピッチ角である。このほか、姿勢情報は、ピッチ角の時間あたりの変化量であっても良い。
The posture information calculation unit 110 calculates posture information of the first part. More specifically, the posture information calculation unit 110 uses the time series information of the measurement values output from the
例えば、ピッチ角は、3軸加速度センサで計測した加速度、及び、3軸ジャイロセンサで計測した角速度から、公知の姿勢推定アルゴリズムによって算出することができる。また、例えば、ピッチ角は、3軸加速度センサで計測した加速度から、重力方向を推定する公知技術を用いて、モーションセンサの座標軸とのなす角から算出しても良い。 For example, the pitch angle can be calculated by a known posture estimation algorithm from the acceleration measured by the triaxial acceleration sensor and the angular velocity measured by the triaxial gyro sensor. Further, for example, the pitch angle may be calculated from the angle formed with the coordinate axis of the motion sensor using a known technique for estimating the direction of gravity from the acceleration measured by the three-axis acceleration sensor.
第1位置情報算出部120は、第1部位の位置情報を算出する。より具体的には、第1位置情報算出部120は、通信部15を介してセンサ200から出力された測定値の時系列情報から、該センサ200が装着された手首等である第1部位の位置又は位置の変化を表す第1位置情報を算出する。第1位置情報は、初期位置からの重力方向の相対的な変化量となる。例えば、第1位置情報は、重力方向を座標軸としたときの初期位置からの座標の相対的な変化量とすれば良い。このほか、第1位置情報は、第1部位の速度や加速度であっても良い。
The first position information calculation unit 120 calculates position information of the first part. More specifically, the first position information calculation unit 120 uses the time series information of the measurement values output from the
例えば、第1位置情報算出部120は、センサ200の起動時を基準(初期位置)とした、第1部位の重力方向の相対的な移動量を算出する。かかる移動量は、加速度センサで計測された加速度から重力加速度成分を除去することにより、第1部位の動きに伴う加速度を算出した後、その重力方向成分を2階積分することにより得られる。例えば、加速度センサで計測された加速度から重力加速度成分の除去については、姿勢情報算出部110において姿勢情報としてピッチ角Pとともにロール角Rを算出しておき、センサ200の各軸における重力加速度成分GX、GY、GZを(数1)を用いて算出することにより実現する。なお、(数1)において、Gは、重力加速度の大きさを示す。
For example, the first position information calculation unit 120 calculates the relative movement amount of the first part in the gravitational direction with reference to the startup time of the sensor 200 (initial position). This amount of movement is obtained by calculating the acceleration accompanying the movement of the first part by removing the gravitational acceleration component from the acceleration measured by the acceleration sensor and then integrating the gravitational direction component by the second order. For example, regarding the removal of the gravitational acceleration component from the acceleration measured by the acceleration sensor, the posture information calculation unit 110 calculates the roll angle R together with the pitch angle P as the posture information, and the gravitational acceleration component GX on each axis of the
GX=−G・sinP
GY=G・(sinR・cosP)
GZ=G・(cosR・cosP) ・・・(数1)
GX = -G · sinP
GY = G · (sinR · cosP)
GZ = G · (cosR · cosP) (Equation 1)
動きに伴う加速度の重力方向成分AGは、センサ200の各軸の計測値AX、AY、AZから、(数2)により算出することができる。
The gravity direction component AG of the acceleration accompanying the movement can be calculated from the measured values AX, AY, and AZ of each axis of the
AG=(AX−GX)・GX+(AY−GY)・GY+(AZ−GZ)・GZ ・・・(数2) AG = (AX-GX) .GX + (AY-GY) .GY + (AZ-GZ) .GZ (Equation 2)
取得部130は、第1部位と第2部位との間の距離の実測値、又は、距離を推定するための情報を取得する。より具体的には、取得部130は、手首等の第1部位と、肘等の第2部位との間の距離の実測値、又は、距離の推定に用いる情報を取得する。例えば、第1部位と第2部位との間の距離情報は、第1部位と第2部位との間の長さの実測値である。このほか、距離情報は、手首(第1部位)と肘(第2部位)との間の長さが身長や性別等によって統計的に推定可能であるため、手首と肘との間の長さの実測値を入力する代わりに、身長や性別をユーザに入力させ、距離を推定するための情報として取得しても良い。 The acquisition unit 130 acquires an actual measurement value of the distance between the first part and the second part or information for estimating the distance. More specifically, the acquisition unit 130 acquires a measured value of a distance between a first part such as a wrist and a second part such as an elbow or information used for estimating the distance. For example, the distance information between the first part and the second part is an actual measurement value of the length between the first part and the second part. In addition, since the distance between the wrist (first part) and the elbow (second part) can be statistically estimated by height, sex, etc., the distance information is the length between the wrist and the elbow. Instead of inputting the actual measured value, the user may input the height and gender and obtain the information for estimating the distance.
また、センサ200を装着した状態で、肘から先だけを動かすようにユーザに指示し、センサ200によって測定される加速度や角速度の関係から、手首と肘との間の長さを推定するようにしても良い。具体的には、手首は肘を中心とした球面上で移動することから、手首に装着したセンサ200で計測される角速度は、加速度、及び、手首と肘との間の長さの関数として表現することができる。そこで、例えば、センサ200のZ座標軸が手の甲面に鉛直となるようにセンサ200を装着したうえで、ユーザに肘のみを曲げるように指示し、このときのセンサ200のZ座標軸方向の加速度及び角速度を計測することで算出することができる。角速度の微分値をdωZ/dtとすると、手首と肘との間の長さLは、(数3)により推定することができる。
In addition, with the
dωZ/dt=(AZ−GZ)/L ・・・(数3) dωZ / dt = (AZ−GZ) / L (Equation 3)
すなわち、第1部位と第2部位との間の距離は、ユーザに入力させた値を実測値としてそのまま利用しても良いし、身長や性別等の情報から求めても良いし、所定動作を指示したうえでセンサ200によって測定された測定値から推定しても良い。
In other words, the distance between the first part and the second part may be a value input by the user as an actual measurement value as it is, may be obtained from information such as height and gender, You may estimate from the measured value measured by the
第2位置情報算出部140は、第2部位の位置情報を算出する。より具体的には、第2位置情報算出部140は、姿勢情報算出部110によって算出された第1部位の姿勢情報、第1位置情報算出部120によって算出された第1部位の位置情報、及び、取得部130によって取得された第1部位と第2部位との間の距離情報から、第2部位の位置又は位置の変化を表す第2位置情報を算出する。第2位置情報は、初期位置からの重力方向の相対的な変化量となる。例えば、第2位置情報は、重力方向を座標軸としたときの初期位置からの座標の相対的な変化量とすれば良い。すなわち、第2位置情報は、センサ200の起動時の第1部位の位置情報(第1位置情報)の重力方向座標を基準とした、第2部位の重力方向の相対的な位置となる。
The second position information calculation unit 140 calculates position information of the second part. More specifically, the second position information calculation unit 140 includes the first part posture information calculated by the posture information calculation unit 110, the first part position information calculated by the first position information calculation unit 120, and Then, from the distance information between the first part and the second part acquired by the acquisition unit 130, the second position information representing the position of the second part or a change in the position is calculated. The second position information is a relative change amount in the direction of gravity from the initial position. For example, the second position information may be a relative change amount of coordinates from the initial position when the direction of gravity is the coordinate axis. That is, the second position information is a relative position in the gravity direction of the second part with reference to the gravity direction coordinates of the position information (first position information) of the first part when the
例えば、第1部位の重力方向の相対的な移動量をΔG、第1部位のピッチ角をP、手首と肘との間の長さをLとすると、第2部位の相対的な位置Hは、(数4)により求めることができる。 For example, if the relative movement amount of the first part in the gravity direction is ΔG, the pitch angle of the first part is P, and the length between the wrist and the elbow is L, the relative position H of the second part is , (Equation 4).
H=ΔG+L・sinP ・・・(数4) H = ΔG + L · sinP (Expression 4)
行動推定部150は、ユーザの行動を推定する。より具体的には、行動推定部150は、第2位置情報算出部140によって算出された第2位置情報に基づき、ユーザの行動を推定する。例えば、行動推定部150は、ユーザが歩行・走行する動作や、ユーザが立つ・座る動作等の推定対象である行動の推定を行なう。以下に、推定対象となる行動の例を挙げて説明する。 The behavior estimation unit 150 estimates a user's behavior. More specifically, the behavior estimating unit 150 estimates the user's behavior based on the second position information calculated by the second position information calculating unit 140. For example, the behavior estimation unit 150 estimates a behavior that is an estimation target such as a motion of the user walking / running or a motion of the user standing / sitting. Hereinafter, an example of an action to be estimated will be described.
図5は、実施形態に係る歩行・走行する動作の推定例を説明する図である。図6Aは、実施形態に係る歩行・走行する動作の推定時における地面(床)から第1部位までの高さH0を表す波形の変化例を示す図である。図6Bは、実施形態に係る歩行・走行する動作の推定時におけるL・sinPを表す波形の変化例を示す図である。図6Cは、実施形態に係る歩行・走行する動作の推定時におけるHを表す波形の変化例を示す図である。なお、図6Aでは、手振りによる上下動に対する波形(破線)も図示している。 FIG. 5 is a diagram for explaining an estimation example of the walking / running operation according to the embodiment. FIG. 6A is a diagram illustrating a change example of a waveform representing a height H 0 from the ground (floor) to the first part when estimating walking / running motion according to the embodiment. FIG. 6B is a diagram illustrating a change example of a waveform representing L · sinP when estimating walking / running motion according to the embodiment. FIG. 6C is a diagram illustrating a change example of a waveform representing H at the time of estimating the walking / running operation according to the embodiment. Note that FIG. 6A also shows a waveform (broken line) with respect to vertical movement caused by hand shaking.
図5に示すように、歩行時又は走行時には、(A)と(B)との状態が繰り返される。具体的には、図6Aに示すように、H0は、(A)の状態では小さくなり(極小値をとり)、(B)の状態では大きくなる(極大値をとる)。なお、歩行時と走行時との違いは、(A)の状態と(B)の状態との時間幅が異なる。具体的には、歩行時は、(A)の状態と(B)の状態との時間幅が走行時よりも大きくなる。歩行と走行との判別については、閾値を利用して周期を確認すれば良い。また、図6Bに示すように、L・sinPは、(A)の状態では大きくなり(極大値をとり)、(B)の状態では小さくなる(極小値をとる)。歩行時は、(A)の状態と(B)の状態との時間幅が走行時よりも大きくなる。また、図6Cに示すように、Hは、(A)の状態では大きくなり(極大値をとり)、(B)の状態では小さくなる(極小値をとる)。つまり、歩行や走行等により上下動を繰り返していることがわかる。これらから、行動推定部150は、歩行の動作又は走行の動作として行動を推定する。 As shown in FIG. 5, during walking or running, the states (A) and (B) are repeated. Specifically, as shown in FIG. 6A, H 0 becomes small (takes a minimum value) in the state (A) and becomes large (takes a maximum value) in the state (B). Note that the time width between the state of (A) and the state of (B) is different between the time of walking and the time of running. Specifically, during walking, the time width between the state (A) and the state (B) is greater than during travel. For discrimination between walking and running, a cycle may be confirmed using a threshold value. Further, as shown in FIG. 6B, L · sinP increases (takes a maximum value) in the state (A) and decreases (takes a minimum value) in the state (B). During walking, the time width between the state (A) and the state (B) is greater than during travel. Further, as shown in FIG. 6C, H increases (takes a maximum value) in the state (A), and decreases (takes a minimum value) in the state (B). That is, it is understood that the vertical movement is repeated by walking or running. From these, the action estimation unit 150 estimates the action as a walking action or a running action.
図7は、実施形態に係る立つ動作の推定例を説明する図である。図8Aは、実施形態に係る立つ動作の推定時における地面(床)から第1部位までの高さH0を表す波形の変化例を示す図である。図8Bは、実施形態に係る立つ動作の推定時におけるL・sinPを表す波形の変化例を示す図である。図8Cは、実施形態に係る立つ動作の推定時におけるHを表す波形の変化例を示す図である。なお、椅子等に座っている状態から立つ動作を行なう場合に、机に手をついた状態で立つ動作がなされるものとする。 FIG. 7 is a diagram for explaining an estimation example of the standing motion according to the embodiment. FIG. 8A is a diagram illustrating a change example of a waveform representing a height H 0 from the ground (floor) to the first part at the time of estimating the standing motion according to the embodiment. FIG. 8B is a diagram illustrating a change example of a waveform representing L · sinP at the time of estimating the standing motion according to the embodiment. FIG. 8C is a diagram illustrating a change example of a waveform representing H at the time of estimating a standing motion according to the embodiment. In addition, when performing the operation | movement which stands | stands up from the state sitting on a chair etc., the operation | movement standing with a hand on the desk shall be made.
図7に示すように、立つ動作がなされるときには、(A)の状態から(B)の状態へと遷移する。具体的には、図8Aに示すように、H0は、机に手をついたまま立つ動作が行われているため、(A)の状態と(B)の状態とで変化がない。また、図8Bに示すように、L・sinPは、(A)の状態ときよりも(B)の状態のときの方が大きくなる。また、図8Cに示すように、Hは、(A)の状態のときよりも(B)の状態のときの方が大きくなる。これらから、行動推定部150は、立つ動作として行動を推定する。なお、座る動作については、(B)から(A)の状態へと遷移するため、H0は変化がなく、L・sinPは(B)から(A)に向かって時系列で小さくなり、Hは(B)から(A)に向かって時系列で小さくなる。このようなときに、行動推定部150は、座る動作として行動を推定する。 As shown in FIG. 7, when a standing operation is performed, the state transitions from the state (A) to the state (B). Specifically, as shown in FIG. 8A, H 0 is not changed between the state of (A) and the state of (B) because an operation of standing with a hand on the desk is performed. Further, as shown in FIG. 8B, L · sinP is larger in the state of (B) than in the state of (A). Further, as shown in FIG. 8C, H is larger in the state (B) than in the state (A). From these, the behavior estimation unit 150 estimates the behavior as a standing motion. Regarding the sitting motion, since transition from (B) to (A) occurs, H 0 does not change, and L · sinP decreases in time series from (B) to (A). Becomes smaller in time series from (B) to (A). In such a case, the behavior estimation unit 150 estimates the behavior as a sitting motion.
図9は、実施形態に係る行動の推定をキャンセルする例を説明する図である。図10Aは、実施形態に係る行動の推定のキャンセル時における地面(床)から第1部位までの高さH0を表す波形の変化例を示す図である。図10Bは、実施形態に係る行動の推定のキャンセル時におけるL・sinPを表す波形の変化例を示す図である。図10Cは、実施形態に係る行動の推定のキャンセル時におけるHを表す波形の変化例を示す図である。行動の推定のキャンセルとは、推定対象となる行動をユーザが行なっていないことを指す。 FIG. 9 is a diagram illustrating an example of canceling action estimation according to the embodiment. FIG. 10A is a diagram illustrating a change example of a waveform representing a height H 0 from the ground (floor) to the first part at the time of canceling the behavior estimation according to the embodiment. FIG. 10B is a diagram illustrating an example of a change in a waveform representing L · sinP at the time of canceling the behavior estimation according to the embodiment. FIG. 10C is a diagram illustrating an example of a change in a waveform representing H at the time of canceling the behavior estimation according to the embodiment. Cancellation of action estimation means that the user is not performing the action to be estimated.
図9に示すように、歩行する動作や走行する動作、立つ動作や座る動作ではなく、単に、手を上下させるだけの動作が行われるときには、(A)と(B)との状態が繰り返される。具体的には、図10Aに示すように、H0は、手を上下させる何らかの作業に伴う手の動きにより、(A)の状態では小さくなり(極小値をとり)、(B)の状態では大きくなる(極大値をとる)。また、図10Bに示すように、L・sinPは、(A)の状態では大きくなり(極大値をとり)、(B)の状態では小さくなる(極小値をとる)。また、図10Cに示すように、Hは、(A)の状態と(B)の状態とで変化がない。このようなときに、行動推定部150は、推定対象の行動ではないものとして、行動の推定をキャンセルする。 As shown in FIG. 9, when an operation of simply raising and lowering a hand is performed instead of a walking operation, a traveling operation, a standing operation, or a sitting operation, the states of (A) and (B) are repeated. . Specifically, as shown in FIG. 10A, H 0 becomes smaller in the state of (A) due to the movement of the hand accompanying some work for raising and lowering the hand (takes a minimum value), and in the state of (B). Increases (maximum value). Further, as shown in FIG. 10B, L · sinP increases (takes a maximum value) in the state (A) and decreases (takes a minimum value) in the state (B). Further, as shown in FIG. 10C, H does not change between the state (A) and the state (B). In such a case, the behavior estimation unit 150 cancels the behavior estimation assuming that the behavior is not the estimation target behavior.
上述したように、行動推定装置100は、時系列にユーザの行動を推定できる。このため、行動推定装置100は、いつユーザがどのような行動をしたか、ある時間内に何回立ったか・座ったか等を処理結果として出力することができる。
As described above, the
図11は、実施形態に係る行動推定装置100による処理の流れの例を示すフローチャートである。図11に示すように、行動推定装置100は、第1部位に装着されたセンサ200によって測定された測定値に基づき、第1部位の姿勢情報を算出する(ステップS101)。そして、行動推定装置100は、第1部位に装着されたセンサ200によって測定された測定値に基づき、第1部位の位置情報を算出する(ステップS102)。
FIG. 11 is a flowchart illustrating an example of a process flow performed by the
続いて、行動推定装置100は、第1部位と第2部位との間の距離情報を取得する(ステップS103)。その後、行動推定装置100は、第1部位の姿勢情報や位置情報、部位間の距離情報を用いて、第2部位の位置情報を算出する(ステップS104)。そして、行動推定装置100は、第2部位の位置情報をもとに行動を推定する(ステップS105)。
Subsequently, the
例えば、行動の推定では、第2部位の重力方向の座標の変化に基づいて、行動推定処理を実行するか否かを判定しても良い。すなわち、ユーザが何らかの動作をしているか否かを判定したうえで、動作をしている状態から動作をしていない状態に移行したことを検出したときに、行動推定処理を実行すれば良い。ユーザが動作をしているか否かの判定では、例えば、所定時間における相対座標値の分散を算出し、分散値が閾値以上であるか閾値未満であるかによって判定する。ここでは、立つ動作や座る動作を推定する場合を例に挙げる。 For example, in behavior estimation, it may be determined whether or not behavior estimation processing is to be executed based on a change in the coordinate of the second part in the direction of gravity. That is, it is only necessary to execute the behavior estimation process when it is determined whether or not the user is performing any operation and then the state where the user is operating is shifted to the state where the user is not operating. In determining whether or not the user is operating, for example, a variance of relative coordinate values in a predetermined time is calculated, and the determination is made based on whether the variance value is greater than or less than a threshold value. Here, a case where a standing motion or a sitting motion is estimated is taken as an example.
具体的には、行動推定装置100は、所定区間における第2部位の移動方向及び移動量を評価することで、立つ動作や座る動作を識別する。所定区間は、例えば、ユーザが動作していると判定されている間の時間を指す。所定区間の間に、位置Hが上方向に所定の長さ以上移動したときは、立つ動作が行われているものと判定し、立つ動作を行動推定結果として出力する。また、所定区間の間に、位置Hが下方向に所定の長さ以上移動したときは、座る動作が行われているものと判定し、座る動作を行動推定結果として出力する。
Specifically, the
なお、上記実施形態は一例であり、肘の位置Hにより推定できる動作を、立つ動作や座る動作に限定するものではない。例えば、肘の位置Hの変化に基づき、ユーザの転倒を検出することも可能である。第1部位である手首の高さH0は、手を地面(又は床等)につけて座った場合においても、転倒した場合においても、地面の高さと近くなる。このとき、第2部位である肘は、手を地面(又は床等)につけて座った場合は通常、少なくとも地面から離れた位置となることから、ステップS104において算出した第2部位の位置情報を用いることで、転倒状態(又は、肘をついて横たわった状態等)と、手を地面につけて座った状態とを区別することができる。 In addition, the said embodiment is an example and the operation | movement which can be estimated by the position H of an elbow is not limited to the operation | movement which stands or sits down. For example, it is possible to detect a user's fall based on a change in the position H of the elbow. The wrist height H 0 , which is the first part, is close to the height of the ground when sitting with the hand on the ground (or the floor, etc.) or when the hand falls. At this time, the elbow as the second part is usually at least a position away from the ground when sitting with the hand on the ground (or the floor, etc.), so the position information of the second part calculated in step S104 is obtained. By using it, it is possible to distinguish between a fall state (or a state of lying with an elbow, etc.) and a state of sitting with a hand on the ground.
(変形例)
第1部位を足首、第2部位を膝とすることにより、ユーザがしゃがむ動作を推定することも可能である。これにより、例えば、足首に装着可能なセンサ内蔵バンドや、足首部にセンサ200を内蔵した靴下等を用いることで、可動部である膝にセンサを直接装着することなくしゃがむ動作を推定することができる。一つの様態として、作業におけるユーザの身体的負荷の分析に役立てることができる。
(Modification)
By using the first part as the ankle and the second part as the knee, it is also possible to estimate the action of the user squatting. Thus, for example, by using a sensor built-in band that can be worn on the ankle, or a sock with a built-in
足首にセンサ200を装着する場合は、足首が前に倒れる動作を検出することによっても、しゃがむ動作が行なわれていると推定することができる。但し、しゃがむことなく膝を曲げた場合にも足首の角度が変化するため、この場合にしゃがむ動作として誤って推定されてしまう可能性がある。変形例によれば、足首の角度から膝の高さをより正確に推定することで、しゃがむ動作をより高精度に推定することができる。
When the
図12は、変形例に係るしゃがむ動作の推定例を説明する図である。図13Aは、変形例に係るしゃがむ動作の推定時における地面(床)から第1部位までの高さH0を表す波形の変化例を示す図である。図13Bは、変形例に係るしゃがむ動作の推定時におけるL・sinPを表す波形の変化例を示す図である。図13Cは、変形例に係るしゃがむ動作の推定時におけるHを表す波形の変化例を示す図である。 FIG. 12 is a diagram illustrating an estimation example of the squatting motion according to the modification. FIG. 13A is a diagram illustrating a change example of a waveform representing a height H 0 from the ground (floor) to the first part at the time of estimating the squatting motion according to the modification. FIG. 13B is a diagram illustrating a change example of a waveform representing L · sinP at the time of estimating a squatting action according to the modification. FIG. 13C is a diagram illustrating a change example of a waveform representing H at the time of estimating a squatting action according to the modification.
図12に示すように、しゃがむ動作がなされるときには、(A)の状態から(B)の状態へと遷移する。具体的には、図13Aに示すように、H0は、地面に足をつけたまま第1部位の姿勢のみが変化していることから、(A)の状態と(B)の状態とでほとんど変化がない。一方、図13Bに示すように、L・sinPは、(A)の状態から(B)の状態への移行に伴い足首の角度が変化するため小さくなる。その結果、図12Cに示すように、Hは、(A)の状態のときよりも(B)の状態のときの方が小さくなる。これらから、行動推定部150は、しゃがむ動作として行動を推定する。 As shown in FIG. 12, when a squatting action is performed, the state transitions from the state (A) to the state (B). Specifically, as shown in FIG. 13A, H 0 changes between the state of (A) and the state of (B) because only the posture of the first part changes with the foot on the ground. There is almost no change. On the other hand, as shown in FIG. 13B, L · sinP becomes smaller because the angle of the ankle changes with the transition from the state (A) to the state (B). As a result, as shown in FIG. 12C, H is smaller in the state (B) than in the state (A). From these, the action estimation unit 150 estimates the action as a squatting action.
図14は、変形例に係る行動の推定をキャンセルする例を説明する図である。図15Aは、変形例に係る行動の推定のキャンセル時における地面(床)から第1部位までの高さH0を表す波形の変化例を示す図である。図15Bは、変形例に係る行動の推定のキャンセル時におけるL・sinPを表す波形の変化例を示す図である。図15Cは、変形例に係る行動の推定のキャンセル時におけるHを表す波形の変化例を示す図である。行動の推定のキャンセルとは、推定対象となる行動をユーザが行なっていないことを指す。 FIG. 14 is a diagram illustrating an example of canceling action estimation according to the modification. FIG. 15A is a diagram illustrating a change example of a waveform representing the height H 0 from the ground (floor) to the first part when canceling the behavior estimation according to the modification. FIG. 15B is a diagram illustrating a change example of a waveform representing L · sinP at the time of canceling action estimation according to the modification. FIG. 15C is a diagram illustrating a change example of a waveform representing H at the time of canceling the action estimation according to the modification. Cancellation of action estimation means that the user is not performing the action to be estimated.
図14に示すように、しゃがむ動作ではなく、単に、立ったまま膝を曲げるだけの動作が行なわれるときには、(A)の状態から(B)の状態へと遷移する。具体的には、図15Aに示すように、H0は、膝を曲げる動きに伴って足首が持ち上がるため、(A)の状態から(B)の状態へと遷移するにつれて大きくなる。また、図15Bに示すように、L・sinPは、膝を曲げる動きに伴って足首の角度が変化するため、(A)の状態から(B)の状態へと遷移するにつれて小さくなる。その結果、図15Cに示すように、Hは、(A)の状態と(B)の状態とで変化がない。このようなときに、行動推定部150は、推定対象の行動ではないものとして、行動の推定をキャンセルする。 As shown in FIG. 14, when the operation of merely bending the knee while standing is performed instead of the operation of squatting, the state transitions from the state (A) to the state (B). Specifically, as shown in FIG. 15A, H 0 increases as the ankle lifts with the movement of bending the knee, so that the state changes from the state (A) to the state (B). Also, as shown in FIG. 15B, L · sinP decreases as the angle of the ankle changes with the movement of bending the knee, and thus transitions from the state (A) to the state (B). As a result, as shown in FIG. 15C, H does not change between the state (A) and the state (B). In such a case, the behavior estimation unit 150 cancels the behavior estimation assuming that the behavior is not the estimation target behavior.
なお、上記のしゃがみ動作の推定の例では、第1部位を足首として説明したが、足の骨格の構造上、足首を前に曲げる場合、踵の角度も同時に変化することから、第1部位を踵としてもしゃがみ動作を推定できる。これにより、例えば、靴の踵部分にセンサ200を内蔵することでも、しゃがむ動作を推定できるため、ユーザの心理的負担をより軽減することができる。
In the above example of the estimation of the crouching motion, the first part has been described as the ankle. However, because of the structure of the foot skeleton, when the ankle is bent forward, the angle of the heel also changes at the same time. A crouching motion can be estimated even as a spear. Accordingly, for example, the squatting action can be estimated even by incorporating the
実施形態によれば、センサ200が装着される第1部位の姿勢情報や位置情報をもとに、第1部位の位置から一意に定まる部位であって、第1部位よりも体幹に近い部位である第2部位の位置情報を算出し、センサ200を装着したユーザの行動を推定するので、体幹以外の部位にセンサ200を装着する場合であっても、行動を高精度に推定することができる。また、実施形態によれば、センサ200を手首等の部位に装着するので、装着時の心理的負担が小さく、より多くのユーザに受け入れられやすい。また、実施形態によれば、第1部位に対して位置が一意に定まる部位であって、第1部位よりも体幹に近い部位である第2部位の位置情報から行動を推定するので、センサ200を装着する箇所の自由度が高い。
According to the embodiment, a part that is uniquely determined from the position of the first part based on posture information and position information of the first part to which the
また、上記実施形態に係る行動推定装置100は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することが可能である。実行されるプログラムは、上述してきた各機能を含むモジュール構成となっている。また、実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供しても良い。
Moreover, the
また、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。例えば、実施形態では、行動推定装置100とセンサ200とを別の筐体とする場合を例に挙げたが、上述してきた行動推定装置100の各機能をセンサ200に含めるようにしても良い。
The above-described embodiments are presented as examples, and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. Moreover, each embodiment can be combined suitably as long as the contents do not contradict each other. Each embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof. For example, in the embodiment, the case where the
100 行動推定装置
110 姿勢情報算出部
120 第1位置情報算出部
130 取得部
140 第2位置情報算出部
150 行動推定部
200 センサ
DESCRIPTION OF
Claims (7)
前記時系列情報から、前記第1部位の位置又は位置の変化を表す第1位置情報を算出する第1位置情報算出部と、
前記姿勢情報、前記第1位置情報、及び、前記第1部位と第2部位との間の距離を示す距離情報から、前記第2部位の位置又は位置の変化を表す第2位置情報を算出する第2位置情報算出部と、
前記第2位置情報の時系列変化から、行動を推定する行動推定部と、を有し、
前記第2部位は、前記第1部位に対して位置が一意に定まる部位であって、前記第1部位よりも体幹に近い部位である
行動推定装置。 A posture information calculation unit for calculating posture information representing a posture of the first part or a change in posture from time-series information indicating movement of the first part to which the sensor is attached;
A first position information calculation unit for calculating first position information representing a position of the first part or a change in position from the time series information;
Second position information representing the position of the second part or a change in the position is calculated from the posture information, the first position information, and distance information indicating a distance between the first part and the second part. A second position information calculation unit;
An action estimation unit that estimates an action from a time-series change of the second position information,
The behavior estimation apparatus, wherein the second part is a part whose position is uniquely determined with respect to the first part and closer to the trunk than the first part.
前記第2位置情報算出部は、前記距離の実測値、又は、前記距離を推定するための情報から算出した前記第1部位と前記第2部位との間の距離を用いて、前記第2位置情報を算出する請求項1に記載の行動推定装置。 An actual value of the distance, or an acquisition unit for acquiring information for estimating the distance;
The second position information calculation unit uses the measured value of the distance or the distance between the first part and the second part calculated from the information for estimating the distance, to calculate the second position. The behavior estimation apparatus according to claim 1 which calculates information.
センサが装着された第1部位の動きを示す時系列情報から、前記第1部位の姿勢又は姿勢の変化を表す姿勢情報を算出するステップと、
前記時系列情報から、前記第1部位の位置又は位置の変化を表す第1位置情報を算出するステップと、
前記姿勢情報、前記第1位置情報、及び、前記第1部位と第2部位との間の距離を示す距離情報から、前記第2部位の位置又は位置の変化を表す第2位置情報を算出するステップと、
前記第2位置情報の時系列変化から、行動を推定するステップと、を含み、
前記第2部位は、前記第1部位に対して位置が一意に定まる部位であって、前記第1部位よりも体幹に近い部位である
行動推定方法。 A behavior estimation method executed by a behavior estimation device,
Calculating posture information representing a posture of the first part or a change in posture from time-series information indicating movement of the first part to which the sensor is attached; and
Calculating first position information representing a position of the first part or a change in position from the time-series information;
Second position information representing the position of the second part or a change in the position is calculated from the posture information, the first position information, and distance information indicating a distance between the first part and the second part. Steps,
Estimating a behavior from a time-series change of the second position information,
The second part is a part whose position is uniquely determined with respect to the first part, and is a part closer to the trunk than the first part.
センサが装着された第1部位の動きを示す時系列情報から、前記第1部位の姿勢又は姿勢の変化を表す姿勢情報を算出するステップと、
前記時系列情報から、前記第1部位の位置又は位置の変化を表す第1位置情報を算出するステップと、
前記姿勢情報、前記第1位置情報、及び、前記第1部位と第2部位との間の距離を示す距離情報から、前記第2部位の位置又は位置の変化を表す第2位置情報を算出するステップと、
前記第2位置情報の時系列変化から、行動を推定するステップと、を実行させ、
前記第2部位は、前記第1部位に対して位置が一意に定まる部位であって、前記第1部位よりも体幹に近い部位である
行動推定プログラム。 In the behavior estimation device,
Calculating posture information representing a posture of the first part or a change in posture from time-series information indicating movement of the first part to which the sensor is attached; and
Calculating first position information representing a position of the first part or a change in position from the time-series information;
Second position information representing the position of the second part or a change in the position is calculated from the posture information, the first position information, and distance information indicating a distance between the first part and the second part. Steps,
Estimating a behavior from a time-series change of the second position information, and
The behavior estimation program, wherein the second part is a part whose position is uniquely determined with respect to the first part and closer to the trunk than the first part.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016054162A JP6478936B2 (en) | 2016-03-17 | 2016-03-17 | Behavior estimation device, behavior estimation method, and behavior estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016054162A JP6478936B2 (en) | 2016-03-17 | 2016-03-17 | Behavior estimation device, behavior estimation method, and behavior estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017164376A JP2017164376A (en) | 2017-09-21 |
JP6478936B2 true JP6478936B2 (en) | 2019-03-06 |
Family
ID=59909493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016054162A Active JP6478936B2 (en) | 2016-03-17 | 2016-03-17 | Behavior estimation device, behavior estimation method, and behavior estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6478936B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008030534A1 (en) * | 2008-06-27 | 2009-12-31 | Bort Medical Gmbh | Device for determining the stability of a knee joint |
US9165113B2 (en) * | 2011-10-27 | 2015-10-20 | Intel-Ge Care Innovations Llc | System and method for quantitative assessment of frailty |
EP2775904B1 (en) * | 2011-11-11 | 2020-07-22 | National University of Ireland, Galway | A system for the management and prevention of venous pooling |
WO2014114967A1 (en) * | 2013-01-25 | 2014-07-31 | WENNER, Fabian | Self-calibrating motion capture system |
-
2016
- 2016-03-17 JP JP2016054162A patent/JP6478936B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017164376A (en) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5623294B2 (en) | Behavior monitoring system unaffected by accelerations induced by external motion factors | |
JP6183906B2 (en) | Gait estimation device and program, fall risk calculation device and program | |
RU2550934C2 (en) | Fall prevention | |
US9804189B2 (en) | Upper body motion measurement system and upper body motion measurement method | |
JP6080078B2 (en) | Posture and walking state estimation device | |
JP7327516B2 (en) | Abnormality detection device, judgment system, abnormality detection method, and program | |
JP2010005033A (en) | Walking motion analyzer | |
JP6881451B2 (en) | Walking state judgment device, walking state judgment system, walking state judgment method and program | |
US20170086710A1 (en) | Activity amount measuring apparatus, activity amount measuring method, and activity amount measuring program | |
JPWO2014108948A1 (en) | Measuring device, footwear and information processing device | |
KR20180085916A (en) | Method for estimating position of wearable devices and apparatus using the same | |
JP2020120807A (en) | Fall risk evaluation device, fall risk evaluation method and fall risk evaluation program | |
JP6794793B2 (en) | Walking state estimation method, walking state estimation program and information processing device | |
JP2008054768A (en) | Pedometer device and pedometer measuring method | |
JP6478936B2 (en) | Behavior estimation device, behavior estimation method, and behavior estimation program | |
JP7173102B2 (en) | Information processing device, information processing method and program | |
JP7243852B2 (en) | Foot angle calculator, gait measurement system, gait measurement method, and program | |
WO2015019856A1 (en) | Stair walking detection device, stair walking detection method, and program | |
JP6303746B2 (en) | Setting the walking target | |
KR101773140B1 (en) | Method and apparatus for caculating meal time | |
WO2023127015A1 (en) | Muscle strength evaluation device, muscle strength evaluation system, muscle strength evaluation method, and recording medium | |
US20230397839A1 (en) | Waist swinging estimation device, estimation system, waist swinging estimation method, and recording medium | |
WO2023127010A1 (en) | Mobility estimation device, mobility estimation system, mobility estimation method, and recording medium | |
WO2022101971A1 (en) | Detection device, detection system, detection method, and program recording medium | |
WO2022070416A1 (en) | Estimation device, estimation method, and program recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181226 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6478936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |