JP5028751B2 - 行動認識装置 - Google Patents

行動認識装置 Download PDF

Info

Publication number
JP5028751B2
JP5028751B2 JP2005169507A JP2005169507A JP5028751B2 JP 5028751 B2 JP5028751 B2 JP 5028751B2 JP 2005169507 A JP2005169507 A JP 2005169507A JP 2005169507 A JP2005169507 A JP 2005169507A JP 5028751 B2 JP5028751 B2 JP 5028751B2
Authority
JP
Japan
Prior art keywords
sensor
action
signal
rotation
linear motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005169507A
Other languages
English (en)
Other versions
JP2006340903A (ja
Inventor
クラークソン ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005169507A priority Critical patent/JP5028751B2/ja
Priority to US11/435,746 priority patent/US7421369B2/en
Priority to CNB2006100916757A priority patent/CN100545658C/zh
Priority to EP06011895.7A priority patent/EP1731097B1/en
Publication of JP2006340903A publication Critical patent/JP2006340903A/ja
Application granted granted Critical
Publication of JP5028751B2 publication Critical patent/JP5028751B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G01C22/006—Pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Description

本発明は、行動認識装置に関する。
人間の行動の分類は、カメラ、マイクロホン（非特許文献５）、慣性センサ（非特許文献４）およびゴニオメータにより試みられてきた。各センサあるいはセンサの組合せについては、研究者は、程度の差はあるものの、行動を分類することができるカスタムアルゴリズムも開発している。人間行動の分類の一部は人間の動作の正確な測定を得ることにあるので、使用される技術は、キャラクタアニメーション、運動科学およびバイオメカニクスに使用される方法とオーバラップしている。しかしながら、本願の発明者は、モバイルで拘束の無い状況下で、人間の行動をいかに判定し分類するかの問題に取り組んでいる。少数のセンサモダリティを除くすべてのものが適切である。
コンピュータ・ビジョン
そのように抑制された方法の一群においては、静止カメラまたは着用可能なカメラ（非特許文献１０）による対象者のモニタリングが含まれている。多くの場合、視覚的なトラッキングを単純化するために光学マーカが対象者の身体に付けられる。対象者の動きは、上記マーカの動きから逆運動学モデル（inverse-kinetic model）によって推論することができる。
この方法は、極めて豊富で完全な測定を提供することができるが、それは、カメラの視野内の、明るい空間で使用することができるだけで、移動性のモバイルアプリケーションでの使用は妨げられている。
コンピュータ聴覚
マイクロホン（身体上、および環境中）を使用して、研究者がユーザの行動の自動判定を試みた例（非特許文献２および非特許文献９を参照）もある。しかしながら、モーションセンサの主な利点は、より低いデータ速度（それははるかに低い計算負荷となる）およびユーザの動作だけを測定する能力である。オーディオにおいては、ユーザの行動によって引き起こされた音は、常に変化する環境音の背景と混ざっている。これら前景と背景の分離は、モーションセンサを使用する場合には生じない未解決の問題である。
絶対関節角度検知
この方法の群おいては、対象者の関節の角度を測定するための、対象者の身体へのセンサの直接装着が含まれている。可能なセンサとしては、電位差計および回転エンコーダ（これらは共に、対象者の関節角度の変化をセンサに送信するように外骨格（exoskeleton）に要求する）、曲げセンサ（曲げおよび屈曲を検知する材料片）並びに慣性センサ（ニュートンの第一運動法則によって主に速度変化を測定する加速度計およびジャイロ）である。病院関係では、重力に対する角度を測定するためにゴニオメータ（チルトセンサに相当）がしばしば使用される。
慣性検知
これら中でも、慣性センサおよびチルトセンサだけが、衣類（外骨格または曲げ検知材料片）への広範囲な改変を必要とせず、あるいは特別の付属品を必要とせずに、対象者の動きの測定に使用することができる。更に、慣性センサは、ユーザがポケットまたはバッグの中で単に保持するか運ぶことができる他の装置の内部に完全に収納することができる。このため、モバイル機器の中であるいは自立型機器としての使用においては、これらセンサは魅力的なものとなる。
他の関連研究、例えば、非特許文献７、非特許文献８、特許文献１、特許文献２も開示されている。
Dimitri P. Bertsekas. Nonlinear Programming. Athena Scientific, 2nd edition, 1995. Brian Clarkson, Alex Pentland, and Kenji Mase. Recognizing user context via wearable sensors. In Fourth International Symposium on Wearable Computers （ISWC), 2000. Masataka Ishikawa. United states patent 5,297,028: Method and apparatus for correcting drift errors in an angular rate sensor. Filed by Zexel Corporation Daihatsu-Nissan, Tokyo, Japan, August 1991. Holger Junker, Jamie Ward, Paul Lukowicz, and Gerhard Troster. Continuous recognition of arm activities with body-worn inertial sensors. In Proceedings of the 8th International Symposium on Wearable Computers, 2004. Paul Lukowicz, Jamie Ward, Holger Junker, Mathias Stager, Gerhard Troster, Amin Atrash, and Thad Starner. Recognizing workshop activity using body-worn microphones and accelerometers. In Second IEEE International Conference on Pervasive Computing and Communications, 2004. Thomas P. Minka. Old and new matrix algebra useful for statistics. Technical report, Massachusetts Institute of Technology, 2000. Bruno Scherzinger. United states patent 6,853,909: Walking stick navigator for position determination. Filed by Applanix Corporation, Inc., Ontario, Canada, November 2002. Douglas Smith, Aaron Joseph, David Boone, Robert Borchers, and Ernest Burgess. United states patent 5,485,402: Gait activity monitor. Filed by Prosthetics Research Study, Seattle, WA, March 1994. Mathias Staeger, Paul Lukowicz, and Gerhard Troester. Implementation and evaluation of a low-power sound-based user activity recognition system. In Eighth International Symposium on Wearable Computers （ISWC), 2004. Thad Starner, Josh Weaver, and Alex Pentland. Real-time american sign language recognition using desk and wearable computer-based video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20（12):1371-175, December 1998. Tero Tolonen and Matti Karjalainen. A computationally efficient multipitch analysis model. IEEE Transactions on Speech and Audio Processing, 8（6), November 2000. Robert Levi and Thomas Judd. United States Patent 5,583,776: Dead reckoning navigational system using accelerometer to measure foot impacts. Filed by Point Research Corporation, Santa Ana, CA, March 1995. Christopher Townsend and Steven Arms. United States Patent 6,834,436: Posture and body movement system. Filed by MicroStrain, Inc., Williston, VT, February 2002.
しかしながら、慣性センサで正確な動作測定をすることは、これらのセンサが持つ、衝撃、温度、電気的なノイズなどに対する感度のため、極めて困難であると歴史的に分かっている。例えば、ジャイロ（角速度センサ）は、温度に依存しているが、これは非特許文献３で説明されている。キャリブレーションも必要である。というのは、これらの装置が、典型的にはその出力に影響する任意のオフセットおよびスケールファクターを有するからである。
さらに、慣性センサは、対象者の基準フレームに関する概念を持っておらず、測定は、常に物理的なセンサに対して行われている。１つの例外としては、適切に向けられた加速度計が地球の重力場を測定することができるので、下方向を判定する方法を提供し得ることである。これが働くために、加速度計は他の未知の加速下にあってはならない。
従って、上述の課題を考慮して、対象者の基準フレームに関する慣性センサの向きについてどのような前提条件も課することなく、慣性センサを使用して行動認識を行ない、行動認識システムを実用に際しての柔軟性を高めることが望ましい。
本発明の一実施形態によれば、対象の行動を判定するための行動認識装置が提供される。前記行動認識装置は、互いに直交する直線運動を検知するように構成された複数の直線運動センサおよび複数の回転運動センサを有し、該回転運動が互いに直交しているセンサユニットと、前記対象の行動を検知するために前記センサユニットに含まれたセンサから信号を受信し処理するように構成された演算ユニットとを具備する。前記センサユニットは、前記対象に対して任意の向きで、該対象により直接あるいは間接的に支持され、前記演算ユニットは、前記回転運動センサからの信号を積分することで第１の回転を算出し、重力モデルおよび前記直線運動センサからの信号を用いて第２の回転を算出し、前記回転運動センサからの信号が一定である場合、前記第１の回転の重みをより大きくし、前記直線運動センサからの信号が一定である場合、前記第２の回転の重みをより大きくするようにして、前記センサユニットの下方向のトラッキングを行い、前記直線運動センサおよび前記回転運動センサの両方からの信号を使用した計算を行なうことによって前記対象の行動を判定する。
本発明の実施形態においては、前記センサユニットは、任意の向きで、前記対象により直接あるいは間接的に支持される。言いかえれば、前記センサユニットからの信号は、前記対象の座標における前記センサの向きについての情報を何ら持っていない。しかしながら、前記センサユニット全体の異なる動きは、前記対象の異なる行動に対応する。
従って、前記センサユニット全体の動きを検知し、該検知された動きと、前記対象の対応する行動あるいは該行動に関係した対応する動作特徴量（signature）とを関連させることにより、前記センサユニットの向きに依存することなく前記対象の行動を判定することができる。
本発明によれば、対象の基準フレームに関する慣性センサの向きについてどのような前提条件も課することなく、慣性センサを使用して行動認識を行ない、行動認識システムを実用に際しての柔軟性を高めることができる。
図面を参照して、本発明の実施形態について述べる。
図１は、本発明の一実施形態による、対象の行動を判定するための行動認識装置の構成例を示す。本装置は、センサユニット１０および演算ユニット２０を有する。センサユニット１０は、直線運動を検知するよう構成された複数の直線運動センサおよび複数の回転運動センサを有しており、該直線運動は互いに直交であり、該回転運動は互いに直交である。演算ユニット２０は、センサユニットに含まるセンサから信号を受信して処理し、対象の行動を出力するように構成されている。センサユニット１０は、対象に対して任意の向きで、対象により直接あるいは間接的に支持される。演算ユニット２０は、直線運動センサおよび回転運動センサの両方からの信号を用いて計算を行ない、センサユニットの向きに依存することなく行動を判定する。
前記複数の直線運動センサは、３つの直交軸での加速度を測定する３つの加速度計であってもよく、また複数の回転運動センサは、３つの直交軸のまわりの角速度を測定する３つのジャイロセンサであってもよい。演算ユニット２０は、加速度計およびジャイロセンサからの６つの出力を用いて、対象の現在の行動を判定するようにしてもよい。
前記演算ユニットは、予め定めた期間複数組のセンサ出力から形成された観察シーケンスを格納するように構成されたバッファと、異なる行動の動作特徴量に対応する複数の基準シーケンスを格納するように構成された記憶部と、前記観察シーケンスと前記基準シーケンスとのマッチングを行い、最適マッチングした基準シーケンスを見つけるように構成されたマッチングプロセッサとを具備してもよい。さらに、前記マッチングプロセッサは、最適マッチングした基準シーケンスを得るために、最適の回転、および前記観察シーケンスと前記基準シーケンスの１つとの時間的な対応関係を見つけてもよい。
さらに、前記基準シーケンスが、隠れマルコフモデルでの状態を表わす複数のベクトルを含み、前記観察シーケンスと前記基準シーケンスとの間のマッチングは、最適の状態経路を得るためのビタビアルゴリズムを用いて行なわれていてもよい。
また、前記演算ユニットは、さらに、前記直線運動センサからの信号の自己相関性および前記回転運動センサからの信号の自己相関性を計算し、これらの自己相関性を合計して簡略化された自己相関関数を得ることで、前記対象の歩行レートを検知し、前記簡略化された自己相関関数は、前記対象の歩行レートを決定するために使用されていてもよい。
また、前記演算ユニットは、さらに、前記回転運動センサからの信号を積分することで第１の回転を算出し、重力モデルおよび前記直線運動センサからの信号を用いて第２の回転を算出し、該第１および第２の回転の加重補間を行なうことで、前記センサユニットの回転を検知しても良い。さらに、前記回転運動センサからの信号における変化がより小さい場合、前記第１の回転の重みがより大きく、前記直線運動センサからの信号における変化がより小さい場合、前記第２の回転の重みがより大きい。
また、前記行動認識装置は、基準行動の基準動作特徴量とそれに対応する位置とを格納するように構成された記憶部をさらに具備してもよい。さらに、前記演算ユニットはさらに、前記センサからの信号で表わされる現在の行動が前記基準行動であるかどうかを判定し、該現在の行動が前記基準行動である場合には、最適マッチングした基準動作特徴量に対応する前記基準動作特徴量と前記現在の行動に対応する動作特徴量とをマッチングして、前記センサユニットの位置を決定してもよい。
本発明のさらに他の実施形態を以下に説明する。以下の実施形態では、行動認識が可能な、センサユニットおよび演算ユニットを含むシステムが提供される。以下の実施形態では、センサユニットが対象によって「支持され」ており、センサユニットからの出力に基づいて、演算ユニットが対象の現在の行動のタイプを判定するものと想定している。
（１）システム概略
本実施形態においては、図２で示されるように、リアルタイムで様々な共通的人間行動を分類するために、６自由度（ＤＯＦ）慣性センサが、センサユニット１０として使用される。以下の説明では、用語「センサ」は６−ＤＯＦ慣性センサを指し、また、「ユーザ」はセンサを持っているか着用している対象者１を指し。更に、用語「装置」は、慣性計測装置（ＩＭＵ）と、センサおよびユーザ行動の分類方法のステップを実行するための前記演算ユニット２０とを組み合わせた本システムを指す。分類の結果は出力しても良く、あるいはアプリケーションに転送されても良い。
人間の行動を測定するために慣性センサを使用することが、以前に試みられたことはあるが、本システムを定義付ける特徴は、任意のセンサの向きで人体のほとんどいかなる場所でも完全に自動的に作動するという能力である。本実施形態において、本システムは、ユーザの行動および装置の状態の異なる態様のための４つの相異なる方法を統合している。その各々の方法は、センサの向きに関していかなる前提条件をも課すことなく、実行することができる。これら方法としては、歩行周波数測定方法２１、ユーザ上における装置の位置測定方法２２、動作トラッキング方法２３、および回転不変ビタビ（Rotation-invariant Viterbi）マッチング方法２４が含まれる（図２参照）。
センサは、ユーザにより直接または間接的に支持または保持されていても良い。例えば、装着の方法としては以下（完全に網羅しているものではない）が可能である。
・ユーザは、センサを手に持っている。
・ユーザは、センサを身に着けている財布かバックパック中に入れている。
・センサは、ユーザの体または衣類に固くまたはやや固く付けられている。
・センサは、ユーザの首かウエストに懸けられている。
・センサは、ユーザの靴、宝石、帽子、手袋、携帯用電子機器、その他ユーザが着用または持ち歩くことが通常の利用形態に含まれている物に組み込まれている。
・センサは、その時点でユーザを移動させている乗り物の内部に取り付けられているかまたはそこに置かれている。
また、本実施形態は、センサの動作がユーザの動作と関係を持つものであれば、センサとユーザの組み合わせがいかなる形式であっても、その適用が可能である。
（２）物理的装置
本実施形態の簡単で具体的な説明のために、６−ＤＯＦ慣性センサが、ｘ、ｙおよびｚ方向の線形加速度並びにｘ、ｙおよびｚ軸のまわりの角速度を測定する部品からできていると仮定する。ただし、以下に説明する方法は、６−ＤＯＦを測定するための他の方式に簡単に適用することができる。
本実施形態において、図３（ａ）で示されるように、本システムは、微小センサ１０ａおよびホスト装置３０ａに埋め込まれた演算ユニット２０を備えていてもよい。微小センサ１０ａは、６−ＤＯＦ慣性センサ１０ａ−１および演算ユニット２０ａにセンサデータを送信するための無線トランスミッタ１０ａ−２を含んでいる。あるいは、無線トランスミッタ１０ａ−２の代わりに、一定期間センサデータを格納するためのメモリが設けられていてもよい。微小センサ１０ａがホスト装置３０ａに接続された場合、格納されたデータが演算ユニット２０ａに転送されてもよい。
あるいは、６−ＤＯＦ慣性センサ１０ｂおよび演算ユニット２０ｂを含む本システム全体は、図３（ｂ）で示されるような携帯電話またはポータブルゲーム装置のような単一のホスト装置３０ｂに埋め込まれていてもよい。
（３）センサ信号調整およびキャリブレーション
以下、リアルタイムでユーザの行動の分類を行うための、センサからの生のセンサデータの演算処理を説明する。最初、センサの生の出力を表わすいくつかのシンボルが定義される：
Figure 0005028751
Figure 0005028751
本装置のセンサからの各サンプルは、数式（１）および（２）で特定される６つの値を含んでいる。ｕ（ｔ）センサ値は、ｉ−、ｊ−およびｋ−軸に沿った本装置の加速に直線的に比例する。これらは、例えばＭＥＭＳ加速度計か同様の機器によって測定されると考えることができる。ｖ（ｔ）センサ値は、ｉ−、ｊ−およびｋ−軸のまわりの本装置の角速度に直線的に比例する。これらは、例えばＭＥＭＳジャイロか同様の装置から得られると考えることができる。図４は、本装置自体のローカル座標システム（ｉ−ｊ−ｋ）での基準方向に関してすべての測定がなされることを示す。
ｐ（ｔ）∈Ｒ3が、任意の世界座標系（例えば図４の中のｘ−ｙ−ｚ）での、本装置の位置であり、ｇ（ｔ）∈Ｒ3が、ローカル座標システムでの地球の重力場の加速度であり、ｑ（ｔ）∈Ｒ3が、そのローカル座標システムでの本装置の向きであると仮定すると、以下のように書くことができる：
Figure 0005028751
Figure 0005028751
勾配（gradient）はすべて、本装置のローカル座標システムに関して得られる。ＡとＢは、３×３拡大縮小行列（scaling matrix）である。対角線成分は、センサ出力（例えば電圧）を標準物理単位（例えばｍ／ｓ2およびo／ｓ）に変換する倍率（感度としても知られている）を特定する。同時に、非対角成分は、多少の不整合（例えば、θおよびΦジャイロ間の角度は、正確には９０度ではない）によるセンサ間のクロストークについて記述している。典型的なセンサによって示された任意のオフセット（バイアスとしても知られている）は、ｕ0とｖ0によって示される。量子化雑音を含んでいるセンサノイズは、ランダム変数∈u（ｔ）および∈v（ｔ）のシーケンスとして、各センサについて特定される。
数式（３）および（４）は、本装置の実際の動作がセンサの測定にどのようにして変換されるのか説明している。（３）および（４）の式が加速度と角速度について解かれた場合、次の式が得られる：
Figure 0005028751
Figure 0005028751
信号キャリブレーションには、Ａ、ｕ0、Ｂ、ｖ0の値を決定することが含まれている。ＩＭＵ内部で使用される実際の部品に依存して、これらの値は、生産条件、周囲温度、駆動電圧などに依存している可能性がある。しかしながら、動作トラッキング方法だけは、これらのパラメータが既知であることを必要とする。ここで与えられた他の方法２１〜２２および２４のすべては、キャリブレーションを行なっていないセンサ値を使用することができる。
最後に、ＩＭＵからの連続的な信号があらかじめ定められたレートでサンプリングされ演算ユニットへ転送されるか、あるいは、該信号が予めＩＭＵでデジタル化される。本明細書の残りの部分では、ｒimuを、ＩＭＵの出力のデジタルサンプリングレートとする。したがって、ＩＭＵのデジタル化された出力は、次のように書くことができる：
Figure 0005028751
Figure 0005028751
Figure 0005028751
（４）歩行周波数測定方法
このセクションでは、ユーザの行動を判定し、例えばユーザが歩いているか、走っているか、移動していないのかどうか等を判定し、その人の歩行レートをトラッキングする我々の方法について説明する。この方法は、ユーザの身体上の任意の位置に置かれた装置で有効である。歩調検出およびトラッキングのための本方法は、加速度センサの出力において明らかな反復動作の周期のトラッキングを含んでいる。
周期的信号の周期を検知・測定するための一般的方法では、信号の自己相関性（autocorrelation）におけるピークを見つける。加速度センサ出力（ｕ）の自己相関性が、ＩＭＵの実際の加速度の自己相関性にどのように関連しているかを確かめるために、ｉ番目のフレームの▽2ｐ（多変数）自己相関性は次のように書くことができる：
Figure 0005028751
ここで、＊が相互相関（cross-correlation）演算子を示し、そして、
Figure 0005028751
数式（１０）の第１項Φ1は、ＩＭＵおよび重力の加速度の周期性（ＩＭＵの向きのみに依存する）を含む最も重要な項である。第２項Φ2は、加速度と重力の間の相互相関である。人体に関するどんな種類の自然な反復運動についても、ｇ（ｔ）および▽2ｐは、同じ周期を共有することが、ほとんど保証されるので、その自己相関性Φ1および相互相関性Φ2は、建設的に加わる。最後の項Φ3は、様々な項のノイズおよびオフセットの相関性を含んでいる。これらの相関性は周期性を示さず、数式（１０）の最終の自己相関性に単にノイズおよび一定のバイアスを加えるであろう。ジャイロセンサ出力の自己相関性の有効性、ｖは正確に同じ議論に従う。
実用においては、自己相関性分析が行われるべき短い時間間隔が選ばれ、分析が行われるべきレートが選ばれる。Ｔgaitを１つの歩行分析フレーム（例えばセンサデータの間隔）の時間長とし、ｒgaitを歩行分析のレートとする。そうすれば、数式（１０）において、以下は１つの分析フレーム中のベクトルの数である。
Figure 0005028751
本方法には、ｕとｖの自己相関性の計算と、ＩＭＵ全体の動作の簡略化自己相関関数（ＳＡＣＦ）を得るために結果集計とが含まれる：
Figure 0005028751
時間的分解能の効率および改善のために、ウィーナ・ヒンチン定理（Wiener-Khinchin Theorem）が、ウインドウ付きの自己相関性を計算に使用される。一般に、ｘ［ｔ］が任意のシーケンスで、Ｘ［ω］＝Ｆ｛ｘ｝が離散的フーリエ変換（ＤＦＴ）であり、Ｗ［ω］＝Ｆ｛ｗ｝がウインドウ関数（例えばハミングウインドウのような）のＤＦＴであれば、次式のとおりである：
Figure 0005028751
高速フーリエ変換（ＦＦＴ）を用いて数式（１３）の中のＤＦＴを計算することで、数式（１２）の自己相関性の演算が極めて効率的となる。
ＡＣＦのピークは、データ中の任意の周期的な動作の周期に相当する。しかしながら、ＡＣＦが、任意周期における実周期の整数倍でのピークをも含むので、非特許文献１１で導入されたものに類似するピーク除去手順が、増強された簡略化自己相関関数（ＥＳＡＣＦ）を計算するために使用される。このピークを除去する技術は以下のとおりである：
＿＿＿＿＿＿＿＿＿___________________________________________________
ＰＲＵＮＥ−ＨＡＲＭＯＮＩＣＳ（ＳＡＣＦ）はＥＳＡＣＦを返す。
１．ＳＡＣＦを正の値にクリップする。
２．因数２で、アップサンプリングおよび補間をする。
３．クリップしたオリジナルから、アップサンプリングされたものを差し引く。
４．再度、正の値にクリップする。
５．３、５、７などの素数について、２〜４を繰り返す。
＿＿＿＿＿＿＿＿＿___________________________________________________
この手順の目的は、連続して各ピークの倍数をすべて削除し、その結果、基本周期だけを残すことにある。
最も高いピーク（非ゼロ遅延）およびしきい値が選択された場合、周期的な動作（例えば歩行のような）がある時間や、それがどの程度のピッチであるかをか決めることが可能である。τ*が、ＥＳＡＣＦで最も高いピークの遅延であれば、歩調ピッチは以下のとおりである：
Figure 0005028751
あるしきい値（分析期間内の信号におけるエネルギの割合として定義される）を超える値を有するピークがない場合、本システムは、ユーザが歩いてもいないし走ってもいない（歩調ピッチ＝０ヘルツ）と報告することができる。歩調ピッチは、経時的に変化するので、上記の分析は、連続する分析間隔のそれぞれについて繰り返し行われ、ｒgaitのレートで、歩調ピッチの評価がなされる。
（５）動作トラッキング方法
このセクションでは、下方向トラッキングを行ない、本装置の向きがいかに変わっても、または動いても、連続的に方向決定（heading）を行なう方法２３が提供される。この方法では、ＩＭＵからの出力はキャリブレーションされたものであると仮定する。
３軸ジャイロ検知データは、ＩＭＵの向きをトラッキングするための十分な情報を含んでいる。しかしながら、ジャイロにはすべて、ドリフトやその他のタイプのエラーの蓄積という課題がある。したがって、向きをトラッキングするために単なるジャイロ情報を用いると、短期では極めて正確であるが、長期では大きなトラッキングエラーとなる。
３軸加速検知データは、地球の重力が働いているのがどの方向であるかについての情報を含んでいる。地球の引力の方向についての知識によれば、最大２つの自由度で、ドリフトなしにＩＭＵの向きをトラッキングすることができる。この方法で加速度計を単に使用することについての問題は、ＩＭＵに作用が働いた（ある外部の力によって移動された）場合、地球の引力の推定が破綻するということである。
人間にとって一定の加速あるいは速度で移動したり、または他の対象者を移動させることは非常に難しく、また、不自然である。同様に、回転に関して、一定角速度で回転したり、または他の対象者を回転させることは人間にとって非常に難しい。
下方向をロバストに推定するためには、加速度計信号が一定の場合、加速度測定にもっと依存することが望ましい。というのは、人間が本装置に対して作用していない可能性が極めて高いからである。反対に、加速度計信号が一定の値ではない場合、ジャイロ測定により大きく依存することが望ましい。
この原理は、さらに、ジャイロ信号のオンライン再ゼロ化にも適用できる。言いかえれば、ジャイロ測定が一定の場合、そのジャイロ測定は再ゼロ化されることが望ましい。これは幸いにも、トラッキングの加速度測定にほとんど依存している場合でも真実である。
図６は、動作トラッキング方法のための演算パイプラインを示す。センサを含むＩＭＵ４０からの線形加速度データ４１０は、重力だけがＩＭＵ４０に作用しているという信頼度４１２を計算するために使用されると共に、垂直モデル４１４（後述する）への入力として使用される。ＩＭＵ４０からの角速度データ４２０は、ＩＭＵ４０が回転していないという信頼度４２２を計算するために使用されると共に、ジャイロ積分部４２４への入力として使用される。
垂直モデル４１４およびジャイロ積分４２４は、ＩＭＵの向きに関する個別の推定、つまりＱplumbおよびＱgyro（後述）を出力する。その後、ＱplumbとＱgyroは、信頼度スコアを用いて組合せられ、一方対他方（４３０）に重みを付けて、該重み付けされた補間を行ない、ＩＭＵの推定向きを計算する。ジャイロ積分は、前のタイムステップにおける向きに対する相対的な向きを計算するため、フィードバックが必要となる。
垂直モデル４１４は、向きの絶対的な推定を与えるので、フィードバックは必要としない。
（５.１）垂直モデル
２つの自由度でのみとはいえ、垂直モデルは、向きを測定するために地球の引力を用いる。要するに、このモジュールは、ＩＭＵ４０の座標系において、現在の下降ベクトル（down vector）を単位基準ベクトル（r）にマッピングするための回転を出力する（図４参照）。この基準ベクトルは、任意にあるいはゼロ化中に選ぶことができる。その結果として生じる回転は、次のような四元数（quaternion）形式で与えられる:
Figure 0005028751
ここで、ａ［ｔ］＝（ａx［ｔ］，ａy［ｔ］，ａz［ｔ］）Tは回転軸であり、θ［ｔ］は回転角である。下降ベクトルは、単に、正規化された線形加速度（重力以外の力がＩＭＵ４０に作用していないと仮定して）である：
Figure 0005028751
基準ベクトルおよび下降ベクトルの外積は回転軸を与える:
Figure 0005028751
ｓｉｎ（θ［ｔ］/２）（またｃｏｓ（θ［ｔ］/２）は、次のように、図７から直接計算される（埋込型アプリケーションで実行するのが難しい逆三角関数を使用しないで）：
Figure 0005028751
Figure 0005028751
（５.２）ジャイロ積分
ジャイロの角速度測定の積分は単純である。入力として、一つ前のＩＭＵの向き、Ｑ［ｔ−１］が必要である。最初、軸の回転はそれぞれ、ローカル座標（図４中のi−j−k）で四元数回転として表わされる：
Figure 0005028751
Figure 0005028751
Figure 0005028751
その後、これらのローカルの四元数は、一つ前のＩＭＵの向きＱ［ｔ−１］を用いて世界座標系へ回転される：
Figure 0005028751
Figure 0005028751
Figure 0005028751
そして、それらを組み合せることで、次の向きを表わす１つの四元数となる。
Figure 0005028751
（６）動作特徴量の比較方法
このセクションで示された方法２４（図２参照）は、未知の向きのＩＭＵにより集められた同期されていない動作特徴量をどのように比較するかという問題を解決する。例えば、典型的なアプリケーションでは、リアルタイムの信号を動作特徴量のデータベースにマッチングさせることを要求するであろう。しかしながら、ＩＭＵの向きは、データベース中の動作特徴量を生成するために使用されるＩＭＵの向きとは任意に異なっているかもしれない。更に、データベース中の動作特徴量に対してテスト信号を時間的に整合させる適切な方法を決定しなければならない。
本実施形態による回転不変ビタビ（Rotation-invariant Viterbi）アルゴリズム（ＲＩＶＩＴ）は、最適の回転および２つの動作特徴量の時間的な対応関係を見つける目的で設計されている。列が加速度および角度のコンポーネントの積み重ねられた値である行列として、考慮中の２つのシーケンスが表わされると仮定すると、
Figure 0005028751
シーケンスＸおよびＹの長さは、それぞれＴXとＴYである。
図８（ａ）および図８（ｂ）は、異なる長さおよびそれらの間の任意の回転を持っている可能性のある、２つの多次元シーケンスの例を示す。特に、この例は、座った状態での行動の動作特徴量のシーケンスであるが、ＩＭＵは各場合で異なる向きを持っていた。さらに、図８（ａ）中の座った状態での行動は、図８（ｂ）の場合より速かった。
ある任意の回転およびある任意の時間伸縮（time-warping）内で、これらの２つのシーケンス間の類似を計算する場合、問題は次の基準（measure）の最小化と述べてもよい：
Figure 0005028751
上記は、回転行列Ｒおよび対応行列（correspondence matrix）Ｃであるその自由パラメータについてであり、ここでシンボル「’」は転置行列を意味する。対応行列は、Ｘの時間次元（列）をＹの時間次元（列）上にマッピングする、特別の種類の射影行列（projection matrix）である。｛０，１，．．．，ＴX−１｝の各整数を、｛０，１，．．．，ＴY−１｝の整数に割り当てる関数（c（ｔ））を持っていると仮定すると、その対応行列は以下のように構成することができる：
Figure 0005028751
ＤR,C（Ｘ，Ｙ）を最小化する場合、Cを対応するｃ（ｔ）が減少しない行列に抑制することが望ましい。図８（ｃ）は、可能なマッピングの例を挙げる。最適Ｃのマップは、Ｙと整合させるためにＸをいかに伸ばし圧縮すべきか（いくつかのセクションを削除し、他のものを繰り返すことも可能）を決定する。最適の回転行列Ｒは、ＸのすべてのベクトルがＹのベクトルとマッチングするにはどのように回転すべきかを決定する。
数式（２８）を最小化にするためにここで用いられる方法は、座標降下法（Coordinate descent method：非特許文献１）と呼ばれる。並行演算に容易に適応される単純な反復法である。その主旨は、各反復中の１つの単一軸に沿って誤差関数を最小化にすることである。数式からわかるように、これは最小化問題を極めて単純化するが、各軸を順次処理していく場合、連続的に各座標を最小化することができる。本数式は極小値に収束することが知られている。そのときＲとＣに制約がなかった場合、ＤR,C（Ｘ，Ｙ）は凸状であるので、この極小はグローバルな最小でもある。しかしながら、本実施形態では制約があるので、ローカルの状態（localness）だけが保証される。次のセクションでは、各軸ＲおよびＣに関する誤差関数を最小化にする方法について述べる。
（６.１）Ｒに対するＤR,C（Ｘ，Ｙ）の最小化
Ｒだけに対してＤR,C（Ｘ，Ｙ）を最小化する簡単な方法がある。以下のように定義する：
Figure 0005028751
この最小化問題の解は、極分解（Polar decomposition：詳細な導き出し方については非特許文献６参照）として知られており、その解は次のとおりである：
Figure 0005028751
行列ＶおよびＵは、ＸＣＹ’＝ＵＤＶ’の特異値分解（Singular Value Decomposition：ＳＶＤ）から得られる。なお、ＸＣＹ’の大きさは６×６であるので、ＳＶＤのコストはシーケンスの長さに依存しない。
本願の発明者は、同じ回転がジャイロおよび加速度計の部品に適用されるように、Ｒを抑制することが有益であることを知見した。これは、Ｒの構造が、次のように対角行列であることが望ましいことを意味する：
Figure 0005028751
ここで、Ｑは３×３回転行列である。この制約は、Ｑ＝ＶＵ’の計算により容易に満たすことができる。ただし、ここでは、ＶとＵは、ＵXＣＵY'＋ＶXＣＶY'＝ＵＤＶ’のＳＶＤから得られる。
（６.２）Ｃに対するＤR,C（Ｘ，Ｙ）の最小化
動的時間伸縮（ＤＴＷ：dynamic time warping）を用いて、Ｃだけに対するＤR,C（Ｘ，Ｙ）を最小化する方法がある。以前と同様に、次のように定義する：
Figure 0005028751
Ｃを行列として直接見つける代わりに、基本的なマッピング関数c（ｔ）が計算される。Ｙシーケンスのベクトルが、左右トポロジ（left-right topology）を有する隠れマルコフモデル（ＨＭＭ）の中で状態を表わすとする。シーケンスＸは、最適経路シーケンスを提供するために、ビタビアルゴリズムを使用してＨＭＭとマッチングが行われる。Ｘのｊ番目のベクトルでの、ｉ番目のＨＭＭ状態（Ｙのｉ番目のベクトルを表わす）のスコアは、ユークリッド距離の２乗として計算される：
Figure 0005028751
これは、各ＨＭＭ状態、ｓt∈｛０，１，．．．，ＴＹ−１｝の出力分布を表わすために、Ｘのベクトルを中心とした単位ガウス分散（unit variance Gaussians）を使用することに相当する。遷移確率は次のとおりである：
Figure 0005028751
ここで、Ｋは実験的に決定した定数（我々の実験では、約（１００/１２８）Ｈｚ）であり、εは極めて小さい数である。あるいは、遷移確率を学習データの使用により決定してもよい。
Ｙを現わすとして上記のように決定されたパラメータを備えたＨＭＭおよびＸとして現された観察シーケンスを用いて、最適の（最大尤度）状態経路｛ｓt *｝を見つけるためにＨＭＭを介した標準ビタビアルゴリズムが使用される。この状態経路は、c（ｔ）＝ｓt *にしたがって、ＹのベクトルにＸの各ベクトルを割り当てる。対応行列は、上に述べられるようなｃ（ｔ）から直接計算することができる。なお、実際の運用においては、ＸからＸＣを構築するために、c（ｔ）を直接使用することで、行列積ＸＣがはるかに効率的に計算されることが注目されるべきである。
（６.３）初期条件の決定
上記座標降下法は、すべての降下法のように、座標の少なくとも１つについて初期値が必要となる。座標降下によって見つかった極小の質は、この初期値に極めて影響を受けやすい。ＤR,C（Ｘ，Ｙ）の最適化は、Ｃに関する初期推定から始められる。Ｃの初期値は、セクション（６.２）と同じ手順を用いて計算されるが、数式（３４）は次式で置き換えられる。
Figure 0005028751
したがって、回転行列Ｒに依存しない。このように、ＸとＹとの間での近似マッピングc（ｔ）を見つける場合、回転行列は必要とされない。
（６.４）ＸとＹとの間の歪みの計算
以下、誤差関数を最小化するためのＤＩＳＴＯＲＴＩＯＮと呼ばれる手順が提示される。これによって、２つの動作特徴量間の歪み指標（distortion measure）を計算する。ｉが反復を表し、Ｃ0がセクション（６.３）で計算されるＣについての初期推定を表わすとすると、εは収束を検知するために使用した停止基準である：
Figure 0005028751
Ｒ*（Ｃ）およびＣ*（Ｒ）はそれぞれセクション（６.１）および（６.２）で与えられた処理である。要約すれば、ＤＩＳＴＯＲＴＩＯＮ手順は、上に概説された座標降下法を用いて、ＲおよびＣに対する極小ＤR,C（Ｘ、Ｙ）を計算する。返された値Ｄfinalは、任意の回転または時間伸縮に対して不変である、ＸとＹの間の相違の指標である。
（６.５）装置構成
動作特徴量の比較について、このセクションで説明される方法は、演算ユニット２０によって実現され得る。該ユニットは、本方法の処理ステップを実行するためにＣＰＵとメモリを含んでいてもよい。より具体的には、例えば、演算ユニット２０は、バッファ２２、回転不変ビタビ（ＲＩＶＩＴ）処理部２４、隠れマルコフモデル（ＨＭＭ）記憶部２６および出力部２８を備えていてもよい。
バッファ２２は、対象者の現在の行動に対応する動作特徴量を示す観察シーケンスＸを構築するために、サンプリングされたセンサ出力を受信し格納する。本観察シーケンスＸは、最適の回転およびシーケンスＹとの時間的な対応（ＨＭＭ記憶部２６に格納されたＨＭＭによって表わされるシーケンスのうちの１つとの）を見つけるために、ＲＩＶＩＴ処理部２４に送られる。ＲＩＶＩＴ処理部２４では、最適の回転が最初に決定されてもよい。次に、最適の時間的な対応は、ビタビを用いてシーケンスＸをＨＭＭとマッチングすることにより決定され、最適経路シーケンスが提供されてもよい。
出力部２８は、マッチング結果を受信し、行動認識結果として、ユーザの現在の行動を示す信号を出力する。本実施形態では、行動は、前もってラベル付けられている又は分類されているか、ＨＭＭのシーケンスまたは状態に対してマッピングされていると想定している。マッピングテーブルは、出力部２８で格納されていてもよいし、あるいはＨＭＭのシーケンスまたは状態がラベル付けされていてもよい。
（７）身体上のセンサの位置を決定する方法
このセクションでは、本方法２２は、ユーザの身体に対してＩＭＵの位置を推定する。ユーザが行うどんな動きに対しても、ユーザの身体のどこにＩＭＵが着けられているかによって異なる測定結果が得られる。例えば、ポケットの中、左手での保持、ネックレス上などである。これら同じ行動に対する測定結果の差は、ＩＭＵの位置を推定するために使用することができる。もちろんこの目的のためには、あるタイプの動きは他のものよりよい。例えば、単に左手が関与する動作は、ＩＭＵがユーザの左のポケットにある状態と、ＩＭＵがユーザの右のポケットにある状態とを識別するために使用することはできない。しかしながら、歩き（walking）のような動作は、左右の対称性を除いて、ユーザの身体全体に亘っての唯一の測定結果を生ずる。
このセクションでは、ＩＭＵ位置を決定するために用いられる行動または動きは、基準動作と呼ばれる。任意の基準動作Ｘを仮定すると、全体的な処理パイプラインは、図５で示される。
基準動作の位置不変検出器（position-invariant detector）は、ＩＭＵ（５０）の出力をゲート制御するために使用され、このようにして、基準動作を含んでいるテスト特徴量のシーケンスは、次のモジュール２４に至る。例えば、基準動作が歩きの場合は、歩行周波数測定（セクション（４））のための方法２１を位置不変検出器として使用することができる。
モジュール２４では、テスト特徴量は、位置に関する基準動作特徴量の網羅的データベース５４とマッチングされる。最良のマッチングは、ＩＭＵの推定位置を示す。動作特徴量の総括的なマッチングについては、セクション（６）の方法が使用できる。さらに、特にそれが歩きのような周期運動である場合、特定の基準動作用のマッチングアルゴリズムをカスタムデザインすることも可能である。
本実施形態によれば、その最も基礎的な例示では、本装置は、ユーザがたった今行なったまたは行っている動作を算出して継続的に出力している。特に、出力するものは、本装置が利用可能な動作のマッチング用データベースによって決定される。この動作データベースは、アプリケーションの要求に応じて静的または動的なものとなりうる。
本装置は、どんな人間のユーザにも付けられないが、むしろ機械や任意の動いている物体に付けられる構成で使用することも可能である。この例としては、乗り物（例えば、自転車、自動車、およびボート）、工場施設（例えば、ロボットアーム、およびＣＮＣ機械類）、動植物（例えば、犬および猫）、積荷（例えば、卵のクレート、または揮発性の液体のドラム）が含まれる。
分類結果は、ユーザが行っていることまたは今行なっていることに基づいて、それ自体を構築する必要があるアプリケーションを動かすために直接使用することができる。これらのタイプのアプリケーションとしては、状況適応型（context-aware）と呼ばれ、それらの状況適応性は、この場合、本装置により可能になる。
なお、添付の特許請求の範囲またはそれと均等の限りでは、様々な変更、組合せ、副次的組合せおよび改変が、設計必要条件および他の要因に依って生じ得ることは、当業者によって理解され得る。
本発明の一実施形態による行動認識装置のブロック図である。 本発明の一実施形態による行動認識装置の概念図である。 図３（ａ）および３（ｂ）は異なる利用シナリオ用の行動認識装置の概要図である。 本発明の一実施形態による物理的モジュール（ＩＭＵ）の概念図である。 基準動作Ｘを用いる場合に、ユーザの身体上のＩＭＵの位置を決定する方法のための処理パイプラインの概略図である。 ＩＭＵの動作をトラッキングする方法のための処理パイプラインの概略図である。 垂直モデル中の四元数表現に必要な半角の正弦および余弦を直接計算するために使用される幾何学的構造を示す概要図である。 図８（ａ）および８（ｂ）は、動作特徴量のシーケンス例を示し、図８（ｃ）は、本発明の一実施形態による２つのシーケンスのマッチングを示す。 本発明の一実施形態による動作特徴量を比較する方法のための演算ユニットの概要図である。
符号の説明
１...対象者
１０...センサユニット
２０...演算ユニット
２１...歩行周波数測定方法
２２...対象者上での装置の位置測定方法
２３...動作トラッキング方法
２４...回転不変ビタビマッチング方法
４０...慣性計測装置（ＩＭＵ）

Claims (6)

  1. 対象の行動を検知するための行動認識装置において、
    互いに直交する直線運動を検知するように構成された複数の直線運動センサおよび複数の回転運動センサを有し、該回転運動が互いに直交している、センサユニットと、
    前記対象の行動を検知するために、前記センサユニットに含まれたセンサから信号を受信し処理するように構成された演算ユニットとを具備し、
    前記センサユニットは、前記対象に対して任意の向きで、該対象により直接あるいは間接的に支持され、
    前記演算ユニットは、
    前記回転運動センサからの信号を積分することで第１の回転を算出し、重力モデルおよび前記直線運動センサからの信号を用いて第２の回転を算出し、
    前記回転運動センサからの信号が一定である場合、前記第１の回転の重みをより大きくし、
    前記直線運動センサからの信号が一定である場合、前記第２の回転の重みをより大きくするようにして、
    前記センサユニットの下方向のトラッキングを行い、
    前記直線運動センサおよび前記回転運動センサの両方からの信号を使用した計算を行なうことによって前記対象の行動を判定する
    ことを特徴とする行動認識装置。
  2. 前記複数の直線運動センサが、３つの直交軸で加速度を測定する３つの加速度計であり、
    前記複数の回転運動センサが、前記３つの直交軸のまわりの角速度を測定するための３つのジャイロセンサであり、
    前記演算ユニットが、前記対象の現在の行動を判定するために、前記加速度計およびジャイロセンサからの６つの出力を使用すること
    を特徴とする請求項１記載の行動認識装置。
  3. 前記演算ユニットは、予め定めた期間複数組のセンサ出力から形成された観察シーケンスを格納するように構成されたバッファと、
    異なる行動の動作特徴量に対応する複数の基準シーケンスを格納するように構成された記憶部と、
    前記観察シーケンスと前記基準シーケンスとのマッチングを行い、最適マッチングした基準シーケンスを見つけるように構成されたマッチングプロセッサとを具備し、
    前記マッチングプロセッサは、最適マッチングした基準シーケンスを得るために、最適の回転、および前記観察シーケンスと前記基準シーケンスの１つとの時間的な対応関係を見つけること
    を特徴とする請求項１または２記載の行動認識装置。
  4. 前記基準シーケンスが、隠れマルコフモデルでの状態を表わす複数のベクトルを含み、
    前記観察シーケンスと前記基準シーケンスとの間のマッチングは、最適の状態経路を得るためのビタビアルゴリズムを用いて行なわれること
    を特徴とする請求項３記載の行動認識装置。
  5. 前記演算ユニットは、さらに、前記直線運動センサからの信号の自己相関性および前記回転運動センサからの信号の自己相関性を計算し、これらの自己相関性を合計して簡略化された自己相関関数を得ることで、前記対象の歩行レートを検知し、
    前記簡略化された自己相関関数は、前記対象の歩行レートを決定するために使用されること
    を特徴とする請求項１または２記載の行動認識装置。
  6. 基準行動の基準動作特徴量とそれに対応する位置とを格納するように構成された記憶部をさらに具備し、
    前記演算ユニットは、さらに、前記センサからの信号で表わされる現在の行動が前記基準行動であるかどうかを判定し、該現在の行動が前記基準行動である場合には、最適マッチングした基準動作特徴量に対応する前記基準動作特徴量と前記現在の行動に対応する動作特徴量とをマッチングして、前記センサユニットの位置を決定すること
    を特徴とする請求項１または２記載の行動認識装置。
JP2005169507A 2005-06-09 2005-06-09 行動認識装置 Expired - Fee Related JP5028751B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005169507A JP5028751B2 (ja) 2005-06-09 2005-06-09 行動認識装置
US11/435,746 US7421369B2 (en) 2005-06-09 2006-05-18 Activity recognition apparatus, method and program
CNB2006100916757A CN100545658C (zh) 2005-06-09 2006-06-09 活动识别设备以及方法
EP06011895.7A EP1731097B1 (en) 2005-06-09 2006-06-09 Activity recognition apparatus, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005169507A JP5028751B2 (ja) 2005-06-09 2005-06-09 行動認識装置

Publications (2)

Publication Number Publication Date
JP2006340903A JP2006340903A (ja) 2006-12-21
JP5028751B2 true JP5028751B2 (ja) 2012-09-19

Family

ID=37081672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005169507A Expired - Fee Related JP5028751B2 (ja) 2005-06-09 2005-06-09 行動認識装置

Country Status (4)

Country Link
US (1) US7421369B2 (ja)
EP (1) EP1731097B1 (ja)
JP (1) JP5028751B2 (ja)
CN (1) CN100545658C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022269964A1 (ja) 2021-06-25 2022-12-29 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711564B2 (en) 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
DK1819816T3 (da) * 2004-12-07 2009-01-26 Applied Nanosystems Bv Fremgangsmåder til fremstilling og udskillelse af modificerede peptider
JP5028751B2 (ja) * 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
US7383728B2 (en) * 2005-07-13 2008-06-10 Ultimate Balance, Inc. Orientation and motion sensing in athletic training systems, physical rehabilitation and evaluation systems, and hand-held devices
US7713173B2 (en) * 2005-11-28 2010-05-11 Samsung Electronics Co., Ltd Exercise management function providing system and method
US7978081B2 (en) 2006-01-09 2011-07-12 Applied Technology Holdings, Inc. Apparatus, systems, and methods for communicating biometric and biomechanical information
US7467060B2 (en) * 2006-03-03 2008-12-16 Garmin Ltd. Method and apparatus for estimating a motion parameter
US7827000B2 (en) * 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US8055469B2 (en) * 2006-03-03 2011-11-08 Garmin Switzerland Gmbh Method and apparatus for determining the attachment position of a motion sensing apparatus
US7841967B1 (en) 2006-04-26 2010-11-30 Dp Technologies, Inc. Method and apparatus for providing fitness coaching using a mobile device
US8902154B1 (en) 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
US20110044501A1 (en) * 2006-07-14 2011-02-24 Ailive, Inc. Systems and methods for personalized motion control
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7702608B1 (en) 2006-07-14 2010-04-20 Ailive, Inc. Generating motion recognizers for arbitrary motions for video games and tuning the motion recognizers to the end user
JP4148285B2 (ja) * 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
US7610813B2 (en) * 2006-09-29 2009-11-03 Intel Corporation Method and apparatus for a self-powered RFID-readable pedometer
JP4872597B2 (ja) * 2006-10-27 2012-02-08 オムロンヘルスケア株式会社 運動支援装置
WO2008076927A2 (en) * 2006-12-14 2008-06-26 Nielsen Media Research, Inc. Methods and apparatus to monitor consumer activity
US7653508B1 (en) 2006-12-22 2010-01-26 Dp Technologies, Inc. Human activity monitoring device
US8620353B1 (en) 2007-01-26 2013-12-31 Dp Technologies, Inc. Automatic sharing and publication of multimedia from a mobile device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US8864845B2 (en) * 2007-02-06 2014-10-21 DEKA Limited Partnership System for control of a prosthetic device
US8949070B1 (en) * 2007-02-08 2015-02-03 Dp Technologies, Inc. Human activity monitoring device with activity identification
US7753861B1 (en) 2007-04-04 2010-07-13 Dp Technologies, Inc. Chest strap having human activity monitoring device
US20080287807A1 (en) * 2007-05-16 2008-11-20 James Geoffrey Chase Global motion invariant signatures for fast and accurate motion tracking in a digital image-based elasto-tomography system
US8555282B1 (en) 2007-07-27 2013-10-08 Dp Technologies, Inc. Optimizing preemptive operating system with motion sensing
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
ATE541512T1 (de) * 2008-03-14 2012-02-15 Koninkl Philips Electronics Nv Gegen durch externe bewegungsfaktoren herbeigeführte beschleunigungen unempfindliches aktivitätsüberwachungssystem
US8320578B2 (en) 2008-04-30 2012-11-27 Dp Technologies, Inc. Headset
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
US8113991B2 (en) * 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
US8988439B1 (en) 2008-06-06 2015-03-24 Dp Technologies, Inc. Motion-based display effects in a handheld device
US8678925B1 (en) 2008-06-11 2014-03-25 Dp Technologies, Inc. Method and apparatus to provide a dice application
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
US9776008B2 (en) * 2008-07-11 2017-10-03 Medtronic, Inc. Posture state responsive therapy delivery using dwell times
US8187182B2 (en) 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
MY159289A (en) * 2008-09-24 2016-12-30 Mimos Berhad A system and a method for identifying human behavioural intention based on an effective motion analysis
TWI384423B (zh) * 2008-11-26 2013-02-01 Ind Tech Res Inst 以聲音事件為基礎之緊急通報方法與系統以及行為軌跡建立方法
US8622795B2 (en) * 2008-12-04 2014-01-07 Home Box Office, Inc. System and method for gathering and analyzing objective motion data
JP5551867B2 (ja) * 2008-12-05 2014-07-16 ソニー株式会社 情報処理装置、及び情報処理方法
KR20100065480A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 일상행위 인식 시스템
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
KR101210277B1 (ko) * 2008-12-23 2012-12-18 한국전자통신연구원 행위 모니터링 시스템 및 행위 모니터링을 위한 정보 전송 방법
US8587601B1 (en) 2009-01-05 2013-11-19 Dp Technologies, Inc. Sharing of three dimensional objects
JP5649808B2 (ja) 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
CA2748037C (en) * 2009-02-17 2016-09-20 Omek Interactive, Ltd. Method and system for gesture recognition
FR2942388B1 (fr) * 2009-02-26 2012-10-12 Movea Systeme et procede de detection de marche d'une personne
DE202009003034U1 (de) * 2009-03-03 2009-04-30 Aipermon Gmbh & Co. Kg Gerät zum Aktivitätsmonitoring
FR2943527B1 (fr) * 2009-03-31 2012-07-06 Movea Systeme et procede d'observation d'une activite de marche d'une personne
CN102438521A (zh) * 2009-04-24 2012-05-02 原子能和辅助替代能源委员会 用于确定人的姿势的系统和方法
EP2421437A1 (fr) * 2009-04-24 2012-02-29 Commissariat à l'Énergie Atomique et aux Énergies Alternatives Systeme et procede de determination de l'activite d'un element mobile
US8898041B2 (en) * 2009-04-24 2014-11-25 Commissariat A L'energie Atomique Et Aux Energies Alternatives System and method for determining the activity of a person lying down
US9119568B2 (en) 2009-05-20 2015-09-01 Koninklijke Philips N.V. Sensing device for detecting a wearing position
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
US20100305480A1 (en) * 2009-06-01 2010-12-02 Guoyi Fu Human Motion Classification At Cycle Basis Of Repetitive Joint Movement
EP2264988A1 (en) 2009-06-18 2010-12-22 Deutsche Telekom AG Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone
US8500604B2 (en) * 2009-10-17 2013-08-06 Robert Bosch Gmbh Wearable system for monitoring strength training
JP2011118776A (ja) * 2009-12-04 2011-06-16 Sony Corp データ処理装置、データ処理方法、およびプログラム
US8388555B2 (en) 2010-01-08 2013-03-05 Medtronic, Inc. Posture state classification for a medical device
US9068844B2 (en) 2010-01-08 2015-06-30 Dp Technologies, Inc. Method and apparatus for an integrated personal navigation system
JP2011170857A (ja) * 2010-02-22 2011-09-01 Ailive Inc 最小のディレイでモーション認識を行うシステム及び方法
US8990049B2 (en) * 2010-05-03 2015-03-24 Honeywell International Inc. Building structure discovery and display from various data artifacts at scene
NL2004660C2 (en) * 2010-05-04 2011-11-07 Technologies88 B V Device and method for motion capture and analysis.
JP5628560B2 (ja) * 2010-06-02 2014-11-19 富士通株式会社 携帯電子機器、歩行軌跡算出プログラム及び歩行姿勢診断方法
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US9604142B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
US9646209B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
US8905855B2 (en) 2010-08-26 2014-12-09 Blast Motion Inc. System and method for utilizing motion capture data
US8903521B2 (en) * 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US8994826B2 (en) 2010-08-26 2015-03-31 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9626554B2 (en) 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9607652B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
DE102010039837A1 (de) * 2010-08-26 2012-03-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geräts
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US9401178B2 (en) 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US9406336B2 (en) 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9396385B2 (en) 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
US8827824B2 (en) 2010-08-26 2014-09-09 Blast Motion, Inc. Broadcasting system for broadcasting images with augmented motion data
US8944928B2 (en) 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
KR20130052652A (ko) 2010-09-18 2013-05-22 페어차일드 세미컨덕터 코포레이션 미세 전자 기계 시스템을 위한 시일된 패키징
KR101871865B1 (ko) * 2010-09-18 2018-08-02 페어차일드 세미컨덕터 코포레이션 멀티-다이 ｍｅｍｓ 패키지
TWI439947B (zh) * 2010-11-11 2014-06-01 Ind Tech Res Inst 辨識人體移動行為之方法及系統
US9898182B2 (en) * 2010-12-17 2018-02-20 Koninklijke Philips N.V. Gesture control for monitoring vital body signs
KR101226742B1 (ko) * 2011-03-31 2013-01-25 (주)우리들웰니스 보행자 보법 분석시스템
US9427177B2 (en) * 2011-04-11 2016-08-30 Fidelity Investment Corporation Fall detection methods and devices
US8791901B2 (en) 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
US9363361B2 (en) * 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
US9623257B2 (en) 2011-04-18 2017-04-18 Medtronic, Inc. Recharge tuning techniques for an implantable device
US8718672B2 (en) * 2011-04-18 2014-05-06 Microsoft Corporation Identifying status based on heterogeneous sensors
CN102221369B (zh) * 2011-04-29 2012-10-10 闫文闻 一种球类运动的动作识别方法、装置和动作辅助设备
US10145707B2 (en) * 2011-05-25 2018-12-04 CSR Technology Holdings Inc. Hierarchical context detection method to determine location of a mobile device on a person's body
CN102198003B (zh) * 2011-06-07 2014-08-13 嘉兴恒怡科技有限公司 肢体运动检测评估网络系统及其方法
JP6031735B2 (ja) 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US9251463B2 (en) * 2011-06-30 2016-02-02 Wsu Research Foundation Knowledge transfer in smart environments
US9374659B1 (en) 2011-09-13 2016-06-21 Dp Technologies, Inc. Method and apparatus to utilize location data to enhance safety
JP5740285B2 (ja) * 2011-10-31 2015-06-24 株式会社東芝 歩行分析装置及び歩行分析プログラム
JP6051509B2 (ja) 2011-10-31 2016-12-27 ソニー株式会社 発電制御システム、発電制御プログラムおよび電子機器
US20130124240A1 (en) * 2011-11-14 2013-05-16 Srm Institute Of Technology System and Method for Student Activity Gathering in a University
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
KR20140099539A (ko) * 2011-12-07 2014-08-12 액세스 비지니스 그룹 인터내셔날 엘엘씨 행동 추적 및 수정 시스템
US8913134B2 (en) 2012-01-17 2014-12-16 Blast Motion Inc. Initializing an inertial sensor using soft constraints and penalty functions
WO2013113036A1 (en) 2012-01-26 2013-08-01 Healthmantic, Inc System and method for processing motion-related sensor data with social mind-body games for health application
KR101939683B1 (ko) * 2012-03-29 2019-01-18 삼성전자 주식회사 사용자 행동 실시간 인식장치 및 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10716510B2 (en) 2013-09-17 2020-07-21 Medibotics Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10602965B2 (en) 2013-09-17 2020-03-31 Medibotics Wearable deformable conductive sensors for human motion capture including trans-joint pitch, yaw, and roll
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US10321873B2 (en) 2013-09-17 2019-06-18 Medibotics Llc Smart clothing for ambulatory human motion capture
US9462632B2 (en) 2012-07-17 2016-10-04 Qualcomm Incorporated Concurrent data streaming using various parameters from the same sensor
US9641266B2 (en) 2012-07-17 2017-05-02 Qualcomm Incorporated Sensor with concurrent data streaming using various parameters
DE102013014881B4 (de) 2012-09-12 2023-05-04 Fairchild Semiconductor Corporation Verbesserte Silizium-Durchkontaktierung mit einer Füllung aus mehreren Materialien
US20150164430A1 (en) * 2013-06-25 2015-06-18 Lark Technologies, Inc. Method for classifying user motion
US20160051167A1 (en) * 2012-10-10 2016-02-25 Invensense, Inc. System and method for activity classification
US9278255B2 (en) 2012-12-09 2016-03-08 Arris Enterprises, Inc. System and method for activity recognition
US10212986B2 (en) 2012-12-09 2019-02-26 Arris Enterprises Llc System, apparel, and method for identifying performance of workout routines
US10304325B2 (en) 2013-03-13 2019-05-28 Arris Enterprises Llc Context health determination system
US9135248B2 (en) 2013-03-13 2015-09-15 Arris Technology, Inc. Context demographic determination system
US20140288875A1 (en) * 2013-03-15 2014-09-25 Aliphcom Methods and architecture for determining activity and activity types from sensed motion signals
KR102023601B1 (ko) * 2013-04-04 2019-09-23 삼성전자 주식회사 휴대단말장치의 사고 방지 방법 및 장치
ITAN20130095A1 (it) * 2013-05-17 2014-11-17 Safe Way S R L Metodo per la prevenzione di infortuni e incidenti e relativo sistema implementante detto metodo
US20140349822A1 (en) * 2013-05-21 2014-11-27 LaTrina Taylor Patterson WalkBuddy
US9750433B2 (en) 2013-05-28 2017-09-05 Lark Technologies, Inc. Using health monitor data to detect macro and micro habits with a behavioral model
CN103340634B (zh) * 2013-06-17 2015-11-18 无锡市中安捷联科技有限公司 一种基于加速度变化检测人运动状态的方法
CN104348855B (zh) * 2013-07-29 2018-04-27 华为技术有限公司 用户信息的处理方法、移动终端及服务器
GB2516865A (en) 2013-08-02 2015-02-11 Nokia Corp Method, apparatus and computer program product for activity recognition
US9622687B2 (en) * 2013-09-05 2017-04-18 Qualcomm Incorporated Half step frequency feature for reliable motion classification
US9418342B2 (en) 2013-12-06 2016-08-16 At&T Intellectual Property I, L.P. Method and apparatus for detecting mode of motion with principal component analysis and hidden markov model
CN103727959B (zh) * 2013-12-31 2016-09-14 歌尔声学股份有限公司 计步方法及装置
US9801568B2 (en) * 2014-01-07 2017-10-31 Purdue Research Foundation Gait pattern analysis for predicting falls
US9506761B2 (en) 2014-01-10 2016-11-29 Alcatel Lucent Method and apparatus for indoor position tagging
US20150198443A1 (en) * 2014-01-10 2015-07-16 Alcatel-Lucent Usa Inc. Localization activity classification systems and methods
JP6508061B2 (ja) * 2014-01-20 2019-05-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3104777B1 (en) 2014-02-14 2020-11-11 3M Innovative Properties Company Activity recognition using accelerometer data
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
CA2983574C (en) * 2014-04-22 2021-11-16 Blast Motion Inc. Initializing an inertial sensor using soft constraints and penalty functions
JP6150952B2 (ja) * 2014-05-09 2017-06-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 加速度計の方向を決定する方法及び装置
CN105094305B (zh) 2014-05-22 2018-05-18 华为技术有限公司 识别用户行为的方法、用户设备及行为识别服务器
WO2015195765A1 (en) 2014-06-17 2015-12-23 Nant Vision, Inc. Activity recognition systems and methods
US10371528B2 (en) * 2014-07-03 2019-08-06 Texas Instruments Incorporated Pedestrian navigation devices and methods
US20160051168A1 (en) * 2014-08-25 2016-02-25 Virtualbeam, Inc. Real-Time Human Activity Recognition Engine
JP6395295B2 (ja) * 2014-08-25 2018-09-26 国立研究開発法人農業・食品産業技術総合研究機構 動物の行動判別装置及び行動判別方法、プログラム
EP3193714A1 (en) 2014-09-15 2017-07-26 3M Innovative Properties Company Impairment detection with environmental considerations
US9410979B2 (en) * 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
JP6980525B2 (ja) * 2014-11-20 2021-12-15 ブラスト モーション インコーポレイテッドBlast Motion Inc. ビデオおよびモーション事象統合システム
US9877668B1 (en) 2014-11-21 2018-01-30 University Of South Florida Orientation invariant gait matching
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
EP3270781A1 (en) * 2015-03-19 2018-01-24 Meloq AB Method and device for anatomical angle measurement
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US9687179B2 (en) 2015-03-25 2017-06-27 Withings System and method to recognize activities performed by an individual
FR3037422B1 (fr) * 2015-06-15 2017-06-23 Morpho Procede d'identification et/ou d'authentification d'un individu par reconnaissance d'iris
CA2934366A1 (en) * 2015-06-30 2016-12-30 Ulterra Drilling Technologies, L.P. Universal joint
WO2017005591A1 (en) * 2015-07-07 2017-01-12 Koninklijke Philips N.V. Apparatus and method for motion tracking of at least a portion of a limb
US11577142B2 (en) 2015-07-16 2023-02-14 Blast Motion Inc. Swing analysis system that calculates a rotational profile
US10124230B2 (en) 2016-07-19 2018-11-13 Blast Motion Inc. Swing analysis method using a sweet spot trajectory
US9694267B1 (en) 2016-07-19 2017-07-04 Blast Motion Inc. Swing analysis method using a swing plane reference frame
US10974121B2 (en) 2015-07-16 2021-04-13 Blast Motion Inc. Swing quality measurement system
US11565163B2 (en) 2015-07-16 2023-01-31 Blast Motion Inc. Equipment fitting system that compares swing metrics
US9872150B2 (en) 2015-07-28 2018-01-16 Microsoft Technology Licensing, Llc Inferring logical user locations
CN108293162B (zh) 2015-08-28 2021-05-11 索尼公司 信息处理设备、信息处理方法和程序
US10172541B2 (en) * 2015-09-25 2019-01-08 J-Mex Inc. Motion recognition device and method
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
GB2545668B (en) 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
US11587484B2 (en) 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
US20170243354A1 (en) * 2016-02-19 2017-08-24 Xerox Corporation Automatic frontal-view gait segmentation for abnormal gait quantification
US10265602B2 (en) 2016-03-03 2019-04-23 Blast Motion Inc. Aiming feedback system with inertial sensors
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
JP6709281B2 (ja) * 2016-05-18 2020-06-10 株式会社東芝 行動推定方法、行動推定システム、サービス提供方法、信号検出方法、信号検出部および信号処理システム
US20170352130A1 (en) * 2016-06-05 2017-12-07 Mediatek Inc. Display apparatus dynamically adjusting display resolution and control method thereof
CN106197473A (zh) * 2016-06-24 2016-12-07 北京奇虎科技有限公司 设备的活动行为识别方法及装置
US10564177B2 (en) 2016-08-01 2020-02-18 Samsung Electronics Co., Ltd. System and method for user activity recognition using accelerometer
WO2018030734A1 (ko) * 2016-08-09 2018-02-15 주식회사 비플렉스 3d 시뮬레이션 방법 및 장치
CN107886103B (zh) * 2016-09-29 2023-12-08 日本电气株式会社 用于识别行为模式的方法、设备和系统
US10820151B2 (en) * 2016-10-06 2020-10-27 Mars, Incorporated System and method for compressing high fidelity motion data for transmission over a limited bandwidth network
DE102017009171A1 (de) 2016-10-17 2018-04-19 Amer Sports Digital Services Oy Eingebettete rechenvorrichtung
EP3316076A1 (en) 2016-10-25 2018-05-02 Thomson Licensing Activity compensated haptic interface
JP6737505B2 (ja) * 2017-03-03 2020-08-12 株式会社ノーニューフォークスタジオ 歩行教示システム、歩行教示方法
CN107102735B (zh) * 2017-04-24 2018-06-19 广东虚拟现实科技有限公司 一种对齐方法及对齐装置
US10786728B2 (en) 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
US20180357870A1 (en) * 2017-06-07 2018-12-13 Amazon Technologies, Inc. Behavior-aware security systems and associated methods
IT201700062668A1 (it) * 2017-06-08 2018-12-08 Univ Degli Studi Roma La Sapienza Procedimento e dispositivo per rilevare condizioni di marcia durante la marcia di un atleta
KR101877495B1 (ko) * 2017-06-29 2018-08-07 주식회사 룬랩 스마트 생리컵 및 스마트 생리컵을 이용한 생리혈 측정 방법
EP3675731A1 (en) 2017-08-28 2020-07-08 Institut National du Sport de l'Expertise et de la Performance Method for assessing the mechanical load of an individual
CN107669278B (zh) * 2017-09-22 2020-11-13 广州杰赛科技股份有限公司 运动状态识别方法和系统、动物行为识别系统
US10339931B2 (en) 2017-10-04 2019-07-02 The Toronto-Dominion Bank Persona-based conversational interface personalization using social network preferences
US10460748B2 (en) 2017-10-04 2019-10-29 The Toronto-Dominion Bank Conversational interface determining lexical personality score for response generation with synonym replacement
JP7006128B2 (ja) * 2017-10-24 2022-01-24 株式会社アイシン 情報処理装置
US10545578B2 (en) 2017-12-22 2020-01-28 International Business Machines Corporation Recommending activity sensor usage by image processing
US10628667B2 (en) 2018-01-11 2020-04-21 Futurewei Technologies, Inc. Activity recognition method using videotubes
CN108549900A (zh) * 2018-03-07 2018-09-18 浙江大学 基于移动设备佩戴位置的人体跌倒检测方法
US10405146B1 (en) * 2018-06-11 2019-09-03 The Toronto-Dominion Bank Voice assistance direction
US10853934B2 (en) 2018-09-19 2020-12-01 Indus.Ai Inc Patch-based scene segmentation using neural networks
US10769422B2 (en) 2018-09-19 2020-09-08 Indus.Ai Inc Neural network-based recognition of trade workers present on industrial sites
CN109498375B (zh) * 2018-11-23 2020-12-25 电子科技大学 一种人体运动意图识别控制装置及控制方法
TWI729596B (zh) * 2018-12-21 2021-06-01 芬蘭商亞瑪芬體育數字服務公司 感測器資料管理
CN109822574B (zh) * 2019-03-20 2021-01-05 华中科技大学 一种工业机器人末端六维力传感器标定的方法
CN110209270B (zh) * 2019-05-14 2022-10-25 李子琪 一种数据手套、数据手套系统、校正方法及存储介质
US11307050B2 (en) 2020-06-12 2022-04-19 Koneksa Health Inc. Measuring method and device
US11397193B2 (en) * 2020-06-12 2022-07-26 Koneksa Health Inc. Movement analysis method and apparatus
CN112033439B (zh) * 2020-08-20 2022-08-12 哈尔滨工业大学 一种摇摆基座地球系下重力加速度矢量无纬度构建方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3330945A (en) * 1960-05-25 1967-07-11 Gen Precision Inc Accelerated north-seeking gyrocompassing system
US3304787A (en) * 1962-12-29 1967-02-21 Toyoda Chuo Kenkyusho Kk Three-dimensional accelerometer device
US3428789A (en) * 1964-08-13 1969-02-18 Honeywell Inc Control apparatus
US3559492A (en) * 1967-01-30 1971-02-02 Litton Systems Inc Two-axes angular rate and linear acceleration multisensor
US3744322A (en) * 1970-12-07 1973-07-10 Space Res Corp Angular velocity sensors
US3899028A (en) * 1972-03-30 1975-08-12 Systron Donner Corp Angular position sensing and control system, apparatus and method
US3974699A (en) * 1973-08-28 1976-08-17 Systron Donner Corporation Angular position sensing and control system, apparatus and method
US4896268A (en) * 1987-11-25 1990-01-23 Sundstrand Data Control, Inc. Apparatus and method for processing the output signals of a coriolis rate sensor
US4821572A (en) * 1987-11-25 1989-04-18 Sundstrand Data Control, Inc. Multi axis angular rate sensor having a single dither axis
US5128671A (en) * 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
US5178012A (en) * 1991-05-31 1993-01-12 Rockwell International Corporation Twisting actuator accelerometer
US5297028A (en) 1991-08-27 1994-03-22 Zexel Corporation Daihatsu-Nissan Method and apparatus for correcting drift errors in an angular rate sensor
US5485402A (en) 1994-03-21 1996-01-16 Prosthetics Research Study Gait activity monitor
US5583776A (en) 1995-03-16 1996-12-10 Point Research Corporation Dead reckoning navigational system using accelerometer to measure foot impacts
US6122960A (en) 1995-12-12 2000-09-26 Acceleron Technologies, Llc. System and method for measuring movement of objects
JPH09229667A (ja) * 1996-02-28 1997-09-05 Imeeji Joho Kagaku Kenkyusho 回転関節構造物の動作計測装置および方法
US5806365A (en) * 1996-04-30 1998-09-15 Motorola, Inc. Acceleration sensing device on a support substrate and method of operation
JP3505040B2 (ja) * 1996-07-11 2004-03-08 株式会社リコー 携帯型情報処理装置
CA2218242C (en) * 1996-10-11 2005-12-06 Kenneth R. Fyfe Motion analysis system
US6301964B1 (en) * 1997-10-14 2001-10-16 Dyhastream Innovations Inc. Motion analysis system
US6176837B1 (en) * 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
JP4612928B2 (ja) * 2000-01-18 2011-01-12 マイクロストーン株式会社 身体動作センシング装置
US6522266B1 (en) 2000-05-17 2003-02-18 Honeywell, Inc. Navigation system, method and software for foot travel
JP3936833B2 (ja) * 2000-08-28 2007-06-27 株式会社日立製作所 体動センシング装置及び体動センシングシステム
US6834436B2 (en) 2001-02-23 2004-12-28 Microstrain, Inc. Posture and body movement measuring system
JP4881517B2 (ja) * 2001-07-12 2012-02-22 マイクロストーン株式会社 身体状態の監視装置
US6853909B2 (en) 2001-12-03 2005-02-08 Applanix Corporation, Inc Walking stick navigator for position determination
JP4126388B2 (ja) * 2002-04-08 2008-07-30 カシオ計算機株式会社 歩行方向検出装置及びプログラム
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US20050033200A1 (en) * 2003-08-05 2005-02-10 Soehren Wayne A. Human motion identification and measurement system and method
JP2005074075A (ja) * 2003-09-02 2005-03-24 Matsushita Electric Works Ltd 歩行周期計測装置、周期画像取得装置、移動体輪郭の圧縮処理装置、移動体識別システム
JP2005031697A (ja) * 2004-09-24 2005-02-03 Hitachi Ltd 音声認識用マイコンデバイスおよびコンピュータ読み取り可能な記録媒体
JP5028751B2 (ja) * 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022269964A1 (ja) 2021-06-25 2022-12-29 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
EP1731097B1 (en) 2016-08-10
EP1731097A2 (en) 2006-12-13
JP2006340903A (ja) 2006-12-21
US7421369B2 (en) 2008-09-02
US20060284979A1 (en) 2006-12-21
EP1731097A3 (en) 2008-03-19
CN1877340A (zh) 2006-12-13
CN100545658C (zh) 2009-09-30

Similar Documents

Publication Publication Date Title
JP5028751B2 (ja) 行動認識装置
JP5594940B2 (ja) 実質的に不変な回転軸を検出するための方法および装置
Kwon et al. Unsupervised learning for human activity recognition using smartphone sensors
US10215587B2 (en) Method for step detection and gait direction estimation
JP5437549B2 (ja) 活動パターンの監視方法及びその装置
JP2019534721A (ja) 水泳分析のシステム及び方法
US20140142885A1 (en) Method and Apparatus for Determining Walking Direction for a Pedestrian Dead Reckoning Process
JP5750742B2 (ja) 移動体の状態推定装置
Thiemjarus et al. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone
US10126108B2 (en) Apparatus and method for classifying orientation of a body of a mammal
CN108960430B (zh) 为人体运动活动生成个性化分类器的方法和设备
Sabatini Inertial sensing in biomechanics: a survey of computational techniques bridging motion analysis and personal navigation
Wang et al. Scenario-dependent ZUPT-aided pedestrian inertial navigation with sensor fusion
Chen et al. Deep learning for inertial positioning: A survey
Reiss et al. Activity recognition using biomechanical model based pose estimation
Ghobadi et al. Foot-mounted inertial measurement unit for activity classification
US10678337B2 (en) Context aware movement recognition system
JP6147446B1 (ja) ソフト制約及びペナルティ機能を使用した慣性センサの初期化
Tinh et al. Image-based gramian angular field processing for pedestrian stride-length estimation using convolutional neural network
Wu et al. Seamless vision-assisted placement calibration for wearable inertial sensors
Wang et al. Posture recognition and adaptive step detection based on hand-held terminal
Phan et al. A constrained nonlinear optimization solution for 3D orientation estimation of the human limb
Huang et al. An ANN Based Human Walking Distance Estimation with an Inertial Measurement Unit
Kasai et al. Reliability of stride length estimation in self-pace and brisk walking with an inertial measurement unit on shank
Sawicki et al. Comparison of orientation invariant inertial gait matching algorithms on different substrate types

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120611

R151 Written notification of patent or utility model registration

Ref document number: 5028751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees