JP5923593B2 - モバイルデバイスの尤度関数値を結合して用いる、ユーザ活動を分類するためのシステム、方法、および装置 - Google Patents

モバイルデバイスの尤度関数値を結合して用いる、ユーザ活動を分類するためのシステム、方法、および装置 Download PDF

Info

Publication number
JP5923593B2
JP5923593B2 JP2014502879A JP2014502879A JP5923593B2 JP 5923593 B2 JP5923593 B2 JP 5923593B2 JP 2014502879 A JP2014502879 A JP 2014502879A JP 2014502879 A JP2014502879 A JP 2014502879A JP 5923593 B2 JP5923593 B2 JP 5923593B2
Authority
JP
Japan
Prior art keywords
activity
mobile device
likelihood function
current
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014502879A
Other languages
English (en)
Other versions
JP2014513285A (ja
Inventor
レオナルド・ヘンリー・グロコップ
アンソニー・セアラ
サンジヴ・ナンダ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2014513285A publication Critical patent/JP2014513285A/ja
Application granted granted Critical
Publication of JP5923593B2 publication Critical patent/JP5923593B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C10/00—Computational theoretical chemistry, i.e. ICT specially adapted for theoretical aspects of quantum chemistry, molecular mechanics, molecular dynamics or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)

Description

本明細書に開示される主題は、モバイルデバイスにおけるユーザ活動の分類に関する。
スマートフォンなどの多くの移動通信デバイスが、デバイスの動きを検出するのに使用され得る加速度計などの慣性センサを含む。これらの運動は、例えばポートレートモードまたはランドスケープモードで、表示器が適切に配向され得るように、情報をユーザに表示するとき、デバイスの方向を検出するのに役立つであろう。別の実例では、スマートフォンによって行なわれるゲームアプリケーションは、ゲームの特性（feature）が制御され得るように、1つまたは複数の加速度計によって検出される運動に依存し得る。他の実例では、加速度計によって検出された身振りの運動は、ユーザが、マップをスクロールする、メニューをナビゲートする、またはデバイスの操作の他の態様を制御することを可能にし得る。
加速度計の出力信号または「記録値（trace）」は、簡単なユーザインターフェースのタスクを支援するのには役立つが、モバイルデバイスのユーザに対して、より精巧で有意義な支援に利用するのは不可能であった。例えば、ユーザが熱心な活動に従事していることが検出可能であれば、ユーザの気を散らさないように、電話呼出しの着信を直ちにボイスメールに向けるのが便利であろう。別の実例では、モバイルデバイスがユーザの財布またはポケットの中にあることを検出可能であれば、バッテリー資源を浪費しないように、表示器を無効にするのが有利であろう。
ウォーキング、ランニング、サイクリングなどのユーザ活動の推測を試みるとき、慣性センサから信号を取得し、取得した信号から特徴を抽出して活動クラスを推測するのに、さまざまな技法が用いられ得る。しかし、ユーザの活動クラスを推定するとき、ユーザ活動を正確に推定することと、適時に推定を遂行することの間の妥協を図ることがある。一般に、正確な推定が得られるのは処理遅延の後でしかない可能性がある。
特定の実装形態では、方法は、複数の活動分類のそれぞれに対して、2つ以上の過去のエポックに関する複数の活動分類のそれぞれについて、活動の尤度関数値を求めるステップを含む。活動の尤度関数値は、モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいている。この方法は、活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求めるステップをさらに含む。この方法は、現在のエポックにおける活動分類に関する求められた尤度関数に少なくとも部分的に基づいて、モバイルデバイスと同一場所にいるユーザの現在の活動を、これらの活動分類のうちの1つであると推測するステップをさらに含む。
一実装形態では、装置は、複数の活動分類のそれぞれに対して、モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する前記複数の活動分類のそれぞれについて、活動の尤度関数値を求める手段を備える。また、この装置は、活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求める手段と、現在のエポックにおける活動分類に関する求められた尤度関数に少なくとも部分的に基づいて、モバイルデバイスと同一場所にいるユーザの現在の活動を、複数の活動分類のうちの1つであると推測する手段とを備える。
一実装形態では、製品は、機械可読命令を記憶している非一時的記憶媒体を備え、この機械可読命令は、モバイルデバイスのプロセッサにより、複数の活動分類のそれぞれに対して、モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する活動分類に関する活動の尤度関数値を求めるように実行可能である。また、このプロセッサは、活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求め、現在のエポックにおける活動分類に関する求められた尤度関数に少なくとも部分的に基づいて、モバイルデバイスと同一場所にいるユーザの現在の活動を、活動分類のうちの1つであると推測する。
一実装形態では、モバイルデバイスは、1つまたは複数のセンサと、複数の活動分類のそれぞれに対して、1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する活動分類について、活動の尤度関数値を求めるためのプロセッサとを備える。このプロセッサは、さらに、活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求め得ると共に、現在のエポックにおける活動分類に関する求められた尤度関数に少なくとも部分的に基づいて、モバイルデバイスと同一場所にいるユーザの現在の活動を、活動分類のうちの1つであると推測し得る。
限定的でなく、また網羅的でもない態様が、以下の図を参照しながら説明され、さまざまな図を通じて、同じ参照数字は同じ部分を指す。
一実装形態によってモバイルデバイスに適用され得る例示の座標系を示す図である。 一実装形態によってモバイルデバイスのユーザの活動クラスを推測するプロセスの図である。 図2の時間的結合器のさらなる詳細を示す図である。 一実装形態による最大尤度関数結合器に関する信頼度の指標を観測時刻の関数として示すグラフである。 一実装形態によるモバイルデバイスに関連した例示的コンピュータ環境を示す概略図である。 一実装形態による、時間的結合を用いるユーザ活動の分類プロセスを示す流れ図である。
特定の実装形態では、識別器は、モバイルデバイスの慣性センサから受け取った信号に少なくとも部分的に基づいて、モバイルデバイスのユーザの活動クラスを推測し得る。特定の実例では、特定の活動クラスを表し得るか、または暗示し得る「特徴」を計算するため、または抽出するために、1つまたは複数の慣性センサからの信号が処理され得る。次いで、現在の活動を推定するために、慣性センサから計算された特徴が活動推定器に適用され得る。活動分類の推測結果の信頼度を向上するために、所定の時間における活動推定器の出力状態が、以前の出力状態と結合され、かつフィルタリングされ得る。
識別器の待ち時間は、識別器によってユーザ活動クラスの推測結果が生成される前に観測される、連続的なセンサ出力状態の時間の合計として定義され得る。待ち時間がより大きければ、例えばフィルタリングの結果として活動分類の信頼度がより高くなり得ると共に、これは望ましいことであり得る。しかし、活動クラスに関する判定を作成するのに先立って遅延を招くと、活動識別器によって生成される判定の意義が低下する可能性がある。例えば、ユーザがある活動クラスから別のクラスへ移行するとき、識別器は、待ち時間が経過するまで以前の活動分類を供給し続ける可能性がある。このような待ち時間によって不正確さが生じる可能性があり、このことは、ユーザの活動状態が待ち時間より高速のレートで変化する場合には特に有害なことがある。この場合、活動識別器は短期間活動を完全に見落とす可能性がある。
特定の実装形態は、別々の待ち時間要件を有する活動分類に適合し得る。一例では、カロリー燃焼カウンタをサポートする活動分類は、識別器の精度が動的応答より重要と思われるので、数分程度の待ち時間を許容し得る。カロリー燃焼カウントのアプリケーションについては、例えばユーザの30分間の連続した運動に対して1分の報告遅延で高レベルの信頼度をもって推定することは、適切な望ましい結果を表し得る。それと対照的に、ユーザがランニングとウォーキングを交互に合計15分間行なったのに対して、それぞれ1秒の報告遅延で低レベルの信頼度をもって推定することは、恐らく役に立つアカウンティングを表し得ない。別の実例では、ゲームのアプリケーションをサポートする活動分類は、数秒程度、またはさらには1秒未満の待ち時間で遂行されれば十分であり得るが、より低レベルの信頼度の活動分類が許容され得る。
したがって、実装形態では、活動識別器は、調整可能な待ち時間設定に構成され得る。そのうえ、活動識別器が、別々の待ち時間を有する同時の分類を生成するのが有利なことがある。一実装形態では、カロリー燃焼カウントのアプリケーションが、モバイルデバイス上でゲームのアプリケーションと並行して動作することができるのであれば、アプリケーションを多様な待ち時間および精度要求に適応させることの簡単な解決策は、識別器の複数のインスタンシエイションを単に実行することであり得ると共に、各インスタンシエイションは、特定の待ち時間設定の内部で動作する。本明細書で説明される実装形態は、このような手法に対して利点を有し得る。
特定の実装形態では、識別器は、モバイルデバイスと同一場所にいるユーザが複数の活動分類のうちの1つに従事していると推測し得る。この状況では、ほんの数例を挙げると、ユーザは、例えばモバイルデバイスを、着用して、ポケットに入れて、直接接して保持することにより、モバイルデバイスと同一場所に配置され得る。一実装形態では、「尤度関数」は、対数尤度、または複数の活動クラスのうちユーザが従事している活動クラスの尤度から導出された他の表現もしくは同尤度に関する他の表現を記述し得る。モバイルデバイス上のセンサから受け取った信号を処理することにより、一連のエポックに対して、1つまたは複数の活動分類に関する尤度関数値が求められ得る。次いで、特定の活動分類に関する複数のエポックにわたって推測された尤度関数値が、結合され、フィルタリングされ得ると共に、結合された尤度関数値に少なくとも部分的に基づいて、活動分類が推測され得る。特定の実装形態では、尤度関数値は、ほんの数例を挙げると、時間的投票(Temporal Voting)、最大尤度関数、最大アプリオリ、有限インパルス応答、および無限インパルス応答などのさまざまなフィルタ技術を用いて推測され得る。
一実装形態では、識別器は、待ち時間を特定の用途に適合させるように構成され得る。一例では、30秒の待ち時間を備える識別器が、10秒の待ち時間で活動クラスを推定するように切り換わるように構成され得る。実装形態では、これは、待ち時間要件とは対照的に信頼度要件の下で動作するアプリケーション向けに特に役立つ可能性がある。
図1は、一実装形態によってモバイルデバイスに適用され得る例示の座標系(100)である。図1で、座標系100は、例えば一実装形態による加速度計の出力信号を利用し、モバイルデバイス102などのモバイルデバイスのユーザに関連した活動分類の推測を容易にするか、または支援するために、全体的に、または部分的に用いられ得る。しかし、加速度計は、ユーザの活動が分類され得る慣性センサのほんの一例であり、本願発明の主題は、この点に限定されないことを理解されたい。慣性センサの実例には、ジャイロスコープ、磁力計、圧電デバイスなどが含まれ得る。他の実装形態では、ほんの数例を挙げると、圧力センサ、周辺光センサ、撮像センサ、温度センサなどの他のタイプのセンサが、モバイルデバイスと同一場所にいるユーザの活動クラスを推測するように処理され得る出力信号を生成し得る。
図示のように、座標系100は、例えば3次元のデカルト座標系を備え得るが、本願発明の主題は、そのように限定されるわけではない。この示された実例では、モバイルデバイス102の運動は、例えば、3つの線形の次元または軸X、Y、およびZを基準として、例示の座標系100の原点104に対して少なくとも部分的に検出され得るか、または測定され得る加速度振動を表す。例示の座標系100は、モバイルデバイス102の本体と整列してもしなくてもよいことを理解されたい。特定の実装形態では、円筒座標系もしくは球座標系などの非デカルト座標系または互いに直交する次元を定義し得るその他の座標系が用いられ得ることにも留意されたい。
やはり図1に示されるように、例えばデバイスの方向が重力に関して変化するとき、モバイルデバイス102の回転運動が、1つまたは2つの次元を基準として、少なくとも部分的に検出、または測定され得る。一実装形態では、モバイルデバイス102の回転運動は、座標(φ、τ)に関して検出、または測定され得ると共に、ファイ(φ)は、矢印106で全体的に示されるように、ピッチすなわちX軸のまわりの回転を表し、タウ(τ)は、矢印108で全体的に示されるように、ロールすなわちZ軸のまわりの回転を表す。したがって、一実装形態では、3次元加速度計は、例えば、加速度振動のレベルならびに横揺れまたは縦揺れの次元に関する重力についての変化を、少なくとも部分的に検出、または測定し得ると共に、したがって、5次元の可観測性(X、Y、Z、φ、τ)をもたらす。しかし、これらは、例示の座標系100を基準として検出、または測定され得る、さまざまな運動の実例でしかなく、本願発明の主題が前述の運動または座標系に限定されるわけではない。
上記の議論に続いて、3次元加速度計は、例えばデバイスと同一場所にいるユーザの活動に応答して、さまざまな振動による3次元空間の加速度を検出、または測定し得る。一般的には、加速度振動は、例えば移動する車両(例えばエンジン、ホイールなど、振動、路面の凸凹など)、ユーザの歩行または走行、手または手首の微動、有酸素運動、あるいはモバイルの設定または環境に通常存在し得る他の現象に関連している可能性があるが、必ずというわけではない。
図2は、一実装形態によってモバイルデバイスのユーザの活動クラスを推測するプロセスの図(200)である。図2では、モバイルデバイスに配置された慣性センサ210が、活動推定器220に対して、電気信号または他のタイプの信号を含む出力の「記録値」を生成し得る。一実装形態では、慣性センサ210は、可観測性のさまざまな次元(例えばX、Y、Z、φ、τ)に沿って投影されたモバイルデバイスの加速度を表す1つまたは複数の出力の記録値を生成する加速度計を備え得る。
慣性センサ210からの出力信号は、活動推定器220に送られ得る。一実装形態では、活動推定器220は、1つまたは複数の信号処理アルゴリズムを遂行して、1つまたは複数の入力信号から特徴を抽出し得る。一実装形態では、活動推定器220はケプストラムフィルタリング（Cepstral filtering）を実施し得ると共に、ケプストラムフィルタリングでは、慣性センサ210から受け取った1つまたは複数の入力信号に音声処理アルゴリズムが適用される。特定の実装形態では、慣性センサ210からの信号から1つまたは複数の特徴が抽出され得る。これらは、例えば以下の項目を限定されることなく含んでいる。
1.ケプストラム係数(Cepstral Coefficients：CC)、
2.メル周波数ケプストラム係数(Mel-Frequency Cepstral Coefficients：MFCC)、
3.デルタケプストラム係数(delta Cepstral Coefficients：dCC)、
4.デルタメル周波数ケプストラム係数(delta Mel-Frequency Cepstral Coefficients：dMFCC)、
5.加速ケプストラム係数(accel Cepstral Coefficients：d2CC)、
6.加速メル周波数ケプストラム係数(accel Mel-Frequency Cepstral Coefficients ：d2MFCC)、
7.線形予測係数(Linear Prediction Coefficients：LPC)、
8.デルタ線形予測係数(delta Linear Prediction coefficients：dLPC)、
9.加速線形予測係数(accel Linear Prediction coefficients：d2LPC)、
10.加速度計の標準からの変動、ならびに
11.加速度計のピッチおよびロール、または重力に対する加速度計の方向に関連した他の角度。
しかし、これらは、スペクトル包絡線(例えば、モバイルデバイスと同一場所にいるユーザの活動クラスを推測するのに用いられる)を特徴付けるために信号から抽出され得る特徴の実例でしかなく、本願発明の主題がこの点に限定されるわけではないことを理解されたい。
慣性センサ信号のスペクトル包絡線を特徴付けるための特徴の抽出に関して、CCまたはMFCCは、波形のスペクトル包絡線のパラメータ化をもたらし得ると共に、したがって、ユーザの別々の位置に配置されたモバイルデバイスによってユーザの歩行または足取りなどの別々のタイプの運動から生じる波形を識別するのに役立ち得る。一実装形態では、CCは、対象の周波数帯に同等のエンファシス(すなわち重み付け)が適用される慣性センサ信号から特徴付けられる特徴を抽出するために用いられ得る。MFCCの特徴の抽出に用いられ得るものなど、他の実装形態では、より低い周波数信号が強調され、より高い周波数信号は重視されないことがある。
一例では、ユーザが歩いているとき、ユーザの尻ポケットの中にあるモバイルデバイスから生じる加速度計の記録値（trace）は、ユーザの手中のモバイルデバイスに応答して生成される加速度計の記録値とは異なるものであり得る。この例では、ユーザが歩いているとき、ユーザのポケットの中にあるモバイルデバイスは、垂直(±Z)の方向には明瞭で周期的な加速度を受けるが、±X方向または±Y方向の加速度はほとんど受けない可能性がある。それとは対照的に、ユーザが歩いているとき、ユーザの手中のモバイルデバイスは、例えば、垂直(±Z)の方向に受ける加速度の周期性はあまり明瞭でなく、±X方向または±Y方向に受ける加速度は増加する可能性がある。
一実装形態では、デルタCCは、静的CCに加えて、各CCの速度(例えば時間に対する変化率)を、オーバーラップしているウィンドウにわたって考慮に入れることにより、CCの性能を高めるために用いられ得る。加速CCは、オーバーラップしているウィンドウにわたって、1つまたは複数の静的CCの加速度(例えば時間に対する速度の変化率)をさらに考慮に入れることにより、CCの性能をさらに向上させる可能性がある。
複数の実装形態で、デルタMFCCおよび加速MFCCに関するパラメータが同様に適用され得る。例えば、デルタフィルタリングおよび加速フィルタリングを適用するために、慣性センサ信号が提供する対象の周波数帯のプレエンファシスフィルタリングを用いて、静的MFCCが計算され得る。次いで、1つまたは複数のMFCCの速度および加速度を(時間の関数として)観測するために、算出されたMFCCに対してデルタフィルタリングおよび加速フィルタリングが遂行され得る。
複数の実装形態で、基礎をなす慣性センサ信号が全極型自己回帰過程によって生成される場合には、スペクトル包絡線を特徴付けるために、線形予測係数(LPC)が用いられ得る。一実装形態では、LPCは、以前の出力サンプルの近似の一次結合として、特定の時点における慣性センサの出力信号をモデル化し得る。一例では、1つまたは複数のデータウィンドウの期間に出力信号を記述する1組の係数に対して、誤差信号が加えられ得る。
一実装形態では、LPCからMFCCへの1対1のマッピングが存在し得る。デルタLPCは、オーバーラップしているウィンドウにわたって各係数の速度(例えば時間の関数としての変化率)をさらに考慮に入れることにより、LPCの性能を向上し得る。加速LPCは、オーバーラップしているウィンドウにわたって各係数の加速度(例えば時間の関数としての速度の変化率)をさらに考慮に入れることにより、LPCの性能をさらに向上し得る。
代替実装形態では、(例えばスペクトル包絡線の特徴付けの代わりの、またはその特徴付けと結合する)他の特徴が、モバイルデバイスと同一場所にいるユーザの活動を特徴付けるのに使用されるために、慣性センサ信号から抽出され得る。これらの特徴には、
1.ピッチ、
2.スペクトルエントロピー、
3.ゼロ交差レート(ZCR)、
4.スペクトル中心(SC)、
5.帯域幅(BW)、
6.帯域エネルギー(BE)、
7.スペクトルフラックス(SF)、および
8.スペクトルロールオフ(SR)、
が含まれ得る。
一実装形態では、慣性センサ信号からピッチが測定され得ると共に、これは、周期運動の基本周波数を定義し得る。ピッチの測定は、例えばジョギング対ランニング、早歩き対散歩など、例えば別々の速度で起こる類似の動きの活動を差別化するのに便利であり得る。
一実装形態では、スペクトルエントロピーが測定され得ると共に、これは、正規化して確率分布として観察されれば、慣性センサ信号の短期間の周波数スペクトルに対応し得る。例えば、スペクトルエントロピーを測定すると、信号のある程度の周期性のパラメータ化が可能になり得る。一例では、加速度計の記録値から計算されたスペクトルエントロピーがより低ければ、ユーザが、ウォーキング、ジョギング、サイクリングなどの周期的活動に従事していることを示し得る。一方、スペクトルエントロピーがより高ければ、ユーザが、デバイスの操作または凹凸のある道路での自動車運転などの非周期的活動に従事していることを示し得る。
一実装形態では、ゼロ交差レートが測定され得ると共に、これは、慣性センサ信号が、特定の時間ウィンドウにおいてその平均値と交差する1秒当たりの回数を記述し得る。ゼロ交差レートの測定は、“正の値と負の値の間のよりゆっくりした変動によって示され得るウォーキング”対“正の値と負の値の間のより急速な変動によって示され得るランニング”など、別々の速度で変動する慣性センサ信号を生成する各運動または各デバイス位置を差別化するのに役立ち得る。
一実装形態では、スペクトル中心が測定され得ると共に、これは、慣性センサ信号の短期間の周波数スペクトルの中心周波数を表し得る。サブバンドスペクトル中心は、慣性センサ信号のパワースペクトルにフィルタバンクを適用し、次いで、各サブバンドに関する第1のモーメント(または重心)を算出することによって見出され得る。次いで、信号周波数の範囲が、複数のビンに分割され得る。各サブバンドに相当するビンが求められ、1つインクリメントされ得る。次いで、もたらされたヒストグラムの離散コサイン変換を計算することにより、ケプストラム係数が求められ得る。
一実装形態では、帯域幅が測定され得ると共に、これは、慣性センサ信号の短時間周波数スペクトルの標準偏差として表され得る。一例では、本明細書で説明されたものなどの1つまたは複数の他の測定を補完するために、慣性センサ信号の帯域幅が用いられ得る。一実装形態では、帯域エネルギーが測定され得ると共に、これらは、慣性センサ信号の短期間周波数スペクトルの別々の周波数帯のエネルギーを記述し得る。
さまざまな実装形態において、スペクトル中心、帯域幅および/または帯域エネルギーの測定は、例えば、慣性センサ信号出力を生成する各運動または各デバイス位置を差別化するのに役立ち得ると共に、これらの測定は、周波数スペクトルの別々の部分(例えば高周波活動対低周波活動)におけるエネルギー濃度を示し得る。いくつかの実装形態では、他の測定とともに行なわれるこれら追加の測定は、慣性センサ信号に基づいて正確な活動検出の尤度関数を向上するために用いられ得る。
一実装形態では、スペクトルフラックスが測定され得ると共に、これは、慣性センサ信号の2つの連続するウィンドウにわたる短時間周波数スペクトル間の差の平均値であり得る。スペクトルフラックスの測定は、例えば特定の周期的行動が変化している速度を特徴付けるのに(例えば活動レベルが短時間で著しく変化し得る有酸素活動を特徴付けるのに)用いられ得る。
一実装形態では、スペクトルロールオフが測定され得ると共に、この周波数より下に、信号エネルギーの特定の小部分が存在し得る。一例では、スペクトルロールオフは周波数スペクトルの形状を特徴付けるのに役立ち得ると共に、この形状は、他の測定と結合したとき、ユーザ動作を求めるのに役立ち得る。
上記で特定された特徴抽出技法のうちの1つまたは複数の結果として、および/または他の信号処理の結果として、活動推定器220は、1つまたは複数のエポックにおけるさまざまな活動クラスに関する尤度関数を表す列ベクトルを生成し得る。一実装形態では、列ベクトルは、次式の形であり得る。
一実装形態では、活動推定器220は、各エポックの最終部分の期間中に列ベクトルp(t)を生成し得る。特定の実装形態では、エポックが約1秒の間隔で生じ得る。しかし、他の実装形態では、エポックは、約2秒、3秒、またはそれより長い時間などのより長い間隔を含み得る。他の実装形態では、エポックは、約1/2秒、1/4秒などのより短い間隔を含み得る。
一実装形態では、p(t)は、基礎をなすユーザ活動クラス(ω)が与えられたときの情報状態を観測する尤度の推定値を含み、y(t)は、観測結果を、例えば慣性センサ210からの1つまたは複数の加速度計の記録値の形で表す。したがって、例えばω1=ランニングであれば、量PY|Ω(y(t)|ω1)は、基礎をなすユーザ活動クラスが「ランニング」であるという統計的尤度を表し得る。類似の実例には、ω2=ウォーキングであれば、量PY|Ω(y(t)|ω2)は、基礎をなすユーザ活動クラスが「ウォーキング」であるという統計上の尤度を表し得る、などがある。一実装形態では、列ベクトルp(t)は、ユーザが、「M」番目の("M" number of)活動クラスの1つまたは複数に従事していることの尤度の推定値を示す。
一実装形態では、列ベクトルp(t)は、1秒当たり1回などの特定の間隔で活動識別器230に送られ得る。活動識別器230は、列ベクトルp(t)ならびに列ベクトルp(t)に関する過去の値(historical value)を結合し、かつフィルタリングすることにより、現在の活動クラスを推測し得る。したがって、現在の活動クラスの推定値は次式で表され得る。
上記の式で、活動識別器230は、列ベクトルp(t)によって表されるように、活動の「L」個の推定値を含む。したがって、一実装形態では、活動識別器230は、活動クラスの推測結果（inference：推測値）を計算する際に待ち時間を含む。したがって、活動識別器230が活動の5つの推定値を含んでいる実例では、活動判定を生成するのに先立って、活動分類の推測結果は次式で表され得る。
もちろん、他の実装形態では、活動識別器230は、活動判定を生成するのに先立って、任意数の活動の推定値を含んでいる。例えば、活動識別器は、活動クラスの推測結果を生成するのに先立って、わずか2つの活動の推定値を含み得るか、または活動クラスの推測結果を生成するのに先立って、数ダースもしくは数百もしくは何千もの活動の推定値を含み得る。
図3は、図2の時間的結合器のさらなる詳細を示す図(300)である。図3では、時間的投票、最大尤度結合、最大アプリオリ結合、有限インパルス応答フィルタリング、および無限インパルス応答フィルタリングは、活動判定を生成するのに活動の事前の推定値を用い得る少数の技法を表す。しかし、多数のさらなる技法が利用され得ると共に、本願発明の主題はこの点には限定されない。
一実装形態では、過去のエポックで推測される、より高い周波数を有する活動クラスを推測するのに時間的投票が利用され得る。時間的投票では、活動クラスの推測結果は次式で与えられ得る。
この式で、Ixは、事象Xに関する次の定義関数を含む。
また、この式で推測される活動クラス
は、活動1、活動2、...、活動Mのうちの1つである。
時間的投票では、例えばp(t-L+1)、(p(t-L+2))、...、p(t)などのp(t)の現在および過去の推定値を表す「L」個の列ベクトルに関して、過去のエポックに対して作成された推測結果に少なくとも部分的に基づいて、最も高い尤度を含む活動を表す「L」個のベクトルが計算される。例えば、L=5の場合、ユーザが例えば「ウォーキング」していることを活動クラスの3つの推定値が示すのであれば、時間的投票を利用する活動識別器は、ユーザの現在の活動クラスも「ウォーキング」に等しいと推測し得る。
活動識別器330が最大尤度フィルタリングを備える一実装形態では、観測結果{Y(t-L+1)、Y(t-L+2)、...、Y(t)}は、観測された情報状態y(t)の連合した独立の(jointly independent)サンプルを含むと仮定される。一実装形態では、{Y(t-L+1)、Y(t-L+2)、...、Y(t)}は、音声処理または他の信号処理技術を用いて、さまざまなエポックにおいて慣性センサからの1つまたは複数の出力信号から抽出された特徴を表し得る。一実装形態では、活動クラスの推測結果は、次式のように、活動クラスの推定値の対数尤度に対して移動平均フィルタを適用することからもたらされ得る。
観測結果{Y(t-L+1)、Y(t-L+2)、...、Y(t)}が、観測された情報状態y(t)の連合した独立のサンプルを含むという、少なくとも部分的には類似の仮定の下で、図3の一実装形態は、活動クラスの対数尤度をフィルタリングする次式の最大アプリオリ(MAP)フィルタを備え得る。
上記の式で、PΩ(ω1)、...、PΩ(ωM)は、「M」個の活動クラスに関する事前の尤度を表す。一例では、1組の活動クラスがウォーキング(ω1)、および静止(ω2)を含み、ウォーキングが10%の尤度で起こり、静止が90%の尤度で起こるのであれば、可能な設定の1つは、PΩ(ω1)=0.1かつPΩ(ω2)=0.9であり得る。
一実装形態では、活動識別器330は有限インパルス応答フィルタリングを遂行し得る。一実装形態では、活動クラスの推定値の対数尤度は最初にフィルタリングされる。有限インパルス応答フィルタリングの解決策は、次式で与えられる。
この式で、x(k)=logPY|Ω(y(k)|ωj)である。
上記の式で、有限インパルス応答の係数a(t-L+1)、a(t-L+2)、...、a(t)は、より新しいか、またはそれほど新しくない活動推定値に対する活動クラス判定にバイアスをかけるように、任意に選択され得る。一実装形態では、有限インパルス応答の係数に、より新しい推測結果の方へバイアスをかけると、活動識別器330は、より大きい待ち時間の推測の遂行から、より小さい待ち時間の推測の遂行へと適合することができるようになり得る。
一実装形態では、活動識別器330は無限インパルス応答フィルタリングを遂行し得る。例えば、活動クラスは、次式のフィルタリング解決策によって推測され得る。
ここで、
である。
上記の式で、無限インパルス応答の係数b(t-L+1)、b(t-L+2)、...、b(t-l)は、活動識別器330の安定性を保つやり方で選択され得る。
図4は、一実装形態による最大尤度フィルタに関する信頼度の程度を観測時刻の関数として示すグラフ(400)である。図4で、「fスコア」は、3秒のエポックで活動分類を生成する活動識別器からの分類の信頼水準を表し得る。初期の3秒のエポックの後に、活動クラスは、約87%のレベルの信頼度で推測され得る。追加の3秒のエポックの後に、活動クラスは、6秒の観測時間に対応して、ほぼ89%のレベルの信頼度で推測され得る。約9秒の観測時間の後に、活動クラスは、89%より優れたレベルの信頼度で推測され得る。約12秒の観測時間の後に、活動クラスは、90%より優れたレベルの信頼度で推測され得る。約15秒の観測時間の後に、活動クラスは、90.5%より優れたレベルの信頼度で推測され得る。約18秒の観測時間の後に、活動クラスは、ほぼ91%より優れたレベルの信頼度で推測され得る。
一実装形態では、活動推定値の時間的結合のために、モバイルデバイスは、より短い待ち時間およびより低い精度を有する活動識別器の単一のインスタンシエイションを実行するように構成され得る。しかし、識別器の出力状態が、本明細書で説明した1つまたは複数のフィルタ技術を手段として結合されるのであれば、活動クラスの、より長い待ち時間、より高い精度の推測がもたらされ得る。活動クラスの推測結果は、出力状態の所望の数を結合することにより、推測される活動クラスの精度の信頼度の程度において、対応する向上を可能とするように、拡張性があり得る。
図5は、一実装形態によるモバイルデバイスに関連した例示的コンピュータ環境を示す概略図である。本明細書で説明される、コンピュータ環境500に示されているさまざまなデバイスまたはネットワークのすべてもしくは一部分、プロセス、または方法は、ソフトウェアとともに、さまざまなハードウェア、ファームウェア、またはその任意の組合せを用いて実施され得ることを理解されたい。
コンピュータ環境500は、例えばモバイルデバイス502を含み得ると共に、モバイルデバイス502は、携帯電話ネットワーク、インターネット、モバイルアドホックネットワーク、無線センサネットワークなどの適切な通信ネットワークを介して、移動式または非移動式の任意数の他のデバイスに通信結合され得る。一実装形態では、モバイルデバイス502は、任意の適切な通信ネットワークを通じて情報を交換することができる任意の電子デバイス、装置、または機械を表し得る。例えば、モバイルデバイス502は、例えば携帯電話、人工衛星電話、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、個人の娯楽システム、電子書籍端末、タブレット型パーソナルコンピュータ(PC)、個人のオーディオデバイスまたはビデオデバイス、個人のナビゲーションデバイスなどに関連した1つまたは複数のコンピュータデバイスまたはプラットフォームを含み得る。特定の例示的実装形態では、モバイルデバイス502は、別のデバイスの中で用いるために動作可能な1つまたは複数の集積回路、回路基板などの形態をとり得る。図示されていないが、任意選択で、またはその代わりに、モバイルの、またはモバイルデバイス502に通信結合された、コンピュータ環境500に関連する1つまたは複数のプロセスを助長するため、または支援するための追加のデバイスが存在し得る。したがって、特に明記しない限り、議論を単純化するために、モバイルデバイス502を参照しながら以下で説明されるさまざまな機能、要素、構成要素などは、例示のコンピュータ環境500に関連した1つまたは複数のプロセスを支援するように、図示されていない他のデバイスにも適用され得る。
コンピュータ環境500には、例えば、位置決めシステム、位置ベースのサービスなどに関連した、1つまたは複数の無線信号に少なくとも部分的に基づいてモバイルデバイス502に関する位置または配置の情報をもたらすことができる、さまざま計算リソースまたは通信リソースが含まれ得る。図示されていないが、特定の例示的実装形態では、モバイルデバイス502は、例えば、方向情報、位置情報などのすべてまたは一部分を(例えば三辺測量、ヒートマップ署名照合などによって)取得するか、またはもたらすことができる位置認識ユニットまたは追跡ユニットを含み得る。このような情報は、ユーザの指示に応答して運動制御された1つまたは複数のプロセスを支援して供給され得るか、そうでなければ、例えば1つまたは複数のしきい値などの他の適切な情報または求められる情報とともに記憶装置504に記憶され得る。
記憶装置504は、任意の適切な情報または求められる情報の記憶媒体を表し得る。記憶装置504は、例えば主記憶装置506および補助記憶装置508を含み得る。主記憶装置506は、例えばランダムアクセスメモリ、読出し専用メモリなどを含み得る。この例では、主記憶装置506は、処理ユニット510と分離して示されているが、主記憶装置506のすべてまたは一部分が、処理ユニット510の内部に設けられ得るか、そうでなければ、処理ユニット510と一緒に配置され/結合され得ることを理解されたい。補助記憶装置508は、例えば主記憶装置のものと同一もしくは類似のタイプの記憶装置、または、例えばディスクドライブ、光ディスクドライブ、テープドライブ、固体記憶装置ドライブなどの1つもしくは複数の情報記憶装置もしくは情報記憶システムを含み得る。特定の実装形態では、補助記憶装置508は、非一時的コンピュータ可読媒体512を動作可能に受容することができるか、そうでなければこれに結合することができる。
コンピュータ可読媒体512は、例えば、コンピュータ環境500に関連した1つまたは複数のデバイスに関する情報、コードまたは命令(例えば製品など)へのアクセスを記憶するか、または供給することができる任意の媒体を含み得る。例えば、コンピュータ可読媒体512は、処理ユニット510によって用意され得るか、またはアクセスされ得る。そのため、特定の例示的実装形態では、これらの方法または装置は、全体的または部分的に、コンピュータ可読媒体の形態をとり得ると共に、これに記憶され得るコンピュータ実行可能命令が、少なくとも1つの処理ユニットまたは他の類似の回路によって実行されると、処理ユニット510または他の類似の回路が、位置割出しプロセスのすべてまたは各部分、センサベースの測定またはセンサに支援された測定(例えば加速度、減速度、方向、傾斜、回転など)、慣性センサ信号からの特徴の抽出/計算、モバイルデバイスと同一場所にいるユーザの活動の分類、または何らかの類似のプロセスを遂行することができるようになり、モバイルデバイス502の静止検出(rest detection)を助長するか、または支援する。特定の例示的実装形態では、処理ユニット510は、通信、ゲームなどの他の機能を遂行するか、または支援する能力があり得る。
処理ユニット510は、ハードウェアまたはハードウェアとソフトウェアの組合せで実施され得る。処理ユニット510は、情報を計算する技法またはプロセスの少なくとも一部分を遂行することができる1つまたは複数の回路を表し得る。限定するものでない一例として、処理ユニット510は、1つまたは複数のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、デジタル信号プロセッサ、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイなど、またはその任意の組合せを含み得る。
モバイルデバイス502は、コンピュータ環境500に関連した1つまたは複数のプロセスを助長するか、または支援するために、例えば1つまたは複数の加速度計513、または磁気コンパス、ジャイロスコープ、ビデオセンサ、比重計などのさまざまな他のセンサ514など、さまざまな構成要素または回路を含み得る。例えば、このようなセンサは、処理ユニット510に対してアナログ信号またはデジタル信号を供給し得る。図示されていないが、モバイルデバイス502は、1つまたは複数のセンサからのアナログ信号をデジタル化するためのアナログデジタル変換器(ADC)を含み得ることに留意されたい。任意選択で、またはその代わりに、このようなセンサは、それぞれの出力信号をデジタル化するように指定された(例えば内部にあるものなどの)ADCを含み得るが、本願発明の主題はそのように限定されるわけではない。
図示されていないが、モバイルデバイス502は、前述のように、例えば加速度計の測定情報(例えば加速度計の記録値)などの適切な情報または求められる情報を収集するために、記憶装置または情報バッファをさらに含み得る。モバイルデバイスは、例えばモバイルデバイス502の構成要素または回路のいくつかまたはすべてに電力を供給するために、電源をさらに含み得る。電源は、例えばバッテリーなどの携帯用電源であり得るか、または(例えば家、充電スタンド、自動車などの)コンセントなどの固定電源を備え得る。電源は、モバイルデバイス502に一体化され得る(例えばビルトインなど)か、そうでなければモバイルデバイス502によって支持され得る(例えばスタンドアローンなど)ことを理解されたい。
モバイルデバイス502は、さまざまな回路を互いに動作可能に結合するための1つまたは複数の接続バス516(例えばバス、線、導体、光ファイバなど)と、ユーザ入力を受け取り、センサ関連の信号測定を助長し、もしくは支援し、またはユーザに情報を供給するためのユーザインターフェース518(例えば表示器、タッチスクリーン、キーパッド、ボタン、ノブ、マイクロホン、スピーカ、トラックボール、データポートなど)とを含み得る。モバイルデバイス502は、示されたような1つまたは複数の適切な通信ネットワークを通じて、1つまたは複数の他のデバイスまたはシステムと通信することを可能にするための通信インターフェース520(例えば無線送信器または受信器、モデム、アンテナなど)をさらに含み得る。
図6は、一実装形態による、時間的結合を用いるユーザ活動の分類プロセスを示す流れ図(600)である。図5の実施形態は、図6の方法を遂行するのに適切であり得るが、構造および構成要素の代替機構を用いてこの方法を遂行することに何ら支障はない。図6の方法は、ブロック610で始まり、ブロック610は、複数の活動分類のそれぞれに対して、モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する複数の活動分類のそれぞれについて、活動の尤度関数値を求めるステップを含む。ブロック620は、活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求めるステップを含む。この方法はブロック630に続き、ブロック630は、現在のエポックにおける活動分類に関する求められた尤度関数に少なくとも部分的に基づいて、モバイルデバイスと同一場所にいるユーザの現在の活動を、これらの活動分類のうちの1つであると推測するステップを含む。
本明細書で説明される方法は、特定の特徴または実例による用途に依拠して、さまざまな手段によって実施され得る。例えば、このような方法は、ハードウェア、ファームウェア、ソフトウェア、個別論理回路/固定論理回路、それらの任意の組合せなどで実施され得る。例えば、ハードウェアまたは論理回路の実装形態では、処理ユニットは、ほんの数例を挙げると、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を遂行するように設計された他のデバイスもしくはユニット、またはそれらの組合せの内部に実装され得る。
ファームウェアまたはソフトウェアの実装形態については、この方法は、本明細書で説明された機能を遂行する命令を有するモジュール(例えばプロシージャ、機能など)で実施され得る。具体的に命令を実施する任意の機械可読媒体が、本明細書で説明された方法を実施するのに使用され得る。例えば、ソフトウェアコードは、記憶装置に記憶され、プロセッサによって実行され得る。記憶装置は、プロセッサの内部で、またはプロセッサの外部で実施され得る。本明細書に用いられる「記憶装置」という用語は、任意のタイプの長期記憶装置、短期記憶装置、揮発性記憶装置、不揮発性記憶装置、または他の記憶装置を指し、いかなる記憶装置の特定のタイプもしくは記憶装置の数、または記憶が格納される媒体のタイプにも限定されない。少なくともいくつかの実装形態では、本明細書で説明された記憶媒体の1つまたは複数の部分が、記憶媒体の特定の状態によって表されるデータまたは情報を表す信号を記憶し得る。例えば、データまたは情報を表す電子信号は、記憶媒体(例えば記憶装置)の一部分に、このような記憶媒体の一部分の状態に影響を及ぼす、または状態を変化させることにより、2進情報(例えば1と0)として、データまたは情報を表すように「記憶」され得る。そのため、特定の実装形態では、データまたは情報を表す信号を記憶するための記憶媒体の一部分のこのような状態変化は、記憶媒体の、別の状態または別のものへの変換を構成する。
示されたように、1つまたは複数の例示的実装形態では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、個別論理回路/固定論理回路、それらのいくつかの組合せなどで実施され得る。ソフトウェアで実施される場合、これら機能は、1つまたは複数の命令またはコードとして、物理的コンピュータ可読媒体に記憶され得る。コンピュータ可読媒体は、物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の入手可能な物理的媒体であり得る。限定するものではない一例として、このようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために用いることができてコンピュータまたはそのプロセッサによってアクセスされ得る任意の他の媒体を備えることができる。本明細書で使用される磁気ディスクおよび光ディスク(disk and disc)は、コンパクトディスク（登録商標）(CD)、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク(DVD)、フロッピー（登録商標）ディスクおよびブルーレイディスクを含み、磁気ディスクが、通常、データを磁気的に再現するのに対して、光ディスクはレーザを用いてデータを光学的に再現する。
上記で論じたように、モバイルデバイスは、1つまたは複数の無線通信技法を用い、さまざまな通信ネットワークを通じて、情報の無線の送信または受信によって1つまたは複数の他のデバイスと通信する能力があり得る。ここで、無線通信技法は、例えば無線広域ネットワーク(WWAN)、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)などを用いて実施され得る。「ネットワーク」および「システム」という用語は、本明細書では、互換性があるように用いられ得る。WWANは、符号分割多重接続(CDMA)ネットワーク、時分割多重接続(TDMA)ネットワーク、周波数分割多重接続(FDMA)ネットワーク、直交周波数分割多重接続(OFDMA)ネットワーク、単一搬送波の周波数分割多重接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE（登録商標）)ネットワーク、WiMAX（登録商標）(IEEE 802.16)ネットワークなどであり得る。CDMAネットワークは、ほんのいくつかの無線技術を挙げると、cdma2000、広帯域CDMA(WCDMA（登録商標）)、時分割同期コード分割多重接続(TD-SCDMA)などの1つまたは複数の無線接続技術(RAT)を実装し得る。ここで、cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格に従って実施される技術を含み得る。TDMAネットワークは、広域自動車通信システム(GSM（登録商標）)、デジタル先進携帯電話システム(D-AMPS)、または他のいくつかのRATを実装し得る。GSM（登録商標）およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP（登録商標）)という名称の協会からの文書に説明されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP（登録商標）2)という名称の協会から文書に説明されている。3GPP（登録商標）および3GPP（登録商標）2の文書は公に入手可能である。WLANは、IEEE 802.11xネットワークを含み得ると共に、WPANは、例えばブルートゥースネットワーク、IEEE 802.15x、または他のいくつかのタイプのネットワークを含み得る。これらの技法は、WWAN、WLAN、またはWPANの任意の組合せとともに実施され得る。無線通信ネットワークは、例えばロングタームエボリューション(LTE（登録商標）)、LTE（登録商標）-Advanced、WiMAX（登録商標）、ウルトラモバイルブロードバンド(UMB)など、いわゆる次世代技術(例えば「4G」)を含み得る。
特定の一実装形態では、モバイルデバイスは、例えばその位置、方向、速度、加速度などを推定するために、モバイルデバイスとの通信を助長するか、または支援する、1つまたは複数のフェムトセルと通信する能力があり得る。例えば、本明細書で用いられる「フェムトセル」は、例えばデジタル加入者回線(DSL)またはケーブルなどの広帯域ネットワークを介して、サービスプロバイダのネットワークへの接続を可能にされ得る1つまたは複数のより小さなサイズのセルラー基地局を指し得る。一般的には、必ずというわけではなく、フェムトセルは、可能な多数のものからほんの数例を挙げると、例えばユニバーサル移動体通信システム(UTMS)、ロングタームエボリューション(LTE（登録商標）)、エボリューションデータオプティマイズドまたはエボリューションデータオンリー(EV-DO)、GSM（登録商標）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX（登録商標）)、符号分割多重アクセス(CDMA)-2000、または時分割同期コード分割多重接続(TD-SCDMA)などのさまざまなタイプの通信技術を利用し得るか、そうでなければこれらの通信技術に適合し得る。特定の実装形態では、フェムトセルは、例えば一体化されたWiFiを含み得る。しかし、フェムトセルに関するこのような詳細は単なる実例であり、本願発明の主題はそのように限定されない。
また、コンピュータ可読のコードまたは命令は、信号によって(例えば電気的デジタル信号によって)、送信器から受信器へ、物理的伝送媒体を通じて伝送され得る。例えば、ソフトウェアは、ウェブサイト、サーバ、または他の遠隔のソースから、同軸ケーブル、光ファイバケーブル、撚線対、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などの無線技術の物理的構成要素を用いて伝送され得る。上記のものの組合せも、物理的伝送媒体の範囲内に含まれ得る。このようなコンピュータ命令またはデータは、別々の時間(例えば1回目と2回目)に、各部分(例えば第1の部分と第2の部分)で伝送され得る。この詳細な説明のいくつかの部分は、特定の装置または専用コンピュータデバイスまたはプラットフォームの記憶装置の内部に記憶された2値デジタル信号に対する操作のアルゴリズムまたは記号による表示に関して示される。この特定の明細書の文脈では、特定の装置などの用語には、一旦プログラムされるとプログラムソフトウェアからの命令に応じて特定の機能を遂行する汎用コンピュータが含まれる。アルゴリズムの説明または記号による表示は、当業者が、信号処理に用いる技法、または業務の中味を他の当業者に送るための関連技術の実例である。アルゴリズムは、ここでは、また一般に、所望の結果に至る首尾一貫した一連の操作、または類似の信号処理であると考えられる。この状況では、操作または処理は、物理量の物理的操作を伴う。一般的には、必ずというわけではなく、このような量は、記憶、伝達、結合、比較、または処理が可能な電気信号または磁気信号の形をとり得る。
主に共通使用の理由で、このような信号を、ビット、情報、値、要素、シンボル、文字、変数、項、数、数字などとして言及することが、時には好都合であることが判明している。しかし、これらの用語または類似の用語のすべてが、適切な物理量に関連付けられるべきであり、好都合な名札でしかないことを理解されたい。特に別記しない限り、上記の議論から明らかなように、本明細書を通じて、「処理する」、「計算する」、「算出する」、「判断する」、「確認する」、「識別する」、「関連付ける」、「測定する」、「遂行する」などの用語を利用する議論は、専用コンピュータまたは類似の専用電子コンピュータデバイスなどの特定の装置の動作または処理を指すものと理解される。したがって、本明細書の状況では、専用コンピュータまたは類似の専用電子コンピュータデバイスは、専用コンピュータまたは類似の専用電子コンピュータデバイスの記憶装置、レジスタ、または他の情報記憶装置、情報伝達装置、もしくは情報表示装置の内部の物理的な電子量、電気量、または磁気量として一般的に表された信号を処理するか、または変換することができる。
本明細書で用いられる「および」および「または」という用語は、このような用語が用いられている状況に少なくとも部分的に依拠するものと同様に予期される、さまざまな意味を含み得る。一般的には、「または」が、A、B、またはC、など、リストを関連付けるのに用いられた場合には、包含的な意味で使用されるA、B、およびC、ならびに排他的な意味で使用されるA、B、またはCを意味するように意図される。さらに、本明細書で用いられる「1つまたは複数の」という用語は、単数の任意の特徴、構造、または特性を説明するのに用いられ得るか、あるいは特徴、構造、または特性のいくつかの組合せを説明するのに用いられ得る。しかし、これは説明に役立つ実例でしかなく、本願発明の主題は、この実例に限定されないことに留意されたい。
本明細書では、特定の例示的技法が、さまざまな方法またはシステムを用いて説明されまた示されてきたが、本願発明の主題から逸脱することなく、さまざまな他の変更が行なわれ得ると共に、また等価物が代用され得ることが当業者には理解されよう。さらに、特定の状況を、本願発明の主題の教示に適応させるために、本明細書で説明された主要概念から逸脱することなく多くの変更が行なわれ得る。したがって、本願発明の主題は、開示された特定の実例に限定されず、添付の特許請求の範囲の範囲内に入るすべての実装形態およびその等価物をさらに含み得るように意図されている。
100 座標系
102 モバイルデバイス
104 原点
106 矢印
108 矢印
200 モバイルデバイスのユーザの活動クラスを推測するプロセスの図
210 慣性センサ
220 活動推定器
230 活動識別器
300 時間的結合器の詳細を示す図
330 活動識別器
400 最大尤度フィルタに関する信頼度の程度を観測時刻の関数として示すグラフ
500 コンピュータ環境
502 モバイルデバイス
504 記憶装置
506 主記憶装置
508 補助記憶装置
510 処理ユニット
512 コンピュータ可読記憶装置
513 加速度計
514 他のセンサ
516 接続バス
518 ユーザインターフェース
520 通信インターフェース
600 流れ図
610 ブロック
620 ブロック
630 ブロック

Claims (27)

  1. 複数の活動分類のそれぞれに対して、
    モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する前記複数の活動分類のそれぞれについて、活動識別器から、活動の尤度関数値を求めるステップと、
    前記活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求めるステップと、
    前記現在のエポックにおける前記活動分類に関する前記求められた尤度関数に少なくとも部分的に基づいて、前記モバイルデバイスと同一場所にいるユーザの現在の活動を、前記活動分類のうちの1つであると推測するステップと
    を含む方法。
  2. 前記活動の尤度関数値が対数尤度を含む請求項1に記載の方法。
  3. 前記現在の活動を推測するステップが、前記結合された尤度関数値を、時間的投票によってフィルタリングするステップを含む請求項1に記載の方法。
  4. 前記現在の活動を推測するステップが、前記結合された尤度関数値を、最大尤度フィルタリングによってフィルタリングするステップを含む請求項1に記載の方法。
  5. 前記現在の活動を推測するステップが、前記結合された尤度関数値を、最大アプリオリフィルタリングによってフィルタリングするステップを含む請求項1に記載の方法。
  6. 前記現在の活動を推測するステップが、前記結合された尤度関数値を、有限インパルス応答フィルタによってフィルタリングするステップを含む請求項1に記載の方法。
  7. 前記現在の活動を推測するステップが、前記結合された尤度関数値を、無限インパルス応答フィルタによってフィルタリングするステップを含む請求項1に記載の方法。
  8. 前記複数の活動分類のそれぞれが相互排他的である請求項1に記載の方法。
  9. 前記1つまたは複数のセンサが少なくとも1つの加速度計を備える請求項1に記載の方法。
  10. 前記1つまたは複数のセンサが、3つの線形の次元のそれぞれに、前記少なくとも1つの加速度計を備える請求項9に記載の方法。
  11. 前記活動の尤度関数値を結合して前記現在のエポックにおける前記活動分類に関する前記尤度関数を求める前記ステップが、前記2つ以上の過去のエポックにわたって最高の尤度関数を最も頻繁に有する前記活動分類を識別するステップをさらに含む請求項1に記載の方法。
  12. 複数の活動分類のそれぞれに対して、
    モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する前記複数の活動分類のそれぞれについて、活動識別器から、活動の尤度関数値を求める手段と、
    前記活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求める手段と、
    前記現在のエポックにおける前記活動分類に関する前記求められた尤度関数に少なくとも部分的に基づいて、前記モバイルデバイスと同一場所にいるユーザの現在の活動を、前記複数の活動分類のうちの1つであると推測する手段と
    を備える装置。
  13. 前記現在の活動を推測する前記手段が、時間的投票、最大尤度フィルタリング、最大アプリオリフィルタリング、有限インパルス応答フィルタリング、および無限インパルス応答フィルタリングのうちの少なくとも1つを備える請求項12に記載の装置。
  14. 前記1つまたは複数のセンサが、3つの線形の次元のそれぞれに、少なくとも1つの加速度計を備える請求項12に記載の装置。
  15. 機械可読命令を記憶した非一時的記憶媒体であって、前記機械可読命令が、モバイルデバイスのプロセッサによって、
    複数の活動分類のそれぞれに対して、
    前記モバイルデバイスの1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する活動分類について、活動識別器から、活動の尤度関数値を求め、
    前記活動の尤度関数値を結合して、現在のエポックにおける前記活動分類に関する尤度関数を求め、
    前記現在のエポックにおける前記活動分類に関する前記求められた尤度関数値に少なくとも部分的に基づいて、前記モバイルデバイスと同一場所にいるユーザの現在の活動を、前記活動分類のうちの1つであると推測するように実行可能である記憶媒体。
  16. 前記非一時的記憶媒体が機械可読命令をさらに記憶しており、前記機械可読命令が、前記モバイルデバイスの前記プロセッサによって、前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を、時間的投票を用いて推測するように実行可能である請求項15に記載の記憶媒体。
  17. 前記非一時的記憶媒体が機械可読命令をさらに記憶しており、前記機械可読命令が、前記モバイルデバイスの前記プロセッサによって、前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を、最大尤度フィルタリングを用いて推測するように実行可能である請求項15に記載の記憶媒体。
  18. 前記非一時的記憶媒体が機械可読命令をさらに記憶しており、前記機械可読命令が、前記モバイルデバイスの前記プロセッサによって、前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を、最大アプリオリフィルタリングを用いて推測するように実行可能である請求項15に記載の記憶媒体。
  19. 前記非一時的記憶媒体が機械可読命令をさらに記憶しており、前記機械可読命令が、前記モバイルデバイスの前記プロセッサによって、前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を、有限インパルス応答フィルタリングを用いて推測するように実行可能である請求項15に記載の記憶媒体。
  20. 前記非一時的記憶媒体が機械可読命令をさらに記憶しており、前記機械可読命令が、前記モバイルデバイスの前記プロセッサによって、前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を、無限インパルス応答フィルタリングを用いて推測するように実行可能である請求項15に記載の記憶媒体。
  21. 1つまたは複数のセンサと、
    複数の活動分類のそれぞれに対して、
    前記1つまたは複数のセンサからの信号に少なくとも部分的に基づいて、2つ以上の過去のエポックに関する前記複数の活動分類について、活動識別器から、活動の尤度関数値を求め、
    前記活動の尤度関数値を結合して、現在のエポックにおける活動分類に関する尤度関数を求め、
    前記現在のエポックにおける前記活動分類に関する前記求められた尤度関数に少なくとも部分的に基づいて、モバイルデバイスと同一場所にいるユーザの現在の活動を、前記活動分類のうちの1つであると推測するためのプロセッサと
    を備えるモバイルデバイス。
  22. 前記1つまたは複数のセンサからの前記信号が、3つの線形の次元における加速度計の記録値を含む請求項21に記載のモバイルデバイス。
  23. 前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を推測するための前記プロセッサが、時間的投票を遂行する請求項21に記載のモバイルデバイス。
  24. 前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を推測するための前記プロセッサが、最大尤度フィルタリングを遂行する請求項21に記載のモバイルデバイス。
  25. 前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を推測するための前記プロセッサが、最大アプリオリフィルタリングを遂行する請求項21に記載のモバイルデバイス。
  26. 前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を推測するための前記プロセッサが、有限インパルス応答フィルタリングを遂行する請求項21に記載のモバイルデバイス。
  27. 前記モバイルデバイスと同一場所にいる前記ユーザの前記現在の活動を推測するための前記プロセッサが、無限インパルス応答フィルタリングを遂行する請求項21に記載のモバイルデバイス。
JP2014502879A 2011-03-31 2012-03-30 モバイルデバイスの尤度関数値を結合して用いる、ユーザ活動を分類するためのシステム、方法、および装置 Expired - Fee Related JP5923593B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161470016P 2011-03-31 2011-03-31
US61/470,016 2011-03-31
US13/362,893 2012-01-31
US13/362,893 US8930300B2 (en) 2011-03-31 2012-01-31 Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
PCT/US2012/031697 WO2012135767A1 (en) 2011-03-31 2012-03-30 Systems, methods, and apparatuses for classifying user activity using combining of likelihood function values in a mobile device

Publications (2)

Publication Number Publication Date
JP2014513285A JP2014513285A (ja) 2014-05-29
JP5923593B2 true JP5923593B2 (ja) 2016-05-24

Family

ID=46928590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014502879A Expired - Fee Related JP5923593B2 (ja) 2011-03-31 2012-03-30 モバイルデバイスの尤度関数値を結合して用いる、ユーザ活動を分類するためのシステム、方法、および装置

Country Status (6)

Country Link
US (1) US8930300B2 (ja)
EP (2) EP2691918A1 (ja)
JP (1) JP5923593B2 (ja)
KR (1) KR101573196B1 (ja)
CN (1) CN103460221B (ja)
WO (1) WO2012135767A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659333B2 (en) 2012-10-26 2017-05-23 Disney Enterprises, Inc. Dining experience management
US20140122170A1 (en) * 2012-10-26 2014-05-01 Disney Enterprises, Inc. Detection of guest position
US8948783B2 (en) 2013-06-28 2015-02-03 Facebook, Inc. User activity tracking system
US9125015B2 (en) 2013-06-28 2015-09-01 Facebook, Inc. User activity tracking system and device
CN104348855B (zh) * 2013-07-29 2018-04-27 华为技术有限公司 用户信息的处理方法、移动终端及服务器
GB2516865A (en) * 2013-08-02 2015-02-11 Nokia Corp Method, apparatus and computer program product for activity recognition
US9942384B2 (en) 2013-09-10 2018-04-10 Google Technology Holdings LLC Method and apparatus for device mode detection
KR101860654B1 (ko) 2013-10-14 2018-05-23 나이키 이노베이트 씨.브이. 운동 움직임 속성으로부터의 페이스 및 에너지 지출의 계산
US9418342B2 (en) * 2013-12-06 2016-08-16 At&T Intellectual Property I, L.P. Method and apparatus for detecting mode of motion with principal component analysis and hidden markov model
US9159294B2 (en) 2014-01-31 2015-10-13 Google Inc. Buttonless display activation
JP6427598B2 (ja) * 2014-02-10 2018-11-21 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 光学センサを使用して検出されるモーションジェスチャ入力
US9037199B1 (en) 2014-02-13 2015-05-19 Google Inc. Detecting transitions between physical activity
US8976063B1 (en) 2014-04-29 2015-03-10 Google Inc. Automated detection of vehicle parking and location
US10652696B2 (en) * 2014-07-30 2020-05-12 Trusted Positioning, Inc. Method and apparatus for categorizing device use case for on foot motion using motion sensor data
KR101685495B1 (ko) * 2014-12-03 2016-12-28 한국과학기술연구원 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치
CN104503888B (zh) * 2014-12-16 2018-02-02 小米科技有限责任公司 告警提示的方法及装置
US10184797B2 (en) * 2015-12-18 2019-01-22 Invensense, Inc. Apparatus and methods for ultrasonic sensor navigation
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
US10564177B2 (en) 2016-08-01 2020-02-18 Samsung Electronics Co., Ltd. System and method for user activity recognition using accelerometer
US10743777B2 (en) * 2016-12-08 2020-08-18 Qualcomm Incorporated Cardiovascular parameter estimation in the presence of motion
US11041877B2 (en) 2016-12-20 2021-06-22 Blackberry Limited Determining motion of a moveable platform
US10467230B2 (en) 2017-02-24 2019-11-05 Microsoft Technology Licensing, Llc Collection and control of user activity information and activity user interface
US10732796B2 (en) 2017-03-29 2020-08-04 Microsoft Technology Licensing, Llc Control of displayed activity information using navigational mnemonics
US10671245B2 (en) 2017-03-29 2020-06-02 Microsoft Technology Licensing, Llc Collection and control of user activity set data and activity set user interface
US10853220B2 (en) 2017-04-12 2020-12-01 Microsoft Technology Licensing, Llc Determining user engagement with software applications
US10693748B2 (en) 2017-04-12 2020-06-23 Microsoft Technology Licensing, Llc Activity feed service
FR3066296A1 (fr) * 2017-05-10 2018-11-16 Stmicroelectronics (Rousset) Sas Procede de controle de detection, avec filtrage, de scenes par un appareil, par exemple un appareil de communication sans fil, et appareil correspondant
US10588517B2 (en) * 2017-05-19 2020-03-17 Stmicroelectronics, Inc. Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning
US11580088B2 (en) 2017-08-11 2023-02-14 Microsoft Technology Licensing, Llc Creation, management, and transfer of interaction representation sets
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
US20190365286A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Passive tracking of dyskinesia/tremor symptoms
US11980792B2 (en) 2019-06-05 2024-05-14 Qeexo, Co. Method and apparatus for calibrating a user activity model used by a mobile device
US11969266B2 (en) * 2020-02-14 2024-04-30 Northeastern University Embedded networked deep learning for implanted medical devices

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6145389A (en) 1996-11-12 2000-11-14 Ebeling; W. H. Carl Pedometer effective for both walking and running
US6582380B2 (en) 2000-01-24 2003-06-24 Ambulatory Monitoring, Inc. System and method of monitoring and modifying human activity-based behavior
JP4308683B2 (ja) 2004-02-26 2009-08-05 日本電信電話株式会社 ユーザ活動履歴可視化・分析方法、ユーザ活動履歴可視化・分析装置、および、プログラム
US7797106B2 (en) * 2005-06-30 2010-09-14 Nokia Corporation System and method for adjusting step detection based on motion information
US7925995B2 (en) 2005-06-30 2011-04-12 Microsoft Corporation Integration of location logs, GPS signals, and spatial resources for identifying user activities, goals, and context
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US7653508B1 (en) 2006-12-22 2010-01-26 Dp Technologies, Inc. Human activity monitoring device
US20080162202A1 (en) 2006-12-29 2008-07-03 Richendra Khanna Detecting inappropriate activity by analysis of user interactions
KR100934225B1 (ko) 2007-09-21 2009-12-29 한국전자통신연구원 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템
EP2208370B1 (en) 2007-11-09 2018-06-13 Google LLC Activating applications based on accelerometer data
JP2012003494A (ja) 2010-06-16 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN101984454B (zh) * 2010-11-19 2012-11-07 杭州电子科技大学 一种基于数据驱动的多源多特征信息融合方法

Also Published As

Publication number Publication date
EP2691918A1 (en) 2014-02-05
US20120254100A1 (en) 2012-10-04
US8930300B2 (en) 2015-01-06
EP3173971A1 (en) 2017-05-31
KR101573196B1 (ko) 2015-12-01
CN103460221B (zh) 2017-10-10
KR20130138321A (ko) 2013-12-18
WO2012135767A1 (en) 2012-10-04
CN103460221A (zh) 2013-12-18
JP2014513285A (ja) 2014-05-29

Similar Documents

Publication Publication Date Title
JP5923593B2 (ja) モバイルデバイスの尤度関数値を結合して用いる、ユーザ活動を分類するためのシステム、方法、および装置
JP5756561B2 (ja) 時間基準の特徴の時間的スケーリングを用いる活動分類のための、方法、デバイス、および装置
KR20160096224A (ko) 모바일 디바이스의 포지션을 추론하기 위한 디바이스들, 방법들, 및 장치들
KR101608878B1 (ko) 가속도계를 이용한 정지 검출
US20180349728A1 (en) Detecting user activity based on location data
US20140074431A1 (en) Wrist Pedometer Step Detection
US9702899B2 (en) Pedometer with lag correction
US8750897B2 (en) Methods and apparatuses for use in determining a motion state of a mobile device
WO2016016731A2 (en) Method and apparatus for categorizing device use case
WO2014191803A1 (en) Acceleration-based step activity detection and classification on mobile devices
FR3055957A1 (fr) Technique de detection de pas
CN116137037A (zh) 相机运动场景确定方法及装置、可读介质和电子设备
CN115792998A (zh) 一种智能终端单点定位方法、系统及产品

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160418

R150 Certificate of patent or registration of utility model

Ref document number: 5923593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees