JP6823123B2 - 行動データを用いた一般化されたスキル評価のためのシステム及び方法 - Google Patents

行動データを用いた一般化されたスキル評価のためのシステム及び方法 Download PDF

Info

Publication number
JP6823123B2
JP6823123B2 JP2019145307A JP2019145307A JP6823123B2 JP 6823123 B2 JP6823123 B2 JP 6823123B2 JP 2019145307 A JP2019145307 A JP 2019145307A JP 2019145307 A JP2019145307 A JP 2019145307A JP 6823123 B2 JP6823123 B2 JP 6823123B2
Authority
JP
Japan
Prior art keywords
data
behavior
skill
type
classify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019145307A
Other languages
English (en)
Other versions
JP2019207730A (ja
Inventor
ハン アフタブ
ハン アフタブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JP2019207730A publication Critical patent/JP2019207730A/ja
Application granted granted Critical
Publication of JP6823123B2 publication Critical patent/JP6823123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Computational Linguistics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)

Description

本明細書に記載される実施形態は、一般に、スキル評価のための方法及びデバイスに関する。実施形態は、特に、計算コストが低いスキル評価方法及びその方法を実行するデバイスに関する。
いくつかの人間行動認識(HAR)システムは、マルチモーダルセンシングデバイスを用いた関心のある行動を判定することを、目的とする。これらのシステムの大部分は、検出された行動の品質を評価すること無しに、自動的に行動のタイプを認識すること及び時空間タグをそれらに関連付けることに、重点を置く。それゆえ、これらの周知の技術は、検出された行動を実行することに含まれるスキルを評価できない。
階層的分析フレームワークを用いた自動スキル評価が、知られている。当該の方法は、スキル評価に有益な潜在的な情報を包含する表現間の複雑な関係に依存する可能性がある。
ドメイン特有スキル評価方法はまた、様々なスポーツ(クライミング、バスケットボール、野球など)及びヘルスケア技術(外科的スキル、パーキンソンなど)に対して、知られている。ドメイン特有フレームワークは、それらが元来設計されたドメインにおいてのみ、通常適用できる。
以下において、実施形態は、図面を参照して説明される。
図1は、一実施形態のスキル評価方法を示す。 図2は、スキル評価を実行するために必要なセンサの総数及びパーテションの数に対するスキル分類のために必要な総次元の形態において示される複雑性曲線を、示す。 図3は、ウェアラブルデバイス上における自動化及び一般化されたスキル評価の説明を、示す。 図4は、一実施形態のスキル評価デバイスの構成を示す。 図5は、経時的なスキルトラッキング/トレンディングの結果の例を、視覚化する。 図6は、k−NN分類器を用いたウォーキング行動に関するクラス重み付けF1−スコアを示す。事後確率はまた、ノイズレベルの削減(スキルにおける改善のシミュレーティング)に関連して示される。 図7は、決定ツリー分類器を用いたウォーキング行動に関するクラス重み付けF1−スコアを示す。
実施形態によれば、人によって実行された行動を示すデータを受信することと、受信されたデータに基づいて人によって実行された行動の1つのタイプ又は複数のタイプを分類することと、分類することは、行動が正確に分類されていることの信頼度の指標だけでなく1つの行動タイプ又は複数の行動タイプの指標を提供する、及び、信頼度の指標に基づいて、1つの分類された行動又は複数の分類された行動に関連するスキルレベルを分類することと、を具備するスキル分類の方法が、提供される。
2つの分類ステップのどちらか一方又は両方は、行動のタイプを分類するために、機械学習モデルに依存する。信頼度測定に依存することによって、スキル評価モデルは、均一に維持されることができ、周知のスキル評価方法に用いられたものより小さい特徴ベクトルをもたらすことができ、本実施形態の方法を小さい計算集約にすることができ、リアルタイム動作及び/または消費電力の削減を促進することができる。それゆえ、本実施形態の方法は、唯一の実行される分類ステップが、2つの上記分類ステップであるように、限定されることができる。各分類ステップに入力を提供するいくつかの特徴抽出ステップがまた、実行され得る。
方法は、その上、分類されたタスクを実行する個人又は管理者にフィードバックを提供するために、判定されたスキルレベルを出力し得る。出力は、評価されたスキルレベルの時系列の一部として、記憶装置に対して、評価されたスキルレベルを、さらに提供し得る。ある実施形態における方法は、評価されたスキルレベル又は複数又は評価されたスキルレベルの時系列を記憶するステップを具備する。
識別分類器は、人の行動を分類するために用いられ得る。用いられる識別分類器は、k−NN(k近傍)、DT(決定ツリー)、及びSVM(サポートベクトルマシン)分類器のうち1つ又は複数であり得る。これらの分類器は、上記分類ステップの1つ又は両方で用いられ得る。
その方法は、スライディングウィンドウを用いて受信したデータから特徴を抽出すること、又は、データの教師なしシンボル表現の後の受信されたデータから特徴を抽出すること、をさらに具備し得る。
方法は、状況的行動データが入手可能であるかどうかを判定すること、を含み得、これがその場合でなければ、スキル評価のための教師なしシンボル表現を用い得る。
方法は、スキルレベルを分類する前に分類された行動データから特徴を抽出することをさらに具備し得、分類された行動データから特徴を抽出することは、入力として信頼度の指標を用いることを具備する。
スキルレベルは、単純ベイズ分類器、ガウス分類器、又は、ニューラルネットワークを用いて、分類され得る。
所定のエキスパート入力は、スキルレベルを分類するために用いられるモデルをトレーニングするために用いられ得る。
ドメインの独立性は、方法のアーキテクチャが、運動又はスキル固有特徴のどれも考慮しなくともよいので、方法によって達成されることができる。言い換えれば、方法によって実行されたステップは、方法がどのスキルドメイン/タスクに適用されるかに関わらず、同じままである。それは、ドメインエキスパートによって提供されたスキルラベルを用いてトレーニングされたモデルが用いられたスキル分類方法のステップにおいてのみである。しかしながら、これは、方法のアーキテクチャ及び方法ステップのフローがスキルドメインに依存しないという事実を、変えない。
別の実施形態によれば、人の行動データを受信するための入力、プロセッサ及びプログラムコードを記憶するメモリを具備し、前記プログラムコードは、プロセッサによって実行される時、プロセッサに、人によって実行された行動を示すデータを受信させ、受信されたデータに基づいて人によって実行された行動の1つのタイプ又は複数のタイプを分類させ、分類することは、行動が正しく分類されていることの信頼度の指標だけでなく1つの行動タイプ又は複数の行動タイプの指標を提供する、及び、信頼度の指標に基づいて、1つの分類された行動又は複数の分類された行動に関連付けられたスキルレベルを分類させる、ように構成される、デバイスが提供される。
デバイスは、スマートフォン、ウェアラブルスマートリストバンド、腕時計であり得、及び/又は、着用のための衣類に統合され得る。
デバイスは、ユーザにスキル分類の結果を示すための出力を、さらに具備し得る。
デバイスは、スキル分類を集計し、分類されたスキルレベルにおける変化の指標を出力するための手段を、さらに具備し得る。
別の実施形態によれば、プロセッサによって実行される時に、プロセッサに、前述の方法のいずれかを実行させるコンピュータプログラムコードを具備する不揮発性記憶媒体が提供される。
品質又はスキル評価は、複雑なタスクであり、特定のドメイン、例えば、特定の運動、又は、複数の運動のセット又は連続を重視するドメインにおいて、実行され得る。同様に、スキル評価は、評価されるべきスキルを示す関連メトリックのある特定のセットを評価することによって実行され得る。例えば、あるスポーツのスタミナに関して、強度及びパワーは、スキルを判定するための重要なメトリックと見なすことができ、一方で、他に関して、行動量及びスピードは、スキルをより示すことができる。
方法は、ドメイン関連制限を有さない統計的分類メカニズムに依存する。一般化されたスキル分類は、行動を分類することにおける信頼度を強調する低レベル統計的分類器の事後確率を用いて、実行される。特徴抽出は、スキルを分類するためのこれらの信頼度スコアを用いて実行される。方法は、スキルドメイン及び基本的な認識方法の両方から独立であり、行動データのみに依存するため、それは、簡単に一般化されることができる。
図1は、実施形態に係るスキル評価方法100を示す。本実施形態が運用する生データは、ユーザ120によって携行された慣性測定ユニット(IMU)、特に3次元における加速度を測定する3軸加速度計、を用いて、ステップ110において、獲得され得る。しかしながら、異なるセンシング原理を用いて動作する代替の測定ユニットが、代わりに用いられることができる。これらはまた、運動をトラッキングするために、カメラと同様に身体から離れて取り付けられたPIR(受動型赤外線)センサだけでなく、身体上に装着されたジャイロスコープ及び磁力計を含むことができる。
獲得された生データは、ステップ130において、一連の隣り合う又はオーバラップするウィンドウにデータを分節化し、及び、データから特徴を抽出するためにウィンドウ化されたデータに、ステップ160における周知のデータ処理方法を適用することによって、分析される。低レベルデータラベルは、それらを生成するための前の分類ステップの出力に依存しないデータの短いセクションの所定の特性である。各スライディングウィンドウ内のデータに適用されたデータ処理方法は、
時間ドメインにおいて:
各スライディングウィンドウにおけるデータの平均、
各スライディングウィンドウのデータの中間値、最大値、最小値、及び/又は、範囲、 各スライディングウィンドウにおけるデータの分散、
各スライディングウィンドウにおけるデータの標準偏差、
各スライディングウィンドウのデータの二乗平均平方根、
異なるスライディングウィンドウにおける及び/又は異なる軸に沿うデータ間の相関、
異なるスライディングウィンドウにおける及び/又は異なる軸に沿うデータ間の相互相関、
各スライディングウィンドウにおけるデータ、特に加速度計データ、の積分又は二重積分、
ペア内に配列された信号間の差分、
データが、それ自身の範囲、例えばウィンドウ内、の中間点を通過する点、
引力に関連する加速度計の角度及び角速度、
3軸加速度計信号の各々の強度によってもたらされるエリアの合計、
信号ベクトル強度(SVM)及び/又は差分信号ベクトル強度(DSVM)、
3軸に関して測定された加速度ベクトルの強度のエネルギー及びエントロピー、
(ウェーブレット、フーリエ又は他の時間から周波数ドメインへの変換を通して達する)周波数ドメインにおいて:
ウェーブレット又はフーリエ変換の係数合計、
信号のDC成分、
フーリエ変換における優位周波数、
累積経験分布関数(ECDF)、
信号のスペクトル係数の二乗の和を決定することによって計算された、信号のスペクトルエネルギー、
DC成分を除いた離散フーリエ係数強度の正規化された情報エントロピー、及び
スペクトル係数のセットの総和、
のうち1つ又は複数又は全てを判定することを、含むことができる。
低レベル行動は、容易に低レベルラベルに関連付けられ得る。ある容易に特徴付けられる活動(すなわち、例えば、ウォーキング、手足のリフティングなど)は、仮にこれらが推測的に定義される場合、当該低レベルラベルに、その結果として分類されることができる。関連のある予め定義されたラベルが入手可能でなく、生データがその後ラベルとデータとの関連付けを可能にすることが、ステップ140において判定された場合、一実施形態において、データは、その代わりに先ず、ステップ150において、シンボル表現に変換され得る。Berlin, E., and Van Laerhoven, K. (2012), “Detecting leisure activities with dense motif discovery”, In Proc. Int. Conf. Ubiquitous Computing (UbiComp)において説明される方法は、この目的のために用いられることができる。このプロセスにおいて、データは、オリジナルデータの特定の特徴を反映する各シンボルを有する一連のシンボルを形成するために、離散化される。当該のシンボル表現はまた、特徴抽出のために用いられる明確なセグメント境界を包含し得る。ドメインの複雑さに依存して、一実施形態におけるこれらのシンボルの語彙サイズは、変化されることができる。上述したシンボル又は行動ラベルと組み合わされた方法及び基準のような、単純な統計的方法はこの後、これらのセグメント上で、認識動作を実行するために、用いられ、セグメントは、ウィンドウのサイズ又はシンボルの長さのどちらか適切な一方に対応することができる。
データがステップ130におけるようにウィンドウ化することを用いて分節化される、又は、ステップ150においてシンボル表現に最初に変換される、のうちどちらかに関わらず、データに関連する特徴が、上述した方法の1つ又は複数を用いて、ステップ160において抽出される。このように抽出された特徴は、第1分類ステップ170に対する入力として、用いられる。この分類ステップは、その出力として、分類ステップに関連付けられた信頼度スコアだけでなく、データによって示される行動のタイプの指標を、生成する。各種の識別分類器が、この目的のために、用いられ得る。k−NN(k近傍)、DT(決定ツリー)、及びSVM(サポートベクトルマシン)分類器が、特に適する。分類ステップ170の出力は、この分類ステップに関連付けられた信頼度スコアだけでなく、分類ステップにおいて識別された行動の指標を、提供する。分類された行動は、個別の運動の範囲を具備する行動であり得る。ウォーキングのようないくつかの行動は、行動を完了するために、ユーザによって実行された多量の運動を含み得る。他の行動、例えば、手術中の縫合のような、片手又は両手を用いた行動を実行することは、少量の個別の運動を含み得る。
行動分類に関する行動のタイプ及び信頼度を判定した後、さらなる特徴抽出ステップ180が、多数の識別された行動又はシンボルの信頼度スコアの時系列の特徴を抽出するために、実行される。第1特徴抽出ステップ160を参照する上記の1つ又は複数のデータ処理方法はまた、低レベル行動分類ステップ170によって提供された一連の信頼度スコアから特徴を抽出するために、ステップ180において、用いられ得る。
ステップ190における標準の分類方法は、抽出された高レベル特徴に基づいて、スキルレベルを分類するために、用いられる。再び、k−NN(k近傍)、DT(決定ツリー)、及びSVM(サポートベクトルマシン)分類器が、特に適する。分類ステップ190は、一実施形態において、トレーニングされたモデルに依存する。トレーニングの前の分類ステップ190に提供されるモデルエキスパートスキルラベルをトレーニングすることは、方法の実行のトレーニング中に、ステップ180において抽出された特徴に基づいて、スキルの正確な分類を補助するために、用いられる。一度トレーニングされると、スキルは、エキスパートラベルのさらなる必要なしに、ステップ180において抽出された高レベル特徴及びトレーニングされたモデルに基づいて、スキル分類ステップ190において、分類される。単純ベイズ分類器、ガウス分類器、ニューラルネットワークが、ステップ190において、特に有益である。
周知のスキル評価方法と比べて、本実施形態の方法は、多数の(階層的)サブセグメントに分割されるべきデータを必要としない。d次元を有する特徴を有するp個のパーテションに配列されたデータを具備する周知の方法において、これは、特徴ベクトルがサイズpxdを有することを、意味する。本実施形態において分割されることが必要しないことを考慮すると、特徴ベクトルのサイズは、削減される。図2は、パーテションの数及びセンサの数におけるスキル分類に関する総次元の依存性を、図示する。上部の曲線は周知のスキル分類方法に関連し、一方で、下部の曲線は本実施形態のスキル分類方法に関連し、それは、複雑性において顕著な減少を示し、ほとんどリアルタイムな動作を本実施形態において可能にする。スキル評価のためのデータを分割することにおける依存性は、自動化及び一般化されたスキル評価のリアルタイムアプリケーションを厳しく制限することを、はっきりと見ることができる。スキル評価を実行するために必要とされる特徴次元の総数は、周知のスキル評価方法に比較されるときにおいて、本実施形態において削減されるので、本実施形態はまた、スキルを評価するために低い消費電力を用いることは、明白である。
本実施形態において、低レベル分類によって提供された信頼度スコアのみが、高レベル特徴を抽出することに、用いられる。スキルはその後、抽出された高レベル特徴に基づいて、評価される。これは、シンボルスペースにおける運動の様々なセット間の関連する確率的関係及び学習ルール構造を必要とする先行技術のスキル分類方法と対比されなければならない。その一方で、本実施形態において、上述の分類プロシージャが代わりに用いられる。この処理は相対的によりフラットであり、スキル評価のためのスキルメトリックとしてその後に利用される事後確率のより早い入手の可能性をもたらす。低レベル運動を分類する時に生成された信頼スコアは、周知のスキル評価技術に比較される場合に、運動のより複雑でない表現をもたらし、スキルの繰り返し態様(すなわち、“繰り返し上手く何かをするための能力”)を、強調する。
本実施形態の方法は、ドメイン依存性が無いので、フットボール、ラグビー、クリケット及びテニスを含む様々なスポーツに関するウェアラブルデバイスにおいて、用いられることができる。本実施形態は、先行技術より計算コストが低いため、リアルタイムにおけるその使用は、より実用的である。それは、また、スキルレベルに関するパフォーマンスをトラッキングすることにおいて、プレイヤー及びコーチを支援できる。例えば、プレイヤーは、所与のゲームの前のトレーニングに関するパフォーマンスをトラッキング及び最適化できる。初心者のプレイヤーは、プロフェッショナルなプレイヤーに関する彼らのスキルを評価でき、スキル育成のために必要な面を改善できる。負傷したプレイヤーは、 劣化したスキル品質を分析すること及び経時的な改善をトラッキングすることによって、彼らのリハビリテーションを評価できる。
本実施形態はまた、臨床医又は介護人が関連のある決定を為すために、身体障害を有する人々をモニタリングすること、及び、経時的な彼らの運動をトラッキングすることにおいて用いられ得る。外科的スキルのトレーニングにおいて、本実施形態は、スキル品質の指標である複雑な運動を評価するために、オフラインとは対照的に、ほぼリアルタイムで利用されることができる。行動改善又は悪化(ウォーキング、ランニング又はジャンピング)はまた、健康上の問題の兆候に関する人々の行動における品質またはスキルを評価するために、彼らの広い多様性に対して評価されることができる。
本実施形態の方法は、周知の方法より計算コストが低いため、ウェアラブルデバイスにおけるその展開は、現実的である。図3は、行動認識後にオンボードで様々なタイプの行動をトラッキング可能なウェアラブルデバイス上のスキル評価モジュールの説明を示す。デバイスは、ユーザに着用され、ユーザの運動をセンシングするためのセンサを具備する。これらのセンサは、図3に例示される生データを提供する。デバイスは、図1に参照される上述の手法におけるスキル評価を実行し、スキルトラッキング/トレンディングモジュールに、判定されたスキルレベルを提供する。スキルにおける変化又は改善は、スキル可視化手段を介して、ユーザに通知される。
図4は、実施形態に係るスキル評価デバイス200のハードウェア構成を示す。デバイス200は、本実施形態の方法が作用する生データを獲得するためのセンサ210を具備する。プロセッサ220は、メモリ230内に記憶されたプログラムコードを実行し、プログラムコードは、プロセッサ220によって実行されるときに、プロセッサが本実施形態の方法を実行するようなものである。入力/出力デバイス240は、スキル評価の結果を出力するために用いられる。これは、スキル評価結果の映像又は指標、例えば可聴指標のようなユーザによって別な方法で知覚可能な指標、及び/又は、結果を記憶し得る、及び/又は、例えば、トレーニング計画を開発すること、トレーニング行動の追跡を継続すること、例えば賠償請求を避けるなどのために特定(おそらく非訓練)のタスクにおいて実行されたスキルをモニタリングすることにおいて、評価結果をさらに使用し得る、更なるデバイスに対する評価結果を示す信号の(より好ましくは無線による)送信、を提供することを含み得る。センサ210がデバイス220内に物理的に存在せずともよいことは、同様に評価されるであろう。代わりに、センサは、スキル評価方法に関する入力として、センスされた生データを、接続、より好ましくはワイヤレス接続を介して、デバイス220に送信し得る。
本実施形態によって要求された計算要求は、周知のスキル評価方法によって要求されるそれらよりかなり低いので、スキル評価は、それゆえ、電源が制限された場合のプラットホーム上で実行されることができる。生センシングデータは、スキル評価コンポーネントに利用される運動センサを用いて記録されることができる。 プロセッサ220は、スキル評価を実行するための専用プロセッサであり得、センサ210を含み得る。図5は、経時的に記録されたスキルトレンドの一例を示し、多数の週を通じたウォーキングスキルにおける改善を、示す。
本実施形態のアプローチは、標準的なデータセット(Casale, P., Pujol, O., and Radeva, P. (2012), “Personalization and user verification in wearable systems using biometric walking patterns”, Personal and Ubiquitous Computing, 16(5), 563-580)を用いてテストされ、日常生活の行動を含むことが、用いられた。このデータセットにおいて、胸部搭載加速度計が、ウォーキング、スタンディング、上階への移動などを含む7つの異なるタイプの行動を、自動的に識別するための運動データを獲得するために、用いられた。図1に示される方法は、当該の運動に含まれるスキルを評価するために、用いられた。
図1により、生データは、隣り合うウィンドウ(オーバラップしているスライディングウィンドウ)において、最初に分節化される。これに続いて、ウィンドウごとに関する低レベル特徴抽出が行われる。以下の特徴が、この演習において、計算される:
合計で99のFFT(軸につき33)
全ての軸に関して20のECDF(合計で19+1平均)
大きさにおいて1のエネルギー
大きさにおいて1のエントロピー
軸あたり3つの平均
軸あたり3つのstd
3つの相関係数。
これらは、合計130の特徴をもたらす人間行動認識(HAR)アプリケーションにおいて利用される特徴の標準セットである。これらの特徴は、その後、行動を自動的に分類するために用いられる。
この例において、行動は、ノイズのレベルを変化させるためのk−NN分類器を用いて分類され、スキル変化が、シミュレーションされる。図6における上部のグラフは、ノイズレベルを変化することに対するウォーキング行動の平均分類F1−スコアの結果のプロットを示す。ノイズが減少するので、分類性能が増加することを、見ることができる。同様のトレンドがまた、予測の平均事後確率(図6の下部の線を見よ)において見られる。これは、分類器がまだ、ベースライン見込みより良く、実行できるので重要である、すなわち、それは、たとえ50%のノイズレベルでも、ウォーキング行動を認識できる。事後確率は、それゆえ、スキルを分類するために用いられることができる。このシミュレーションされた例において、ノイズレベルと事後確率との間の相関は、スキル評価のために要求された学習要素を、示す。平均F1−スコアと平均事後確率との間の相関は、事後確率における表現が、スキル評価に利用されることができることを、示す。これは、低レベル行動分類に続いてスキルレベルが分類される第2の分類ステップのみが行われる上述の“フラットな”スキル評価モデルの使用を可能にする。このフラットなスキル評価モデルは、複雑さ及び決定ツリーの数において、周知の階層的スキル評価モデルとは異なる。
図7は、決定ツリー分類器に依存する実施形態のスキル分類方法を用いて生成された類似の結果を示す。図7の上部のグラフは再び、ウォーキング行動の平均分類F1−スコアの結果のプロットを示し、図7の下部のグラフは、予測の平均事後確率を示す。図7は、本実施形態の方法が、分類器非依存であることを証明する。一実施形態において、SVM分類器が、複雑な運動のスキル評価に関して結果として得られた事後確率と並行して用いられる。
いくつかの実施形態が説明されたが、これらの実施形態は、例として提示されたものであり、発明の範囲を制限することを意図されない。実際に、本明細書で説明された新規のデバイス及び方法は、様々な他の形態で実施され得、その上で、本明細書で説明されたデバイス、方法及び製品の形態における種々の省略、置き換え及び変更が、発明の要旨を逸脱しない範囲で為され得る。添付の特許請求の範囲及びその均等は、発明の範囲や要旨に含まれるとともに、当該形態や変形を含めるように意図される。

Claims (16)

  1. コンピュータが、センサから人によって実行された行動を指標するデータを獲得し
    記データに基づいて、人によって実行された行動のタイプを分類し、
    行動を指標するデータに基づいて、人によって実行された行動のタイプ及びその信頼度を判定し、
    前記行動のタイプ及び前記信頼度の時系列の特徴を抽出し、
    抽出された特徴に基づいて、行動に関連付けられたスキルレベルを分類する、
    スキル分類方法。
  2. 前記データからスライディングウィンドウを用いて抽出された特徴から行動のタイプを分類する請求項1に記載の方法。
  3. 前記データの教師なしシンボル表現に変換され、当該シンボル表現から行動のタイプを分類する請求項1に記載の方法。
  4. 前記分類された行動のタイプのデータから当該行動のタイプの指標と前記分類に関連付けられた信頼度である特徴を抽出する請求項1乃至3のいずれか1項に記載の方法。
  5. 前記スキルレベルは、単純ベイズ分類器、ガウス分類器、又は、ニューラルネットワークを用いて、分類される、請求項1乃至4のいずれか1項に記載の方法。
  6. 所定のエキスパート入力が、前記スキルレベルを分類するために用いられるモデルをトレーニングするために、用いられる請求項5に記載の方法。
  7. 人の行動データを獲得するためのセンサ、プロセッサ、及び、プログラムコードを記憶するメモリを有し、
    前記プログラムコードは、前記プロセッサによって実行される時において、前記プロセッサに、
    センサから人によって実行された行動を指標するデータを獲得させ、
    前記データに基づいて、人によって実行された行動のタイプを分類させ、
    行動を指標するデータに基づいて、人によって実行された行動のタイプ及びその信頼度を判定させ、
    前記行動のタイプ及び前記信頼度の時系列の特徴を抽出させ、
    抽出された特徴に基づいて、行動に関連付けられたスキルレベルを分類させるように構成される、デバイス。
  8. 前記プログラムコードは、前記プロセッサによって実行される時において、前記データからスライディングウィンドウを用いて抽出された特徴から行動のタイプを分類させるようにさらに構成される、請求項7に記載のデバイス。
  9. 前記プログラムコードは、前記プロセッサによって実行される時において、前記データの教師なしシンボル表現に変換され、当該シンボル表現から行動のタイプを分類させるようにさらに構成される、
    請求項7に記載のデバイス。
  10. 前記プログラムコードは、前記プロセッサによって実行される時において、前記分類された行動のタイプのデータから当該行動のタイプの指標と前記分類に関連付けられた信頼度である特徴を抽出させるようにさらに構成される、
    請求項7乃至9いずれか1項に記載のデバイス。
  11. 前記プログラムコードは、前記プロセッサによって実行される時に、前記プロセッサに、単純ベイズ分類器、ガウス分類器、又は、ニューラルネットワークを用いて、前記スキルレベルを分類させる、ようにさらに構成される、
    請求項7乃至10いずれか1項に記載のデバイス。
  12. 所定のエキスパート入力が、前記スキルレベルを分類するために用いられるモデルをトレーニングするために用いられる、
    請求項11に記載のデバイス。
  13. 前記デバイスは、スマートフォン、ウェアラブルスマートリストバンド、腕時計であって、及び/又は、着用のための衣類に一体化されている、
    請求項7乃至12いずれか1項に記載のデバイス。
  14. ユーザにスキル分類の結果を示すための出力を、さらに具備する、
    請求項7乃至13いずれか1項に記載のデバイス。
  15. スキル分類を収集する、及び、前記分類されたスキルレベルにおける変化の指標を出力するための手段を、さらに具備する、
    請求項7乃至14いずれか1項に記載のデバイス。
  16. コンピュータに、センサから人によって実行された行動を指標するデータを獲得するステップと、
    前記データに基づいて、人によって実行された行動のタイプを分類するステップと、
    行動を指標するデータに基づいて、人によって実行された行動のタイプ及びその信頼度を判定するステップと、
    前記行動のタイプ及び前記信頼度の時系列の特徴を抽出するステップと、
    抽出された特徴に基づいて、行動に関連付けられたスキルレベルを分類するステップと、
    を実行させるためのプログラム。
JP2019145307A 2017-01-09 2019-08-07 行動データを用いた一般化されたスキル評価のためのシステム及び方法 Active JP6823123B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/401,521 US11216766B2 (en) 2017-01-09 2017-01-09 System and method for generalized skill assessment using activity data
US15/401,521 2017-01-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017201845A Division JP2018113019A (ja) 2017-01-09 2017-10-18 行動データを用いた一般化されたスキル評価のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2019207730A JP2019207730A (ja) 2019-12-05
JP6823123B2 true JP6823123B2 (ja) 2021-01-27

Family

ID=62783151

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017201845A Pending JP2018113019A (ja) 2017-01-09 2017-10-18 行動データを用いた一般化されたスキル評価のためのシステム及び方法
JP2019145307A Active JP6823123B2 (ja) 2017-01-09 2019-08-07 行動データを用いた一般化されたスキル評価のためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017201845A Pending JP2018113019A (ja) 2017-01-09 2017-10-18 行動データを用いた一般化されたスキル評価のためのシステム及び方法

Country Status (2)

Country Link
US (1) US11216766B2 (ja)
JP (2) JP2018113019A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087830A1 (en) * 2017-09-15 2019-03-21 Pearson Education, Inc. Generating digital credentials with associated sensor data in a sensor-monitored environment
US11971951B2 (en) * 2018-06-21 2024-04-30 City University Of Hong Kong Systems and methods using a wearable sensor for sports action recognition and assessment
JP7080137B2 (ja) * 2018-08-23 2022-06-03 株式会社ハピネスプラネット スコア管理装置およびスコア管理方法
US11960599B2 (en) * 2021-02-26 2024-04-16 International Business Machines Corporation Classifying users of a database
CN113592295A (zh) * 2021-07-29 2021-11-02 中国人民解放军海军航空大学岸防兵学院 产品可靠性综合评估方法与系统、设备、介质
CN115440333B (zh) * 2022-11-08 2023-02-24 深圳达实旗云健康科技有限公司 数据采集过程中的数据处理方法、装置、终端设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070134636A1 (en) 2005-12-13 2007-06-14 Posit Science Corporation Cognitive training using a maximum likelihood assessment procedure
US20100209892A1 (en) * 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on manual transmission shift behavior
US9352207B2 (en) * 2012-01-19 2016-05-31 Nike, Inc. Action detection and activity classification
US9278255B2 (en) * 2012-12-09 2016-03-08 Arris Enterprises, Inc. System and method for activity recognition
US20160058356A1 (en) * 2014-09-02 2016-03-03 Apple Inc. Method and system to calibrate fitness level and direct calorie burn using motion, location sensing, and heart rate
DE102015207415A1 (de) 2015-04-23 2016-10-27 Adidas Ag Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis
US10854104B2 (en) * 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US10504036B2 (en) * 2016-01-06 2019-12-10 International Business Machines Corporation Optimizing performance of event detection by sensor data analytics

Also Published As

Publication number Publication date
JP2018113019A (ja) 2018-07-19
US11216766B2 (en) 2022-01-04
US20180197078A1 (en) 2018-07-12
JP2019207730A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6823123B2 (ja) 行動データを用いた一般化されたスキル評価のためのシステム及び方法
San-Segundo et al. Robust Human Activity Recognition using smartwatches and smartphones
Harris et al. A survey of human gait-based artificial intelligence applications
Aljarrah et al. Human activity recognition using PCA and BiLSTM recurrent neural networks
McGrath et al. Upper body activity classification using an inertial measurement unit in court and field-based sports: A systematic review
Geman Nonlinear dynamics, artificial neural networks and neuro-fuzzy classifier for automatic assessing of tremor severity
Acikmese et al. Towards an artificial training expert system for basketball
Kaur et al. A Vision-Based Framework for Predicting Multiple Sclerosis and Parkinson's Disease Gait Dysfunctions—A Deep Learning Approach
Tabrizi et al. A deep learning approach for table tennis forehand stroke evaluation system using an IMU sensor
Elden et al. A computer aided diagnosis system for the early detection of neurodegenerative diseases using linear and non-linear analysis
Bahador et al. Deep learning–based multimodal data fusion: Case study in food intake episodes detection using wearable sensors
Norgaard et al. Multi-sensor time-series classification for activity tracking under variable length
Khan et al. Generalized and efficient skill assessment from IMU data with applications in gymnastics and medical training
Khanal et al. Classification of physical exercise intensity by using facial expression analysis
Javeed et al. Automated gestures recognition in Exergaming
Brzostowski et al. Data fusion in ubiquitous sports training: methodology and application
Tian Adversarial vulnerability of deep neural network-based gait event detection: A comparative study using accelerometer-based data
Auber et al. Activity recognition from binary data
Asl et al. Statistical Database of Human Motion Recognition using Wearable IoT-A Review
Dentamaro et al. Real-time neurodegenerative disease video classification with severity prediction
Tan et al. Recognition Technology of Athlete’s Limb Movement Combined Based on the Integrated Learning Algorithm
Javeed et al. Physical Locomotion Detection using pre-classification for Muscles monitoring
Jeong et al. Physical workout classification using wrist accelerometer data by deep convolutional neural networks
Batool et al. Movement Disorders Detection in Parkinson’s Patients using Hybrid Classifier
Jayakarthik et al. Fall Detection Scheme based on Deep Learning Model for High-Quality Life

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210107

R151 Written notification of patent or utility model registration

Ref document number: 6823123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151