JP6724984B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP6724984B2
JP6724984B2 JP2018517947A JP2018517947A JP6724984B2 JP 6724984 B2 JP6724984 B2 JP 6724984B2 JP 2018517947 A JP2018517947 A JP 2018517947A JP 2018517947 A JP2018517947 A JP 2018517947A JP 6724984 B2 JP6724984 B2 JP 6724984B2
Authority
JP
Japan
Prior art keywords
motion
likelihood
period
exercise
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018517947A
Other languages
English (en)
Other versions
JPWO2017199305A1 (ja
Inventor
真路 堀田
真路 堀田
明大 猪又
明大 猪又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017199305A1 publication Critical patent/JPWO2017199305A1/ja
Application granted granted Critical
Publication of JP6724984B2 publication Critical patent/JP6724984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
高齢者の中には歩行等、日常での移動に問題を抱えて入る者が多い。したがって、日常での高齢者の移動能力を把握することは、医療従事者の関心を集めている。
これを正しく把握するためには、歩行や階段昇降、自転車、ターンなどの日常でよく行われる運動の仕方をセンサで定量化することが重要である。そのためには、まず、運動が行われていた期間(以下、「運動期間」という。)を正しく検出できる必要が有る。
従来、ウェアラブルセンサのデータから機械学習を適用して運動期間を検出する手法が提案されている。
例えば、被験者の身体の5箇所にセンサが装着され、歩行、走行、階段のぼる等、各種運動時のセンサデータが予め収集される。当該センサデータが利用されて、データの特徴量から運動種別を判別する学習モデルが決定木により学習される。当該学習モデルがテストデータに適用されて運動が判定される(非特許文献1参照)。
また、人によって運動の仕方が違うことから、人毎にモデルが学習されることで、運動の判定に関して高精度化が図られている(非特許文献2参照)。
しかし、患者の学習データを大量に集めることは困難である。
そこで、学習データ収集のコストを削減するため、少量の学習データとラベル無しデータとが使われて、運動期間の推定モデルを作る手法が提案されている。
例えば、既に得られている学習データから複数個の推定モデルが作られる。ラベル無しデータに複数個の推定モデルが適用されて全ての推定結果が一致した場合に、そのラベル無しデータが学習データに追加される手法(En−Co−Training)が提案されている(非特許文献3)。
また、既に得られている別人の学習データが転移されて、本人の推定モデルが構築される手法もある。例えば、まず、人物Aの学習データが使われて決定木が学習される。その後に、人物Bのラベリングされてない観測データが使われて決定木が改変される手法(TransEMDT)が提案されている(非特許文献4)。具体的には、高い確信度で判別された場合に、決定木の閾値が更新されていくという方法である。
Bao,「Activity Recognition from User-Annotated Acceleration Data」,2004 Weiss,「The Impact of Personalization on Smartphone-Based Activity Recognition」, 2012 Guan,「Activity recognition based on semi-supervised learning」,2007 Zhao,「Cross-People Mobile-Phone Based Activity Recognition」,2007
しかしながら、非特許文献3の手法では、人によって動き方が異なるため、最適な推定モデルを学習することが困難である。
また、非特許文献4の手法では、推定が上手くいくか否かは、事前に得られた学習モデルに依存するため、それまでにない動きをする新規ユーザに関する推定は失敗する可能性が高い。
そこで、一側面では、対象者、または、対象者の周囲環境、または、対象者の状態によって動き方が変わった場合に、運動期間を正しく検出可能とすることを目的とする。
一つの案では、情報処理装置は、体の1以上の部位の動きを時系列に示すセンサデータに基づいて、所定の運動が行われたことが推定される期間を特定する特定部と、前記センサデータに基づいて、前記期間における動作群を検出する検出部と、検出された動作群の特徴に基づいて、当該動作群が前記所定の運動であることの尤度を算出する算出部と、を有する。
一態様によれば、対象者、または、対象者の周囲環境、または、対象者の状態によって動き方が変わった場合に、運動期間を正しく検出可能とすることができる。
第1の実施の形態における運動期間判定装置のハードウェア構成例を示す図である。 第1の実施の形態における運動期間判定装置の機能構成例を示す図である。 第1の実施の形態における運動期間判定部の機能構成例を示す図である。 各方向を説明するための図である。 運動種別ごと身体部位ごとに検出される必現動作を示す図である。 左右交互度を説明するための図である。 間隔一致度を説明するための図である。 速度一致度を説明するための図である。 逆足支持度を説明するための図である。 両足着地度を説明するための図である。 同時移動度を説明するための図である。 着地時屈曲度を説明するための図である。 離地時屈曲度を説明するための図である。 上下交互度を説明するための図である。 同時衝撃度を説明するための図である。 運動種別ごとに算出対象の特徴尤度を示す図である。 尤度算出ルールの関数例を示す図である。 必現パターンの各特性と各特徴尤度との対応関係を示す図である。 第1の実施の形態における運動期間判定装置が実行する処理手順の一例を説明するためのフローチャートである。 判定対象の運動種別の設定例を示す図である。 候補期間の抽出例を示す図である。 各候補期間の運動種別の確定結果の一例を示す図である。 第1の実施の形態における運動期間判定処理の処理手順の一例を説明するためのフローチャートである。 パラメータセットの一例を示す図である。 フィルタ通過帯域の一例を示す図である。 フィルタリングの前後のセンサデータとピーク点との一例を示す図である。 複数のピークの統合を示す図である。 動作範囲の特定方法の一例を示す図である。 動作範囲の特定によって得られる情報を示す図である。 尤度算出ルール群の一例を示す図である。 必現動作検出器ごとに必現パターン尤度の算出結果の一例を示す図である。 動作間特徴量の抽出処理の処理手順の一例を説明するめのフローチャートである。 候補動作ごとの動作間特徴量の抽出結果の一例を示す図である。 特徴尤度の算出処理の処理手順の一例を説明するためのフローチャートである。 左右交互尤度の算出例を示す図である。 必現パターン尤度の算出処理の処理手順の一例を説明するためのフローチャートである。 必現パターン尤度に対する運動種別ごとの所定範囲の一例を示す図である。 「歩行」に関する運動期間の判定結果の一例を示す図である。 「歩行」に関する運動期間の判定結果に運動特徴量が追加された例を示す図である。 運動特徴量の可視化の例を示す図である。 様々な歩き方に対して本実施の形態を適用した場合の「歩行」の運動期間の判定結果の一例を示す図である。 第1の実施の形態における運動期間判定装置の第2の機能構成例を示す図である。 第1の実施の形態における運動期間判定装置の第3の機能構成例を示す図である。 候補動作群を歩行動作と非歩行動作とに分類した例を示す図である。と非対象期間との分類の結果例を示す図である。 第2の実施の形態における動作間特徴量の抽出例を示す図である。 候補動作群を歩行動作と非歩行動作とに分類するための方針を説明するための図である。 各候補動作に各状態を割り当てた例を示す図である。 第2の実施の形態における運動期間判定部の機能構成例を示す図である。 第2の実施の形態における運動期間判定処理の処理手順の一例を説明するためのフローチャートである。 候補期間の分類処理の処理手順の一例を説明するためのフローチャートである。 第2の実施の形態における尤度算出ルールを説明するための図である。 隠れマルコフモデルにおける状態観測確率の算出結果の一例を示す図である。 状態遷移確率情報の第1の例を示す図である。 初期状態確率情報の一例を示す図である。 最適の状態系列の一例を示す図である。 対象期間の特定結果の一例を示す図である。 第2の実施の形態における1つの候補期間に対する1つの必現動作検出器に基づく運動期間の判定結果の一例を示す図である。 第2の実施の形態における1つの候補期間に対する全ての必現動作検出器に基づく運動期間の判定結果の一例を示す図である。 1つの候補期間に対する全ての必現動作検出器に基づく運動期間の判定結果の評価値の一例を示す図である。 「階段下り」の状態遷移の一例を示す図である。 状態遷移確率情報の第2の例を示す図である。 状態遷移確率情報が利用されて候補動作群に状態が割り当てられた結果例を示す図である。 足底圧データの一例を示す図である。 足底圧データに基づく必現動作の検出例を示す図である。 上半身の動作を表すセンサデータの一例を示す図である。 上半身動作データのうち上下方向の振動を表すデータの一例を示す図である。 第5の実施の形態における運動期間判定部の機能構成例を示す図である。 第5の実施の形態における運動期間判定処理の処理手順の一例を説明するためのフローチャートである。 各必現動作の動作特徴量の一例を示す図である。 必現動作検出器の種別ごとに遊脚動作に関して設定された基準値パラメータの例を示す図である。 尤度要素の算出方法の一例を説明するための図である。 必現パターン尤度及び必現動作尤度に基づく評価値の算出結果の一例を示す図である。 パラメータリストの再設定を説明するための図である。
以下、図面に基づいて本発明の実施の形態を説明する。図1は、第1の実施の形態における運動期間判定装置のハードウェア構成例を示す図である。図1の運動期間判定装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。
運動期間判定装置10での処理を実現するプログラムは、記録媒体101によって提供される。プログラムを記録した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って運動期間判定装置10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。
なお、記録媒体101の一例としては、CD−ROM、DVDディスク、又はUSBメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置102の一例としては、HDD(Hard Disk Drive)又はフラッシュメモリ等が挙げられる。記録媒体101及び補助記憶装置102のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
図2は、第1の実施の形態における運動期間判定装置の機能構成例を示す図である。図2において、運動期間判定装置10は、データ収集部11、データ前処理部12、運動期間判定部13、及びデータ加工部14等を有する。これら各部は、運動期間判定装置10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。運動期間判定装置10は、また、判定結果記憶部15を利用する。判定結果記憶部15は、例えば、補助記憶装置102、又は運動期間判定装置10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
データ収集部11は、人体に装着されたセンサからセンサデータ(動作センサデータ)を収集し、収集したセンサデータを、例えば、補助記憶装置102に記憶する。センサデータとは、例えば、ジャイロ(角速度)データ及び加速度データとを時系列に含むデータである。図2には、センサの一例として、左足用センサデバイス30L及び右足用センサデバイス30R等が示されている。
左足用センサデバイス30Lは、例えば、左足首に装着されるセンサである。右足用センサデバイス30Rは、例えば、右足首に装着されるセンサデバイスである。本実施の形態では、現場で求められるシステムの要件として、患者のセンサ装着の負担が少ないことを考慮して、両足首にセンサデバイスが装着される例について説明する。
但し、両足首に限らず、両足の踵、爪先、腿、脛、ポケット、体幹などにセンサが装着されてもよい。例えば、図2に示されるように、1又は複数の上半身用センサデバイス30Uが装着されてもよい。上半身用センサデバイス30Uは、上半身に装着されるセンサデバイスである。
なお、各センサデバイスには、少なくとも1軸のジャイロセンサ又は加速度センサが内蔵されている。
各センサデバイスはデータ取得部及びデータ記憶部を有する。データ取得部は、センサデータを取得する。データ記憶部は、センサデータを記憶する。運動期間判定装置10のデータ収集部11は、データ記憶部に記憶されているセンサデータをバッチ的または連続的に収集する。
データ前処理部12は、収集されたセンサデータについて前処理を行う。例えば、データ前処理部12は、各センサデバイスから収集されたセンサデータ間の時刻同期を行う。時刻同期は、公知の手法によって行われればよい。データ前処理部12による処理結果は、補助記憶装置102に記憶されているセンサデータに上書きされる。
運動期間判定部13は、センサデバイスが装着された人(以下、「被験者」という。)の運動期間及び運動期間における運動種別等を判定する。運動期間とは、運動が行われていた期間をいう。運動種別とは運動の種別をいう。本実施の形態では、運動種別として、「歩行」、「走り」、「階段下り」、「階段上り」、「スキップ」、「ターン」、「自転車」の7種類が判別される。換言すれば、これら7種類のいずれかまたは複数の運動に関する運動期間が判定される。例えば、平地を真っ直ぐ歩いた場合は、「歩行」の運動期間のみが出力され、歩く途中にターンした場合は、「歩行」と「ターン」の運動期間が重複して出力される。運動期間判定部13による判定結果は、判定結果記憶部15に記憶される。なお、「ターン」とは、方向転換をする運動をいう。「自転車」とは、自転車をこぐ運動をいう。なお、運動種別とは、上記に限定されず、「立つ」、「座る」、「寝る」、「起きる」、「物を拾う」、「手を洗う」、「顔を洗う」、「ドアを開ける」、「ドアを閉める」、「歯を磨く」、などを含んでもよい。
データ加工部14は、運動期間判定部13による判定結果を、例えば、可視化に適した形式に加工する。加工されたデータは、出力装置20の可視化部21によって可視化(出力)される。出力装置20は、例えば、表示装置、プリンタ等である。
運動期間判定部13について更に詳細に説明する。図3は、第1の実施の形態における運動期間判定部の機能構成例を示す図である。図3において、運動期間判定部13は、運動種別選択部111、データ読出部112、候補期間抽出部113、検出器設計部114、必現動作検出部115、動作間特徴量抽出部116、特徴尤度算出部117、必現パターン尤度算出部118、検出器選択部119、及び運動期間比較部120等を含む。また、運動期間判定部13は、検出パラメータ記憶部151及びルール記憶部152を利用する。これら各記憶部は、例えば、補助記憶装置102、又は運動期間判定装置10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
運動種別選択部111は、運動期間の判定対象とする運動種別を選択する。すなわち、本実施の形態では、各運動種別について順番に運動期間の判定が行われる。以下、選択中の運動種別を「対象運動種別」という。
データ読出部112は、補助記憶装置102から複数部位(例えば、両足首)のセンサデータを読み出す。
候補期間抽出部113は、複数部位のセンサデータに基づいて、運動期間の候補である候補期間を抽出する。運動期間の候補とは、運動が行われたことが推定される期間をいう。通常、複数の候補期間が抽出される。複数部位とは、例えば、「左足首と右足首」である。但し、「左足首と腰」又は「左足ポケットと腰」等、他の組み合わせが採用されてもよい。
検出器設計部114及び必現動作検出部115は、センサデータに基づいて、各候補期間に関して必現動作を検出するための処理を実行する。どんな人であっても、或る運動を行った時には、その運動に応じた部分動作が、その運動固有の方法で発生する。例えば、「歩行」であれば、「片足を前に出す」という部分動作が現れ、当該部分動作を左右交互に行っている。また、「自転車」であれば、人でも、「片足を回転する」という部分動作が現れ、当該部分動作を左右逆位相で行っている。本実施の形態ではこのような部分動作を「必現動作」と呼ぶ。本実施の形態において、必現動作は、片足を前方に移動させる「遊脚動作」、片足が着地する「着地動作」、上半身を前方に移動させる「移動動作」、ある部位を左右方向に回転させる「回転動作」の4種類に分類される。
必現動作は、1つ以上の関節の回転に伴って起こる動作であるため、或る部位の或る軸方向のセンサデータにおいて、(大なり小なりの)ピークとして現れる。必現動作検出部115は、このピークを検出することで、必現動作の発生時点を特定する。例えば、遊脚動作の検出は、足の矢状面方向の角速度信号のピーク検出により行われる。着地動作の検出は、足又は上半身の上下方向の加速度信号、又は足裏圧力信号のピーク検出により行われる。移動動作の検出は、上半身の前後方向の加速度信号のピーク検出により行われる。回転動作の検出は、対象部位の横断面方向の角速度信号のピーク検出により行われる。
なお、矢状面方向等の各方向を図4に示す。図4の(A)には、矢状面方向、横断面方向、及び冠状面方向が示されている。(B)には、前後方向、左右方向、及び上下方向が示されている。(C)は被験者を右側から見た図であり、矢状面方向の正方向の回転が示されている。(D)は被験者を上側から見た図であり、横断面方向の正方向の回転が示されている。
必現動作は、運動種別に応じて異なる。したがって、必現動作検出部115は、対象運動種別に対応した必現動作を検出する。運動種別ごと身体部位ごとに、いずれの必現動作が検出されるのかを図5に示す。図5の「身体部位」において、足とは、脛、腿など臀部から足首までに至る身体部位、または、その身体部位と同位置にある着用物の一部のいずれかであってよい。また、上半身とは、腰、胸、背中、頭、腕、手首など臀部より上部の身体部位、または、その身体部位と同位置にある着用物の一部のいずれであってよい。更に、足先とは、爪先、踵、甲、足裏など足首から爪先に至る身体部位、または、その身体部位と同位置にある着用物の一部のいずれかであってよい。着用物とは、衣類、靴、腕時計、眼鏡などを指す。
なお、必現動作検出部115は、複数種類の検出方法によって必現動作の検出を試みる。例えば、単に「歩行」であっても、速く歩く場合、遅く歩く場合等、様々な状態に応じて必現動作の現れ方が異なるからである。このような検出方法ごとに、検出のための条件を示すパラメータ(以下、「検出パラメータ」という。)が検出パラメータ記憶部151に記憶されている。本実施の形態では、各検出方法を、「必現動作検出器」という。検出器設計部114は、検出パラメータに基づいて、「速く歩行」を検出するための必現動作検出器や、「遅く歩行」を検出するための必現検出器等、複数の必現動作検出器を生成する。必現動作検出部115は、は、それぞれの必現動作検出器に基づいて、必現動作を検出する。
なお、必現動作検出部115によって必現動作として検出される動作は、厳密には、必現動作の候補である。当該動作は、必現動作として確定されていないからである。そこで、必現動作検出部115によって必現動作として検出される動作を、以下「候補動作」という。また、一つの候補期間から抽出される候補動作の集合を、「候補動作群」という。
動作間特徴量抽出部116は、必現動作検出部115によって検出された各候補動作群について、候補動作間の特徴量(以下、「動作間特徴量」という。)を抽出する。本実施の形態では、動作間特徴量として、左右交互度、間隔一致度、速度一致度、逆足支持度、両足支持度、同時移動度、着地時屈曲度、離地時屈曲度、上下交互度、及び同時衝撃度の10種類の動作間特徴量が抽出される。
左右交互度は、遊脚動作を左右交互に行っていることを示す動作間特徴量である。左右交互度は、1又は0によって表現される。1は、候補動作群を発生時刻順に並べた場合に、或る候補動作の属する側の脚が直前の動作のそれと異なることを示す。0は、候補動作群を発生時刻順に並べた場合に、或る候補動作の属する側の脚が直前の動作のそれと同じであることを示す。
図6は、左右交互度を説明するための図である。図6の左側のグラフは、左足及び右足のそれぞれの矢状面方向のジャイロデータを示す。円で囲まれた部分は、ピークである。図6には、各候補動作(ピーク)に係る足が交互である例が示されている。したがって、各候補動作の左右交互度は、1である。仮に、左、左と続いた場合、少なくとも2番目の左の左右交互度は、0である。
間隔一致度は、遊脚動作の時間間隔がおよそ同じであることを示す動作間特徴量である。間隔一致度は、前後の候補動作間の時間間隔が、基準値にどれだけ近いかを表す数値によって表現される。
図7は、間隔一致度を説明するための図である。前後の候補動作間の時間間隔とは、或る動作と次の動作の時間間隔(T1)、又は或る動作と同側の次動作の時間間隔(T2)をいう。また、基準値とは、候補期間でのT1又はT2の平均値でもよいし、事前に定めた定数値でもよい。なお、図7の右側には、間隔一致度の計算式の例が示されている。
速度一致度は、各遊脚動作の速度がおよそ同じであることを示す動作間特徴量である。速度一致度は、各候補動作のピーク点の高さ(以下、「速度特徴」という。)が、基準値にどれだけ近いかを表す数値によって表現される。
図8は、速度一致度を説明するための図である。図8の左側には、ピーク点の高さが例示されている。また、図8の右側には、速度一致度の計算式の例が示されている。基準値とは、候補期間での速度特徴の平均値でもよいし、事前に定めた定数値でもよい。
逆足支持度は、一方の足の遊脚動作中に、他方の足が止まっていることを示す動作間特徴量である。逆足支持度は、各動作の発生時刻の近傍範囲における、逆側の足の動作量によって表現される。
図9は、逆足支持度を説明するための図である。近傍範囲とは、候補動作発生時刻の前後期間としてもよいし、直前動作の終了点から直後動作の開始点の中間範囲としてもよい。動作量とは、矢状面方向のジャイロデータ又は前後方向の加速度データの平均値、最大値、又は最小値とする。なお、図9の右側には、逆足支持度の計算式の例が示されている。
両足着地度は、着地した後に、両足で立つ期間が有ることを示す動作間特徴量をいう。両足着地度は、或る候補動作が終了してから次の候補動作が開始するまでの期間長によって表現される。
図10は、両足着地度を説明するための図である。図10の左側において、△は、候補動作の開始時刻を示し、×は、候補動作の終了時刻を示す。したがって、前の候補動作の×から後の候補動作の△までの期間長が、両足着地度である。また、図10の右側には、両足着地度の計算式の例が示されている。
同時移動度は、片足の遊脚動作が起こるとほぼ同時に上半身の移動動作が現れていることを示す動作間特徴量である。同時移動度は、2つの特徴を含む。第一特徴は、着地時刻の近傍期間での「上半身前進量」の最小値fupper1である。第二特徴は、逆足の遊脚時刻の近傍期間での「上半身前進量」の最大値fupper2である。上半身前進量とは、例えば、上半身の前後方向の加速度データを積分した値、又は上半身の矢状面方向のジャイロデータの平均値等である。
図11は、同時移動度を説明するための図である。図11の右側には、同時移動度の計算式の一例が示されている。
着地時屈曲度は、遊脚動作の直後に膝が後ろに曲がることを示す動作間特徴量である。着地時屈曲度は、各候補動作の終了時刻における膝曲げ量によって表現される。
図12は、着地時屈曲度を説明するための図である。膝曲げ量とは、下肢の矢上面ジャイロの最小値、又は最小値の近傍範囲での変化量若しくは積分値である。
離地時屈曲度は、遊脚動作の直前に膝が後ろに曲がることを示す動作間特徴量である。離地時屈曲度は、各候補動作の開始時刻における膝曲げ量によって表現される。
図13は、離地時屈曲度を説明するための図である。膝曲げ量とは、下肢の矢上面ジャイロの最小値、又は近傍範囲での変化量若しくは積分値である。
上下交互度は、上半身の前進移動と下半身の前進移動が交互に現れていたことを示す特徴量である。例えば、歩行の場合、片脚を前に出した後に、続いて上半身を前に出す、という動作が上下交互で繰り返し行われる。上下交互度は、上半身の上下方向の加速度データから検出された「着地動作」と、片足の矢状面方向のジャイロデータから検出された「遊脚動作」とのタイミングに基づいて算出される。具体的には、「片足の遊脚動作」が検出されてから「次の遊脚動作」が検出されるまでに、「上半身の着地動作」が発生した回数が上下交互度である。
図14は、上下交互度を説明するための図である。図14の例では、前後の遊脚動作の間に着地が2回発生しているため、上下交互度は、2である。
同時衝撃度は、片足が着地したときに、「着地した側の脚」と「上半身」とにおいて同時に着地時の衝撃が起こっていることを示す特徴量である。同時衝撃度は、上半身の上下方向の加速度から検出された「着地動作1」と、片足の上下方向の加速度から検出された「着地動作2」とのタイミングに基づいて算出される。具体的には、「着地動作2」と発生時刻が最も近い「着地動作1」との発生時間差が同時衝撃度である。
図15は、同時衝撃度を説明するための図である。図15において、破線の矩形で囲まれた着地1と着地2との発生時間差が、同時衝撃度である。
図3に戻る。特徴尤度算出部117は、動作間特徴量を特徴尤度に変換する。特徴尤度とは、動作間特徴量が対象運動種別にとって尤もらしい度合いを示す指標である。すなわち、特徴尤度は、運動種別に依存する値であるため、同じ動作間特徴量の値に対して、運動種別ごとに異なった値が算出されうる。ルール記憶部152には、運動種別ごと、かつ、特徴尤度の種別ごとに、特徴尤度を算出するためのルール(以下、「尤度算出ルール」という。)が記憶されている。特徴尤度算出部117は、対象運動種別に対応する尤度算出ルールを動作間特徴量に適用して、特徴尤度を算出する。なお、本実施の形態において、特徴尤度の値は、0以上1以下である。
左右交互度の特徴尤度を、左右交互尤度という。例えば、対象運動種別が「歩行」であれば、「歩行中は左右交互に遊脚動作を行うのが尤もらしい」ので、左右交互度が1であれば、左右交互尤度を高くするような尤度算出ルールが適用される。
間隔一致度の特徴尤度を、間隔一致尤度という。例えば、対象運動種別が「歩行」であれば、「歩行中は遊脚動作の時間間隔はバラつかないのが尤もらしい」ので、間隔一致度が小さいほど間隔一致尤度を高くするような尤度算出ルールが適用される。
速度一致度の特徴尤度を、速度一致尤度という。例えば、対象運動種別が「歩行」であれば、「歩行中は速度がバラつかないのが尤もらしい」ので、速度一致度が小さいほど速度一致尤度が高くなるような尤度算出ルールが適用される。
逆足支持度の特徴尤度を、逆足支持尤度という。例えば、対象運動種別が「歩行」であれば、「片足が遊脚している時は、逆足は支持するため、静止(または微小後方回転)するのが歩行らしい」ので、逆足支持度が所定範囲(例えば、負の一定範囲)であれば、逆足支持尤度を高くするような尤度算出ルールが適用される。
両足着地度の特徴尤度を、両足着地尤度という。対象運動種別が「歩行」であれば、「遊脚動作を行う前に両足が着地しているのが尤もらしい」ので、両足着地度が正である(かつ、所定値以下)であるような場合に、両足着地尤度が高くなるような尤度算出ルールが適用される。一方、対象運動種別が「走り」又は「スキップ」の場合は、両足が着地しないことから、両足着地度が負である場合に尤度が高くなるような尤度算出ルールが適用される。
同時移動度の特徴尤度を、同時移動尤度という。例えば、対象運動種別が「歩行」であれば、「倒れないように着地時に上半身が急減速し、その後に前進するために逆足の遊脚動作と同時に上半身が急加速するのが尤もらしい」ため、第一特徴fupper1が閾値以下、かつ、第二特徴fupper2が閾値以上である場合に、同時移動尤度が高くなるような尤度算出ルールが適用される。
着地時屈曲度の特徴尤度を、着地時屈曲尤度という。例えば、対象運動種別が「歩行」であれば、「着地時に膝を後方に曲げるのが尤もらしい」ため、着地時屈曲度が高い場合に着地時屈曲尤度が高くなるような尤度算出ルールが適用される。例えば、ジャイロデータの最小値が負であれば着地時屈曲尤度が高くされてもよい。又は、ジャイロデータの積分値が低いほど着地時屈曲尤度が高くされてもよい。又は、ジャイロデータの変化量が正であるほど着地時屈曲尤度が高くされてもよい。
離地時屈曲度の特徴尤度を、離地時屈曲尤度という。例えば、対象運動種別が「歩行」であれば、「着地時に膝を後方に曲げるのが尤もらしい」ため、離地時屈曲度が高い場合に特徴尤度が高くなるような尤度算出ルールが適用される。例えば、ジャイロデータの最小値が負であれば尤度を高くされてもよい。又は、ジャイロデータの積分値が低いほど尤度が高くされてもよい。又は、ジャイロデータの変化量が負であるほど尤度が高くされてもよい。
上下交互度の特徴尤度を、上下交互尤度という。例えば、対象運動種別が「歩行」であれば、「次の遊脚が起こるまでに両足が1回ずつ着地するのが尤もらしい」ため、上下交互度が2である場合に上下交互尤度が高くなるような尤度算出ルールが適用される。なお、上下交互度が2であるという状態は、片側の足の遊脚の前後において着地が2回発生している状態であるため、次の遊脚が起こるまでに両足が1回ずつ着地する状態に該当する。一方、スキップの場合は、両足が2回ずつ着地する特徴があるので、上下交互度が4の場合に上下候補尤度が高くなるような尤度算出ルールが適用される。
同時衝撃度の特徴尤度を、同時衝撃尤度という。例えば、対象運動種別が「自転車」でもなく「ターン」でもない場合は、「上記2つの着地は同時に起こることが尤もらしい」ため、同時衝撃度が閾値以下である場合に同時衝撃尤度が高くなるような尤度算出ルールが適用される。
なお、対象運動種別が「走り」である場合、両足着地尤度以外の特徴尤度の算出方法は、「歩行」の場合と同じである。
また、対象運動種別が「階段下り」である場合、段差を下るために足を大きく後ろに曲げるため、離地時屈曲尤度の算出閾値が歩行時よりも高く設定される。他の特徴尤度の算出方法は「歩行」の場合と同じである。
また、対象運動種別が「階段上り」である場合、段差を上がるために足を大きく後ろに曲げるため、離地時屈曲尤度の算出閾値が歩行時よりも高く設定される。また、この場合、前方への推進力を得るために支持足は膝下を固定して腿を曲げるため、着地時に屈曲しない傾向がある。そこで、着地時屈曲度が小さいほど尤もらしいとする。他の特徴尤度算出方法は「歩行」の場合と同じである。
また、対象運動種別が「自転車」である場合、一方の足を前に出した時に逆足は後方に回転するため、逆足支持度の閾値範囲が歩行時と比べて小さい時に尤もらしい。また、自転車こぐ場合は、着地、離地、および移動動作が無いため、両足着地尤度、同時移動尤度、着地時屈曲尤度、離地時屈曲尤度、上下交互尤度、及び同時衝撃尤度は、算出されなくてよい。
また、対象運動種別が「ターン」である場合、回転速度や回転時間はバラつく可能性が高いので、間隔一致尤度及び速度一致尤度は算出されなくてよい。また、ターンするときに、着地、離地、移動動作は関係ないため、両足着地尤度、同時移動尤度、着地時屈曲尤度、離地時屈曲尤度、上下交互尤度、及び同時衝撃尤度は、算出されなくてよい。
また、対象運動種別が「スキップ」である場合、基本的には「歩行」の場合と同じだが、逆足支持尤度及び上下交互尤度が、「歩行」の場合と異なる。すなわち、「スキップ」するときは、片足の遊脚動作を行っている時に逆足が1度ジャンプするため、逆足も前方回転し、このため逆足支持度が正になることが尤もらしい。また、片足の遊脚動作が1回起こる間に4回の着地が起こるため上下交互度は4になるのが尤もらしい。
なお、運動種別ごとに、いずれの特徴尤度が算出されるのかを図16に示す。図16において、○は、算出対象であることを示し、×は、算出対象でないことを示す。また、◎は、「歩行」の場合と算出方法が異なることを示す。
なお、動作間特徴量を特徴尤度に変換する尤度算出ルールは、例えば、動作間特徴量及び基準値の性質に基づいて、例えば、図17に示されるように、いずれかの関数に基づいて定義される。たとえば、左右交互尤度を算出する場合は二項分布を用いる。上下交互スコアを算出する場合は多項分布を用いる。間隔一致尤度および速度一致尤度および逆足支持尤度を算出する場合は正規分布を用いる。逆足支持尤度および両足着地尤度および同時移動尤度および着地時屈曲尤度および離地時屈曲尤度および同時衝撃尤度を算出する場合は連続一様分布を用いる。同時移動尤度のように2以上のパラメータによって表現される特徴尤度については、各パラメータに対して尤度算出ルールを適用した結果の積が最終的な特徴尤度とされてもよい。
図3に戻る。必現パターン尤度算出部118は、各候補動作群について、必現パターンが尤もらしく現れている度合い(以下、「必現パターン尤度」という。)を算出する。
必現パターンとは、2つ以上の必現動作に対する(1)類似性、(2)交互性、(3)同時性、及び(4)順序性の組み合わせにより定義される指標である。
必現動作の類似性とは、左右片側の「必現動作のいずれか」の速度特徴において、類似性が成り立つことをいう。また、必現動作の類似性とは、左右片側の「必現動作のいずれか」の時間間隔特徴において、類似性が成り立つことをいう。したがって、必現動作の類似性は、速度一致尤度及び間隔一致尤度に基づいて評価可能である。
必現動作の交互性とは、右足の「遊脚動作、又は回転動作、又は着地動作」、及び、左足の「遊脚動作、又は回転動作、又は着地動作」において、交互性が成り立つことをいう。また、必現動作の交互性とは、「上半身の移動動作」と「下半身の遊脚動作」が交互に現れていることをいう。したがって、必現動作の交互性は、左右交互尤度及び上下交互尤度に基づいて評価可能である。
必現動作の同時性とは、片足の遊脚動作が現れているときに、逆足の静止度が所定範囲内であることをいう。また、必現動作の同時性とは、片足の遊脚動作と上半身の移動動作が所定時間内に同時に起こることをいう。更に、必現動作の同時性とは、着地動作の衝撃が複数部位で所定時間内に同時に起こることをいう。したがって、必現動作の同時性は、逆足支持尤度、同時移動尤度、及び同時衝撃尤度に基づいて評価可能である。
必現動作の順序性とは、両足が着地している期間が所定範囲内であることをいう。また、必現動作の順序性とは、着地動作が起こった後の姿勢変化が所定範囲内であることをいう。更に、必現動作の順序性とは、遊脚動作が開始する前の姿勢変化が所定範囲内であることをいう。したがって、必現動作の順序性は、両足着地尤度、着地時屈曲尤度、及び離地時屈曲尤度に基づいて評価可能である。
必現パターンの各特性(類似性、交互性、同時性、順序性)と、各特徴尤度との対応関係を、図18に示す。図18に示されるように、必現パターン尤度は、各特徴尤度によって評価可能である。換言すれば、必現パターン尤度を算出するために、特徴尤度が算出されるのである。
このように、必現パターンの類似性、交互性、同時性、及び順序性は、各特徴尤度に基づいて評価可能である。したがって、必現パターン尤度算出部118は、各特徴尤度に基づいて、各候補動作群の必現パターン尤度を算出する。
但し、必現パターン尤度の評価にいずれの特徴尤度を利用するかは、センサが装着された身体部位に応じて変更される。例えば、左足と右足にセンサが装着される場合、左右交互尤度、間隔一致尤度、速度一致尤度、逆足支持尤度、両足着地尤度、着地時屈曲尤度、及び離地時屈曲尤度が利用される。
なお、必現パターン尤度は、特徴尤度に依存する。特徴尤度は、動作間特徴量に依存する。動作間特徴量は、必現動作検出器ごとに検出される。したがって、特徴尤度及び必現パターン尤度は、対象運動種別について、必現動作検出器ごと(相互に異なる検出方法ごと)に算出される。
図3に戻る。検出器選択部119は、各候補期間について、必現動作検出器ごとの必現パターン尤度の中で、最大値を選択する。検出器選択部119は、当該最大値が閾値を超える候補期間および候補検出器を、対象運動種別の運動期間および検出器として認定する。但し、複数の運動種別が判定対象とされる場合、検出器選択部119による運動期間の認定は、運動期間の確定を意味するものではない。
運動期間比較部120は、各候補期間について、運動種別を確定する。運動期間比較部120は、一つの候補期間に対して、複数の運動種別が認定されてしまった場合に、例えば、その中で最も必現パターン尤度が高い運動種別を、当該候補期間の運動種別として選択する。また、認定された運動種別の組み合わせに応じて固有の選択処理を行ってもよい。例えば、一つの候補区間に対して歩行とターンが認定された場合は、両者を出力する。例えば、一つの候補区間に対して歩行と自転車が認定された場合は、いずれかを出力する。
以下、運動期間判定装置10が実行する処理手順について説明する。なお、以下において説明する処理手順が実行される前において、被験者の左右足首に左足用センサデバイス30L及び右足用センサデバイス30Rが装着され、これらのセンサデバイスによって取得されたセンサデータがデータ収集部11によって収集されていることとする。例えば、専用ケーブルでセンサデバイスと運動期間判定装置10とを接続することでセンサデータが収集されてもよい。また、センサデータが収集されるタイミングは任意である。例えば、1日に1回の周期でセンサデータが収集されてもよい。収集されたセンサデータは、例えば、補助記憶装置102に記憶される。
図19は、第1の実施の形態における運動期間判定装置が実行する処理手順の一例を説明するためのフローチャートである。
ステップS101において、運動種別選択部111は、対象運動種別を選択する。例えば、予めユーザによって判定対象として設定された運動種別の中から順番に1つの運動種別が対象運動種別として選択される。
図20は、判定対象の運動種別の設定例を示す図である。図20では、運動種別ごとに、「TRUE」又は「FALSE」が設定される例が示されている。「TRUE」は、判定対象であることを示す。「FALSE」は、判定対象でないことを示す。図20の例によれば、最初は「歩行」が対象運動種別として選択される。
続いて、データ読出部112は、補助記憶装置102に記憶されているセンサデータを読み出す(S102)。例えば、3軸のセンサデバイスであれば、矢状面方向、冠状面方向、及び横断面方向のそれぞれの方向ごとに、ジャイロデータ又は加速度データが時系列に記憶されている。ステップS102で読み出されるセンサデータは、全てのセンサデータであってもよいし、対象運動種別に応じて読み出し対象が変えられてもよい。例えば、「歩行」の場合は、左右両方の、矢状面方向の回転を表すジャイロデータが読み出されてもよい。また、「走り」、「自転車」、「階段上り」、「階段下り」の場合は、矢状面方向の回転を表すジャイロデータが読み出されてもよい。「ターン」の場合は、横断面方向の回転を表すジャイロデータが読み出されてもよい。
続いて、候補期間抽出部113は、センサデータに基づいて、候補期間を抽出する(S103)。例えば、候補期間抽出部113は、センサデータから、静止していない期間を候補期間として抽出する。具体的には、候補期間抽出部113は、窓幅Wの窓を、ずらし幅(W/2)で時間軸方向にずらしながら、左右のセンサデータ(ジャイロ)をセグメンテーションする。候補期間抽出部113は、左及び右のジャイロデータの平均Mg、分散Vgが、それぞれ所定閾値TH_Mg、TH_Vgを超えたセグメントを「非静止セグメント」と認定する。候補期間抽出部113は、このような処理をセンサデータの最初から最後まで行った後、連続する非静止セグメントを統合して、一つの非静止期間とする。その結果、各非静止期間が候補期間とされる。
図21は、候補期間の抽出例を示す図である。図21には、左足の矢状面方向のジャイロデータと右足の矢状面方向のジャイロデータとが時刻が同期された状態で上下に並べられている。ここで、ジャイロデータの上部に示され、1〜7の数値が付与された帯が、候補期間を示す。
続いて、候補期間ごとにステップS104及びS105が実行される。ステップS104において、運動期間判定部13は例えば、時期の早い候補期間から順に一つの候補期間を選択し、選択された候補期間におけるセンサデータ(ジャイロデータ)を切り出す。図21では、候補期間1のジャイロデータが切り出された例が示されている。以下、選択された候補期間を「対象候補期間」という。
続いて、対象運動種別及び対象候補期間に関して、運動期間判定処理が実行される(S105)。
全ての候補期間についてステップS104及びS105が実行されると、運動種別選択部111は、対象運動種別が、判定対象の運動種別の中で最後の運動種別であるか否かを判定する(S106)。対象運動種別が、判定対象の運動種別の中で最後の運動種別でない場合(S106でNo)、ステップS101以降が繰り返される。対象運動種別が、判定対象の運動種別の中で最後の運動種別である場合(S106でYes)、運動期間比較部120は、複数の運動種別が認定された候補期間について、各運動種別の必現パターン尤度に基づいて、一つの運動種別を選択する(S107)。その結果、各候補期間の運動種別が確定される。
図22は、各候補期間の運動種別の確定結果の一例を示す図である。図22には、候補期間ごとに、各運動種別の判定結果と、運動種別の確定結果とが示されている。図22において、○は、必現パターン尤度が閾値を超えていることを示し、×が、必現パターン尤度が閾値以下であることを示す。○の場合における括弧内の数値は、必現パターン尤度を示す。例えば、候補期間1については、「歩行」と「走り」とのそれぞれの必現パターン尤度が閾値を超えている。この場合、運動期間比較部120は、必現パターン尤度が高い「歩行」を、候補期間1に対する運動種別として選択する。一方、候補期間2については、必現パターン尤度が閾値を超えた運動種別は無い。この場合、運動期間比較部120は、候補期間2は、運動期間でないと確定する。なお、一つの運動種別のみについて必現パターン尤度が閾値を超えている候補期間については、運動期間比較部120は、当該運動種別を当該候補期間に対する運動種別として確定する。
続いて、ステップS105の詳細について説明する。図23は、第1の実施の形態における運動期間判定処理の処理手順の一例を説明するためのフローチャートである。
ステップS210において、必現動作検出部115は、対象運動種別に対応する、必現動作検出器ごとのパラメータリスト群(以下、「パラメータセット」という。)をパラメータ記憶部から読み込む。
図24は、パラメータセットの一例を示す図である。図24において、行方向は、必現動作検出器の種類に対応する。図24では、「Fast」、「Slow」、「Normal」、「Abnormal」という4種類の必現動作検出器が設定された例が示されている。「Fast」は、速く歩く状態を検出するための必現動作検出器である。「Slow」は、遅く歩く状態を検出するための必現動作検出器である。「Normal」は、通常の速度で歩く状態を検出するための必現動作検出器である。「Abnormal」は、異常な歩行状態を検出するための必現動作検出器である。
また、列方向は、パラメータリストを構成する検出パラメータに対応する。検出パラメータとしては、TH_TimeDiff、TH_Amp、CutOffParam、MarginTime、及びDimparamが有る。これらの検出パラメータの意味及び用途については後述される。
このように、一つの運動種別に対して複数の必現動作検出器が用意されることで、一種類の検出方法によって必現動作を検出する場合に比べて、必現動作の検出漏れの可能性を低下させることができる。
続いて、ステップS220〜S280は、パラメータリストごと(すなわち、必現動作検出器ごと)のループ処理である。以下、処理対象のパラメータリストを「対象パラメータリスト」という。
ステップS220において、検出器設計部114は、対象パラメータリストに基づいて、必現動作検出器を設計する。必現動作検出器の設計とは、センサデータ(ジャイロデータ)に対するフィルタ通過帯域を設定することをいう。
すなわち、いかなる二足運動でも足を出す動作を行うと、下肢のある部位である方向へ加減速運動が発生する。これに基づき、対象候補期間のセンサデータからピーク点を検出することで、当該動作を検出することができる。ピーク検出は、バンドパスフィルタをセンサデータにかけてジャイロ波形を整形した上で、ピーク点における閾値判定に基づいて行われる。
まず、検出器設計部114は、対象パラメータリストの検出パラメータである、カットオフ周波数CutoffParam、フィルタ次数DimParamに基づいて、バンドパスフィルタのフィルタ通過帯域を設定する。一般に、遅い歩行を判定したい場合、フィルタ通過帯域を低めに設定し、速い歩行を判定したい場合、フィルタ通過帯域を高めに設定するとよい。
図25は、フィルタ通過帯域の一例を示す図である。図25には、複数のフィルタ通過帯域が示されている。これは、必現動作検出器ごとにフィルタ通過帯域が異なることを示す。したがって、ステップS220では、1つのフィルタ通過帯域が設定される。
続いて、必現動作検出部115は、候補動作を検出する(S230)。具体的には、必現動作検出部115は、ステップS220において設定したフィルタ通過帯域で、対象候補期間のセンサデータについてバンドパスフィルタリングを実行する。その結果、当該センサデータは、所定周波数帯域のデータDに変換される。更に、必現動作検出部115は、フィルタリング後のデータDを対象に、ピーク検出を行う。必現動作検出部115は、ピーク検出において、まず、データDの微分値が0になる箇所を探す。必現動作検出部115は、データDの微分値が0になる箇所のデータ値D(t)が、検出パラメータの一つである閾値TH_Ampを超えた場合にピークが発生したと判定し、tを候補動作が発生したタイミングとする。図26に、フィルタリング前後のセンサデータとピーク点との一例を示す。
必現動作検出部115は、このような処理を、例えば、左足ジャイロ、右足ジャイロのそれぞれに対して行う。左右非対称な動き方をする可能性もあるので、必現動作検出器のパラメータリストやピーク検出の閾値TH_Ampは、左右別々に設定されてもよい。
なお、図27に示されるように、検出パラメータの一つである所定時間TH_TimeDiffの間に複数のピークが発生した場合、それらが一つのピークにまとめられてもよい。その場合、複数のピークの中で、最もジャイロ値が高いピークが代表ピークとされる。
続いて、動作間特徴量抽出部116は、対象候補期間において検出された各候補動作(各ピーク点)について、動作範囲を特定する(S240)。候補動作の動作範囲とは、当該候補動作の開始点から終了点までの期間をいう。
図28は、動作範囲の特定方法の一例を示す図である。図28では、左側の2番目の候補動作について、動作範囲が特定される例が示されている。図28に示されるように、ピーク発生点から検出パラメータの一つである所定時間MarginTime前までの範囲で、ジャイロ値が最小になる時点が開始点とされる。また、ピーク発生点から所定時間MarginTime後までの範囲で、ジャイロ値が最小になる時点が終了点とされる。
動作範囲が対象候補期間における各候補動作について特定されることにより、当該候補動作ごとに、図29に示されるような情報が得られる。
図29は、動作範囲の特定によって得られる情報を示す図である。図29において、動作番号は、候補動作の識別番号である。発生点は、候補動作の発生時刻である。開始点は、候補動作の開始時刻である。終了点は、候補動作の終了時刻である。左右側は、左右の足のいずれの候補動作であるのかを示す情報である。
続いて、動作間特徴量抽出部116は、対象候補期間の候補動作群について、動作間特徴量の抽出処理を実行する(S250)。
続いて、特徴尤度算出部117は、ルール記憶部152から対象運動種別に対応する尤度算出ルール群を読み出す(S260)。
図30は、尤度算出ルール群の一例を示す図である。図30には、各尤度算出ルールが、関数種類と関数パラメータとから構成される例が示されている。関数種類は、尤度算出ルールである関数の種類を示す。関数パラメータは、当該関数を規定するパラメータの値であり、図17に記載のパラメータである。
続いて、特徴尤度算出部117は、ステップS250において抽出された各動作間特徴量に対して、ステップS260において読み出された各尤度算出ルールを適用して特徴尤度を算出する(S270)。
続いて、必現パターン尤度算出部118は、ステップS270において算出された特徴尤度に基づいて、対象候補期間に対する必現パターン尤度を算出する(S280)。
ステップS220〜S280が、全ての必現動作検出器について実行されると、図31に示されるように、対象運動種別及び対象候補期間に関して、必現動作検出器ごとに必現パターン尤度が算出される。そこで、検出器選択部119は、対象候補期間について、運動期間および検出器を判定する(S290)。具体的には、検出器選択部119は、必現動作検出器ごとの必現パターン尤度の中から最大値を選択し、当該最大値が閾値より大きければ、対象候補期間を対象運動種別の運動期間であると判定する。検出器選択部119は、判定された運動期間の開始時刻及び終了時刻と、採用された必現動作検出器の識別情報とを判定結果記憶部15に出力(記憶)する。採用された必現動作検出器とは、閾値より大きい最大値に係る必現パターン尤度の算出に利用された必現動作検出器をいう。
続いて、ステップS250の詳細について説明する。図32は、動作間特徴量の抽出処理の処理手順の一例を説明するめのフローチャートである。
図32に示されるように、動作間特徴量抽出部116は、対象候補期間において検出された候補動作ごとに、左右交互度、間隔一致度、速度一致度、逆足支持度、両足着地度、同時移動度、着地時屈曲度、離地時屈曲度、上下交互度、及び同時衝撃度を算出する(S301〜S310)。その結果、図33に示されるように、候補動作ごとに、各動作間特徴量が得られる。なお、各動作間特徴量の算出方法は上記した通りである。また、対象運動種別に応じて、又は収集されているセンサデータに応じて、一部の動作間特徴量は算出されなくてもよい。
続いて、図23のステップS270の詳細について説明する。図34は、特徴尤度の算出処理の処理手順の一例を説明するためのフローチャートである。
特徴尤度算出部117は、対象候補期間において検出された候補動作ごとに、ステップS401〜S410を実行する。以下、処理対象とされている候補動作を、「対象動作」という。
ステップS401において、特徴尤度算出部117は、対象動作の左右交互度に左右交互尤度の尤度算出ルールを適用することにより、対象動作の左右交互尤度を算出する。
図35は、左右交互尤度の算出例を示す図である。図30によれば、左右交互尤度の尤度算出ルールの関数種類は、二項分布であるため、左右交互尤度(L(flr))の計算は、図17に記載の二項分布の確率関数式に基づいて行われる。ここで、関数パラメータであるαは、0.95である。したがって、左右交互度が「1」である候補動作の左右交互尤度は、0.95であり、左右交互度が「0」である候補動作の左右交互尤度は、0.05となる。なお、図35では、便宜上、5つの候補動作について左右交互尤度が算出される例が示されているが、1回のステップS401の実行では、1つの候補動作について左右交互尤度が算出される。
続いて、特徴尤度算出部117は、対象動作の間隔一致度に間隔一致尤度の尤度算出ルールを適用することにより、対象動作の間隔一致尤度を算出する(S402)。間隔一致尤度(L(ftime))は、例えば、以下の式に基づいて算出される。なお、ftimeは、間隔一致度を示す。また、Nは、正規分布を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、速度一致尤度の尤度算出ルールに対象動作の速度一致度を適用することにより、対象動作の速度一致尤度を算出する(S403)。速度一致尤度(L(fspeed))は、例えば、以下の式に基づいて算出される。なお、fspeedは、速度一致度を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、対象動作の逆足支持度に逆足支持尤度の尤度算出ルールを適用することにより、対象動作の逆足支持尤度を算出する(S404)。逆足支持尤度(L(finverse))は、例えば、以下の式に基づいて算出される。なお、finverseは、逆足支持度を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、対象動作の両足着地度に両足着地尤度の尤度算出ルールを適用することにより、対象動作の両足着地尤度を算出する(S405)。両足着地尤度(L(fstance))は、例えば、以下の式に基づいて算出される。なお、fstanceは、両足着地度を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、対象動作の同時移動度に同時移動尤度の尤度算出ルールを適用することにより、対象動作の同時移動尤度を算出する(S406)。同時移動尤度(L(fupper1,fupper2))は、例えば、以下の式に基づいて算出される。なお、fupper1は、同時移動度の第一特徴を示し、fupper2は、同時移動度の第二特徴を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、対象動作の着地時屈曲度に着地時屈曲尤度の尤度算出ルールを適用することにより、対象動作の着地時屈曲尤度を算出する(S407)。着地時屈曲尤度(L(fheel−strike))は、例えば、以下の式に基づいて算出される。なお、fheel−strikeは、着地時屈曲度を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、対象動作の離地時屈曲度に離地時屈曲尤度の尤度算出ルールを適用することにより、対象動作の離地時屈曲尤度を算出する(S408)。離地時屈曲尤度(L(ftoe−off))は、例えば、以下の式に基づいて算出される。なお、ftoe−offは、離地時屈曲度を示す。
Figure 0006724984
続いて、特徴尤度算出部117は、対象動作の上下交互度に上下交互尤度の尤度算出ルールを適用することにより、対象動作の上下交互尤度を算出する(S409)。
続いて、特徴尤度算出部117は、対象動作の同時衝撃度に同時衝撃尤度の尤度算出ルールを適用することにより、対象動作の同時衝撃尤度を算出する(S410)。
なお、対象運動種別に応じて、又は収集されているセンサデータに応じて、一部の特徴尤度は算出されなくてもよい。
続いて、図23のステップS280の詳細について説明する。図36は、必現パターン尤度の算出処理の処理手順の一例を説明するためのフローチャートである。
必現パターン尤度算出部118は、対象候補期間に関して検出された候補動作ごと、かつ、ステップS270において算出された特徴尤度ごとに、ステップS501を実行する。すなわち、必現パターン尤度算出部118は、対象候補期間に関して検出された各候補動作について算出された全ての特徴尤度の積を算出する。続いて、必現パターン尤度算出部118は、算出結果を候補動作の数及び特徴尤度の数に基づいて平均化して、必現パターン尤度を算出する(S502)すなわち、必現パターン尤度Lpatternは、以下の式によって算出される。
Figure 0006724984
但し、iは、特徴尤度の番号、jは、候補動作の番号、Nは、特徴尤度の数、Mは、候補動作の数である。平均化は、対象候補期間に関して検出された各候補動作について算出された全ての特徴尤度の積を、(1/NM)乗することで行われる。
続いて、必現パターン尤度算出部118は、候補動作の数Nに基づいて、必現パターンの算出結果を重み付けする(S503)。例えば、候補動作の数Nが、図37に示されるルように運動種別ごとに設定される所定範囲内に収まっていなければ、必現パターン尤度が低くされてもよい。具体的には、対象運動種別が、「歩行」の場合、Nが4以下であれば、歩行期間とみなさず、必現パターン尤度が下げられてもよい。
なお、所定時間以上のセンサデータが取得できた場合、全ての処理の完了後に、運動期間判定部13は、各運動種別の発生頻度の分布を求め、この分布が不自然である場合に、運動期間であることを判定するための必現パターン尤度に対する閾値を変更したり、必現動作検出器(パラメータリスト)の種類を増減したりして、全ての処理を再実行してもよい。ここで、「発生頻度が不自然」とは、例えば、一日あたりの「歩行」の回数が所定値以下(5回以下)であった場合、「歩行」以外の特定運動(「走り」、「階段下り」、「階段上り」、「スキップ」)のいずれかの発生回数が、「歩行」の発生回数を上回る場合又は所定閾値を上回る場合(例えば、1日にスキップ期間が100回あった)をいう。
或る運動種別の発生頻度が不自然に多い場合は、必現パターン尤度に対する閾値が高くされてもよいし、必現動作検出器が減らされてもよい。逆に、或る運動種別の発生頻度が不自然に少ない場合は、必現パターン尤度に対する閾値が低くされてもよいし、必現動作検出器が増やされてもよい。
なお、例えば、「歩行」について図19のステップS105が完了した時点において、判定結果記憶部15には、例えば、図38に示されるような情報が記憶される。
図38は、「歩行」に関する運動期間の判定結果の一例を示す図である。図38には、運動種別が「歩行」であることが確定された各運動期間について、期間番号、開始時刻、終了時刻、及び歩数が示されている。歩数は、当該運動期間(候補期間)において検出された候補動作の数である。なお、各運動期間に対して、採用された必現動作検出器の識別情報が関連付けられて記憶されてもよい。
データ加工部14は、判定結果記憶部15に記憶された各運動期間(歩行期間)の情報を利用して、各運動期間の運動特徴量を抽出してもよい。運動特徴量としては、例えば、歩幅、歩行速度、歩行時間、ケーデンス、着地時衝撃、両足着地時間等が抽出される。データ加工部14は、判定結果記憶部15に対して、抽出された運動特徴量を追加登録してもよい。図39には、図38の判定結果に対して、運動特徴量が追加された例が示されている。なお、運動特徴量の抽出方法は、以下の文献(1)〜(3)に詳しい。
(1)Greene,「An adaptive gyroscope-based algorithm for temporal gait analysis」,2012)
(2)Wu,「A robust step length estimation system for human gait using motion sensors」,2015
(3)Dobkin,「Reliability and Validity of Bilateral Ankle Accelerometer Algorithms for Activity Recognition and Walking Speed After Stroke」,2011
また、可視化部21は、運動特徴量を、出力装置20を用いて可視化(出力)する。例えば、対象とする日付範囲がユーザによって指定されると、可視化部21は、指定された日付範囲の運動特徴量を判定結果記憶部15から取得する。続いて、可視化部21は、日々の運動の仕方の推移を把握可能とするために、例えば、取得した運動特徴量を日付毎の統計値として算出し、その統計値を図40に示されるように可視化する。可視化において、健康の基準値となる範囲を明示する、治療など参考イベントのタイミングを明示する、動作間特徴量の上下限を明示する、などが行われてもよい。
なお、様々な歩き方に対して取得されたセンサデータに対して、本実施の形態を適用した場合の「歩行」の運動期間(歩行期間)の判定結果を図41に示す。図41には、普通の歩行、内股歩行、小刻み歩行、爪引きずり歩行、ぶん回し歩行、右足引きずり歩行、及びふらつき歩行を行った時のそれぞれのセンサデータに対して、歩行期間と判定された期間が、帯によって示されている。図41によれば、高い精度で歩行期間が検出されていることが分かる。
上述したように、第1の実施の形態によれば、事前に学習データを取得する手間を省いて、患者の動き方に合わせて、運動期間を精度良く検出することができる。また、患者の動き方が時間経過とともに変わっていったとしても、それに追従して運動期間を精度良く検出することができる。
すなわち、本実施の形態によれば、実際の医療現場では(1)どんな患者の動き方であっても(継続的に)精度保障できること、(2)余計な手間なしに対応できること、が求められているところ、これら(1)及び(2)の要件を満たすことができる。
また、本実施の形態によれば、複数の必現動作検出器によって必現動作が検出されるため、運動期間の検出漏れの可能性を低下させることができる。
なお、図2に示した機能構成例において、運動期間判定装置10が可視化部21を含んでいてもよい。また、図2に示した機能構成例は、図42又は図43に示されるように変更されてもよい。図42では、データ取得用デバイス40によって、センサデータの収集及びセンサデータに対する前処理が実行される場合の構成例が示されている。この場合、運動期間判定装置10は、データ収集部11及びデータ前処理部12を有さずに、データ取得用デバイス40によって前処理されたセンサデータを受信するための通信部16を有していればよい。
また、図43には、各センサデバイスがデータ記憶部を有していない例が示されている。すなわち、図43は、各センサデバイスからリアルタイムにセンサデータが収集され、リアルタイムに図19の処理手順が実行される場合の機能構成例である。
次に、第2の実施の形態について説明する。第2の実施の形態では第1の実施の形態と異なる点について説明する。第2の実施の形態において、特に言及されない点については、第1の実施の形態と同様でもよい。
第1の実施の形態では、1つの候補期間の候補動作群が全て同じ運動種別の動作であることを仮定している。そのため、1つの候補期間内に複数の運動種別の動作が混在している場合(例えば、歩行前にターンした等)に、必現パターン尤度の精度が劣化する可能性が有る。そこで、第2の実施の形態では、候補期間に複数の運動種別が混在している状態を想定した例について説明する
第2の実施の形態では、最初に、各候補動作の動作間特徴量を用いて対象運動種別の運動期間(以下、「対象期間」という。)と非対象運動種別の運動期間(以下、「非対象期間」という。)とが切り分けられて、その後に、対象期間について必現パターン尤度が算出される。以下、対象運動種別が「歩行」である場合について説明する。
まず、候補期間の中の候補動作群が、歩行動作と非歩行動作とに分類される。なお、歩行動作とは、「歩行」の運動種別に属する候補動作いう。
図44は、候補動作群を歩行動作と非歩行動作とに分類した例を示す図である。図44には、歩行の後にその場でターンが行われた場合の左右足の矢状面方向のジャイロデータが示されている。これらの一連の動作が行われた期間は、一つの候補期間として抽出されている。当該候補期間では、13個の候補動作が検出されているが、実際は、候補動作1〜10が歩行動作であって、候補動作11〜13が非歩行動作である。
なお、候補動作1〜13については、図45に示されるように動作間特徴量が抽出されていることとする。
図46は、候補動作群を歩行動作と非歩行動作とに分類するための方針を説明するための図である。
候補動作群について、図44に示したような分類を可能とするため、図46の(A)に示されるように、各候補動作に「歩行動作」又は「非歩行動作」の少なくとも2つの状態のいずれかを割り当てることを考える。
ここで、より正確に歩行動作を捉えるため、1歩目及び最終歩は半歩である点において、2歩目以降かつ最終歩の1歩前までとは特徴が異なることを踏まえて、(B)に示されるように、「歩行中動作」を「1歩目動作」、「歩行中動作」、「最終歩動作」の3つの状態に分ける。
また、図44のセンサデータのように、左足と右足の動き方が非対称である場合、左足と右足で動作間特徴量の基準値は別々に設定された方がよい。そこで、(C)に示されるように、「歩行動作」について左右を区別する。その結果、歩行動作は、6つの状態に分類される。
歩行動作に関する6つの状態に非歩行状態を加えた7つの状態を仮定した上で、各候補動作に対して、いずれかの状態を割り当てていく。図47には、図44に示した各候補動作に対して7つの状態のいずれかが割り当てられた例が示されている。その結果、対象期間と非対象期間とを特定することができる。
以下、第2の実施の形態の運動期間判定装置10について具体的に説明する。図48は、第2の実施の形態における運動期間判定部の機能構成例を示す図である。図48中、図3と同一部分には同一符号を付し、その説明は省略する。
図48において、運動期間判定部13は、更に、候補期間分類部121を含む。候補期間分類部121は、状態遷移確率記憶部153を利用する。状態遷移確率記憶部153は、例えば、補助記憶装置102、又は運動期間判定装置10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
候補期間分類部121は、候補期間を対象期間と非対象期間とに分類する。状態遷移確率記憶部153には、7つの状態間の遷移確率を示す情報が記憶されている。当該情報は、候補期間分類部121によって利用される。
第2の実施の形態では、図19のステップS105の内容が第1の実施の形態と異なる。
図49は、第2の実施の形態における運動期間判定処理の処理手順の一例を説明するためのフローチャートである。図49中、図23と同一ステップには同一ステップ番号を付し、その説明は省略する。
図49では、ステップS250に続いて、ステップS251が実行される。ステップS251において、運動期間判定部13は、対象候補期間を、対象期間と非対象期間とに分類する。すなわち、対象候補期間における各候補動作に対して、図47において説明したような状態の割り当てが行われて、対象候補期間が、対象期間と非対象期間とに分類される。
続いて、対象期間ごとに、ステップS271〜S280aが実行される。例えば、「ターン」が歩行動作の間に行われている場合等、ステップS251において複数の対象期間が抽出されている場合、それぞれの対象期間について、ステップS271〜S280aが実行される。すなわち、対象期間ごとに、必現パターン尤度の算出が行われる。
続いて、ステップS251の詳細について説明する。図50は、候補期間の分類処理の処理手順の一例を説明するためのフローチャートである。
まず、7つの状態ごとに、ステップS601及びS602が実行される。以下、処理対象とされている状態を「対象状態」という。
ステップS601において、特徴尤度算出部117は、対象運動種別及び対象状態に対応する尤度算出ルール群をルール記憶部152から読み出す。すなわち、第2の実施の形態では、運動種別ごと、かつ、状態ごとに尤度算出ルールが定義される。
図51は、第2の実施の形態における尤度算出ルールを説明するための図である。図51には、「歩行」に対応する尤度算出ルール群が、7つの状態ごとの尤度算出ルール群に細分化されていることが示されている。
すなわち、各候補動作に状態を割り当てるため、それぞれの状態ごとに、どのような動作間特徴量が得られるのが尤もらしいのかが尤度算出ルールに定義される。
例えば、「歩行中(右)」及び「歩行中(左)」では、第1の実施の形態における尤度算出ルール群と同じものが採用されてもよい。「一歩目(右)」、「一歩目(左)」、「最終歩(右)」、及び「最終歩(左)」では、その前又は後に動作がないことと、半歩しか歩かないこととを踏まえて、「歩行中(右)」及び「歩行中(左)」に対応する尤度算出ルール群に対して変更を加えたものが定義される。
また、非歩行状態においては、"非歩行らしさ"が定義される。非歩行状態に関しては、どのような動作間特徴量を取り得るかが未知であるので、どのような動作間特徴量が観測されても特徴尤度が均一になるように、ルール群を設定されてもよい。
続いて、特徴尤度算出部117は、読み出した尤度算出ルール群を利用して、図34の処理手順を実行して、各特徴尤度を算出する(S602)。
ステップS601及びS602が、7つの状態について実行されると、対象候補期間の候補動作ごとに、7つの状態のそれぞれについて各特徴尤度が算出される。
続いて、候補期間分類部121は、対象候補期間の候補動作ごと、かつ、状態ごとに、当該候補動作及び当該状態に関して算出された特徴尤度群を掛け合わせる(S603)。特徴尤度群を掛け合わせた結果は、隠れマルコフモデルにおける状態観測確率に相当する。なお本発明では、尤度算出ルールの確率分布パラメータを状態観測確率情報と記述することがある。
図52は、隠れマルコフモデルにおける状態観測確率の算出結果の一例を示す図である。図52には、13個の候補動作について、7つの状態のそれぞれごとに、状態観測確率の算出結果が示されている。
続いて、候補期間分類部121は、対象運動種別に対応する状態遷移確率情報を、状態遷移確率記憶部153から取得する(S604)。
図53は、状態遷移確率情報の第1の例を示す図である。図53の表には、行方向に配列された状態を前状態とし、列方向に配列された状態を次状態として、前状態から次状態へ遷移する確率が示されている。なお、図53の右側には、参考までに、図53の表に対応する状態遷移図が示されている。
なお、状態遷移確率情報を定義する際に、「歩行中は左右交互に足を出す」ことを表現するため、歩行時は同じ側の状態に遷移しないよう、当該遷移の遷移確率を0に設定しておけばよい。
続いて、候補期間分類部121は、対象運動種別に対応する初期状態確率情報を、状態遷移確率記憶部153から取得する(S605)。
図54は、初期状態確率情報の一例を示す図である。図54には、初期状態は、「1歩目(右)」、「1歩目(左)」、又は「非歩行」のいずれかであるとして、これらの状態以外が0である初期状態確率が定義された例が示されている。
続いて、候補期間分類部121は、候補動作ごとの各状態の状態観測確率(図52)と、状態遷移確率情報(図53)と、初期状態確率情報(図54)とを用いて、ビタビアルゴリズムに基づいて、最適な状態系列を求める(S606)。その結果、図55に示されるような情報が得られる。
図55は、最適の状態系列の一例を示す図である。図55に示されるように、各候補動作に対して、状態の推定値が割り当てられる。
続いて、候補期間分類部121は、ステップS606において得られた状態系列のうち、歩行状態に含まれる状態が開始されてから終了するまでの期間を対象期間として特定する(S607)。この際、歩数(候補動作の数)が所定の閾値(例えば、4)を上回ることが、対象期間として特定されるための条件とされてもよい。
図56は、対象期間の特定結果の一例を示す図である。図56には、図55に示した表に対して「対象期間」の行が追加されている。当該行は、対象期間に該当する候補動作に対して1が付与され、非対象期間に該当する候補動作に対して0が付与されている。したがって、図56の例では、動作番号1が歩行期間の開始点であり、動作番号10が歩行期間の終了点である。当該開始点及び当該終了点の間の歩数(候補動作の数)は10であるので、対象期間として特定される。
なお、図49のステップS280aでは、対象期間における必現パターン尤度を求めるために、対象期間の動作間特徴量が抽出される。具体的には、図56に示した対象期間の特定結果によれば、図45において、動作番号が1から10までの候補動作ごとに動作間特徴量が抽出される。
抽出された各動作間特徴量が、第1の実施の形態と同じ方法で特徴尤度に変換されて、第1の同じ方法で(すなわち、数8に基づいて)、必現パターン尤度が計算される。
又は、状態遷移確率も考慮したい場合、隠れマルコフモデルを適用し、図55の状態系列のモデル尤度の対数が必現パターン尤度として求められてもよい。
また、上記のモデル尤度の対数を歩数(候補動作の数)で除した値(1歩毎のモデル尤度に相当)が必現パターン尤度として求められてもよい。
検出器選択部119は、歩行開始を表すピーク点の開始時刻を「歩行開始時刻」、歩行終了を表すピーク点の終了時刻を「歩行終了時刻」として、歩数とともに必現パターン尤度の算出結果を、例えば、図57に示されるような形式で、判定結果記憶部15に記憶する。
上記の処理が、パラメータリストごと(必現動作検出器ごと)に実行される。本実施の形態では、「Fast」、「Slow」、「Normal」、「Abnormalの4種類のパラメータリストに対して、歩行期間及び必現パターン尤度が算出される。
図58は、第2の実施の形態における1つの候補期間に対する全ての必現動作検出器に基づく運動期間の判定結果の一例を示す図である。図58の例では、「Slow」の場合は歩行期間が全く検出されず、「Abnormal」の場合は対象候補期間において、2つの歩行期間が検出されている。
図49のステップS290aにおいて、検出器選択部119は、基本的に、図23のステップS290と同様の処理を実行する。但し、複数の歩行期間が検出されている必現動作検出器については、当該複数の歩行期間の必現パターン尤度の平均値が評価値とされる。又は単純な平均値ではなく、必現パターン尤度を歩行時間若しくは歩数で重みづけた加重平均が評価値とされてもよい。
図59は、1つの候補期間に対する全ての必現動作検出器に基づく運動期間の判定結果の評価値の一例を示す図である。図59では、2つの歩行期間が検出された「Abnormal」について、2つの必現パターン尤度が歩数によって重み付けされた加重平均が評価値とされている。「Fast」及び「Normal」については、必現パターン尤度がそのまま評価値とされる。
この場合、検出器選択部119は、評価値が最大である「Fast」を採用する。検出器選択部119は、当該評価値が必現パターン尤度に対する閾値を超えていれば、「Fast」の開始時刻と終了時刻とを「歩行」の開始時刻及び終了時刻として出力する。
なお、上記では、対象運動種別が「歩行」である場合について説明したが、他の運動種別についても同様に第2の実施の形態が適用できる。但し、「階段上り」、「階段下り」、「走り」、「スキップ」の場合、その運動の前後に歩行が行われている可能性が高い。
そこで、隠れマルコフモデルの状態として歩行状態も追加した上で、状態遷移が定義されてもよい。
図60は、「階段下り」の状態遷移の一例を示す図である。図60では、歩行状態から「階段下り状態」に遷移するような状態遷移図が示されている。
このような状態遷移図に基づいて、図61に示されるような状態遷移確率情報が定義されてもよい。
図61の見方は、図53と同じである。但し、図61では、「階段下り(右)」及び「階段下り(左)」に関する行及び列が追加されている。図61では、「歩行中」の状態から10%の確率で「階段下り」の状態に遷移し、「階段下り」の状態に遷移した後に90%の確率で、「階段下り」の状態に留まることが示されている。図61の状態遷移確率情報が利用されて、候補動作群に状態が割り当てられた結果例を図62に示す。
なお、「階段上り」、「走り」、及び「スキップ」についても、「階段下り」と同様の状態遷移確率情報を用いることができる。すなわち、図61の状態遷移確率情報における「階段下り状態」が、「階段上り状態」、「走り状態」、又は「スキップ状態」に置換されればよい。
ところで、上記において、尤度算出ルールの確率分布パラメータ(図51)及び状態遷移確率情報(図53、図61)は、予め設定される情報である。
しかし、運動期間が確定されたセンサデータが有る場合、候補期間分類部121は、当該センサデータを活用してBaum−Welchアルゴリズム等を利用して、隠れマルコフモデルの各パラメータ(尤度算出ルールの確率分布パラメータ及び状態遷移確率情報)を学習し、学習結果をルール記憶部152又は状態遷移確率記憶部153に追加するという処理を実行してもよい。
この場合、適用対象となる尤度算出ルールや状態遷移確率情報(以下、「隠れマルコフモデルのパラメータ群」という。)が複数セット記憶されることになるが、隠れマルコフモデルのパラメータ群のそれぞれに基づいて必現パターン尤度が計算されて、最大の必現パターン尤度が得られた場合の処理結果が採用されればよい。
但し、学習が繰り返されて隠れマルコフモデルのパラメータ群のセット数が増加すると、処理負荷が増加してしまう。
そこで、候補期間分類部121は、既に記憶されているパラメータ群のいずれとも類似しないパラメータ群が学習された場合のみ、パラメータ群の追加が行われるようにしてもよい。
例えば、候補期間分類部121は、新たに学習されたパラメータ群Pと、全ての既存のパラメータ群Q,Q,…,Qとについて、以下の式に基づいて類似度sim(P,Q)を算出してもよい。
Figure 0006724984
候補期間分類部121は、類似度sim(P,Q)が閾値以下であれば、新たに学習されたパラメータ群Pをルール記憶部152及び状態遷移確率記憶部153に追加してもよい。
上述したように、第2の実施の形態によれば、1つの候補期間に複数の運動種別が混在している場合であっても、運動期間を精度良く検出することができる。
次に、第3の実施の形態について説明する。第3の実施の形態では第1又は第2の実施の形態と異なる点について説明する。第3の実施の形態において、特に言及されない点については、第1又は第2の実施の形態と同様でもよい。
第3の実施の形態では、両足の動作センサデータを測定するセンサデバイスではなく、両足の足底圧データを測定するセンサデバイスが利用される場合について説明する。
なお、足底圧が得られている場合は、着地した時に大きな圧力変化が起こるため、比較的高精度に必現動作の検出ができる。
両足の足底圧を表すセンサデータのみが得られている場合は、動作センサデータが得られている場合(第1の実施の形態)と同様、(1)候補期間抽出、(2)必現動作検出、(3)動作間特徴量抽出、(4)必現パターン尤度の算出が実行される。(1)、(2)、(3)は、足底圧固有の処理が実行されるが、(4)は共通処理である。
(1)候補期間抽出
図63に示されるように、足底圧は、起立時には両足ともに圧力平均は高いが、歩行時には、遊脚動作が行われている間に圧力平均が低い。この場合、左右の圧力平均の相関が負になる。
そこで、動作センサデータが得られている場合と同様に、一定幅の窓をずらしながら、窓内における足裏全部位の圧力平均P(t)(または圧力総和)が各時刻点で計算され、窓内での「左足の圧力平均Pleft(t)」と「右足の圧力平均Pright(t)」との相関係数が閾値以下である窓が候補窓として認定される。連続する候補窓が連結されて候補期間が抽出される。
(2)必現動作検出
候補期間において、圧力平均が閾値を下回った場合に、遊脚動作が起こったとし、最初に閾値を下回った時点が動作開始時刻とされ、最後に閾値を上回った時点が動作終了時刻とされる。圧力平均の最下点が動作ピーク時点とされる。以上が左足と右足の両方について実行される。図64に、足底圧データに基づく必現動作の検出例を示す。
(3)動作間特徴量の抽出
左右交互度、間隔一致度、両足着地度は、第1の実施の形態と同様に抽出される。
速度一致度は、歩行速度とヒールストライクの衝撃に相関があることを踏まえて、着地時点近傍の圧力平均の最大値を速度特徴として、適切な基準値が設けられた上で算出される。
逆足支持度は、動作時の逆足の圧力平均の時間平均とされる。
着地時屈曲度は、動作終了時から閾値時間後までの「足裏前部の圧力平均の変化量」とされる。着地時は踵をつくため、膝を屈曲するほどそれに伴って爪先部分が浮き、足裏前部の圧力平均が大きく変化する。
離地時屈曲度は、動作開始時から閾値時間前までの「足裏後部の圧力平均の変化量」とされる。離地時は爪先が離れるため、離地前に膝を屈曲するほどそれに伴って踵部分が浮き、足裏後部の圧力平均が小さく変化する。
(4)必現パターン尤度の算出
必現パターン尤度の算出は、第1の実施の形態と同様に行われる。但し、欠損している動作間特徴量に関しては、特徴尤度が1とされる。
次に、第4の実施の形態について説明する。第4の実施の形態では第1又は第2の実施の形態と異なる点について説明する。第4の実施の形態において、特に言及されない点については、第1又は第2の実施の形態と同様でもよい。
第4の実施の形態では、上半身の動作を表すセンサデータを測定するセンサデバイスが利用される場合について説明する。
上半身の動作を表すセンサデータのみが得られている場合は、動作センサデータが得られている場合(第1の実施の形態)と同様、(1)候補期間抽出、(2)必現動作検出、(3)動作間特徴量抽出、(4)必現パターン尤度の算出が実行される。なお、(1)、(2)、(3)については、上半身動作固有の処理が実行されるが、(4)は、共通処理である。また、候補動作を左右に分離する処理が、(3)において実行される。
(1)候補期間抽出
図65に、上半身の動作を表すセンサデータの一例を示す。動作センサデータが得られている場合と同様に、一定幅の窓をずらしながら、窓内における上半身動作量(例えば、上半身のジャイロまたは加速度の二乗を全軸で合成した値)P(t)が各時刻点で計算され、窓内での動作量の平均および分散が閾値以上である窓が候補窓として認定される。連続する候補窓が連結されて候補期間が抽出される。
(2)必現動作検出
候補期間における上半身動作データのうち、上下方向の振動を表すデータX(t)(例えば、上下方向の加速度)が抽出され(図66参照)、1つ前の測定時期からの変化量が表すデータD(t)=X(t)−X(t−1)に変換される。変化量データD(t)にバンドパスフィルタがかけられた上でピーク検出が行われる。ピーク値が閾値を超えた場合に、動作発生と判断される。なお、必現動作検出の発生点は、ピーク点とされてもよいし、その前後の点とされてもよい。
(3)動作間特徴量抽出
動作間特徴量を抽出する前に、発生した動作が左足動作か右足動作かが分類される。単純には、発生順に「右足→左足→右足・・・」と交互に割り振られてもよい。又は、着地時に重心方向が左に傾くと「右足動作」、着地時に重心方向が右に傾くと「左足動作」と判断されてもよい。
左右交互度及び間隔一致度は、両足動作センサデータが得られた場合と同様に抽出される。
速度一致度は、歩行速度とヒールストライクの衝撃に相関が有ることを踏まえて、ピーク点近傍での変化量の最大値が速度特徴とされ、適切な基準値が設けられて、速度一致度が算出される。
同時移動度は、第一の実施の形態と同様に抽出される。
逆足支持度、両足着地度、着地時屈曲度、及び離地時屈曲度は、欠損値とされる。
(4)必現パターン尤度の算出
必現パターン尤度の算出は、第1の実施の形態と同様に行われる。但し、欠損している動作間特徴量に関しては、特徴尤度が1とされる。
次に、第5の実施の形態について説明する。第5の実施の形態では第1の実施の形態と異なる点について説明する。第5の実施の形態において、特に言及されない点については、第1の実施の形態と同様でもよい。
第5の実施の形態では、必現動作の候補群(候補動作群)の評価基準として、「候補動作群が対象運動種別に対応する必現動作であることの尤もらしさ」が追加される。当該尤もらしさは、第5の実施の形態において「必現動作尤度」と呼ばれる。
図67は、第5の実施の形態における運動期間判定部の機能構成例を示す図である。図67中、図3と同一部分には同一符号を付し、その説明は省略する。
図67において、運動期間判定部13は、更に、必現動作尤度算出部122を有する。必現動作尤度算出部122は、各候補動作群について必現動作尤度を算出する。
図68は、第5の実施の形態における運動期間判定処理の処理手順の一例を説明するためのフローチャートである。図68中、図23と同一ステップには同一ステップ番号を付し、その説明は省略する。図68では、ステップS240に続いて、ステップS241及びS242が実行される。
ステップS241において、必現動作尤度算出部122は、対象候補期間の各候補動作について、対象運動種別に対応する必現動作の動作特徴量を抽出する。動作特徴量とは、4種類の必現動作ごとにその特徴を示す指標をいい、候補動作間の特徴量である動作間特徴量とは区別される。
図69は、各必現動作の動作特徴量の一例を示す図である。なお、図69において、△は、開始点を示す。○は、ピーク点を示す。×は、終了点を示す。
遊脚動作の動作特徴量は、(1)時間間隔、(2)時間長、(3)開始点高さ、(4)終了点高さ、及び(5)ピーク点高さの5つである。(1)時間間隔は、当該候補動作のピーク点と次の候補動作のピーク点との時間間隔である。時間長は、当該候補動作の開始点から終了点までの時間間隔である。(3)開始点高さは、開始点での信号値である。(4)終了点高さは、終了点での信号値である。(5)ピーク点高さは、ピーク点での信号値である。
回転動作の動作特徴量は、(1)時間長、(2)ピーク点高さ、(3)ピーク面積の3つである。(1)時間長は、開始点から終了点までの時間間隔である。(2)ピーク点高さは、ピーク点での信号値である。(3)ピーク面積は、開始点から終了点までの信号値の積分値である。
着地動作の動作特徴量は、(1)最大最小差、(2)時間長の2つである。(1)最大最小差は、動作範囲での信号の最大値と最小値との差分である。(2)時間長は、開始点から終了点までの時間間隔である。
移動動作の動作特徴量は、(1)最大最小差、(2)時間長の2つである。(1)最大最小差は、動作範囲での信号の最大値と最小値との差分である。(2)時間長は、開始点から終了点までの時間間隔である。
なお、対象動作に対応する必現動作とは、図5に示した通りである。例えば、図5に示した情報が、予め補助記憶装置102に記憶されていてもよい。例えば、両足首の動作センサデータが取得されている場合であって、対象運動種別が「歩行」であれば、対象運動種別に対応する必現動作(以下、「対象必現動作」という。)は、遊脚動作及び着地動作である。必現動作尤度算出部122は、これらのいずれか一方又は双方に関して、必現動作尤度を算出する。
まず、必現動作尤度算出部122は、対象候補期間の候補動作ごとに、所定のパラメータを含む確率分布を用いて尤度要素を算出する。尤度要素とは、1つの候補動作及び1つの動作特徴量について算出される指標であり、必現動作尤度の構成要素である。尤度要素の算出方法については後述される。確率分布の形状は、特徴尤度を求める場合と同様、例えば、図17に示したように、二項分布、多項分布、正規分布、又は連続一様分布のいずれかでもよい。これらは、基本的に、観測した動作特徴量が、「事前設定された基準値パラメータにどれだけ近いか」、又は「事前設定された範囲に収まっているか」を表す。基準値パラメータは、運動種別ごと、かつ、必現動作の種別ごとに設定される。更に、必現動作検出器の種別ごとに設定されてもよい。図70に、必現動作検出器の種別ごとに遊脚動作に関して設定された基準値パラメータの例を示す。
例えば、対象候補期間におけるj番目の候補動作について、正規分布に従う動作特徴量iの尤度要素は、図71に示した式で算出される。図71において、xは動作特徴量、iは動作特徴量の番号、p(xi,j|θ)は、尤度要素である。
必現動作尤度算出部122は、対象候補期間の各候補動作について、対象必現動作の動作特徴量ごとに尤度要素を算出する。対象必現動作が、遊脚動作及び着地動作であれば、遊脚動作及び着地動作のいずれか一方に関する尤度要素が算出されてもよいし、双方に関する尤度要素が算出されてもよい。
続いて、必現動作尤度算出部122は、対象候補期間の候補動作群について、必現動作尤度を算出する(S242)。必現動作尤度Lactionは、以下の式によって算出される。
Figure 0006724984
但し、iは、動作特徴量の番号、jは、候補動作の番号、Nは、動作特徴量の数、Mは、候補動作の数である。例えば、遊脚動作に関する必現動作尤度であれば、N=5である。
すなわち、必現動作尤度は、対象候補期間における全ての候補動作について算出された、対象必現動作の全ての動作特徴量の積によって算出される。
なお、対象必現動作が複数有る場合、複数の必現動作尤度が算出されてもよいし、いずれか一つの対象必現動作に関する必現動作尤度が算出されてもよい。
なお、図68のステップS290bにおいて検出器選択部119は、対象候補期間に関して、必現動作尤度をも考慮して運動期間を判定する。具体的には、対象候補期間の候補動作群に対して算出された必現動作尤度をLaction、必現パターン尤度をLpatternとした場合、これらを掛け合わせた値L=Laction×Lpatternが評価値とされる。当該評価値Pは、必現動作検出器ごとに算出される。必現動作検出器ごとの評価値Pの中の最大値が閾値を超えていれば、検出器選択部119は、候補期間を対象運動種別の運動期間として選択する。
例えば、図72のように評価値が計算された場合、「Fast」の評価値が最大であるため、当該評価値が閾値を超えていれば、「Fast」の処理結果が採用される。
上述したように、候補動作群が対象運動種別に対応する必現動作であることの尤もらしさをも考慮して運動期間を判定することができる。したがって、運動期間の判定期間の精度向上を期待することができる。
次に、第6の実施の形態について説明する。第6の実施の形態では上記各実施の形態と異なる点について説明する。第6の実施の形態において、特に言及されない点については、上記各実施の形態と同様でもよい。
第6の実施の形態では、予め設定された検出パラメータのパラメータリストに基づく複数の必現動作検出器のいずれによっても全く運動期間が検出されない可能性が考慮される。
所定時間以上のセンサデータに対し、運動期間判定部13が運動期間の検出を行い、各運動種別の発生頻度の分布を求めた結果、歩行が1回も検出されなかった等、発生頻度の分布が不自然であった場合、検出器設計部114は、ステップS107までに算出された複数の必現パターン尤度を、パラメータリストを構成する各検出パラメータを次元とする座標上にプロットする。検出器設計部114は、プロット結果に基づいて、必現パターン尤度が高くなる方向を判定し、その方向において、各検出パラメータの値を決定する。必現動作検出部115は、決定した値に基づいて必現動作検出器を設計する。以降は、当該必現動作検出器に基づいて、図23のステップS230以降が実行されればよい。
例えば、図73には、説明の便宜上、パラメータリストを構成する検出パラメータが2つである例が示されている(なお、本実施の形態では、図24に示したようにパラメータリストは5つの検出パラメータから構成される)。(A)には、この2つの検出パラメータを次元とする座標系に対して、1つの候補区間において、3つのパラメータリストに基づいて(すなわち、3つの必現動作検出器に基づいて)算出された必現パターン尤度であるA点、B点、及びC点がプロットされた例が示されている。(B)には、A点、B点、及びC点に基づいて、必現パターン尤度が高くなる方向d1が決定され、方向d1の先に有る領域A1に対応する値が、各検出パラメータに再設定される(すなわち、新たな検出パラメータが生成される)例が示されている。
上述したように、第6の実施の形態によれば、運動期間の検出に成功する可能性を高めることができる。
なお、上記各実施の形態において、運動期間判定部13は、情報処理装置の一例である。候補期間抽出部113は、特定部の一例である。検出器設計部114は、設計部の一例である。必現動作検出部115は、検出部の一例である。必現パターン尤度算出部118は、第1の算出部の一例である。動作間特徴量抽出部116は、第1の抽出部の一例である。特徴尤度算出部117は、変換部の一例である。候補期間分類部121は、分類部の一例である。運動期間比較部120は、判定部の一例である。必現動作尤度算出部122は、第2の算出部の一例である。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 運動期間判定装置
11 データ収集部
12 データ前処理部
13 運動期間判定部
14 データ加工部
15 判定結果記憶部
16 通信部
20 出力装置
21 可視化部
30L 左足用センサデバイス
30R 右足用センサデバイス
30U 上半身用センサデバイス
40 データ取得用デバイス
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
111 運動種別選択部
112 データ読出部
113 候補期間抽出部
114 検出器設計部
115 必現動作検出部
116 動作間特徴量抽出部
117 特徴尤度算出部
118 必現パターン尤度算出部
119 検出器選択部
120 運動期間比較部
121 候補期間分類部
122 必現動作尤度算出部
151 検出パラメータ記憶部
152 ルール記憶部
153 状態遷移確率記憶部
B バス

Claims (13)

  1. 体の1以上の部位の動きを時系列に示すセンサデータに基づいて、所定の運動が行われたことが推定される期間を特定する特定部と、
    前記センサデータに基づいて、前記期間における動作群を検出する検出部と、
    前記検出された動作群を構成する動作ごとに、当該動作群における他の動作との間の特徴量を抽出する第1の抽出部と、
    抽出された特徴量を、当該特徴量が前記所定の運動にとって尤もらしい度合いを示す指標に変換する変換部と、
    前記変換部によって変換された指標に基づいて、当該動作群が前記所定の運動であることの尤度を算出する第1の算出部と
    を有することを特徴とする情報処理装置。
  2. 前記検出部は、1以上の関節の、所定軸方向または所定面の所定物理量を示すセンサデータが所定周波数帯域に変換されたデータにおいて、所定値以上のピークを検出する、
    ことを特徴とする請求項1記載の情報処理装置。
  3. 前記検出部は、前記動作群を検出するための複数の条件を前記センサデータに適用して、前記条件ごとに動作群を検出し、
    前記第1の算出部は、前記条件ごとに、当該条件に基づいて検出された動作群の前記指標に基づいて、当該動作群が前記所定の運動であることの尤度を算出する、
    ことを特徴とする請求項1又は2記載の情報処理装置。
  4. 所定時間以上のセンサデータから前記運動の発生頻度分布を特定し、前記の発生頻度分布が所定条件を満たさない場合に、前記複数の条件ごとに算出された複数の前記尤度に基づいて、新たな条件を設計する設計部、
    を有することを特徴とする請求項3記載の情報処理装置。
  5. 前記第1の抽出部は、
    動作間において、動作の速度特徴または時間特徴が類似している度合い、
    動作間において、動作の所属部位が交互である度合い、
    動作間において、動作発生時刻が同時に発生している度合い、
    動作間において、動作が特定順序で発生している度合い、
    のうちいいずれかを抽出する請求項1乃至4いずれか一項記載の情報処理装置。
  6. 前記検出された動作群を構成する動作ごとに、各動作の特徴量を抽出し、抽出された特徴量を、当該特徴量が前記所定の運動にとって尤もらしい度合いを示す指標に変換し、変換された指標に基づいて第2の尤度を算出する第2の算出部を有し、
    前記第1の算出部は、前記第2の尤度を加えて前記尤度を算出する、
    ことを特徴とする請求項1乃至5いずれか一項記載の情報処理装置。
  7. 前記検出された動作群を構成する各動作に、前記所定の運動における複数の第1の状態と、前記所定の運動以外の第2の状態とに関する状態遷移確率情報および状態観測確率情報に基づいて、いずれかの状態を割り当てて、前記特定部によって特定された期間を、前記第1の状態が割り当てられた動作に係る第1の期間と、前記第2の状態が割り当てられた動作に係る第2の期間とに分類する分類部を有し、
    前記第1の算出部は、前記検出された動作群のうち前記第1の期間に係る動作群の前記指標に基づいて、当該動作群が前記所定の運動であることの尤度を算出する、
    ことを特徴とする請求項1乃至6いずれか一項記載の情報処理装置。
  8. 前記分類部は、部位ごとに異なる状態を加えて状態群を構成し、前記所定の運動の開始を示す状態と、前記所定の運動の終了を示す状態と、前記所定の運動ではないことを示す状態を加えて状態群を構成し、前記所定の運動とは異なる運動に関する状態も加えて状態群を構成し、構成された状態群の中のいずれかの状態を前記検出された動作群を構成する各動作に割り当てる、
    ことを特徴とする請求項7記載の情報処理装置。
  9. 前記分類部は、前記特定された期間のセンサデータに基づいて、前記状態遷移確率情報および前記状態観測確率情報を学習し、学習された前記状態遷移確率情報および前記状態観測確率情報に基づいて、前記特定された期間を前記第1の期間と前記第2の期間に分類する、
    ことを特徴とする請求項7又は8記載の情報処理装置。
  10. 前記分類部は、前記学習された状態遷移確率情報および状態観測確率情報と、既存の前記状態遷移確率情報および前記状態観測確率情報との類似度に応じて、前記学習された状態遷移確率情報および状態観測確率情報を利用する、
    ことを特徴とする請求項9記載の情報処理装置。
  11. 前記第1の算出部は、複数の運動の種別のそれぞれごとに、検出された動作群の前記指標に基づいて、当該動作群が当該運動の種別に関する動作群であることの尤度を算出し、
    前記運動の種別の組み合わせ、および、前記運動の種別ごとの尤度に基づいて、前記期間における運動の種別を判定する判定部、
    を有することを特徴とする請求項1乃至10いずれか一項記載の情報処理装置。
  12. 体の1以上の部位の動きを時系列に示すセンサデータに基づいて、所定の運動が行われたことが推定される期間を特定する処理と、
    前記センサデータに基づいて、前記期間における動作群を検出する処理と、
    前記検出された動作群を構成する動作ごとに、当該動作群における他の動作との間の特徴量を抽出する処理と、
    抽出された特徴量を、当該特徴量が前記所定の運動にとって尤もらしい度合いを示す指標に変換する処理と、
    前記変換する処理において変換された指標に基づいて、当該動作群が前記所定の運動であることの尤度を算出する処理と、
    をコンピュータが実行することを特徴とする情報処理方法。
  13. 体の1以上の部位の動きを時系列に示すセンサデータに基づいて、所定の運動が行われたことが推定される期間を特定する処理と、
    前記センサデータに基づいて、前記期間における動作群を検出する処理と、
    前記検出された動作群を構成する動作ごとに、当該動作群における他の動作との間の特徴量を抽出する処理と、
    抽出された特徴量を、当該特徴量が前記所定の運動にとって尤もらしい度合いを示す指標に変換する処理と、
    前記変換する処理において変換された指標に基づいて、当該動作群が前記所定の運動であることの尤度を算出する処理と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。
JP2018517947A 2016-05-16 2016-05-16 情報処理装置、情報処理方法、及び情報処理プログラム Active JP6724984B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/064516 WO2017199305A1 (ja) 2016-05-16 2016-05-16 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2017199305A1 JPWO2017199305A1 (ja) 2019-01-17
JP6724984B2 true JP6724984B2 (ja) 2020-07-15

Family

ID=60324970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517947A Active JP6724984B2 (ja) 2016-05-16 2016-05-16 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
EP (1) EP3459453B1 (ja)
JP (1) JP6724984B2 (ja)
WO (1) WO2017199305A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI3847961T3 (fi) 2018-09-03 2023-05-11 Fujitsu Ltd Kävelytilan määritysohjelma, kävelytilan määritysmenetelmä ja informaationkäsittelylaite
EP3915474A4 (en) * 2019-01-24 2022-01-26 Fujitsu Limited INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM
US11397193B2 (en) 2020-06-12 2022-07-26 Koneksa Health Inc. Movement analysis method and apparatus
US11307050B2 (en) 2020-06-12 2022-04-19 Koneksa Health Inc. Measuring method and device
JP7143872B2 (ja) * 2020-08-14 2022-09-29 カシオ計算機株式会社 情報処理装置、ランニング指標導出方法及びプログラム
US11395919B1 (en) * 2021-02-05 2022-07-26 Theragen, Inc. Therapeutic stimulator system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011045524A (ja) * 2009-08-27 2011-03-10 Kddi Corp 所持している者の運動強度及び/又は消費カロリーを推定する装置
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
JP6459285B2 (ja) * 2013-11-05 2019-01-30 セイコーエプソン株式会社 速度推定方法、速度推定装置及び携帯機器
US9808185B2 (en) * 2014-09-23 2017-11-07 Fitbit, Inc. Movement measure generation in a wearable electronic device
JP6044670B2 (ja) * 2015-04-23 2016-12-14 Tdk株式会社 歩行分析装置

Also Published As

Publication number Publication date
WO2017199305A1 (ja) 2017-11-23
JPWO2017199305A1 (ja) 2019-01-17
EP3459453A1 (en) 2019-03-27
EP3459453A4 (en) 2019-05-15
EP3459453B1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
JP6724984B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US10959647B2 (en) System and method for sensing and responding to fatigue during a physical activity
CN108244744B (zh) 一种运动状态识别的方法、鞋底及鞋
US9978425B2 (en) Method and device for associating frames in a video of an activity of a person with an event
JP6765505B2 (ja) 運動認識方法および装置
JP5314224B1 (ja) ランニングフォーム診断システムおよびランニングフォームを得点化する方法
JP6361951B2 (ja) 電子機器、泳法判別方法、及び泳法判別プログラム
US20170182360A1 (en) System and method for using performance signatures
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
JP6362521B2 (ja) 行動分類システム、行動分類装置及び行動分類方法
JP7101835B2 (ja) 運動認識システム
Ghazali et al. Common sport activity recognition using inertial sensor
CN108814617A (zh) 冻结步态识别方法和装置及步态检测仪
White et al. A comparison of three-dimensional breast displacement and breast comfort during overground and treadmill running
CA2821590A1 (en) A method for assessing cognitive function and predicting cognitive decline through quantitative assessment of the tug test
CN112263244A (zh) 基于步态的疲劳度评估系统及方法
CN112401876A (zh) 用于人的步态检测的方法和系统
US11494702B2 (en) Task estimation method and information processing apparatus
CN113975775B (zh) 可穿戴式惯性体感乒乓运动训练系统及其工作方法
Kong et al. Design of computer interactive system for sports training based on artificial intelligence and improved support vector
CN112487902B (zh) 面向外骨骼的基于tcn-hmm的步态相位分类方法
KR102280291B1 (ko) 검출정보별 신경망 분석을 실시하여 파킨슨 환자 및 족관절염 환자를 식별하는 장치 및 방법
Vadnerkar et al. Classification of gait quality for biofeedback to improve heel-to-toe gait
KR102194313B1 (ko) 검출정보별 신경망 분석을 실시하여 개인을 식별하는 장치 및 방법
Sivakumar et al. High-intensity interval training exercise recognition using smartwatch

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6724984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150