JP6597797B2 - 情報処理システム、情報処理プログラムおよび情報処理方法 - Google Patents

情報処理システム、情報処理プログラムおよび情報処理方法 Download PDF

Info

Publication number
JP6597797B2
JP6597797B2 JP2017557605A JP2017557605A JP6597797B2 JP 6597797 B2 JP6597797 B2 JP 6597797B2 JP 2017557605 A JP2017557605 A JP 2017557605A JP 2017557605 A JP2017557605 A JP 2017557605A JP 6597797 B2 JP6597797 B2 JP 6597797B2
Authority
JP
Japan
Prior art keywords
section
direction change
walking
information processing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017557605A
Other languages
English (en)
Other versions
JPWO2017109920A1 (ja
Inventor
真路 堀田
明大 猪又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017109920A1 publication Critical patent/JPWO2017109920A1/ja
Application granted granted Critical
Publication of JP6597797B2 publication Critical patent/JP6597797B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G01C22/006Pedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6828Leg
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6831Straps, bands or harnesses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7242Details of waveform analysis using integration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Description

本発明は、情報処理システム等に関する。
従来では、両脚のセンサを使って、歩行開始と歩行終了とを検出する技術が知られている。例えば、腰および膝の角度から歩行開始の前兆を検出したうえで、靴底の足圧から爪先離れを検出することで歩行開始を検出する技術がある(例えば、非特許文献1参照)。
また、携帯端末を手に所持した歩行者が方向転換した際に、携帯端末がその方向転換を検出する技術がある(例えば、特許文献1参照)。かかる技術では、地磁気センサ、加速度センサおよびGPS部を有する携帯端末が、以下の条件の場合に、歩行者が方向転換したと判定する。すなわち、条件は、第1の時点の第1の進行方向と第3の時点の第3の進行方向との間の第1の方位差が角度閾値以上であって、第2の時点の第2の進行方向と第4の時点の第4の進行方向との間の第2の方位差が角度閾値以上であることである。
特開2009−75036号公報 特開平10−113343号公報 特開2008−027429号公報 特開2009−150711号公報 特開2010−223829号公報
しかしながら、従来の技術では、両脚のセンサのみを使って、方向転換動作の特徴量を高精度に抽出できないという問題がある。
例えば、携帯端末が方向転換を検出する技術では、携帯端末が、手に所持した位置でセンサを使って方位差の変化から方向転換の区間を検出できるが、個々の方向転換動作の特徴量を高精度に抽出できない。なぜなら、非常に小さい歩幅で方向転換する場合、手に所持した位置でのセンサでは、個々のステップ動作を検出できないからである。
仮に、両脚のセンサが歩行開始を検出する技術と携帯端末が方向転換を検出する技術とを組み合わせれば、方向転換動作の特徴量を抽出可能であるが、両脚だけでなく、上半身にもセンサを装着する必要がある。
1つの側面では、両脚のセンサのみを使って、方向転換動作の特徴量を高精度に抽出することを目的とする。
本願の開示する情報処理システムは、左脚に用いられる第1のモーションセンサと、右脚に用いられる第2のモーションセンサと、前記センサで取得したデータを処理する情報処理部と、を有する。前記情報処理部は、前記センサで取得したデータにおいて、重力方向を軸とした下肢回転の動作が発生した箇所を方向転換の動作候補として抽出する動作候補抽出部と、前記動作候補抽出部によって抽出された複数の動作候補について、前記回転の方向が同じであり、左脚の動作候補と右脚の動作候補とが交互に現れ、時間的に連続する場合に、方向転換動作と判定する方向転換動作判定部と、前記センサで取得したデータを用いて、前記方向転換動作判定部によって判定された方向転換動作の特徴を抽出する特徴抽出部と、を有する。
1つの態様によれば、両脚のセンサのみを使って、方向転換動作の特徴量を高精度に抽出することができる。
図1は、実施例に係る情報処理システムの構成を示す機能ブロック図である。 図2Aは、センサデバイスの軸方向について説明する図である。 図2Bは、センサデバイスの装着の一例を示す図である。 図3は、実施例に係る方向転換区間判定を説明する図である。 図4は、ピーク検出の一例を示す図である。 図5は、実施例に係る歩行区間判定を説明する図である。 図6は、実施例に係る情報処理の全体のフローチャートを示す図である。 図7Aは、実施例に係る方向転換区間抽出処理のフローチャートを示す図である。 図7Bは、実施例に係る方向転換区間抽出処理のフローチャートを示す図である。 図7Cは、実施例に係る方向転換区間抽出処理のフローチャートを示す図である。 図8は、実施例に係る方向転換特徴抽出処理のフローチャートを示す図である。 図9Aは、実施例に係る過渡歩行区間抽出処理のフローチャートを示す図である。 図9Bは、実施例に係る過渡歩行区間抽出処理のフローチャートを示す図である。 図9Cは、実施例に係る過渡歩行区間抽出処理のフローチャートを示す図である。 図10は、実施例に係る過渡歩行特徴抽出処理のフローチャートを示す図である。 図11Aは、実施例に係る動作候補抽出処理の具体例を示す図である。 図11Bは、実施例に係る動作候補抽出処理の具体例を示す図である。 図11Cは、実施例に係る動作候補抽出処理の具体例を示す図である。 図11Dは、実施例に係る動作候補抽出処理の具体例を示す図である。 図11Eは、実施例に係る動作候補抽出処理の具体例を示す図である。 図12Aは、実施例に係る方向転換区間判定処理の具体例を示す図である。 図12Bは、実施例に係る方向転換区間判定処理の具体例を示す図である。 図12Cは、実施例に係る方向転換区間判定処理の具体例を示す図である。 図12Dは、実施例に係る方向転換区間判定処理の具体例を示す図である。 図13Aは、実施例に係る方向転換特徴抽出処理の具体例を示す図である。 図13Bは、実施例に係る方向転換特徴抽出処理の具体例を示す図である。 図13Cは、実施例に係る方向転換特徴抽出処理の具体例を示す図である。 図14Aは、実施例に係る歩行区間特定処理の具体例を示す図である。 図14Bは、実施例に係る歩行区間特定処理の具体例を示す図である。 図14Cは、実施例に係る歩行区間特定処理の具体例を示す図である。 図14Dは、実施例に係る歩行区間特定処理の具体例を示す図である。 図15は、実施例に係る歩行特徴抽出処理の具体例を示す図である。 図16は、実施例に係る歩行特徴抽出処理の別の具体例を示す図である。 図17は、実施例に係る特徴量保存処理の具体例を示す図である。 図18は、実施例に係る特徴量可視化処理の具体例を示す図である。 図19は、情報処理プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する情報処理システム、情報処理プログラムおよび情報処理方法の実施例を図面に基づいて詳細に説明する。なお、実施例によりこの発明が限定されるものではない。
[情報処理システムの構成]
図1は、実施例に係る情報処理システムの構成を示す機能ブロック図である。図1に示すように、情報処理システム9は、情報処理装置1と、センサデバイス2,3とを有する。情報処理装置1は、センサデバイス2およびセンサデバイス3とそれぞれ接続する。
センサデバイス2は、互いに直交する3軸周りの回転角速度を検出する角速度センサ(ジャイロセンサ)であり、例えば被験者の左脚に装着される。ここで、センサデバイス2の軸方向について、図2Aを参照して説明する。
図2Aは、センサデバイスの軸方向について説明する図である。図2Aの頭上から見た場合に示すように、Z軸周りの角速度は、被験者の歩行において、横(左右)方向の回転に伴う変位値となる。すなわち、所定時点のセンサデバイス2の装着姿勢を基準とした左右方向の回転量であり、例えば、右方向の回転量がプラス(正方向)となり、左方向の回転量がマイナスとなる。図2Aの右から見た場合に示すように、X軸周りの角速度は、被験者の歩行において、前後方向の回転に伴う変位値となる。すなわち、所定時点のセンサデバイス2の装着姿勢を基準とした前後方向の回転量であり、後方向(起き上がり方向)の回転量がプラス(正方向)となり、前方向(前傾方向)の回転量がマイナスとなる。Y軸周りの角速度は、被験者の歩行において体幹方向の回転に伴う変位値となる。すなわち、所定時点のセンサデバイス2の装着姿勢を基準とした左右方向の回転量であり、右方向の回転量がプラスとなり、左方向の回転量がマイナスとなる。なお、センサデバイス2は、互いに直交する3軸方向の加速度を検出する加速度センサであっても良い。また、センサデバイス2は、ジャイロセンサおよび加速度センサを有しても良い。以降では、センサデバイス2は、ジャイロセンサであるとして説明する。
センサデバイス2は、データ取得部21およびデータ送信部22を有する。データ取得部21は、ジャイロデータを取得する。データ送信部22は、データ取得部21によって取得されたジャイロデータを情報処理装置1へ送信する。
センサデバイス3は、センサデバイス2と同じデバイスであり、例えば被験者の右脚に装着されるが、センサデバイス2と同じ機能であるので、その説明を省略する。
ここで、センサデバイス2,3の装着の一例を、図2Bを参照して説明する。図2Bは、センサデバイスの装着の一例を示す図である。図2Bに示すように、被験者の両脚にそれぞれセンサデバイス2,3が装着される。すなわち、被験者の左脚にセンサデバイス2が装着され、被験者の右脚にセンサデバイス3が装着される。センサデバイス2,3は、情報処理装置1と通信し、被験者の方向転換動作および歩行動作に応じて各種データを情報処理装置1に送信する。
図1に戻って、情報処理装置1は、被験者の両脚に装着されるセンサデバイス2,3のデータのみを使って、被験者の方向転換動作および歩行動作の特徴量を抽出する。情報処理装置1は、データ取得部11、動作候補抽出部12、左右対称性抽出部13、時間特徴抽出部14、位相特徴抽出部15、方向転換区間判定部16および方向転換特徴抽出部17を有する。加えて、情報処理装置1は、前後区間特定部18、歩行区間判定部19、歩行特徴抽出部20、特徴量保存部21、特徴量可視化部22およびデータ記憶部23を有する。なお、センサデバイス2,3は、それぞれ第1のモーションセンサ,第2のモーションセンサの一例である。情報処理装置1は、情報処理部の一例である。
データ取得部11は、センサデバイス2,3からそれぞれ送信される各種データを受信し、受信した各種データをデータ記憶部23に蓄積する。例えば、データ取得部11は、各種データを1秒間に60サンプルずつ受信し、受信した各種データを蓄積する。なお、各種データには、横(左右)方向の回転量、前後方向の回転量および体幹の回転量が含まれる。そして、1時点毎、各種データが、データ記憶部23に蓄積される。
データ取得部11は、方向転換の特徴を抽出する旨の開始指示を取得すると、取得した指示に基づいて、データ記憶部23から該当する被験者の各種データを読み出す。データ取得部11は、読み出した各種データを動作候補抽出部12に出力する。
動作候補抽出部12は、横方向への回転量が第1閾値より大きい箇所を方向転換の動作候補として抽出する。例えば、動作候補抽出部12は、データ取得部11から出力される各種データのうち横方向への角速度からピークを検出する。ピーク検出は、一例として、バターワースフィルタ等のローパスフィルタを角速度データに適用した上で、実行する。動作候補抽出部12は、ピーク前後での横方向への回転量が第1閾値より大きい場合に、このピーク前後を一纏まりとした箇所を方向転換の動作候補として抽出する。なお、動作候補抽出部12は、所定時間内に、同じ側の脚で横方向への回転が同じ方向となるピークが連続した場合には、これらのピークをグループ化して1つのピークとして検出しても良い。人が1ステップ歩く場合、横方向への回転は、前方向への進行と比べて、動作が複雑なため、ピークが連続しやすいからである。これにより、動作候補抽出部12は、1歩当たりの方向転換の動作候補を1つ抽出できる。
左右対称性抽出部13は、動作候補抽出部12によって抽出された動作候補について、直前の動作候補と比べて、左脚の動作候補と右脚の動作候補が交互に出現しているか否かを抽出する。
時間特徴抽出部14は、動作候補抽出部12によって抽出された動作候補について、直前の動作候補との間の時間間隔を抽出する。
位相特徴抽出部15は、動作候補抽出部12によって抽出される動作候補について、直前の動作候補と横方向の回転がいずれも同方向(同位相)であるか否かを抽出する。
方向転換区間判定部16は、時間特徴抽出部14によって抽出された特徴、左右対称性抽出部13によって抽出された特徴、且つ、位相特徴抽出部15によって抽出された特徴が所定条件を満たした区間であれば、方向転換区間と判定する。すなわち、方向転換区間判定部16は、動作候補抽出部12によって抽出された複数の動作候補の中で、横方向への回転方向が同じであり、左脚と右脚とが交互に回転し、時間的に連続する動作候補の区間を方向転換動作と判定する。
なお、方向転換区間判定部16によって方向転換区間を判定する方法は、上記の条件判定による方法に限定されない。方向転換区間判定部16は、隠れマルコフモデル(HMM)等を用いて方向転換区間を確率的に判定しても良い。隠れマルコフモデル(HMM)を用いて方向転換区間を判定する方法は、後述する。
ここで、実施例に係る方向転換区間判定を、図3を参照して説明する。図3は、実施例に係る方向転換区間判定を説明する図である。図3上下図の実線で示すように、時間毎に、センサデバイス2から送信された左脚の横方向の角速度およびセンサデバイス3から送信された右脚の横方向の角速度が時系列にグラフで表わされている。なお、グラフ中の点線は、前方向の角速度を表している。
動作候補抽出部12は、横方向への回転量にローパスフィルタをかけてからピークを検出し、ピーク開始からピーク終了までの横方向への回転量が第1閾値より大きい場合に、このピーク前後を一纏まりとした箇所を方向転換の動作候補として抽出する。ここでは、ピークp1〜p7のそれぞれの横方向への回転量が第1閾値より大きい。そこで、動作候補抽出部12は、ピークp1〜p7を、それぞれ方向転換の動作候補として抽出する。
時間特徴抽出部14は、動作候補抽出部12によって抽出された動作候補について、直前の動作候補との間の時間間隔を抽出する。ここでは、一例として、動作候補のピークp1とp2との間の時間間隔がt1と抽出される。同様に、動作候補のピークp2とp3との間の時間間隔が抽出される。動作候補のピークp3とp4との間の時間間隔が抽出される。動作候補のピークp4とp5との間の時間間隔が抽出される。動作候補のピークp5とp6との間の時間間隔が抽出される。
左右対称性抽出部13は、動作候補抽出部12によって抽出された動作候補について、直前の動作候補と比べて、左脚の動作候補と右脚の動作候補が交互に出現しているか否かを抽出する。ここでは、ピークp2は左脚の動作候補であり、直前の動作候補であるピークp1は右脚の動作候補であるので、交互に出現していることが抽出される。同様に、ピークp3は右脚の動作候補であり、直前の動作候補であるピークp2は左脚の動作候補であるので、交互に出現していることが抽出される。ピークp4は左脚の動作候補であり、直前の動作候補であるピークp3は右脚の動作候補であるので、交互に出現していることが抽出される。ピークp5は右脚の動作候補であり、直前の動作候補であるピークp4は左脚の動作候補であるので、交互に出現していることが抽出される。ピークp6は左脚の動作候補であり、直前の動作候補であるピークp5は右脚の動作候補であるので、交互に出現していることが抽出される。ピークp7は左脚の動作候補であり、直前の動作候補であるピークp6は右脚の動作候補であるので、交互に出現していることが抽出される。
位相特徴抽出部15は、動作候補抽出部12によって抽出される動作候補について、直前の動作候補と横方向の回転がいずれも同方向(同位相)であるか否かを抽出する。ここでは、ピークp1〜p7は、回転量の符号がいずれも正であることから、いずれも右方向への回転であることが抽出される。したがって、ピークp1〜p7は、いずれも同方向(同位相)であることが抽出される。
方向転換区間判定部16は、時間特徴抽出部14によって抽出された特徴、左右対称性抽出部13によって抽出された特徴、且つ、位相特徴抽出部15によって抽出された特徴が所定条件を満たした区間であれば、方向転換区間と判定する。すなわち、方向転換区間判定部16は、動作候補抽出部12によって抽出された複数の動作候補の中で、横方向への回転方向が同じであり、左脚と右脚とが交互に回転し、時間的に連続する動作候補の区間を方向転換動作と判定する。ここでは、時間特徴抽出部14によって抽出された特徴により、ピークp1〜p7が時間的に連続する動作候補である。左右対称抽出部13によって抽出された特徴により、ピークp1〜p7が左脚と右脚とが交互に回転する動作候補である(j2)。位相特徴抽出部15によって抽出された特徴により、ピークp1〜p7がそれぞれ同位相である動作候補である(j3)。したがって、動作候補のピークp1〜p7の区間が、方向転換区間と判定される。
また、動作候補抽出部12によって検出されるピークの検出方法を、図4を参照して説明する。図4は、ピーク検出の一例を示す図である。図4に示すように、片足を1歩だけ進める場合に、前方向へ進行するより横方向へ回転する方が、動作が複雑になることが多い。横方向へ回転する場合に動作が複雑になると、ジャイロ波形では、複数のピークが連続して発生する。複数のピークが連続して発生する一例として、横方向へ回転するときに、離脚前から着脚後までの着地直前に脚が回転するような場合である。離脚前とは、脚が離れる前のことをいう。着脚後とは、脚が着いた後のことをいう。ここでは、片足を1歩だけ横方向へ回転したときに、複数のピークp11、p12が連続して発生したとする。
このような場合に、動作候補抽出部12は、所定時間内に、同じ側の脚で横方向への回転が同じ方向となるピークが連続する場合には、これらのピークをグループ化する。ここでは、所定時間は100msであるとする。すると、ピークp11およびピークp12は、同じ側の脚であり、同じ方向の横方向への回転であり、連続する。そして、ピークp11およびピークp12の間は100msより小さい。したがって、動作候補抽出部12は、ピークp11およびピークp12をピークp10としてグループ化する。これにより、動作候補抽出部12は、1歩当たりの方向転換の動作候補を1つ抽出することができる。なお、所定時間内に連続して出現する複数のピークのことを「多重ピーク」というものとし、多重ピークをグループ化することを「チャンキング処理」というものとする。
図1に戻って、方向転換特徴抽出部17は、データ記憶部23に記憶されたデータを用いて、方向転換区間判定部16によって判定された方向転換動作の特徴を抽出する。例えば、方向転換特徴抽出部17は、(A)どれだけ速く方向転換できたか、(B)どれだけ大きく回転できたか、(C)最初から大きく回転できたか、(D)安定して方向転換できたか、(E)方向転換中に静止がなかったか、(F)左脚と右脚でどれだけ非対称か、に関する特徴を抽出する。(A)の例として、<1>方向転換中の、方向転換動作の回数が抽出される。<2>方向転換中の、方向転換動作の最大所要時間が抽出される。<3>方向転換中の、方向転換動作の平均所要時間が抽出される。(B)の例として、<4>方向転換中の、方向転換動作の最大回転量が抽出される。<5>方向転換中の、方向転換動作の平均回転量が抽出される。(C)の例として、<6>方向転換中の、最初の方向転換動作の回転量が抽出される。(D)の例として、<7>方向転換中の、隣り合う方向転換動作の間隔が抽出される。<8>方向転換中の、着脚直後の横方向のふらつきが抽出される。(E)の例として、<9>方向転換中の、静止の有無、または静止が有る場合の静止時間が抽出される。なお、方向転換区間特徴部17が抽出する方向転換動作の特徴は、一例であって、これらに限定されない。
前後区間特定部18は、方向転換区間判定部16によって判定された方向転換区間の直後(または直前)に発生するピークのうち、横方向への回転量が第1閾値以下、第2閾値以上のピークを特定する。第2閾値は、第1閾値より小さい閾値である。つまり、方向転換動作が判定された直後(または直前)では、歩きながら方向転換する場合もあるので、前後区間特定部18は、歩きながら方向転換している場合のピークを特定する。このような、方向転換前後に発生する方向転換を「弱方向転換」と呼ぶこととする。これにより、前後区間特定部18は、特定される弱方向転換が継続される区間の長さを特徴量として抽出することで、方向転換の困難度合いを判定できる。また、前後区間特定部18は、弱方向転換の横方向の向きが直前の方向転換と逆向きであるかないかを特徴量として抽出することで、方向転換後のふらつきを判定できる。
歩行区間判定部19は、2つの方向転換区間の間において、歩行区間の候補を特定する。例えば、歩行区間判定部19は、2つの方向転換区間の間において、前方向への角速度からピークを検出し、検出したピークのうち前方向への回転量が閾値R1以上となるピークを特定する。歩行区間判定部19は、特定したピークが短時間内に連続して発生している区間を歩行区間候補として特定する。そして、歩行区間判定部19は、歩行区間候補の前後において、前方向への回転量が閾値R1より小さく、且つ閾値R2以上のピークを特定する。閾値R2は、閾値R1より小さい閾値である。このような、歩行区間候補の前後に特定されるピークの区間を「過渡歩行区間」と呼ぶこととする。言い換えれば、「過渡歩行区間」は、歩行が安定するまでの不安定な歩行の区間のことをいう。そして、歩行区間判定部19は、過渡歩行区間の中で最初のピークを「最初の1歩」と判定し、最後のピークを「最後の1歩」と判定する。かかる過渡歩行区間と歩行区間候補とを含む区間を、便宜上、「歩行区間」と呼ぶこととする。
なお、「歩行区間」を判定する方法は、これに限定されない。歩行区間判定部19は、隠れマルコフモデル(HMM)を用いて歩行区間を判定しても良い。隠れマルコフモデル(HMM)を用いて「歩行区間」を判定する方法は、後述する。また、「過渡歩行区間」は、歩行側の観点からみる不安定な区間であり、弱方向転換が示す区間は、方向転換側の観点からみる不安定な区間であるので、両区間は、重複して判定される場合がある。また、過渡歩行区間を判定する方法は、これに限定されない。別の一例として、歩行区間判定部19は、歩行区間と判定された区間において、第1歩目から最初の数歩(例えば4歩)が完了するまでの区間を過渡歩行区間と判定しても良い。別の一例として、歩行区間判定部19は、現ピークから所定数歩のピークの時間間隔の分散が所定閾値以下になるまでの区間を過渡歩行区間と判定しても良い。ピークの時間間隔の分散を用いて過渡歩行区間を判定する方法は、後述する。
歩行特徴抽出部20は、データ記憶部23に記憶されたデータを用いて、歩行区間判定部19によって特定された過渡歩行区間の特徴を抽出する。例えば、歩行特徴抽出部20は、(a)どれだけ速く安定歩行に入れたか、(b)どれだけふらつかずに安定歩行に入れたか、に関する特徴を抽出する。(a)の例として、安定歩行に入るまでの時間および歩行ステップ数が抽出される。(b)の例として、安定歩行に入るまでの横方向への回転量が抽出される。
特徴量保存部21は、方向転換区間および過渡歩行区間における特徴量を時系列にデータ記憶部23に保存する。例えば、特徴量保存部21は、方向転換特徴抽出部17によって抽出された方向転換区間の各種特徴量および歩行特徴抽出部20によって抽出された過渡歩行区間の各種特徴量を発生順にデータ記憶部23に格納する。
特徴量可視化部22は、データ記憶部23に記憶された各種特徴量を時系列に可視化する。例えば、特徴量可視化部22は、被験者が患者である場合には、治療経過を観察するために、患者に治療を行った日を基準に、その日の前後の区間に対して、1か月毎の各種特徴量の統計値を時系列に可視化する。特徴量の一例として、方向転換中の方向転換動作の回数が挙げられる。
ここで、実施例に係る歩行区間判定を、図5を参照して説明する。図5は、実施例に係る歩行区間判定を説明する図である。図5上下図に示すように、時間毎に、センサデバイス2から送信された左脚の前方向への角速度およびセンサデバイス3から送信された右脚の前方向への角速度が時系列にグラフで表わされている。
歩行区間判定部19は、2つの方向転換区間の間において、前方向への回転量にローパスフィルタをかけた上でピークを検出し、検出したピークのうち前方向への回転量が閾値R1以上となるピークを特定する。ここでは、ピークp21〜p27のそれぞれの前方向への回転量が閾値R1以上である。そこで、歩行区間判定部19は、ピークp21〜p27が短時間に連続発生している区間を歩行区間候補として特定する。
歩行区間判定部19は、歩行区間候補の前後のピークを特定し、特定したピークのうち、前方向への回転量が閾値R1より小さく、且つ閾値R2以上のピークを特定する。ここでは、ピークp20、p30の前方向への回転量が閾値R1より小さく、且つ閾値R2以上である。そこで、歩行区間判定部19は、歩行区間候補の前のピークp20を最初の1歩と判定する。歩行区間判定部19は、歩行区間候補の後のピークp30を最後の1歩と判定する。
[情報処理の全体のフローチャート]
次に、実施例に係る情報処理の全体のフローチャートを、図6を参照して説明する。図6は、実施例に係る情報処理の全体のフローチャートを示す図である。なお、データ取得部11は、特定の被験者に対する、方向転換の特徴を抽出する旨の開始指示を受け付けたものとする。特定の被験者に装着されたセンサデバイス2,3からのジャイロセンサデータがデータ記憶部23に記憶されているものとする。
まず、データ取得部11は、特定の被験者に対応するジャイロセンサデータをデータ記憶部23から取得する(ステップS11)。方向転換区間判定部16は、方向転換区間を抽出する(ステップS12)。なお、詳細のフローチャートは、後述する。
方向転換特徴抽出部17は、方向転換の特徴量を抽出する(ステップS13)。なお、詳細のフローチャートは、後述する。
前後区間特定部18は、方向転換区間の前後区間を特定する(ステップ14)。例えば、前後区間特定部18は、方向転換区間の直前に発生するピークのうち、横方向への回転量が第1閾値以下、第2閾値以上のピークを特定する。前後区間特定部18は、方向転換区間の直後に発生するピークのうち、横方向への回転量が第1閾値以下、第2閾値以上のピークを特定する。すなわち、前後区間特定部18は、方向転換区間の前後に発生する弱い方向転換(弱方向転換)の区間を特定する。
歩行区間判定部19は、過渡歩行区間を抽出する(ステップS15)。なお、詳細のフローチャートは、後述する。
歩行特徴抽出部20は、過渡歩行区間から過渡歩行の特徴量を抽出する(ステップS16)。なお、詳細のフローチャートは、後述する。
特徴量保存部21は、方向転換および過渡歩行の特徴量をDB(database)に保存する(ステップS17)。特徴量保存部21は、方向転換特徴抽出部17によって抽出された方向転換区間の各種特徴量および歩行特徴抽出部20によって抽出された過渡歩行区間の各種特徴量を発生順にデータ記憶部23に格納する。
特徴量可視化部22は、特徴量を可視化する(ステップS18)。例えば、特徴量可視化部22は、データ記憶部21に記憶された各種特徴量を時系列に可視化する。
[方向転換区間抽出処理のフローチャート]
次に、実施例に係る方向転換区間抽出処理のフローチャートを、図7A〜図7Cを参照して説明する。図7A〜図7Cは、実施例に係る方向転換区間抽出処理のフローチャートを示す図である。
図7Aに示すように、動作候補抽出部12は、左脚の横方向ジャイロデータから動作候補点を抽出する(ステップS21)。例えば、動作候補抽出部12は、データ記憶部23に記憶されたデータのうち左脚の横方向への回転量からピークを検出する。
動作候補抽出部12は、右脚の横方向ジャイロデータから動作候補点を抽出する(ステップS22)。例えば、動作候補抽出部12は、データ記憶部23に記憶されたデータのうち右脚の横方向への回転量からピークを検出する。
動作候補抽出部12は、多重ピークのチャンキング処理を行う(ステップS23)。すなわち、動作候補抽出部12は、所定時間(例えば100ms)内に、同じ側の脚で横方向への回転が同じ方向となるピークが連続した場合には、これらのピークをグループ化し、一纏まりのピークとする。
動作候補抽出部12は、インデックスiに初期値1を設定する(ステップS24)。動作候補抽出部12は、i番目の動作候補点の横方向への回転量を算出する(ステップS25)。動作候補抽出部12は、算出された横方向への回転量が閾値以下であれば、動作候補点から除外する(ステップS26)。ここでいう閾値は、例えば、前述した第1閾値である。
動作候補抽出部12は、インデックスiが動作候補点の総数Nより小さいか否かを判定する(ステップS27)。インデックスiが動作候補点の総数Nより小さい場合には(ステップS27;Yes)、動作候補抽出部12は、インデックスiに1を加算し(ステップS28)、次のインデックスiの処理をすべく、ステップS25に移行する。
一方、インデックスiが動作候補点の総数N以上である場合には(ステップS27;No)、方向転換区間判定部16は、インデックスiに初期値1を設定する(ステップS29)。方向転換区間判定部16は、i番目とi+1番目の動作候補点の時刻情報および所属する脚側の情報を取得する(ステップS30)。
左右対称性抽出部13は、2つの動作候補点の左右対称性を抽出する(ステップS31)。すなわち、左右対称性抽出部13は、動作候補点の所属する脚がどちらか側かという情報(以降では、脚側とよぶ)を用いて、連続する2つの動作候補点について、左脚と右脚とが交互に現れたかという特徴を抽出する。
時間特徴抽出部14は、2つの動作候補点の時間特徴を抽出する(ステップS32)。すなわち、時間特徴抽出部14は、時刻情報を用いて、連続する2つの動作特徴点について、時間間隔を抽出する。
位相特徴抽出部15は、2つの動作候補点の位相特徴を抽出する(ステップS33)。すなわち、位相特徴抽出部15は、連続する2つの動作候補点について、横方向への回転が同一方向であるか否かの位相特徴を抽出する。
方向転換区間判定部16は、インデックスiが動作候補点の総数Mより小さいか否かを判定する(ステップS34)。インデックスiが動作候補点の総数Mより小さい場合には(ステップS34;Yes)、方向転換区間判定部16は、インデックスiに1を加算し(ステップS35)、次のインデックスiの処理をすべく、ステップS30に移行する。
一方、インデックスiが動作候補点の総数M以上である場合には(ステップS34;No)、方向転換区間判定部16は、判定パラメータを取得する(ステップS36)。
方向転換区間判定部16は、判定パラメータを用いて、左脚と右脚の動作候補点が「交互に」「連続して」「同位相で」発生している区間を方向転換区間と判定する(ステップS37)。そして、方向転換区間判定部16は、方向転換区間抽出処理を終了する。
[方向転換特徴抽出処理のフローチャート]
次に、実施例に係る方向転換特徴抽出処理のフローチャートを、図8を参照して説明する。図8は、実施例に係る方向転換特徴抽出処理のフローチャートを示す図である。
図8に示すように、方向転換特徴抽出部17は、インデックスjに初期値1を設定する(ステップS41)。jは、方向転換区間を示すインデックスである。方向転換特徴抽出部17は、インデックスiに初期値1を設定する(ステップS42)。iは、動作候補点を示すインデックスである。
方向転換特徴抽出部17は、データ記憶部23に記憶された各種データから、j番目の方向転換区間におけるi番目の対象動作点の時刻情報を取得する(ステップS43)。(a)対象動作点の回転量を抽出する(ステップS44)。例えば、対象動作点の回転量は、一例として、対象動作点の開始時刻から終了時刻までの横方向のジャイロの積分値を算出することによって得られる。方向転換特徴抽出部17は、(b)対象動作点の回転速度を抽出する(ステップS45)。例えば、対象動作点の回転速度は、対象動作点の開始時刻から終了時刻までの横方向のジャイロの最大値を抽出することによって得られる。方向転換特徴抽出部17は、(c)対象動作点の回転時間幅を抽出する(ステップS46)。例えば、対象動作点の回転時間幅は、対象動作点の開始時刻から終了時刻までの区間幅を算出することによって得られる。方向転換特徴抽出部17は、(d)対象動作点の前進量を抽出する(ステップS47)。例えば、対象動作点の前進量は、対象動作点の開始時刻から終了時刻までの前後方向のジャイロの積分値を抽出することによって得られる。
方向転換特徴抽出部17は、インデックスiが動作候補点の総数Mより小さいか否かを判定する(ステップS48)。インデックスiが動作候補点の総数Mより小さい場合には(ステップS48;Yes)、方向転換特徴抽出部17は、インデックスiに1を加算し(ステップS49)、次のインデックスiの処理をすべく、ステップS43に移行する。
一方、インデックスiが動作候補点の総数M以上である場合には(ステップS48;No)、方向転換特徴抽出部17は、以下のように、方向転換区間jの統計量を算出する。方向転換特徴抽出部17は、特徴量(a)〜(d)それぞれの平均、最大、最小、分散、左右比率を算出する(ステップS50)。方向転換特徴抽出部17は、転換開始動作および転換終了動作の特徴量(a)〜(d)を抽出する(ステップS51)。転換開始動作とは、1番目の動作候補点の動作のことをいう。転換終了動作とは、M番目の動作候補点の動作のことをいう。
加えて、方向転換特徴抽出部17は、合計動作点数、区間幅、合計回転量、合計前進量、回転量/前進量の比率、静止区間の有無を算出する(ステップS52)。
方向転換特徴抽出部17は、インデックスjが方向転換区間の総数Lより小さいか否かを判定する(ステップS53)。インデックスjが方向転換区間の総数Lより小さい場合には(ステップS53;Yes)、方向転換特徴抽出部17は、インデックスjに1を加算し(ステップS54)、次のインデックスjの処理をすべく、ステップS42に移行する。
一方、インデックスjが方向転換区間の総数L以上である場合には(ステップS53;No)、方向転換特徴抽出部17は、方向転換特徴抽出処理を終了する。
[過渡歩行区間抽出処理のフローチャート]
次に、実施例に係る過渡歩行区間抽出処理のフローチャートを、図9A〜図9Cを参照して説明する。図9A〜図9Cは、実施例に係る過渡歩行区間抽出処理のフローチャートを示す図である。
図9Aに示すように、歩行区間判定部19は、左脚の前後方向ジャイロデータから動作候補点を抽出する(ステップS61)。例えば、歩行区間判定部19は、データ記憶部23に記憶されたデータのうち左脚の前方向への回転量からピークを検出する。
歩行区間判定部19は、右脚の前後方向ジャイロデータから動作候補点を抽出する(ステップS62)。例えば、歩行区間判定部19は、データ記憶部23に記憶されたデータのうち右脚の前方向への回転量からピークを検出する。
歩行区間判定部19は、インデックスpに初期値1を設定する(ステップS63)。歩行区間判定部19は、p番目の動作候補点の前方向への回転量(歩行速度量)を算出する(ステップS64)。歩行区間判定部19は、歩行速度量が閾値以下であれば、動作候補点から除外する(ステップS65)。ここでいう閾値とは、例えば、前述した閾値R2である。
歩行区間判定部19は、インデックスpが動作候補点の総数Pより小さいか否かを判定する(ステップS66)。インデックスpが動作候補点の総数Pより小さい場合には(ステップS66;Yes)、歩行区間判定部19は、インデックスpに1を加算し(ステップS67)、次のインデックスpの処理をすべく、ステップS64に移行する。
一方、インデックスpが動作候補点の総数P以上である場合には(ステップS66;No)、歩行区間判定部19は、インデックスqに初期値1を設定する(ステップS68)。歩行区間判定部19は、q番目とq+1番目の動作候補点の時刻情報および所属する脚側の情報を取得する(ステップS69)。
歩行区間判定部19は、2つの動作候補点の左右対称性を抽出する(ステップS70)。すなわち、歩行区間判定部19は、動作候補点の所属する脚側の情報を用いて、連続する2つの動作候補点について、左脚と右脚とが交互に出現していたか否かという特徴を抽出する。
歩行区間判定部19は、2つの動作候補点の時間特徴を抽出する(ステップS71)。すなわち、歩行区間判定部19は、時刻情報を用いて、連続する2つの動作特徴点について、時間間隔を抽出する。
歩行区間判定部19は、インデックスqが動作候補点の総数Qより小さいか否かを判定する(ステップS72)。インデックスqが動作候補点の総数Qより小さい場合には(ステップS72;Yes)、歩行区間判定部19は、インデックスqに1を加算し(ステップS73)、次のインデックスqの処理をすべく、ステップS69に移行する。
一方、インデックスqが動作候補点の総数Q以上である場合には(ステップS72;No)、歩行区間判定部19は、判定パラメータを取得する(ステップS74)。
歩行区間判定部19は、判定パラメータを用いて、左脚と右脚の動作候補点が「交互に」「連続して」発生している区間を歩行区間と判定する(ステップS75)。歩行区間判定部19は、判定された歩行区間内の動作候補点を動作点とする。そして、歩行区間判定部19は、判定された歩行区間において動作点の間の時間間隔を抽出する(ステップS76)。
続いて、歩行区間判定部19は、インデックスiに初期値1を設定する(ステップS77)。歩行区間判定部19は、i番目から(i+n−1)番目までの隣接する動作点の時間間隔を取得する(ステップS78)。ここでいうnは、過渡歩行であるか否かを判定するために用いられる動作点の数である。nは、例えば4であるが、これに限定されない。
歩行区間判定部19は、n個の動作点の時間間隔の分散を算出する(ステップS79)。歩行区間判定部19は、分散が閾値未満であるか否かを判定する(ステップS80)。分散が閾値以上である場合には(ステップS80;No)、歩行区間判定部19は、インデックスiに1を加算し(ステップS81)、次の分散を算出する。分散が収束していないからである。
一方、分散が閾値未満である場合には(ステップS80;Yes)、歩行区間判定部19は、1番目の歩行ステップが開始する時刻から(i−1)番目までの歩行ステップが終了する時刻までの区間を過渡歩行区間と特定する(ステップS82)。分散が収束したからである。そして、歩行区間判定部19は、歩行区間特定処理を終了する。
[過渡歩行特徴抽出処理のフローチャート]
次に、実施例に係る過渡歩行特徴抽出処理のフローチャートを、図10を参照して説明する。図10は、実施例に係る過渡歩行特徴抽出処理のフローチャートを示す図である。
図10に示すように、歩行特徴抽出部20は、インデックスrに初期値1を設定する(ステップS91)。rは、歩行区間を示すインデックスである。歩行特徴抽出部20は、インデックスqに初期値1を設定する(ステップS92)。qは、動作点を示すインデックスである。
歩行特徴抽出部20は、データ記憶部23に記憶された各種データから、r番目の過渡歩行区間におけるq番目の対象動作点の時刻情報を取得する(ステップS93)。歩行特徴抽出部20は、(v)対象動作点の歩幅を抽出する(ステップS94)。例えば、対象動作点の歩幅は、対象動作点の開始時刻から終了時刻までの前後方向のジャイロの積分値を算出し、所定係数を乗算することによって得られる。歩行特徴抽出部20は、(w)対象動作点の歩行速度を抽出する(ステップS95)。例えば、対象動作点の歩行速度は、対象動作点の開始時刻から終了時刻までの前後方向ジャイロの最大値を抽出することによって得られる。歩行特徴抽出部20は、(x)対象動作点の遊脚期の時間幅を抽出する(ステップS96)。なお、遊脚期とは、歩行中に脚が浮いている期間のことをいう。例えば、対象動作点の遊脚時間幅は、対象動作点の開始時刻から終了時刻までの区間幅を算出することによって得られる。歩行特徴抽出部20は、(y)対象動作点の脚上げ量を抽出する(ステップS97)。例えば、対象動作点の脚上げ量は、対象動作点の開始時刻から終了時刻までの上下方向ジャイロの積分値を算出することによって得られる。歩行特徴抽出部20は、(z)対象動作点の左右移動量を抽出する(ステップS98)。例えば、対象動作点の左右移動量は、対象動作点の開始時刻から終了時刻までの左右方向ジャイロの積分値を算出することによって得られる。
歩行特徴抽出部20は、インデックスqが動作候補点の総数Qより小さいか否かを判定する(ステップS99)。インデックスqが動作候補点の総数Qより小さい場合には(ステップS99;Yes)、歩行特徴抽出部20は、インデックスqに1を加算し(ステップS100)、次のインデックスqの処理をすべく、ステップS93に移行する。
一方、インデックスqが動作候補点の総数Q以上である場合には(ステップS99;No)、歩行特徴抽出部20は、以下のように、歩行区間rの統計量を算出する。歩行特徴抽出部20は、特徴量(v)〜(z)それぞれの平均、最大、最小、分散、左右比率を算出する(ステップS101)。歩行特徴抽出部20は、第1歩目、第2歩目の特徴量(v)〜(z)を抽出する(ステップS102)。
加えて、歩行特徴抽出部20は、方向転換終了から過渡歩行開始までの区間において時間間隔および各脚の脚動量を抽出する(ステップS103)。
歩行特徴抽出部20は、インデックスrが歩行区間の総数Rより小さいか否かを判定する(ステップS104)。インデックスrが歩行区間の総数Rより小さい場合には(ステップS104;Yes)、歩行特徴抽出部20は、インデックスrに1を加算し(ステップS105)、次のインデックスrの処理をすべく、ステップS92に移行する。
一方、インデックスrが歩行区間の総数R以上である場合には(ステップS104;No)、歩行特徴抽出部20は、歩行特徴抽出処理を終了する。
[動作候補抽出処理の具体例]
次に、実施例に係る動作候補抽出処理の具体例を、図11A〜図11Eを参照して説明する。図11A〜図11Eは、実施例に係る動作候補抽出処理の具体例を示す図である。
図11Aに示すように、動作候補抽出部12は、右脚の横方向ジャイロ(横方向の角速度)を時刻毎にデータ記憶部23から取り出す。ここでは、「21:06:51.800」での横方向ジャイロの値が「0.0」(deg/s)である。「21:06:51.820」での横方向ジャイロの値が「0.3」(deg/s)である。「21:07:14.400」での横方向ジャイロの値が「0.8」(deg/s)である。
図11Bに示すように、動作候補抽出部12は、横方向への回転量からピークを検出する。ここでは、一例として、ピーク番号「1」のピークは、発生時刻として「21:06:55.640」に検出されている。ピーク番号「2」のピークは、発生時刻として「21:06:56.840」に検出されている。
図11Cに示すように、動作候補抽出部12は、多重ピークが検出された場合には、チャンキング処理を行う。すなわち、動作候補抽出部12は、所定時間内に連続して同じ側の脚で横方向への回転が同じ方向となるピークが連続する場合には、これらのピークをグループ化する。ここでは、ピーク番号「3」のピークとピーク番号「4」のピークが所定時間内に連続して出現する。そこで、動作候補抽出部12は、ピーク番号「3」のピークとピーク番号「4」のピークをグループ化してピーク番号「3」の一纏まりのピークにする。
図11D左図に示すように、動作候補抽出部12は、各ピークの開始位置と終了位置を特定する。例えば、動作候補抽出部12は、ピーク前を遡り、微小時間幅でのジャイロ変化が閾値を下回れば、この時刻を開始位置として特定する。動作候補抽出部12は、ピーク後を追い、微小時間幅でのジャイロ変化が閾値を下回れば、この時刻を終了位置として特定する。ここでは、符号p30で示されるピークの場合に、ピーク前を遡り、微小時間幅でのジャイロ変化が閾値を下回る時刻Tsが開始位置として特定される。ピーク後を追い、微小時間幅でのジャイロ変化が閾値を下回る時刻Teが終了位置として特定される。
そして、動作候補抽出部12は、各ピークについて、開始位置から終了位置までの横方向のジャイロ積分値を横方向への回転量として算出する。横方向への回転量は、以下の式(1)で算出される。なお、iは、ピーク番号である。Ts(i)は、i番目の動作候補点のピーク開始位置である。Te(i)は、i番目の動作候補点のピーク終了位置である。r(i)は、i番目の動作候補点の横方向への回転量である。
Figure 0006597797
図11D右図に示すように、動作候補抽出部12は、各ピークについて、横方向への回転量が第1閾値より大きいか否かを判定する。動作候補抽出部12は、横方向への回転量が第1閾値より大きい場合に、回転運動を伴うとして、これらのピークを動作候補点として抽出する。ここでは、動作候補抽出部12は、右脚について、p31、p32、p33、p34のピークを動作候補点として抽出する。
図11Eに示すように、動作候補抽出部12は、左脚について、図11A〜図11Dで示した同様の処理を行い、動作候補点を抽出する。ここでは、左図に、右脚の動作候補点、左脚の動作候補点がグラフに示されている。グラフに示される動作候補点上に示される数字は、候補点番号である。右図に、右脚の動作候補点、左脚の動作候補点が一覧表に示されている。一覧表は、発生時刻、開始位置、終了位置および脚側を候補点番号に対応付けて設定されている。一例として、候補点番号が「1」である場合に、発生時刻として「21:06:55.640」、開始位置として「21:06:55.440」、終了位置として「21:06:55.940」、脚側として「右」と設定されている。候補点番号が「2」である場合に、発生時刻として「21:06:55.980」、開始位置として「21:06:55.920」、終了位置として「21:06:56.180」、脚側として「左」と設定されている。
[方向転換区間判定処理の具体例]
次に、実施例に係る方向転換区間判定処理の具体例を、図12A〜図12Dを参照して説明する。図12A〜図12Dは、実施例に係る方向転換区間判定処理の具体例を示す図である。
図12Aに示すように、左右対称性抽出部13は、動作候補点毎に、次に発生する動作候補点と属する脚が同じであるか否かを0/1で抽出する。一例として、「0」は、属する脚が同じでない、すなわち交互であることを示す。「1」は、属する脚が同じであることを示す。すなわち、左右対称性抽出部13は、動作候補点毎に、左脚が右脚と交互に発生することを表す特徴量C1を抽出する。時間特徴抽出部14は、動作候補点毎に、次に発生する動作候補点までの発生時間間隔を抽出する。すなわち、時間特徴抽出部14は、動作候補点毎に、所定時間内に連続して発生することを表す特徴量C2を抽出する。方向転換区間判定部16は、動作候補点毎に、次に発生する動作候補点と、回転方向が同じであるか否かを0/1で抽出する。「1」は、回転方向が同じであることを示す。「0」は、回転方向が同じでないことを示す。すなわち、方向転換区間判定部16は、動作候補点毎に、同位相で発生することを表す特徴量C3を抽出する。
ここでは、特徴量C1に関して、一覧表に、動作候補点番号1〜6は、それぞれ次の動作候補点番号と交互であることを示す「0」が設定されている。なお、動作候補点番号7は、次の動作候補点番号と交互でないことを示す「1」が設定されている。特徴量C3に関して、一覧表に、動作候補点番号1〜7は、それぞれ次の動作候補点番号と回転方向が同じであることを示す「1」が設定されている。
方向転換区間判定部16は、方向転換区間を判定するために、隠れマルコフモデル(HMM)を用いる場合を説明する。図12B左図に示すように、隠れ状態として次の4状態を仮定する。状態1は、回転(方向転換)開始の動作である。状態2は、方向転換中の動作である。状態3は、回転(方向転換)終了の動作である。状態4は、他の動作(非方向転換の動作)である。状態1、状態2、状態3は、方向転換動作に相当する。そして、状態遷移モデルおよび観測モデルが、予め定義される。ここでは、状態遷移モデルは、方向転換では、回転開始の動作があった後、複数の回転動作が続き、最後に回転終了の動作が続く、という動作の状態遷移を仮定する場合に、状態毎に次にどの状態が現れやすいかを表す確率モデルである。観測モデルは、状態毎にどのような特徴量が観測されるかを表す確率モデルである。なお、モデルを定義する際に、ヒューリスティックに決めてもよいし、学習データを用いて決めても良い。後者に関しては、被験者が方向転換を行った時のデータを収集し、このデータに基づいてモデルパラメータを学習する。例えば、このパラメータ学習にあたってはBaum-Welchアルゴリズムを適用する。
図12B右図に示すように、方向転換区間判定部16は、状態遷移モデルおよび観測モデルを用いて、各動作候補点に対して、最も確からしい状態を割り当てる。ここでは、一覧表に、割り当てられた状態S0が設定されている。状態1、状態2、状態3は、方向転換動作の状態であるので、方向転換区間判定部16は、割り当てられた状態を用いて、動作候補点番号毎に、方向転換動作を判定できる。
ここで、方向転換区間判定部16が、候補点に対して状態を割り当てる手順を、以下に説明する。方向転換区間判定部16は、各候補点の特徴量X(1),X(2),・・・,X(N)を取得し、各候補点状態S={S(1),S(2),・・・,S(N)}を、HMMを用いて求める。なお、方向転換区間判定部16によって用いられるHMMでは、各候補点の特徴量が、その時点の候補点の状態にのみ依存して観測される。状態を推定するために、状態毎の状態遷移モデルp(S(i+1)|S(i))および観測モデルp(X(i)|S(i))が、予め定義される。
例えば、状態遷移モデルp(S(i+1)|S(i))として、図12Cに示す遷移確率表が定義される。遷移確率表は、現候補点の状態S(i)と次の候補点の状態S(i+1)との状態遷移毎に確率で表わした表である。一例として、符号d1で表わされる、現候補点が状態3(転換終了動作)であって次候補点が状態4(非方向転換)になる確率が、0.5であることを表す。すなわち、p(S(i+1)=状態4|S(i)=状態3)が、0.5であることを表す。
また、観測モデルp(X(i)|S(i))は式(2)で定義される。p(X(i)|S(i))は、特徴量Xを観測したときの状態Sの確率を表す。なお、ここでは、特徴量の種類は、図12Bの特徴量C1,C2,C3で3種類あるとし、J=3である。すると、X(i)は、{x (i),x (i),x (i)}で表わされる。x (i),x (i),x (i)は、それぞれi番目の候補点における特徴量C1,C2,C3である。S(i)は、i番目の候補点における状態を表す(状態数が4なので、iは1〜4の自然数である)。
Figure 0006597797
Figure 0006597797
上記の確率モデルとして、単一ガウシアンモデルまたは混合ガウシアンモデルを用いる。以下では、単純に、単一ガウシアンモデルを用いる場合について説明する。式(3)の1番目のNの式は、状態Sにおける特徴量C1のガウシアンモデルを表す。2番目のNの式は、状態Sにおける特徴量C2のガウシアンモデルを表す。3番目のNの式は、状態Sにおける特徴量C3のガウシアンモデルを表す。
例えば、状態Sが転換中動作である場合の特徴量C1,C2,C3のガウシアンモデルを、図12Dに示す。図12D左図に示すように、特徴量C1のガウシアンモデルでは、方向転換中、次の動作では、逆側の脚が動くという前提の下、特徴量C1は、属する脚が交互であることを示す「0」になる確率が非常に高い。また、図12D中図に示すように、特徴量C2のガウシアンモデルでは、方向転換中、次の動作との時間間隔が短いという前提の下、特徴量C2は、時間間隔が小さくなる確率が高い。また、図12D右図に示すように、特徴量C3のガウシアンモデルでは、方向転換中、次の動作と回転方向は一致するという前提の下、特徴量C3は、回転方向が同じであることを示す「1」になる確率が高い。すなわち、方向転換中の動作では、次の動作が逆脚、次の動作までの間隔が短い、次の動作と回転方向が一致するという確率が非常に高いことを、ガウシアンモデルで表わす。
方向転換区間判定部16は、観測した特徴量X(1),X(2),・・・,X(N)を状態遷移モデルと観測モデルにあてはめ、最も確からしい状態系列S={S(1),S(2),・・・,S(N)}を推定する。なお、方向転換区間判定部16は、ビタビアルゴリズムを適用すると、この推定を効率よく行うことができる。
[方向転換特徴抽出処理の具体例]
次に、実施例に係る方向転換特徴抽出処理の具体例を、図13A〜図13Cを参照して説明する。図13A〜図13Cは、実施例に係る方向転換特徴抽出処理の具体例を示す図である。
図13Aに示すように、方向転換特徴抽出部17は、方向転換区間判定部16によって判定された方向転換動作の区間を特定する。すなわち、方向転換特徴抽出部17は、方向転換動作の区間の動作点の時刻情報を取得する。
図13Bに示すように、方向転換特徴抽出部17は、方向転換動作の区間内の動作点毎に、(a)回転量、(b)回転速度、(c)回転時間、(d)前進速度および(e)時間間隔を抽出する。
例えば、図13B上図に示すように、動作点番号が「4」の動作点の特徴抽出について説明する。(a)回転量は、動作点の開始時刻から終了時刻までの横方向のジャイロの積分値を算出することによって得られる。(b)回転速度は、動作点の開始時刻から終了時刻までの横方向のジャイロの最大値を抽出することによって得られる。(c)回転時間は、動作点の開始時刻から終了時刻までの区間幅を算出することによって得られる。(d)前進速度は、動作点の開始時刻から終了時刻までの前後方向のジャイロの最大値を抽出することによって得られる。(e)時間間隔は、現動作点の回転動作が終了した後、次の回転動作が開始するまでの時間間隔を算出することによって得られる。
図13B下図には、動作点番号「1」〜「6」に対する(a)回転量、(b)回転速度、(c)回転時間、(d)前進速度および(e)時間間隔の抽出結果が表わされる。
図13Cに示すように、方向転換特徴抽出部17は、動作点毎の特徴量を用いて、統計量を算出する。
例えば、図13C上図に示すように、方向転換特徴抽出部17は、特徴量(a)〜(e)それぞれの平均、最大、最小、分散、左右比率を算出する。方向転換特徴抽出部17は、転換開始動作および転換終了動作の特徴量(a)〜(e)を抽出する。転換開始動作とは、動作点番号が「1」の動作点の動作のことをいう。転換終了動作とは、動作点番号が「6」の動作点の動作のことをいう。
加えて、図13C下図に示すように、方向転換特徴抽出部17は、方向転換動作の区間について、動作点数、区間幅、合計回転量、合計前進量、回転量/前進量の比率、静止区間の有無を算出する。
[歩行区間特定処理の具体例]
次に、実施例に係る歩行区間特定処理の具体例を、図14A〜図14Cを参照して説明する。図14A〜図14Cは、実施例に係る歩行区間特定処理の具体例を示す図である。
図14A左図に示すように、歩行区間判定部19は、方向転換区間の前後の区間を特定する。そして、図14A右図に示すように、歩行区間判定部19は、特定した区間において、両脚の前方向のジャイロデータを取得し、ピークを検出する。検出されたピークは、歩行動作の候補点である。
図14Bに示すように、歩行区間判定部19は、各候補点が遊脚運動を伴うか否かを判定する。ここでは、歩行区間判定部19は、各候補点の最大歩行速度(ピークの高さ)が所定閾値(例えば閾値R2)を超えると、遊脚運動を伴うとして候補点とみなす。ここでは、いずれの候補点の最大歩行速度も所定閾値を超えているので、候補点とみなす。
図14Cに示すように、歩行区間判定部19は、各候補点が「左右交互に」「連続して」発生している区間を歩行区間として特定する。まず、歩行区間判定部19は、候補点毎に特徴量C1およびC2を抽出する。すなわち、「左右交互に」発生することを示す特徴量として特徴量C1を抽出する。特徴量C1は、左脚が右脚と交互に発生することを表す特徴量である。「連続して」発生することを示す特徴量として特徴量C2を抽出する。特徴量C2は、所定時間内に連続して発生することを表す特徴量である。
そして、歩行区間判定部19は、歩行区間を特定するために、隠れマルコフモデル(HMM)を用いる場合を説明する。隠れ状態として次の4状態を仮定する。状態1は、歩行開始の動作である。状態2は、歩行中の動作である。状態3は、歩行終了の動作である。状態4は、他の動作(非方向転換の動作)である。状態1、状態2および状態3は、歩行動作に相当する。そして、状態遷移モデルおよび観測モデルが、予めヒューリスティックに、または、学習データを用いて定義される。歩行区間判定部19は、状態遷移モデルおよび観測モデルを用いて、各候補点に対して、最も確からしい状態を割り当てる。ここでは、一覧表に、割り当てられた状態S1が設定されている。状態1、状態2、状態3は、歩行動作の状態であるので、歩行区間判定部19は、割り当てられた状態を用いて、候補点番号毎に、歩行動作を判定できる。なお、詳細な適用過程は、方向転換動作を判定した場合と同様であるので、その説明を省略する。
図14Dに示すように、歩行区間判定部19は、過渡歩行区間を特定する。過渡歩行区間とは、歩行区間と特定された区間において、歩行の特徴量が安定するまでの区間とする。歩行特徴量には、例えば、時間間隔や歩行速度が挙げられる。ここでは、歩行特徴量として時間間隔を用いる場合を説明する。歩行区間判定部19は、現動作点から4歩分の時間間隔を算出し、算出した4歩分の時間間隔の分散を算出する。歩行区間判定部19は、分散が所定閾値未満であれば、歩行が安定したとみなし、歩行区間と特定された区間の第1歩目の動作点から現動作点より前の動作点までの区間を過渡歩行区間と特定する。ここでは、現動作点が、動作点番号「1」を示す動作点であるとすると、現動作点から4歩分の時間間隔の分散はばらついている(D1)。したがって、現動作点に対応する安定項目は、安定でないことを示す「×」となる(D11)。一方、現動作点が動作点番号「3」を示す動作点であるとすると、現動作点から4歩分の時間間隔の分散はばらついていない(D2)。したがって、現動作点に対応する安定項目は、安定であることを示す「○」である(D21)。これにより、歩行区間判定部19は、動作点番号「1」から動作点番号「2」までの区間を過渡歩行区間(D31)と特定する。
[歩行特徴抽出処理の具体例]
次に、実施例に係る歩行特徴抽出処理の具体例を、図15を参照して説明する。図15は、実施例に係る歩行特徴抽出処理の具体例を示す図である。
図15に示すように、歩行特徴抽出部20は、歩行区間判定部19によって特定された過渡歩行区間の動作点の特徴量を抽出する。歩行特徴抽出部20は、過渡歩行区間内の動作点毎に、(v)歩幅、(w)歩行速度、(x)遊脚時間、(y)脚上げ量、(z)左右移動量を抽出する。(v)歩幅は、動作点の開始時刻から終了時刻までの前方向のジャイロの積分値を算出することによって得られる。(w)歩行速度は、動作点の開始時刻から終了時刻までの前方向の最大値を抽出することによって得られる。(x)遊脚時間は、動作点の開始時刻から終了時刻までの区間幅を算出することによって得られる。(y)脚上げ量は、動作点の開始時刻から終了時刻までの上限方向のジャイロの積分値を算出することによって得られる。(z)左右移動量は、動作点の開始時刻から終了時刻までの左右方向のジャイロの積分値を算出することによって得られる。
図15には、動作点番号「1」「2」に対する、(v)歩幅、(w)歩行速度、(x)遊脚時間、(y)脚上げ量、(z)左右移動量の抽出結果が表わされる。なお、歩行特徴抽出部20は、動作点毎の特徴量を用いて、統計量を算出しても良い。例えば、歩行特徴抽出部20は、特徴量(v)〜(z)それぞれの平均、最大、最小、分散、左右比率を算出しても良い。歩行特徴抽出部20は、第1歩目、第2歩目の特徴量(v)〜(z)を抽出しても良い。歩行特徴抽出部20は、過渡歩行区間の区間幅および過渡歩行区間での合計歩行ステップ数(過渡歩行ステップ数)を算出しても良い。
なお、歩行特徴抽出部20は、方向転換から過渡歩行に至るまでの特徴量を抽出しても良い。図16は、実施例に係る歩行特徴抽出処理の別の具体例を示す図である。図16に示すように、歩行特徴抽出部20は、方向転換から過渡歩行に至るまでの特徴量を抽出する。例えば、歩行特徴抽出部20は、方向転換が終了してから過渡歩行が開始するまでの時間間隔Tを抽出する。歩行特徴抽出部20は、方向転換が終了してから過渡歩行が開始するまでの各脚の脚動量Pを抽出する。脚動量Pは、一例として、時間間隔Tにおける、各脚の3軸ジャイロの分散値を用いる。
[特徴量保存処理の具体例]
次に、実施例に係る特徴量保存処理の具体例を、図17を参照して説明する。図17は、実施例に係る特徴量保存処理の具体例を示す図である。
図17に示すように、特徴量保存部21は、方向転換区間毎に、方向転換区間の特徴量および過渡歩行区間の特徴量をデータ記憶部23に保存する。ここでは、方向転換区間番号が「34」である場合の、方向転換区間の特徴量および過渡歩行区間の特徴量をデータ記憶部23に保存した結果である。方向転換区間の特徴量は、図13C下図で示した統計量である。過渡歩行区間の特徴量は、図15で示した全動作点の特徴量の統計量である。
[特徴量可視化処理の具体例]
次に、実施例に係る特徴量可視化処理の具体例を、図18を参照して説明する。図18は、実施例に係る特徴量可視化処理の具体例を示す図である。
図18に示すように、特徴量可視化部22は、所定の日を基準に、その前後の区間に対して、1か月毎の各種特徴量を時系列に可視化する。ここでは、可視化する特徴量を、方向転換を行うのに要した動作回数とする。患者の治療経過を観察するため、所定の日を、治療を行った日とする。すると、特徴量可視化部22は、治療を行った日を受け取って、この日を基準に、その前後の区間に対して、1か月毎の方向転換を行うのに要した動作回数を可視化する。可視化する1か月毎の動作回数は、各1か月の中で予め定められた日時の動作回数であっても良いし、各1か月の動作回数の平均であっても良い。これにより、特徴量可視化部22は、例えば、治療を行った日後6月では、方向転換を行うのに要した動作回数が危険水準を超えているので、運動機能(特にバランス機能)が落ちている疑いがあることを検知させることができる。
[実施例の効果]
このようにして、情報処理装置1は、左脚に用いられるセンサデバイス2および右脚に用いられるセンサデバイス3それぞれのデータにおいて、重力方向を軸とした下肢回転の動作が発生した箇所を方向転換の動作候補として抽出する。情報処理装置1は、抽出された複数の動作候補について、前記回転の方向が同じであり、左脚の動作候補と右脚の動作候補とが交互に現れ、時間的に連続する場合に、方向転換動作と判定する。そして、情報処理装置1は、センサで取得したデータを用いて、方向転換動作の特徴を抽出する。かかる構成によれば、情報処理装置1は、両脚に用いられるそれぞれのセンサデバイス2,3のみを使って、方向転換動作の特徴量を高精度に抽出することが可能となる。
また、情報処理装置1は、センサデバイス2,3で取得した少なくとも1軸のデータを用いて、片脚が地面から離れた時刻から着地する時刻までの、脚の回転量が第1閾値より大きい箇所を検出し、検出した箇所を方向転換の動作候補として抽出する。かかる構成によれば、情報処理装置1は、両脚に用いられるそれぞれのセンサデバイス2,3のみを使って、方向転換動作の特徴量を抽出するために用いられる方向転換の動作候補を抽出できる。
また、情報処理装置1は、動作候補として抽出された箇所において、同側の脚で所定時間内に連続する箇所がある場合に、連続する箇所を1つの箇所としてグループ化し、グループ化した箇所を1つの方向転換の動作候補として抽出する。かかる構成によれば、情報処理装置1は、同側の脚がふらつく場合であっても、同側の脚を方向転換した時の1歩分の動作候補を抽出できる。
また、情報処理装置1は、方向転換動作の箇所について、横方向への回転量、回転速度、回転時間幅および前方向への前進量のうち、いずれか1つ以上を含む情報を方向転換動作の特徴量として抽出する。かかる構成によれば、情報処理装置1は、方向転換動作の特徴量を高精度に抽出できる。
また、情報処理装置1は、判定された方向転換動作の直後に発生する箇所のうち、横方向への回転量が第1閾値より小さく、第1閾値より小さい第2閾値より大きい箇所を弱い方向転換動作と判定する。情報処理装置1は、センサデバイス2,3それぞれのデータを用いて、判定された弱い方向転換動作の特徴量を抽出する。かかる構成によれば、情報処理装置1は、方向転換しながら歩いていると推定される弱い方向転換動作を判定することで、弱い方向転換動作の特徴量を高精度に抽出することが可能となる。
また、情報処理装置1は、方向転換動作が終了してから次の方向転換動作が開始するまでの区間において、前方向への回転量が閾値R1以上となる箇所を歩行の動作候補として抽出する。情報処理装置1は、抽出した歩行の動作候補の前後において、閾値R1より小さい閾値R2以上となる箇所を歩行区間の開始および終了と判定する。かかる構成によれば、情報処理装置1は、歩行区間の開始および終了を判定することで、歩行区間を正確に判定できる。
また、情報処理装置1は、歩行区間において、連続する所定数の箇所の時間間隔の分散が閾値以下になるまでの区間を不安定な歩行区間であることを示す過渡歩行区間と判定する。かかる構成によれば、情報処理装置1は、歩行が安定する安定歩行に至るまでの過渡歩行区間を正確に判定できる。
また、情報処理装置1は、センサデバイス2,3それぞれのデータを用いて、過渡歩行区間の特徴量を抽出する。かかる構成によれば、情報処理装置1は、過渡歩行区間の特徴量を高精度に抽出できる。
[その他]
なお、情報処理装置1が、被験者の両脚に装着されるセンサデバイス2,3のデータを使って、被験者の方向転換動作および歩行動作の特徴量を抽出すると説明した。しかしながら、被験者の方向転換動作および歩行動作の特徴量を抽出する処理は、被験者の両脚に装着されるセンサデバイス2またはセンサデバイス3で実施されても良い。例えば、センサデバイス2が、自己が取得したデータおよびセンサデバイス3で取得されたデータを使って、被験者の方向転換動作および歩行動作の特徴量を抽出すれば良い。
また、上記実施例では、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、歩行区間判定部19を、安定歩行区間を判定する判定部と、過渡歩行区間を判定する判定部とに分散しても良い。前後区間特定部18を、前後区間を判定する判定部と、前後区間の特徴を抽出する抽出部とに分散しても良い。また、左右対称性抽出部13と、時間特徴抽出部14と、位相特徴抽出部15とを統合しても良い。また、データ記憶部23を情報処理装置1の外部装置としてネットワーク経由で接続するようにしても良い。
また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。そこで、以下では、図1に示した情報処理装置1と同様の機能を実現する情報処理プログラムを実行するコンピュータの一例を説明する。図19は、情報処理プログラムを実行するコンピュータの一例を示す図である。
図19に示すように、コンピュータ200は、各種演算処理を実行するCPU203と、ユーザからのデータの入力を受け付ける入力装置215と、表示装置209を制御する表示制御部207とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読取るドライブ装置213と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部217とを有する。また、コンピュータ200は、各種情報を一時記憶するメモリ201と、HDD205を有する。そして、メモリ201、CPU203、HDD205、表示制御部207、ドライブ装置213、入力装置215、通信制御部217は、バス219で接続されている。
ドライブ装置213は、例えばリムーバブルディスク211用の装置である。HDD205は、情報処理プログラム205aおよび情報処理関連情報205bを記憶する。
CPU203は、情報処理プログラム205aを読み出して、メモリ201に展開し、プロセスとして実行する。かかるプロセスは、情報処理装置1の各機能部に対応する。情報処理関連情報205bは、データ記憶部23に対応する。そして、例えばリムーバブルディスク211が、情報処理プログラム205a等の各情報を記憶する。
なお、情報処理プログラム205aについては、必ずしも最初からHDD205に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカード等の「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ200がこれらから情報処理プログラム205aを読み出して実行するようにしても良い。
1 情報処理装置
2,3 センサデバイス
9 情報処理システム
11 データ取得部
12 動作候補抽出部
13 左右対称性抽出部
14 時間特徴抽出部
15 位相特徴抽出部
16 方向転換区間判定部
17 方向転換特徴抽出部
18 前後区間特定部
19 歩行区間判定部
20 歩行特徴抽出部
21 特徴量保存部
22 特徴量可視化部
23 データ記憶部

Claims (15)

  1. 左脚に用いられる第1のモーションセンサと、
    右脚に用いられる第2のモーションセンサと、
    前記第1のモーションセンサと前記第2のモーションセンサでそれぞれで取得したデータを処理する情報処理部と、を有し、
    前記情報処理部は、
    前記第1のモーションセンサと前記第2のモーションセンサそれぞれで取得したデータにおいて、
    重力方向を軸とした下肢回転の動作が発生した箇所を方向転換の動作候補として抽出する動作候補抽出部と、
    抽出した前記方向転換の動作候補の区間内で、前記下肢回転の動作と同方向に下肢が回転しているか否かを判断する手段と、前記左脚と前記右脚とが交互に回転しているか否かを判断する手段と、前記方向転換の動作候補の区間内で時間的に連続する動作が発生するか否かを判断する手段と、を有する方向転換区間判定部と、
    前記方向転換区間判定部により判定された方向転換動作の特徴を抽出する方向転換特徴抽出部と、
    を有することを特徴とする情報処理システム。
  2. 前記動作候補抽出部は、前記第1のモーションセンサおよび前記第2のモーションセンサそれぞれで取得した少なくとも1軸のデータを用いて、片脚が地面から離れた時刻から着地する時刻までの、前記脚の回転量が第1閾値より大きい箇所を検出し、検出した箇所を方向転換の動作候補として抽出する
    ことを特徴とする請求項1に記載の情報処理システム。
  3. 前記動作候補抽出部は、前記動作候補として抽出された箇所において、同側の脚で所定時間内に連続する箇所がある場合に、前記連続する箇所を1つの箇所としてグループ化し、グループ化した箇所を1つの方向転換の動作候補として抽出する
    ことを特徴とする請求項1に記載の情報処理システム。
  4. 前記方向転換区間判定部は、
    前記下肢回転の動作が同方向に前記下肢が回転している際に第1の特徴量を抽出する手段と、
    前記左脚と前記右脚とが交互に回転している際に第2の特徴量を抽出する手段と
    前記方向転換の動作候補の区間内で時間的に連続する動作が発生する際に第3の特徴量を抽出する手段と、を有し、
    前記第1の特徴量及び第2の特徴量、第3の特徴量が所定のモデルにあてはまる際に、方向転換の区間であると判定する
    ことを特徴とする請求項1に記載の情報処理システム。
  5. 前記方向転換特徴抽出部は
    方向転換の動作の特徴として
    角速度の速さ、回転角度の大きさ、動作の安定性、のいずれかの内容を抽出する、
    ことを特徴とする請求項1に記載の情報処理システム。
  6. 前記方向転換徴抽出部は、前記方向転換動作の箇所について、横方向への回転量、回転速度、回転時間幅および前方向への前進量のうち、いずれか1つ以上を含む情報を前記方向転換動作の特徴量として抽出する
    ことを特徴とする請求項1に記載の情報処理システム。
  7. 前記方向転換区間判定部により判定された方向転換動作の直後に発生する箇所のうち、横方向への回転量が第1閾値より小さく、前記第1閾値より小さい第2閾値より大きい箇所を弱い方向転換動作と判定する弱方向転換動作判定部を有し、
    前記方向転換徴抽出部は、前記第1のモーションセンサおよび前記第2のモーションセンサそれぞれのデータを用いて、前記弱方向転換動作判定部により判定された弱い方向転換動作の特徴量を抽出する
    ことを特徴とする請求項1に記載の情報処理システム。
  8. 前記方向転換動作が終了してから次の方向転換動作が開始するまでの区間において、前方向への回転量が第1閾値以上となる箇所を歩行の動作候補として抽出し、抽出した歩行の動作候補の前後において、前記第1閾値より小さい第2閾値以上となる箇所を歩行区間の開始または終了と判定する歩行区間判定部
    を有することを特徴とする請求項1に記載の情報処理システム。
  9. 前記歩行区間判定部は、前記歩行区間において、連続する所定数の箇所の時間間隔の分散が閾値以下になるまでの区間を不安定な歩行区間であることを示す過渡歩行区間と判定する
    ことを特徴とする請求項に記載の情報処理システム。
  10. 前記方向転換徴抽出部は、前記第1のモーションセンサおよび前記第2のモーションセンサそれぞれのデータを用いて、前記過渡歩行区間の特徴量を抽出する
    ことを特徴とする請求項に記載の情報処理システム。
  11. 前記第1のモーションセンサおよび前記第2のモーションセンサは、少なくとも1軸以上の角速度、または、少なくとも1軸以上の加速度を計測可能なセンサである
    ことを特徴とする請求項1に記載の情報処理システム。
  12. 前記情報処理部は、前記第1のモーションセンサまたは前記第2のモーションセンサによって処理される
    ことを特徴とする請求項1に記載の情報処理システム。
  13. 前記情報処理部は、前記第1のモーションセンサおよび前記第2のモーションセンサと通信可能な情報処理装置によって処理される
    ことを特徴とする請求項1に記載の情報処理システム。
  14. コンピュータに、
    左脚に用いられる第1のモーションセンサおよび右脚に用いられる第2のモーションセンサそれぞれで取得されたデータにおいて、重力方向を軸とした下肢回転の動作が発生した箇所を方向転換の動作候補として抽出し、
    抽出した前記方向転換の動作候補の区間内で、前記下肢回転の動作と同方向に下肢が回転しているか否かを判断し、前記左脚と前記右脚とが交互に回転しているか否かを判断し、前記方向転換の動作候補の区間内で時間的に連続する動作が発生するか否かを判断することにより方向変換の区間を判定し、
    判定した方向変換の区間の動作の特徴を抽出する
    処理を実行させることを特徴とする情報処理プログラム。
  15. コンピュータが、
    左脚に用いられる第1のモーションセンサおよび右脚に用いられる第2のモーションセンサそれぞれで取得されたデータにおいて、重力方向を軸とした下肢回転の動作が発生した箇所を方向転換の動作候補として抽出し、
    抽出した前記方向転換の動作候補の区間内で、前記下肢回転の動作と同方向に下肢が回転しているか否かを判断し、前記左脚と前記右脚とが交互に回転しているか否かを判断し、前記方向転換の動作候補の区間内で時間的に連続する動作が発生するか否かを判断することにより方向変換の区間を判定し、
    判定した方向変換の区間の動作の特徴を抽出する
    各処理を実行することを特徴とする情報処理方法。
JP2017557605A 2015-12-24 2015-12-24 情報処理システム、情報処理プログラムおよび情報処理方法 Expired - Fee Related JP6597797B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086130 WO2017109920A1 (ja) 2015-12-24 2015-12-24 情報処理システム、情報処理プログラムおよび情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2017109920A1 JPWO2017109920A1 (ja) 2018-09-27
JP6597797B2 true JP6597797B2 (ja) 2019-10-30

Family

ID=59091042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557605A Expired - Fee Related JP6597797B2 (ja) 2015-12-24 2015-12-24 情報処理システム、情報処理プログラムおよび情報処理方法

Country Status (3)

Country Link
EP (1) EP3396319B1 (ja)
JP (1) JP6597797B2 (ja)
WO (1) WO2017109920A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6791384B2 (ja) * 2017-07-04 2020-11-25 富士通株式会社 情報処理装置、情報処理システム、および情報処理方法
CN109425341B (zh) * 2017-08-22 2022-09-27 富士通株式会社 定位方法、定位装置和电子设备
KR102202681B1 (ko) * 2018-11-28 2021-01-12 이주형 신발에 탈착 가능한 보행 유형 확인 장치
JP2023064594A (ja) 2021-10-26 2023-05-11 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325329A (ja) * 1999-03-16 2000-11-28 Hoya Corp 階段歩行認識装置
JP2008220635A (ja) * 2007-03-13 2008-09-25 Shibaura Institute Of Technology 歩行支援装置
JP2008307207A (ja) * 2007-06-14 2008-12-25 Advanced Telecommunication Research Institute International 動作計測装置
WO2010039674A2 (en) * 2008-10-01 2010-04-08 University Of Maryland, Baltimore Step trainer for enhanced performance using rhythmic cues
JP5206764B2 (ja) * 2010-10-22 2013-06-12 カシオ計算機株式会社 測位装置、測位方法およびプログラム
JP2013196442A (ja) * 2012-03-21 2013-09-30 Yamaha Corp 歩数計測装置
WO2014118767A1 (en) * 2013-02-03 2014-08-07 Sensogo Ltd. Classifying types of locomotion
CN103267524B (zh) * 2013-04-24 2015-10-21 华中科技大学 一种穿戴式的人员步态检测室内定位系统及方法

Also Published As

Publication number Publication date
EP3396319B1 (en) 2021-08-04
WO2017109920A1 (ja) 2017-06-29
JPWO2017109920A1 (ja) 2018-09-27
EP3396319A1 (en) 2018-10-31
EP3396319A4 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
JP6597797B2 (ja) 情報処理システム、情報処理プログラムおよび情報処理方法
KR102292683B1 (ko) 보행 환경 인식 방법 및 장치
JP6617830B2 (ja) 骨格推定装置、骨格推定方法および骨格推定プログラム
US20160045170A1 (en) Information processing device, image output method, and program
CN109863535A (zh) 运动识别装置、运动识别程序以及运动识别方法
CN104850773B (zh) 用于智能移动终端的用户身份认证方法
CN108875480A (zh) 一种人脸特征信息的追踪方法、装置及系统
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
CN107636420A (zh) 用于行人航位推算的技术
KR20180096241A (ko) 보행 보조 장치의 제어 방법 및 장치
JP2012024275A (ja) 歩行姿勢判定装置
CN111480178A (zh) 技巧识别程序、技巧识别方法以及技巧识别系统
CN109766882A (zh) 人体光点的标签识别方法、装置
CN114514559A (zh) 运动识别方法、运动识别程序及信息处理装置
CN107016411B (zh) 数据处理方法及装置
Ghobadi et al. A robust automatic gait monitoring approach using a single IMU for home-based applications
EP3542719B1 (en) Information processing system, information processing device and information processing method
WO2009031064A2 (en) Extracting inertial and gravitational vector components from acceleration measurements
Bai et al. Application and research of MEMS sensor in gait recognition algorithm
CN110013642B (zh) 智能石锁的运动状态确定方法、确定系统及相应装置
Chen An LSTM recurrent network for step counting
EP4040386A1 (en) Motion recognition method, motion recognition program, and information processing device
Kim et al. Game controller position tracking using A2C machine learning on inertial sensors
Pruthi et al. Maxxyt: An autonomous wearable device for real-time tracking of a wide range of exercises
US20230285802A1 (en) Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190916

R150 Certificate of patent or registration of utility model

Ref document number: 6597797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees