JP7396258B2 - 制御装置、歩行訓練システム、制御方法及び制御プログラム - Google Patents

制御装置、歩行訓練システム、制御方法及び制御プログラム Download PDF

Info

Publication number
JP7396258B2
JP7396258B2 JP2020200982A JP2020200982A JP7396258B2 JP 7396258 B2 JP7396258 B2 JP 7396258B2 JP 2020200982 A JP2020200982 A JP 2020200982A JP 2020200982 A JP2020200982 A JP 2020200982A JP 7396258 B2 JP7396258 B2 JP 7396258B2
Authority
JP
Japan
Prior art keywords
trainee
legs
image
skeletal
exist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020200982A
Other languages
English (en)
Other versions
JP2022088872A (ja
Inventor
大河 松本
一誠 中島
卓磨 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020200982A priority Critical patent/JP7396258B2/ja
Priority to CN202111443752.1A priority patent/CN114613466A/zh
Priority to US17/539,618 priority patent/US20220176195A1/en
Publication of JP2022088872A publication Critical patent/JP2022088872A/ja
Application granted granted Critical
Publication of JP7396258B2 publication Critical patent/JP7396258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/00181—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices comprising additional means assisting the user to overcome part of the resisting force, i.e. assisted-active exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B2022/0094—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements for active rehabilitation, e.g. slow motion devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/009—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load the load of the exercise apparatus being controlled in synchronism with visualising systems, e.g. hill slope
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0093—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load the load of the exercise apparatus being controlled by performance parameters, e.g. distance or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/005—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices using electromagnetic or electric force-resisters
    • A63B21/0058—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices using electromagnetic or electric force-resisters using motors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/60—Measuring physiological parameters of the user muscle strain, i.e. measured on the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0064—Attachments on the trainee preventing falling
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/0009—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for handicapped persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Description

本開示は、抽出システム、歩行訓練システム、抽出方法及び抽出プログラムに関し、例えば、歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の当該訓練者の脚部を含む領域を抽出する抽出システム、歩行訓練システム、抽出方法及び抽出プログラムに関する。
近年、片麻痺患者などのリハビリのために歩行訓練装置が用いられる場合がある。一般的な歩行訓練装置は、特許文献１に示すように、トレッドミルの本体部の上面から露出するベルトが周回する構成とされており、当該ベルト上で片麻痺患者などの訓練者が歩行訓練を行う。
特許第６５９７２７５号公報
本出願人は、以下の課題を見出した。ベルト上で訓練者が歩行訓練を行う際に、訓練者がベルトから離脱していないかなどを確認するために、当該訓練者の骨格座標を推定する場合があり、その際に歩行訓練中の訓練者を撮像して画像を取得する。
このようにベルト上で訓練者が歩行訓練を行う場合、本体部におけるベルトを挟んで左右両側の領域に補助者の足を載せた状態で、補助者が訓練者を支えている。そのため、画像内に、訓練者に加えて補助者の足が存在することがあり、訓練者の骨格座標を精度良く推定することが困難な場合があった。そこで、画像内で訓練者の脚部を含む領域を精度良く抽出可能な技術が望まれている。
本開示は、このような問題点に鑑みてなされたものであり、画像内で訓練者の脚部を含む領域を精度良く抽出可能な、抽出システム、歩行訓練システム、抽出方法及び抽出プログラムを実現する。
本開示の一態様に係る抽出システムは、
歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の前記訓練者の脚部を含む領域を抽出する抽出システムであって、
前記訓練者の前側又は後側から当該訓練者を撮像した画像を取得する画像取得部と、
前記画像内における前記トレッドミルのベルトを挟んで左右両側の領域を、前記訓練者の脚部が存在しない領域に設定して前記訓練者の脚部を含む領域と区別し、前記画像内における前記訓練者の脚部を含む領域を抽出する抽出部と、
前記画像内における前記訓練者の脚部が存在しない領域にマスクを施すマスク処理部と、
を備える。
上述の抽出システムは、前記訓練者の脚部の骨格座標をリアルタイムに取得する骨格取得部を備え、
前記抽出部は、前記訓練者の脚部の骨格座標に基づいて、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の脚部に対して所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させることが好ましい。
上述の抽出システムにおいて、前記抽出部は、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の股関節の位置と膝関節の位置とを結んだ直線に対して前記所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させることが好ましい。
上述の抽出システムにおいて、前記マスク処理部は、前記訓練者が装着する服又は靴に基づいて、前記マスクの色を設定することが好ましい。
本開示の一態様に係る歩行訓練システムは、
上述の抽出システムと、
前記訓練者が歩行訓練を行うためのトレッドミルを有する歩行訓練装置と、
を備え、
前記歩行訓練装置は、
前記マスクが施された画像に基づいて前記訓練者の脚部の骨格座標を推定する骨格推定部と、
前記訓練者の脚部の骨格座標に基づいて前記訓練者の異常を判定する異常判定部と、
を有する。
本開示の一態様に係る抽出方法は、
歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の前記訓練者の脚部を含む領域を抽出する抽出方法であって、
前記訓練者の前側又は後側から当該訓練者を撮像した画像を取得する工程と、
前記画像内における前記トレッドミルのベルトを挟んで左右両側の領域を、前記訓練者の脚部が存在しない領域に設定して前記訓練者の脚部を含む領域と区別し、前記画像内における前記訓練者の脚部を含む領域を抽出する工程と、
前記画像内における前記訓練者の脚部が存在しない領域にマスクを施す工程と、
を備える。
上述の抽出方法は、前記訓練者の脚部の骨格座標をリアルタイムに推定する工程を備え、
前記訓練者の脚部の骨格座標に基づいて、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の脚部に対して所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させることが好ましい。
上述の抽出方法は、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の股関節の位置と膝関節の位置とを結んだ直線に対して前記所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させることが好ましい。
上述の抽出方法において、前記訓練者が装着する服又は靴に基づいて、前記マスクの色を設定することが好ましい。
本開示の一態様に係る抽出プログラムは、
歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の前記訓練者の脚部を含む領域を抽出する抽出プログラムであって、
前記訓練者の前側又は後側から当該訓練者を撮像した画像を取得する処理と、
前記画像内における前記トレッドミルのベルトを挟んで左右両側の領域を、前記訓練者の脚部が存在しない領域に設定して前記訓練者の脚部を含む領域と区別し、前記画像内における前記訓練者の脚部を含む領域を抽出する処理と、
前記画像内における前記訓練者の脚部が存在しない領域にマスクを施す処理と、
をコンピュータに実行させる。
本開示によれば、画像内で訓練者の脚部を含む領域を精度良く抽出可能な、抽出システム、歩行訓練システム、抽出方法及び抽出プログラムを実現することができる。
訓練者が歩行訓練システムを用いて歩行訓練を行う様子を示す図である。 実施の形態の歩行訓練システムの制御系のブロック図である。 歩行訓練中の訓練者を撮像した画像を示す図である。 実施の形態の歩行訓練システムを用いて訓練者が歩行訓練を行う流れを示すフローチャート図である。 二次元画像内の訓練者の脚部が存在しない領域及び訓練者の脚部を含む領域を示す図である。 二次元画像内の訓練者の脚部が存在しない領域の設定方法を説明するための図である。 訓練者の位置に応じて訓練者の脚部が存在しない領域が変形する様子を連続的に示す図である。 抽出システムに含まれるハードウェア構成の一例を示す図である。
以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
先ず、本実施の形態の抽出システムが用いられる歩行訓練システムの構成を説明する。図１は、訓練者が歩行訓練システムを用いて歩行訓練を行う様子を示す図である。図２は、本実施の形態の歩行訓練システムの制御系のブロック図である。ここで、以下の説明では、説明を明確にするために、訓練者が歩行訓練を行う際に当該訓練者の顔が向く側を歩行訓練装置の前側として説明する。
歩行訓練システム１は、図１及び図２に示すように、歩行補助装置２と、歩行訓練装置３と、制御装置４と、抽出システム５と、を備えている。歩行補助装置２は、訓練者Ｔの患脚に装着し、歩行訓練を補助するアシスト装置である。
例えば、歩行補助装置２は、訓練者Ｔの上腿部に装着される上腿リンク１１と、上腿リンク１１に対して回転可能に連結され、訓練者Ｔの下腿部に装着される下腿リンク１２と、下腿リンク１２に対して回転可能に連結され、足に装着される足リンク１３と、上腿リンク１１と下腿リンク１２とを相対的に回転させるために駆動するモータ１４と、を備えている。
歩行訓練装置３は、本体部２１と、ベルト部２２と、フレーム部２３と、手摺り部２４と、第１の脚免荷部２５と、第２の脚免荷部２６と、吊り下げ免荷部２７と、ディスプレイ２８と、撮像装置２９と、を備えており、トレッドミルとして構成されている。
本体部２１は、箱形状を基本形態としており、本体部２１の内部には、ベルト部２２が収容されている。本体部２１の上面には、ベルト部２２の上面が露出する開口部２１ａが形成されている。本体部２１の開口部２１ａにおける左右両側の領域は、補助者の足が載せられるステップとして機能させることができる。
ベルト部２２は、訓練者Ｔが歩行訓練を行うための訓練部である。ベルト部２２は、ベルト２２ａと、モータ２２ｂと、を備えている。ベルト２２ａは、無端ベルトで構成されており、ベルト２２ａの上面が後側に向かって移動するように周回可能に本体部２１に支持されている。モータ２２ｂは、ベルト２２ａを周回させるために駆動する。
フレーム部２３は、歩行訓練装置３の枠体である。フレーム部２３は、第１のアーチ部２３ａと、第２のアーチ部２３ｂと、第１のビーム部２３ｃと、第２のビーム部２３ｄと、を備えている。第１のアーチ部２３ａは、歩行訓練装置３の左右方向から見て略アーチ形であり、本体部２１におけるベルト部２２に対して右側の領域に設けられている。第２のアーチ部２３ｂは、歩行訓練装置３の左右方向から見て略アーチ形であり、本体部２１におけるベルト部２２に対して左側の領域に設けられている。
第１のビーム部２３ｃは、歩行訓練装置３の左右方向に延在しており、第１のアーチ部２３ａの前側角部と第２のアーチ部２３ｂの前側角部とを連結する。第２のビーム部２３ｄは、歩行訓練装置３の左右方向に延在しており、第１のアーチ部２３ａの後側角部と第２のアーチ部２３ｂの後側角部とを連結する。
手摺り部２４は、ベルト部２２に搭乗した訓練者Ｔにより把持される。手摺り部２４は、歩行訓練装置３の前後方向に延在しており、例えば、歩行補助装置２を装着する患脚側に設けられている。手摺り部２４は、例えば、本体部２１におけるベルト部２２に対して右側の領域に設けられている。但し、手摺り部２４は、本体部２１におけるベルト部２２を挟んで左右両側の領域に設けられていてもよい。
第１の脚免荷部２５は、訓練者Ｔが患脚を振り出す際に患脚の負荷を免荷する。第１の脚免荷部２５は、モータ２５ａと、ワイヤー２５ｂと、を備えている。モータ２５ａは、第１のビーム部２３ｃに設けられている。モータ２５ａは、ワイヤー２５ｂを巻き取り及び送り出すために駆動する。ワイヤー２５ｂの先端部は、歩行補助装置２の任意の位置に接続される。
第２の脚免荷部２６は、訓練者Ｔが患脚を引き戻す際に患脚の負荷を免荷する。第２の脚免荷部２６は、モータ２６ａと、ワイヤー２６ｂと、を備えている。モータ２６ａは、第２のビーム部２３ｄに設けられている。モータ２６ａは、ワイヤー２６ｂを巻き取り及び送り出すために駆動する。ワイヤー２６ｂの先端部は、歩行補助装置２の任意の位置に接続される。
吊り下げ免荷部２７は、訓練者Ｔの体重を免荷する。吊り下げ免荷部２７は、ハーネス２７ａと、接続治具２７ｂと、ワイヤー２７ｃと、を備えている。ハーネス２７ａは、訓練者Ｔが装着する。接続治具２７ｂは、フレーム部２３の第１のビーム部２３ｃと第２のビーム部２３ｄとの間で、第１のアーチ部２３ａと第２のアーチ部２３ｂとを連結するようにフレーム部２３に設けられている。
ワイヤー２７ｃは、接続治具２７ｂから垂れ下がっており、ワイヤー２７ｃの先端部がハーネス２７ａに接続されている。このような構成により、訓練者Ｔがハーネス２７ａを装着すると、訓練者Ｔの体重がワイヤー２７ｃ及び接続治具２７ｂを介してフレーム部２３によって支持される。
ディスプレイ２８は、ディスプレイ２８の表示部２８ａが歩行訓練装置３の後側に向かって配置されるように、フレーム部２３の前側に設けられている。ディスプレイ２８の表示部２８ａには、訓練者Ｔへの訓練指示などが表示される。
撮像装置２９は、例えば、第１のカメラ２９ａと、第２のカメラ２９ｂと、を備えている。第１のカメラ２９ａは、例えば、ＲＧＢカメラであり、歩行訓練を行う訓練者Ｔの２次元画像をリアルタイムに撮像する。第２のカメラ２９ｂは、例えば、赤外線カメラであり、歩行訓練を行う訓練者Ｔの深度画像をリアルタイムに撮像する。
これらの第１のカメラ２９ａ及び第２のカメラ２９ｂは、例えば、歩行訓練を行う訓練者Ｔを前側から撮像可能にフレーム部２３などに設けられている。撮像装置２９は、例えば、ディスプレイ２８の近傍に配置されている。但し、撮像装置２９は、訓練者Ｔの２次元画像及び深度画像を撮像可能な構成及び配置であればよく、例えば、訓練者Ｔを後側から撮像可能に配置されていてもよい。要するに、撮像装置２９は、訓練者Ｔを挟んで補助者が存在する側に対して逆側から訓練者Ｔを撮像可能に配置されていればよい。
制御装置４は、制御部３１と、骨格推定部３２と、異常判定部３３と、を備えており、例えば、歩行補助装置２及び歩行訓練装置３とネットワークを介して接続されている。但し、制御装置４は、歩行訓練装置３に組み込まれていてもよい。
制御部３１は、例えば、訓練者Ｔの訓練レベルに応じて設定される訓練内容に基づいて、訓練指示などをディスプレイ２８の表示部２８ａに表示させるために当該ディスプレイ２８を制御すると共に、ベルト２２ａを周回させるためにモータ２２ｂを制御する。
このとき、制御部３１は、訓練内容に基づいて、訓練者Ｔの患脚の動作を補助するために、歩行補助装置２のモータ１４を制御する。また、制御部３１は、訓練内容に基づいて、第１の脚免荷部２５のモータ２５ａ及び第２の脚免荷部２６のモータ２６ａを制御する。
つまり、訓練者Ｔが患脚を振り出す際に、制御部３１は、第１の脚免荷部２５のモータ２５ａを制御してワイヤー２５ｂを巻き込むと共に、第２の脚免荷部２６のモータ２６ａを制御してワイヤー２６ｂを送り出して、患脚の振り出しを免荷する。
一方、訓練者Ｔが患脚を引き戻す際に、制御部３１は、第１の脚免荷部２５のモータ２５ａを制御してワイヤー２５ｂを送り出すと共に、第２の脚免荷部２６のモータ２６ａを制御してワイヤー２６ｂを巻き込んで、患脚の引き戻しを免荷する。
骨格推定部３２は、撮像装置２９が撮像した２次元画像及び深度画像に基づいて、訓練者Ｔの骨格座標を推定する。訓練者Ｔの骨格座標としては、例えば、少なくとも股関節の２次元座標並びに深度、膝関節の２次元座標並びに深度、及び足首関節の２次元座標並びに深度を推定する。
このとき、訓練者Ｔの骨格座標を推定する手法は、一般的な手法を用いることができ、例えば、ビジョンポーズなどを用いることができる。ここで、２次元座標は、２次元画像内の所定の位置を原点とする２次元座標である。また、深度は、深度画像内における当該２次元座標と対応する位置の深度、又は、当該位置周辺の深度の平均値である。
異常判定部３３は、訓練者Ｔの骨格座標に基づいて、訓練者Ｔの歩行に異常が発生しているか否かを判定する。異常判定部３３は、例えば、訓練者Ｔがベルト２２ａから左右又は後側に離脱しそうになっているか否かを判定する。
訓練者Ｔがベルト２２ａから左右又は後側に離脱しそうになっている場合、異常判定部３３は、訓練者Ｔが異常歩行であると判定する。一方、訓練者Ｔがベルト２２ａから左右又は後側に離脱しそうになっていない場合、異常判定部３３は、訓練者Ｔが正常歩行であると判定する。
このような歩行訓練システム１を用いて訓練者Ｔが歩行訓練を行う場合、歩行訓練装置３の本体部２１におけるベルト２２ａの左右両側の領域に補助者の足を載せた状態で、補助者が訓練者Ｔを支える。
ここで、図３は、歩行訓練中の訓練者を撮像した画像を示す図である。上述のように撮像装置２９が撮像した二次元画像及び深度画像に基づいて、骨格推定部３２が訓練者Ｔの骨格座標を推定するが、図３に示すように、二次元画像内に、訓練者Ｔに加えて補助者Ａの足が存在することがあり、訓練者Ｔの骨格情報を精度良く取得することが困難な場合がある。
そこで、本実施の形態の歩行訓練システム１は、抽出システム５を備えている。抽出システム５は、例えば、制御装置４に組み込まれており、画像取得部４１と、骨格取得部４２と、抽出部４３と、マスク処理部４４と、を備えている。但し、本実施の形態では、抽出システム５を制御装置４に組み込んでいるが、別の構成としてもよい。
画像取得部４１は、第１のカメラ２９ａが撮像した二次元画像を取得する。このとき、画像取得部４１は、二次元画像をリアルタイムに取得するとよい。但し、画像取得部４１は、第１のカメラ２９ａで構成することもでき、又は、訓練者Ｔの二次元画像を撮像可能な他のカメラで構成することもできる。また、他のカメラで撮像した訓練者Ｔの二次元画像を取得してもよい。
骨格取得部４２は、訓練者Ｔの骨格座標を取得する。骨格取得部４２は、例えば、骨格取得部４２から前回に推定した訓練者Ｔの骨格座標を取得する。但し、骨格取得部４２は、骨格推定部３２で構成することもでき、又は他の骨格推定部によって構成することもできる。また、他の骨格推定部で前回に推定した訓練者Ｔの骨格座標を取得してもよい。
抽出部４３は、詳細は後述するが、二次元画像内の訓練者Ｔの脚部が存在しない領域を設定して、訓練者Ｔの脚部が存在しない領域と当該訓練者Ｔの脚部を含む領域とを区別し、訓練者Ｔの脚部を含む領域を抽出する。マスク処理部４４は、二次元画像内の訓練者Ｔの脚部が存在しない領域にマスクを施す。
次に、本実施の形態の歩行訓練システム１を用いて訓練者Ｔが歩行訓練を行う流れを説明する。図４は、本実施の形態の歩行訓練システムを用いて訓練者が歩行訓練を行う流れを示すフローチャート図である。図５は、二次元画像内の訓練者の脚部が存在しない領域及び訓練者の脚部を含む領域を示す図である。図６は、二次元画像内の訓練者の脚部が存在しない領域の設定方法を説明するための図である。図７は、訓練者の位置に応じて訓練者の脚部が存在しない領域が変形する様子を連続的に示す図であり、訓練者が歩行訓練装置のベルト上を中央から左側に移動する際の当該領域の変形を左側の図から右側の図に向かって順に示している。なお、図７では、補助者を省略して示している。
ここで、訓練者Ｔがベルト２２ａ上で歩行訓練を行い、その様子を撮像装置２９が画像を取得しつつ、取得した画像に基づいて、骨格推定部３２が訓練者Ｔの骨格座標を推定し、推定した訓練者Ｔの骨格座標に基づいて、異常判定部３３が訓練者Ｔの異常を判定しているものとする。
このような状態で、先ず、抽出システム５の画像取得部４１は、第１のカメラ２９ａが今回に撮像した二次元画像を取得し、今回に撮像した二次元画像を示す情報を抽出部４３及びマスク処理部４４に出力する（Ｓ１）。次に、抽出システム５の骨格取得部４２は、前回に推定した訓練者Ｔの骨格座標を取得できたか否かを判定する（Ｓ２）。
前回に推定した訓練者Ｔの骨格座標を取得できた場合（Ｓ２のＹＥＳ）、抽出システム５の骨格取得部４２は、訓練者Ｔの骨格座標を取得できた旨の判定結果を示す情報を抽出部４３に出力する。抽出システム５の抽出部４３は、訓練者Ｔの骨格座標を取得できた旨の判定結果を示す情報が入力された場合、先ず、図５に示すように、二次元画像内におけるベルト２２ａを挟んで左右両側の領域を、訓練者Ｔの脚部が存在しない第１の領域Ｒ１に設定する。
上述のように訓練者Ｔが歩行訓練を行う場合、補助者Ａは、本体部２１におけるベルト２２ａの左右両側の領域に補助者Ａの足を載せた状態で、例えば、訓練者Ｔの後側から当該訓練者Ｔを支え、且つ、訓練者Ｔは、ベルト２２ａ上で歩行訓練を行う。
そこで、抽出部４３は、二次元画像内におけるベルト２２ａを挟んで左右両側の領域を第１の領域Ｒ１に設定する。本実施の形態では、図５に示すように、ベルト２２ａを挟んで左右両側であって、且つ、手摺り部２４近傍（言い換えると、訓練者Ｔの腰）の高さまでの領域を第１の領域Ｒ１に設定する。このとき、第１の領域Ｒ１は、訓練者Ｔが手摺り部２４を把持することが想定される領域を切り欠いた形状であるとよい。
例えば、右側の第１の領域Ｒ１は、ベルト２２ａの右端縁に沿った第１の直線Ｌ１と、第１の直線Ｌ１の前端部と二次元画像の右角部とを結んだ第２の直線Ｌ２と、二次元画像の右辺の手摺り部２４の高さまでの第３の直線Ｌ３と、切り欠き線Ｌ４と、第３の直線Ｌ３の上端部と切り欠き線Ｌ４における鉛直線Ｌ４ａの上端部とを結んだ第４の直線Ｌ５と、第１の直線Ｌ１の後端部と切り欠き線Ｌ４における水平線Ｌ４ｂの端部とを結ぶ第５の直線Ｌ６と、で囲まれた領域である。
一方、左側の第１の領域Ｒ１は、ベルト２２ａにおける左右方向の中央を通り、且つ、前後方向に延在する軸を対称軸として、右側の第１の領域Ｒ１と線対称の形状であるため、詳細な説明は省略する。なお、二次元画像内でベルト２２ａや手摺り部２４などが存在する領域は、二次元画像を画像処理することによって認識することができる。但し、上述した形状の第１の領域Ｒ１を外部からの入力によって設定してもよい。
ここで、歩行訓練中の訓練者Ｔは歩行状況に応じて、訓練者Ｔの脚部が含まれる第２の領域Ｒ２が変化するので、抽出システム５の抽出部４３は、骨格取得部４２から前回に推定した訓練者Ｔの骨格座標を示す情報を取得し、当該前回に推定した訓練者Ｔの骨格座標に基づいて、今回に取得した二次元画像内において、第１の領域Ｒ１が訓練者Ｔの脚部に対して所定の距離離れるように、第１の領域Ｒ１を変化させるとよい。
例えば、抽出システム５の抽出部４３は、図６に示すように、前回に推定した訓練者Ｔの股関節Ｈの二次元座標と膝関節Ｋの二次元座標とを結んだ直線Ｌ７に対して第１の領域Ｒ１が所定の距離Ｄ離れるように、第１の領域Ｒ１を変化させることができる。
つまり、抽出システム５の抽出部４３は、図６に示すように、直線Ｌ７と距離Ｄを開けて略平行に第１の領域Ｒ１の第５の直線Ｌ６が配置されるように、第１の領域Ｒ１の第１の直線Ｌ１及び切り欠き線Ｌ４の水平線Ｌ４ｂを延長させると共に、第５の直線Ｌ６を短縮させたり、第１の領域Ｒ１の第１の直線Ｌ１及び切り欠き線Ｌ４の水平線Ｌ４ｂを短縮させると共に、第５の直線Ｌ６を延長させたり、して第１の領域Ｒ１を変化させる。
詳細には、図７の左側の図から右側の図に示すように、訓練者Ｔがベルト２２ａ上で左右に移動する場合、抽出システム５の抽出部４３は、訓練者Ｔが左側又は右側に移動する一方の側（図７では、左側）の第１の領域Ｒ１が訓練者Ｔに干渉しないように、第１の領域Ｒ１の第５の直線Ｌ６が直線Ｌ７と距離Ｄ離れて略平行に配置された状態を維持しつつ、第１の領域Ｒ１の第１の直線Ｌ１及び切り欠き線Ｌ４の水平線Ｌ４ｂを短縮させつつ、第５の直線Ｌ６を延長させて第１の領域Ｒ１を変形させる。
一方、抽出システム５の抽出部４３は、訓練者Ｔが移動する他方の側（図７では、右側）の第１の領域Ｒ１の第５の直線Ｌ６が直線Ｌ７と距離Ｄ離れて略平行に配置された状態を維持しつつ、第１の領域Ｒ１の第１の直線Ｌ１及び切り欠き線Ｌ４の水平線Ｌ４ｂを延長させつつ、第５の直線Ｌ６を短縮させて第１の領域Ｒ１を変形させる。
これにより、訓練者Ｔの歩行状況に応じて、第１の領域Ｒ１をリアルタイムに変化させて正確に設定することができる。言い換えると、抽出部４３は、第２の領域Ｒ２をリアルタイムに変化させて正確に抽出することができる。抽出部４３は、第１の領域Ｒ１の二次元座標を示す情報（例えば、第１の領域Ｒ１の各直線が交わる位置の二次元座標情報）をマスク処理部４４に出力する。
次に、抽出システム５のマスク処理部４４は、今回に取得した二次元画像及び第１の領域Ｒ１の二次元座標に基づいて、今回に取得した二次元画像内における第１の領域Ｒ１にマスクを施す（Ｓ３）。これにより、補助者Ａの足が存在する第１の領域Ｒ１をマスクによって隠すことができる。マスク処理部４４は、マスクが施された二次元画像を示す情報を骨格推定部３２に出力する。
ここで、二次元画像に施されるマスクの色は、訓練者Ｔや補助者Ａが装着する服や靴の色や材質によって、適宜、設定することができるが、第２の領域Ｒ２との誤認識を防止するために、例えば、服や靴の色として存在しない真っ白が好ましい。但し、抽出システム５のマスク処理部４４が二次元画像に基づいて、訓練者Ｔや補助者Ａが装着する服や靴の色を認識し、当該訓練者Ｔや補助者Ａが装着する服や靴の色と異なる色にマスクの色を設定してもよい。また、マスクの色を外部からの入力によって設定してもよい。
次に、骨格推定部３２は、マスクが施された二次元画像、及び今回に取得した深度画像に基づいて、訓練者Ｔの骨格座標を推定する（Ｓ４）。このとき、訓練者Ｔの脚部が存在せず、且つ、補助者Ａの足が載せられる、歩行訓練装置３のベルト２２ａを挟んで左右両側の領域を含む第１の領域Ｒ１にはマスクが施されており、訓練者Ｔの脚部を含む第２の領域Ｒ２が抽出されているので、補助者Ａの足を訓練者Ｔの足と誤認識することを抑制できる。そのため、訓練者Ｔの骨格座標を良好に推定することができる。骨格推定部３２は、推定した訓練者Ｔの骨格座標を示す情報を異常判定部３３に出力する。
一方、前回に推定した訓練者Ｔの骨格座標を取得できない場合（Ｓ２のＮＯ）、抽出システム５の骨格取得部４２は、前回に推定した訓練者Ｔの骨格座標を取得できない旨の判定結果を示す情報を骨格推定部３２に出力する。
骨格推定部３２は、前回に推定した訓練者Ｔの骨格座標を取得できない旨の判定結果を示す情報が入力された場合、今回に撮像した訓練者Ｔの二次元画像及び深度画像に基づいて、訓練者Ｔの骨格座標を推定し、推定した訓練者Ｔの骨格座標を示す情報を異常判定部３３に出力する（Ｓ５）。但し、上述のように、マスクが施されていない二次元画像を用いて訓練者Ｔの骨格座標を推定する場合、訓練者Ｔの骨格座標の推定が困難な場合があり、その場合、後述のＳ６の工程に移行する。
次に、異常判定部３３は、訓練者Ｔの骨格座標に基づいて、訓練者Ｔがベルト２２ａから離脱しそうになっていないか否かを判定する。異常判定部３３は、例えば、二次元画像及び深度画像に基づいて、ベルト２２ａが存在する領域を認識し、当該領域の予め設定された範囲外に訓練者Ｔの足が進入した場合、訓練者Ｔがベルト２２ａから離脱しそうになっていると推定し、訓練者Ｔが異常歩行であると判定する。
一方、異常判定部３３は、ベルト２２ａが存在する領域の予め設定された範囲内に訓練者Ｔの足が存在する場合、訓練者Ｔがベルト２２ａから離脱しそうになっていないと推定し、訓練者Ｔが正常歩行であると判定する。異常判定部３３は、例えば、これらの判定結果を示す情報を制御部３１に出力するとよい。
その後、異常判定部３３は、訓練者Ｔの異常歩行判定を終了するか否かを判定する（Ｓ６）。訓練者Ｔの異常歩行判定を終了させる場合（Ｓ６のＹＥＳ）、異常判定部３３は、異常歩行判定を終了させる旨の情報を制御部３１に出力する。制御部３１は、異常歩行判定を終了させる旨の情報が入力されると、歩行訓練を中止するために、歩行補助装置２のモータ１４、及び歩行訓練装置３のモータ２２ｂ、２５ａ、２６ａを制御する。
一方、訓練者Ｔの異常歩行判定を継続させる場合（Ｓ６のＮＯ）、異常判定部３３は、異常歩行判定を継続させる旨の情報を制御部３１に出力する。制御部３１は、異常歩行判定を継続させる旨の情報が入力されると、歩行訓練を継続するために、歩行補助装置２のモータ１４、及び歩行訓練装置３のモータ２２ｂ、２５ａ、２６ａを制御する。
このように本実施の形態の抽出システム５、歩行訓練システム１及び抽出方法では、二次元画像内における補助者Ａの足が載せられるベルト２２ａを挟んで左右両側の領域を、訓練者Ｔの脚部が存在しない第１の領域Ｒ１に設定して訓練者Ｔの脚部を含む第２の領域Ｒ２と区別し、第２の領域Ｒ２を抽出している。
これにより、骨格推定部３２が二次元画像に基づいて訓練者Ｔの骨格座標を推定する際に、補助者Ａの足を訓練者Ｔの足と誤認識することを抑制でき、その結果、訓練者Ｔの脚部を含む第２の領域Ｒ２を精度良く抽出可能である。そのため、訓練者Ｔの骨格座標を良好に推定することができる。
しかも、本実施の形態の抽出システム５、歩行訓練システム１及び抽出方法では、訓練者Ｔの脚部が存在しない第１の領域Ｒ１が二次元画像内における訓練者Ｔの脚部から所定の距離Ｄ離れるように、第１の領域Ｒ１をリアルタイムに変化させている。これにより、訓練者Ｔの動作に伴って、第１の領域Ｒ１をリアルタイムに変化させることができ、その結果、訓練者Ｔが存在する第２の領域Ｒ２を精度良く抽出可能である。
また、本実施の形態の抽出システム５、歩行訓練システム１及び抽出方法では、二次元画像に施されるマスクの色を、訓練者Ｔや補助者Ａの服や靴の色や材質によって設定している。そのため、訓練者Ｔが存在する第２の領域Ｒ２との誤認識を防止することができる。
＜他の実施の形態＞
上記実施の形態では、本開示をハードウェアの構成として説明したが、本開示はこれに限定されるものではない。本開示は、各構成要素の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
例えば、上記実施の形態の抽出システム５は、次のようなハードウェア構成を備えることができる。図８は、抽出システム５に含まれるハードウェア構成の一例を示す図である。
図８に示す装置５１は、インターフェイス５２と共に、プロセッサ５３及びメモリ５４を備える。上記実施の形態で説明した抽出システム５は、プロセッサ５３がメモリ５４に記憶されたプログラムを読み込んで実行することにより実現される。つまり、このプログラムは、プロセッサ５３を上記実施の形態の抽出システム５として機能させるためのプログラムである。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータ（情報通知装置を含むコンピュータ）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、この例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施の形態では、訓練者Ｔの脚部が存在しない第１の領域Ｒ１を訓練者Ｔの動作に基づいて変形させているが、図５に示す第１の領域Ｒ１を固定した状態で、歩行訓練を行ってもよい。
例えば、前回にマスク処理部４４に出力した第１の領域Ｒ１を示す情報を記憶しておき、今回、取得した二次元画像に当該情報が示す第１の領域Ｒ１を設定し、さらに前回に推定した訓練者Ｔの骨格座標に基づいて当該第１の領域Ｒ１を変形させてもよい。これにより、訓練者Ｔの脚が存在する第２の領域Ｒ２の抽出精度を向上させることができる。
１ 歩行訓練システム
２ 歩行補助装置
１１ 上腿リンク
１２ 下腿リンク
１３ 足リンク
１４ モータ
３ 歩行訓練装置
２１ 本体部、２１ａ 開口部
２２ ベルト部、２２ａ ベルト、２２ｂ モータ
２３ フレーム部、２３ａ 第１のアーチ部、２３ｂ 第２のアーチ部、２３ｃ 第１のビーム部、２３ｄ 第２のビーム部
２４ 手摺り部
２５ 第１の脚免荷部、２５ａ モータ、２５ｂ ワイヤー
２６ 第２の脚免荷部、２６ａ モータ、２６ｂ ワイヤー
２７ 吊り下げ免荷部、２７ａ ハーネス、２７ｂ 接続治具、２７ｃ ワイヤー
２８ ディスプレイ、２８ａ 表示部
２９ 撮像装置、２９ａ 第１のカメラ、２９ｂ 第２のカメラ
４ 制御装置
３１ 制御部
３２ 骨格推定部
３３ 異常判定部
５ 抽出システム
４１ 画像取得部
４２ 骨格取得部
４３ 抽出部
４４ マスク処理部
Ｄ 訓練者の股関節の二次元座標と膝関節の二次元座標とを結んだ直線と第１の領域との距離
Ｈ 股関節
Ｋ 膝関節
Ｌ１ 第１の直線
Ｌ２ 第２の直線
Ｌ３ 第３の直線
Ｌ４ 切り欠き線、Ｌ４ａ 鉛直線、Ｌ４ｂ 水平線
Ｌ５ 第４の直線
Ｌ６ 第５の直線
Ｌ７ 直線
Ｒ１ 第１の領域
Ｒ２ 第２の領域
Ｔ 訓練者
Ａ 補助者

Claims (10)

  1. 歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の前記訓練者の脚部を含む領域を抽出する抽出システムを有する前記歩行訓練装置の制御装置であって、
    前記訓練者の前側又は後側から当該訓練者を撮像した画像を取得する画像取得部と、前記訓練者の脚部の骨格座標をリアルタイムに取得する骨格取得部と、前記画像内における前記トレッドミルのベルトを挟んで左右両側の領域を、前記訓練者の脚部が存在しない領域に設定して前記訓練者の脚部を含む領域と区別し、前記画像内における前記訓練者の脚部を含む領域を抽出する抽出部と、前記画像内における前記訓練者の脚部が存在しない領域にマスクを施すマスク処理部と、を備え、前記抽出部は、前記訓練者の脚部の骨格座標に基づいて、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の脚部に対して所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させる抽出システムと、
    前記マスクが施された画像に基づいて前記訓練者の脚部の骨格座標を推定する骨格推定部と、
    を備える、制御装置。
  2. 前記抽出部は、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の股関節の位置と膝関節の位置とを結んだ直線に対して前記所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させる、請求項１に記載の制御装置。
  3. 前記マスク処理部は、前記訓練者が装着する服又は靴に基づいて、前記マスクの色を設定する、請求項１又は２に記載の制御装置。
  4. 前記訓練者の脚部の骨格座標に基づいて前記訓練者の異常を判定する異常判定部を備える、請求項１乃至３のいずれか１項に記載の制御装置。
  5. 請求項１乃至４のいずれか１項に記載の制御装置と、
    前記訓練者が歩行訓練を行うためのトレッドミルを有する歩行訓練装置と、
    を備える、歩行訓練システム。
  6. 歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の前記訓練者の脚部を含む領域を抽出して前記歩行訓練装置を制御する制御方法であって、
    前記訓練者の前側又は後側から当該訓練者を撮像した画像を取得する工程と、
    前記訓練者の脚部の骨格座標をリアルタイムに取得する工程と、
    前記画像内における前記トレッドミルのベルトを挟んで左右両側の領域を、前記訓練者の脚部が存在しない領域に設定して前記訓練者の脚部を含む領域と区別し、前記画像内における前記訓練者の脚部を含む領域を抽出する工程と、
    前記画像内における前記訓練者の脚部が存在しない領域にマスクを施す工程と、
    前記マスクが施された画像に基づいて前記訓練者の脚部の骨格座標を推定する工程と、
    を備え、
    前記訓練者の脚部の骨格座標に基づいて、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の脚部に対して所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させる、制御方法。
  7. 前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の股関節の位置と膝関節の位置とを結んだ直線に対して前記所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させる、請求項６に記載の制御方法。
  8. 前記訓練者が装着する服又は靴に基づいて、前記マスクの色を設定する、請求項６又は７に記載の制御方法。
  9. 前記訓練者の脚部の骨格座標に基づいて前記訓練者の異常を判定する工程を備える、請求項６乃至８のいずれか１項に記載の制御方法。
  10. 歩行訓練装置のトレッドミルのベルト上で歩行訓練を行う訓練者を撮像した画像内の前記訓練者の脚部を含む領域を抽出して前記歩行訓練装置を制御する制御プログラムであって、
    前記訓練者の前側又は後側から当該訓練者を撮像した画像を取得する処理と、
    前記訓練者の脚部の骨格座標をリアルタイムに取得する処理と、
    前記画像内における前記トレッドミルのベルトを挟んで左右両側の領域を、前記訓練者の脚部が存在しない領域に設定して前記訓練者の脚部を含む領域と区別し、前記画像内における前記訓練者の脚部を含む領域を抽出する処理と、
    前記画像内における前記訓練者の脚部が存在しない領域にマスクを施す処理と、
    前記マスクが施された画像に基づいて前記訓練者の脚部の骨格座標を推定する処理と、
    をコンピュータに実行させ、
    前記訓練者の脚部の骨格座標に基づいて、前記画像内において前記訓練者の脚部が存在しない領域が当該訓練者の脚部に対して所定の距離離れるように、前記訓練者の脚部が存在しない領域をリアルタイムに変化させる、制御プログラム。
JP2020200982A 2020-12-03 2020-12-03 制御装置、歩行訓練システム、制御方法及び制御プログラム Active JP7396258B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020200982A JP7396258B2 (ja) 2020-12-03 2020-12-03 制御装置、歩行訓練システム、制御方法及び制御プログラム
CN202111443752.1A CN114613466A (zh) 2020-12-03 2021-11-30 提取系统、步行训练系统、提取方法以及记录介质
US17/539,618 US20220176195A1 (en) 2020-12-03 2021-12-01 Extraction system, walking training system, extraction method, and extraction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020200982A JP7396258B2 (ja) 2020-12-03 2020-12-03 制御装置、歩行訓練システム、制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2022088872A JP2022088872A (ja) 2022-06-15
JP7396258B2 true JP7396258B2 (ja) 2023-12-12

Family

ID=81848660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020200982A Active JP7396258B2 (ja) 2020-12-03 2020-12-03 制御装置、歩行訓練システム、制御方法及び制御プログラム

Country Status (3)

Country Link
US (1) US20220176195A1 (ja)
JP (1) JP7396258B2 (ja)
CN (1) CN114613466A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112632A1 (ja) 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
JP2017107503A (ja) 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
CN106994224B (zh) * 2016-01-22 2019-05-31 岱宇国际股份有限公司 运动机台
JP2019115653A (ja) * 2017-12-26 2019-07-18 パナソニックＩｐマネジメント株式会社 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム
JP7172886B2 (ja) * 2019-07-01 2022-11-16 トヨタ自動車株式会社 状態推定プログラム、リハビリ支援システム及び状態推定方法
JP7138619B2 (ja) * 2019-12-25 2022-09-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 監視端末及び監視方法
US11048928B1 (en) * 2020-02-04 2021-06-29 University Of South Florida Systems and methods of entomology classification based on extracted anatomies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112632A1 (ja) 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
JP2017107503A (ja) 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム

Also Published As

Publication number Publication date
CN114613466A (zh) 2022-06-10
US20220176195A1 (en) 2022-06-09
JP2022088872A (ja) 2022-06-15

Similar Documents

Publication Publication Date Title
KR102172954B1 (ko) 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
US9412010B2 (en) Posture estimation device, posture estimation method, and posture estimation program
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
US20040193323A1 (en) Biped robot control system
US10984914B2 (en) CPR assistance device and a method for determining patient chest compression depth
US20080146911A1 (en) Respiration Monitoring Apparatus, Respiration Monitoring System, Medical Processing System, Respiration Monitoring Method, And Respiration Monitoring Program
JP5127531B2 (ja) 画像監視装置
JP2010172394A (ja) 歩行状態表示装置
EP4134981A1 (en) Method for acquiring side image for eye protrusion analysis, image capture device for performing same, and recording medium
WO2017170832A1 (ja) 歩行分析装置、歩行分析方法、及びコンピュータ読み取り可能な記録媒体
JP2014071501A (ja) 画像処理装置、方法、及びプログラム
JP7396258B2 (ja) 制御装置、歩行訓練システム、制御方法及び制御プログラム
WO2016031314A1 (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
CN110338835B (zh) 一种智能扫描立体监测方法及系统
JP2021189587A (ja) 表示装置、表示方法及び表示プログラム
JP7428159B2 (ja) 歩行訓練システム、その制御方法、及び、制御プログラム
KR101085435B1 (ko) 다중 카메라를 이용한 얼굴 인식 시스템
JP6737262B2 (ja) 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
TWI736148B (zh) 姿態檢測系統與方法
JP5170130B2 (ja) 身長推定装置
JP2018161258A (ja) 認知機能評価支援装置、認知機能評価支援方法及びプログラム
JP2007096480A (ja) 対象物追跡装置及び対象物追跡方法
US20220361769A1 (en) Load measurement system, walking training system, load measurement method, and program
US20220346668A1 (en) Walking training system, control method thereof, and control program
KR20230102297A (ko) 보행데이터 기반 근감소증 중증도 판별 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7396258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151