JP7477033B1 - 歩容解析システムおよびその学習手法 - Google Patents

Abstract

【課題】歩幅の算出アルゴリズムについて言及しているものはなく、低精度であった。また、移動する歩行車や移動体が備えるカメラでは、カメラ自体が移動するため、歩幅の取得は困難であった。【解決手段】歩容解析システムにおいて、歩幅推定アルゴリズムは、少なくとも、被測定者の脚部位置情報と、移動量取得部が取得した移動量と、を入力とし、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いることを特徴とした歩容解析システムが提供される。【選択図】図１１

Description

本発明は、高精度な歩幅推定を可能とする歩容解析システムおよびその学習手法に関するものである。

特許文献１から３には、距離センサや加速度センサ等を利用して歩行者の歩幅を推定する技術が開示されている。

特許文献４および特許文献５には、カメラで撮像したリハビリ患者の画像に基づいて、リハビリ患者の姿勢を推定し、リハビリの支援を行う技術が開示されている。

非特許文献１には、歩行車に搭載されたＲＧＢ－Ｄカメラによる深度画像に基づいて、深層学習による使用者の姿勢推定を行い、歩容解析を行う歩行車型歩容解析システムの技術が開示されている。

特開２０１７－２０５２１３号公報 特開２０１９－２１９１８７号公報 特開２０１９－１７９４５６号公報 特開２０１５－０８９４１２号公報 特許７０４２９５６号公報

Ｐａｌｅｒｍｏ、 Ｍ．、 Ｍｏｃｃｉａ、 Ｓ．、 Ｍｉｇｌｉｏｒｅｌｌｉ、 L．、 Ｆｒｏｎｔｏｎｉ、 Ｅ． ａｎｄ Ｓａｎｔｏｓ、 Ｃ． Ｐ．、 「Ｒｅａｌ－ｔｉｍｅ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｏｎ ａ ｓｍａｒｔ ｗａｌｋｅｒ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、 Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏｌ.１８４ （２０２１）、 ＤＯＩ：１０．１０１６/ｊ.ｅｓｗａ.２０２１．１１５４９８．

特許文献１～３に開示の距離センサや加速度センサは高価であり、より安価な方法で歩幅や歩行速度を推定することが求められている。そこで、深層学習を用いた簡易な技術が、特許文献４および特許文献５に開示されている。しかし、歩幅の算出アルゴリズムについて言及しているものはない。さらに、非特許文献１に記載の技術では、歩行車に取り付けられたカメラの移動量が考慮されていないため、歩幅や歩行速度を推定することができない。
本開示は、上述した従来の状況を鑑みて、人間の歩幅や歩行速度を簡易なシステムで推定することを目的とする。

本開示は、前記課題を解決するもので、例えば安価なｗｅｂカメラなどの画像取得部と、姿勢推定アルゴリズムと、歩幅推定アルゴリズムと、歩行速度推定アルゴリズムとから、歩幅や歩行速度を高精度に推定する歩容解析システムを提供する。

本開示の一態様に係る歩容解析システムは、
歩行を行う被測定者の画像を取得する画像取得部と、
前記画像の前記被測定者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部と、
を備える歩容解析システムにおいて、
前記歩幅推定アルゴリズムは、
少なくとも、前記被測定者の脚部位置情報を入力とし、
進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いる。

本開示の一態様に係る歩容解析システムは、
歩行を行う使用者を補助する歩行車と
前記歩行車に設けた使用者の画像を取得する画像取得部と、
前記歩行車の移動量を取得する移動量取得部と、
前記画像の前記使用者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部と、
を備える歩容解析システムにおいて、
前記歩幅推定アルゴリズムは、
少なくとも、前記被測定者の脚部位置情報と、
前記移動量取得部が取得した移動量と、
を入力とし、
進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いる。

本開示の一態様に係る歩容解析システムは、
歩行を行う被測定者の画像を取得する画像取得部と、
前記画像取得部の移動量を取得する移動量取得部と、
前記画像の前記使用者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部と、
を備える歩容解析システムにおいて、
前記歩幅推定アルゴリズムは、
少なくとも、前記被測定者の脚部位置情報と、
前記移動量取得部が取得した移動量と、
を入力とし、
進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いる。

以上のように、本開示の歩容解析システムによれば、安価に高精度な歩幅を推定することができる。

図１は、本開示の実施例１におけるシステムの全体構成図である。 図２は、本開示の実施例１における外観図である。 図３は、姿勢推定アルゴリズムの出力の一例である。 図４は、歩幅の定義を示す図である。 図５は、健常歩行時と非健常歩行時における、足首の推定位置の時間推移の一例である。 図６は、本開示の実施例１における足首の進行方向の時間推移を直接利用して歩幅を推定する手法のフローチャートを示す図である。 図７は、本開示の実施例１における進行方向における足首の左右間距離の時間推移を示す曲線を説明する図である。 図８は、本開示の実施例１における進行方向における足首の左右間距離の時間推移を示す曲線を利用して歩幅を推定する手法のフローチャートを示す図である。 図９は、本開示の実施例２におけるシステムの全体構成図である。 図１０は、本開示の実施例２における外観図である。 図１１は、本開示の実施例２における進行方向における足首の左右間距離の時間推移を示す曲線を推定する手法を示す図である。 図１２は、本開示の実施例２における学習データ取得時の外観図である。 図１３は、本開示の実施例３におけるシステムの全体構成図である。 図１４は、本開示の実施例３における外観図である。 図１５は、本開示の実施例３における派生例を示す図である。

（本開示に至った経緯）
近年、高齢化によってリハビリテーションの重要性が増しており、歩行リハビリテーションもその一つである。歩行の定量的な解析（歩容解析）が可能になることによって、効果的なリハビリテーションが実現できる。歩容解析の中でも、歩幅の解析は、両足が着地（立脚期）しているタイミングを抽出し、かつ左右の足の距離を求める必要があるため、難しいタスクである。

例えば、特許文献１によれば、複数の距離センサを下肢に取り付けることによって歩幅を取得可能であるが複数のセンサを体に装着する必要がある。そこで、特許文献２によれば、一つの加速度センサで歩幅を取得可能であるが、加速度センサの二重積分による移動距離の算出は誤差が大きいことが知られている。特許文献３によれば、移動体に設けた距離センサで脚部を測定することで歩幅が取得可能である。体にセンサを装着する必要はないが、距離センサを設けた移動体が必要となり、システムが複雑化し、高コストとなる。

近年、深層機械学習の進化により、特許文献４ないし５のようなカメラとパソコンやスマートフォンのみといった簡易な方法で、歩容解析ができるシステムが開発されている。これらは、人間の骨格情報を推定する姿勢推定技術が用いられている。しかし、これらの姿勢推定による骨格情報を単純に用いるだけでは、前述の両足が着地（立脚期）しているタイミングの抽出と、左右の足の距離の推定が難しく、歩幅を高精度に求めることはできない。また、これらの開示には、歩幅の推定方法に関して特段の記載がない。

加えて、歩行車を用いたときの歩容解析も重要である。そこで、非特許文献１によると、２台のカメラを用いて全身の歩容解析を行っている。しかしながら、歩行車に搭載されたカメラは、カメラ自体が移動するために、歩幅や歩行速度といった移動量に関する情報は取得できない。また、２台のカメラを用いることはカメラ間の位置関係に変更があった際に再学習が生じるなど、量産を考えると現実的ではない。

本発明者らは、姿勢推定アルゴリズムから得られた骨格情報において、歩行者が歩く方向（進行方向）の情報を用いることで。高精度に歩幅を推定できることを見出した。また、歩行車や、手持ちカメラなど、移動するカメラ撮像においても、その移動量と、骨格情報を統合したマルチモーダル学習によって、任意の脚部の左右間距離の時間推移を示す曲線を推定することで、高精度に歩幅を推定できることを見出した。

そこで、本発明者らは、以下の発明に至った。

第１の発明は、歩行を行う被測定者の画像を取得する画像取得部と、前記画像の前記被測定者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部と、を備える歩容解析システムにおいて、前記歩幅推定アルゴリズムは、前記被測定者の進行方向における脚部の時系列位置情報を入力とし、左右の脚部の特定部位の進行方向の速度が第一閾値以下となる区間を抽出するステップと、前記区間の統計量を取得するステップと、時系列に並んだ前記統計量の前後の情報（差分等）から歩幅を推定するステップと、を有することである。

これにより、足が鉛直方向に上がらない非健常者においても歩幅の抽出が容易となる。また、人間の方向は鉛直方向よりも進行方向の方が大きい為に、姿勢推定アルゴリズムの誤差に対してロバスト性が向上し、歩幅の抽出が容易となる。

第２の発明は、歩行を行う被測定者の画像を取得する画像取得部と、前記画像の前記被測定者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部とを備える歩容解析システムにおいて、前記歩幅推定アルゴリズムは、少なくとも、前記被測定者の脚部位置情報を入力とし、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いることである。

これにより、被測定者の下肢に麻痺がある際の引きずり歩行など異常歩行においても、歩幅を容易に検出でき、リハビリテーションにおける歩容解析に有用である。加えて、周期的な運動である歩行を、周期的である任意の脚部の左右間距離の時間推移を示す曲線で表現することができる。周期的な表現により、歩幅曲線の符号で左右の足の判定など、人間による可読性、コンピューターによる処理性に優れる。

第３の発明は、歩行を行う使用者を補助する歩行車と、前記歩行車に設けた使用者の画像を取得する画像取得部と、前記歩行車の移動量を取得する移動量取得部と、前記画像の前記使用者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部とを備える歩容解析システムにおいて、前記歩幅推定アルゴリズムは、少なくとも、前記被測定者の脚部位置情報と、前記移動量取得部が取得した移動量とを入力とし、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いることである。

これにより、歩行車を使用する使用者の歩幅も推定することができる。移動量取得部により、移動量を取得することで、歩行車に搭載され画像取得部が移動する環境においても、歩幅を推定することができる。

第４の発明は、前記画像取得部と、前記移動量取得部は、既存の歩行車に脱着可能としたことである。

これにより、例えば安価なｗｅｂカメラと、エンコーダと小型コンピューターを既存の歩行車に取り付けるだけで、歩容解析が可能な歩行車にすることができる。歩行車を含めて既製品で構成できるため、従来の歩行解析システムに比べて安価に提供可能である。

第５の発明は、歩行を行う被測定者の画像を取得する画像取得部と、前記画像取得部の移動量を取得する移動量取得部と、前記画像の前記使用者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部とを備える歩容解析システムにおいて、前記歩幅推定アルゴリズムは、少なくとも、前記被測定者の脚部位置情報と、前記移動量取得部が取得した移動量とを入力とし、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いることである。

これにより、移動する画像取得部からの画像であっても、歩幅を推定することができる。これにより、移動量を取得できれば歩幅が推定可能となり、画像取得部を備える移動体や、スマートフォンやタブレットで歩幅の推定が可能となる。特にスマートフォンやタブレットで歩幅の推定が可能になることは、臨床現場において、簡便な歩容解析手段を提供できる。スマートフォンやタブレットのような端末において、移動量データを取得し、その移動量データと骨格情報を統合して、被測定者の動作解析を行う手法はすでに開示されているが、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いることにより、より高精度に歩幅を推定することができる。

第６の発明は、前記歩幅推定アルゴリズムは、前記任意の脚部の左右間距離の時間推移を示す曲線の微分値が第二閾値以下であるときにおける、前記進行方向における任意の脚部の左右間距離の時間推移を示す曲線の統計量から歩幅を推定することである。

これにより、両足接地区間の抽出が容易となり、歩幅の推定が容易となる。

第７の発明は、歩行を行う使用者を補助する歩行車と前記歩行車に設けた使用者の画像を取得する画像取得部と、前記歩行車の移動量を取得する移動量取得部と、少なくとも、前記画像取得部から取得した画像と、前記移動量取得部から取得した移動量とを入力とする演算部とから構成される歩容解析システムにおいて、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を教師データとする教師あり学習を行うことである。

これにより、歩行する被測定者の骨格情報と、移動量取得部が取得した移動量を統合し、マルチモーダルな機械学習により歩幅曲線が推定可能になる。このことにより、歩行車のような移動体に搭載された画像取得部であっても、歩幅を推定することができる。

第８の発明は、歩行を行う被測定者の画像を取得する画像取得部と、前記画像取得部の移動量を取得する移動量取得部と、少なくとも、前記画像取得部から取得した画像と、前記移動量取得部から取得した移動量とを入力とする演算部とから構成される歩容解析システムにおいて、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を教師データとする教師あり学習を行うことである。

これにより、歩行する被測定者の骨格情報と、移動量取得部が取得した移動量を統合し、マルチモーダルな機械学習により歩幅曲線が推定可能になる。このことにより、移動体に搭載された画像取得部であっても、歩幅を推定することができる。スマートフォンやタブレット端末などの、画像取得部、移動量取得部、演算部、解析結果提示部の全てを有する１つの汎用端末で、歩容解析（歩幅推定）が可能になる。

以上のように、本開示の歩容解析システムによれば、安価に高精度に歩幅を推定することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本発明が限定されるものではない。

図１、図２はシステムを構成する図、図３から図８はシステムの処理を説明する図である。これらを用いて、実施例１を説明する。

（１．歩容解析システムの全体構成）
まず図１、図２を用いて歩容解析システム１１の全体構成を説明する。

図１はシステム全体の構成を示す図である。歩容解析システム１１は、画像取得部１２と、演算部１３と、解析結果提示部１４とから構成されている。演算部１３は、姿勢推定アルゴリズム１３ａ、歩幅推定アルゴリズム１３ｂ、歩行速度推定アルゴリズム１３ｃ、その他歩容解析アルゴリズム１３ｄを有する。画像取得部１２は、被測定者２１の画像データ１５を取得し、演算部１３は被測定者２１の歩行を解析し、解析結果提示部１４は歩容解析結果２０を提示する。解析処理に関しては後述する。

図２は歩容解析システム１１の外観図である。画像取得部１２は、被測定者２１が歩行する画像を撮像できるようにスタンド２２によって配置されている。画像取得部１２は、一般的なｗｅｂカメラや、ＲＧＢ－Ｄカメラ（深度カメラ）、スマートフォン、産業用カメラ、ビデオカメラ等の画像を取得できる装置であればよい。また、画像には、フレームごとの画像に分解可能な動画も含まれる。スタンド２２に関しては、カメラが適切な位置に配置されればよく、机や、手持ちによってスタンド２２を用いずともよい。本実施例では、ｗｅｂカメラが三脚によって固定されている。

演算部１３は、後述するアルゴリズムを処理するための処理装置である。演算部１３は、画像取得部１２が取得した画像を処理可能であれば、画像取得部１２と別体あるいは、スマートフォンのような同一端末でもよい。画像取得部１２と別体である場合は、画像取得部１２が取得した画像を画像保存装置（図示せず）に保存した後に、転送してもよい。転送には、ＵＳＢフラッシュメモリを使う方法や、ローカルネットワークによる無線転送等の転送手段が用いられる。また、画像取得部１２と、演算部１３とをＵＳＢケーブル等の通信手段によって、直接接続しても良い。本実施例では、ｗｅｂカメラと演算部１３がＵＳＢケーブルによって接続されており、撮像データが保存された後に、人間の指示によって解析が実行される。

（２．歩容解析システムの解析処理）
演算部１３が有する骨格情報１６を推定する姿勢推定アルゴリズム１３ａは、図３のように画像取得部１２が取得した被測定者２１の画像を基に、被測定者２１の骨格情報１６を推定するアルゴリズムである。画像から深層学習を用いて、画像に写る人間の関節中心位置や、部位の中心や端点（目や鼻の中心)などの位置をキーポイント３１として推定する。近年の深層学習により、画像のみで姿勢推定が可能であるが、画像に加えて、深度情報を用いても良い。姿勢推定により、被測定者２１の歩容を解析する。

一般的に姿勢推定アルゴリズムには、撮像された画像平面の２次元のキーポイント位置を推定する２Ｄ姿勢推定と、画像平面に加えてその奥行き情報も推定する３Ｄ姿勢推定が存在する。本実施例では、３Ｄ姿勢推定を使用する。歩行する被測定者の側面から画像を撮像可能な場合においては、２Ｄ姿勢推定でも、進行方向の情報が取得でき、本発明は適用可能である。

ここで、両足接地時を図４に示す。両足接地時の左足４１、右足４２の左右踵間距離４３を歩幅１７と定義する。歩幅１７を推定するためには両足が接地しているタイミングを抽出する必要がある。そこで、姿勢推定アルゴリズム１３ａより推定した、足首の位置の時間推移を図５に示す。足首を用いたのは、使用した姿勢推定アルゴリズム１３ａに踵のキーポイント３１が存在しなかったためであり、使用するキーポイント３１は踵やつま先など足の任意位置で構わない。

図５（ａ）の健常歩行の足首の上下方向の位置の時間推移をよると、足が接地するタイミングを抽出するのに必要な極小区間（接地時）５１や、遊脚時の足が接地していない区間５２が分かりやすく、両足が接地しているタイミングの抽出が容易である。（図中の５１、５２は右足にのみ記載。左足も同様）しかし、図５（ｂ）の非健常歩行の足首の上下方向の位置の時間推移を見ると、左足の極小区間（接地時）は明確であるが、右足の極小区間（接地時）５３は曖昧であり、両踵が接地しているタイミングの抽出が困難となり、歩幅１７の推定が困難である。

そこで、本実施例では、図５（ｃ）、図５（ｄ）のように足首の進行方向の位置の時間推移を利用する。進行方向の位置の時間推移によると、健常歩行、非健常歩行ともに、左右の足の動き（立脚・遊脚期）が分かりやすく、両足が接地しているタイミングの抽出が容易であり、歩幅１７の推定が容易である。

足首の進行方向の位置の時間推移は、接地している足（立脚期の足）が移動せず、接地していない足（遊脚期の足）が進行方向に移動する。そのため、移動していない区間、すなわち進行方向の時間推移の平坦な区間５４が、接地しているタイミングであり、その区間の前後の距離５５が歩幅１７とほぼ一致する。この進行方向に時間推移のグラフの特徴は非健常歩行であっても変わらない。つまり、足首の進行方向の時間推移を利用することにより、歩幅１７を容易に推定できる。

ここで、図６に歩幅１７を推定する処理を記載する。前述の理由から、一般的に足の接地を表す上下方向の位置情報ではなく、進行方向の位置情報を用いる。

まず初めに、左足の解析を行う。ステップＳＴ６１では、左足首の進行方向の位置６１を時系列にプロットする。歩幅１７を推定するのに必要である、足が接地している区間を算出するために、進行方向の時間推移の平坦な区間である抽出区間６２を求める必要がある。

そこで、ステップＳＴ６２では、抽出区間６２を進行方向の時間推移の微分値（速度）が第１閾値以下となる区間とし、これを抽出する。

次に、ステップＳＴ６３では、抽出した区間の統計量を取得する。本実施例では、統計量は平均値を用いた。ただし、中央値のほか、平均値に係数をかけた値など、抽出した区間を取得する手段であればよい。

最後に、ステップＳＴ６４では、時系列に並んだ区間の統計量の差分を歩幅１７とすることで、各ｎ歩目の歩幅１７を推定する。本実施例では、時系列に並んだ区間の統計量の差分を歩幅としたが、差分以外に、時系列に並んだ区間の統計量を用いた統計処理や、機械学習手法を用いてもよい。

右足についても、同様の解析手法で行う。左右の処理の順番が入れ替わってもよいことは言うまでもない。

しかし、歩幅１７は周期的運動である為、周期的な解析を行う事ができるとより解析が簡易となる。

そこで、図７に示す、進行方向における任意の脚部の左右間距離の時間推移を示す曲線を用いる。本実施例では、左足首のキーポイント７１に対する右足首のキーポイント７２の進行方向の左右間距離７３の時間推移を示す曲線７４を用いる。この曲線の左右間距離７３は、立脚期、遊脚期（両足の接地状態）に関わらず、常に左右の足首間の進行方向の距離である。本実施例では、足首のキーポイント７１、７２を用いたが、使用するキーポイントは踵やつま先など足の任意位置で構わない。以後、足首の左右間距離７３の時間推移を示す曲線７４を歩幅曲線７４と定義する。

歩幅曲線７４は、歩行に応じて周期的な曲線であり、解析が簡便になる。両足接地時付近では、歩幅曲線７４の変化量が減少し、歩幅曲線７４の微分値７５の絶対値がある閾値内に入ることから、両足接地区間７６の抽出が可能となる。閾値には、第二閾値７７を用いる。そして、その区間内における歩幅曲線７４の平均値を歩幅１７の推定値とすることによって、歩幅１７の推定が可能となる。また、歩幅曲線７４の符号で左右の足の判定を行い、歩幅１７を検出した順番で何歩目かを判断可能である。本実施例の第二閾値７７は１００ｍｍ／ｓを使用した。第二閾値７７は、システムの構成により適宜調整すべきパラメータであるが、歩幅曲線７４の変化量が減少する区間を抽出する値として、２０ｍｍ／ｓから３００ｍｍ／ｓ程度の範囲が妥当である。

歩幅曲線７４は、図５（ｅ）、図５（ｆ）に示すように、健常歩行、非健常歩行によって傾向が変化することなく、非健常方向の歩幅１７を推定するのに有用である。

図８を用いて、本実施例における歩幅曲線７４を用いて歩幅１７を推定する方法を詳細に説明する。

最初に、ステップＳＴ８１において、進行方向の左右の足首間の距離（歩幅曲線７４）を時系列にプロットする。

次に、ステップＳＴ８２において、進行方向の左右の足首間の距離の時系列データを時間で微分する。

次に、ステップＳＴ８３において、進行方向の左右の足首間の距離の時系列データを時間微分値（歩幅曲線７４の微分値７５）が、第二閾値７７以下となる区間を抽出する。

次に、ステップＳＴ８４において、抽出した区間における進行方向の左右の足首間の距離（歩幅曲線７４）の平均値を歩幅１７として取得する。

最後に、ステップＳＴ８５において、取得した歩幅１７の符号に応じて、左右の足を判定し、１歩目から順に歩幅１７とし歩容解析の結果とする。

本実施例では、区間内の歩幅曲線７４の平均値を用いたが、区間内の中央値や、平均値に係数をかけた値など区間内のその他の統計値を用いてもよい。

歩行速度推定アルゴリズム１３ｃは、歩行速度１８を骨格情報１６から推定する。また、その他歩容解析アルゴリズム１３ｄを設けて、その他の所望の歩容解析を行ってもよい。

（３．歩容解析システムの解析結果の提示）
演算部１３が処理した各解析結果は、解析結果提示部１４によって、被測定者２１や、理学療法士（図示せず）などに提示される。提示方法は、モニタ（図示せず）に表示してもよく、印刷物に記載してもよい。また各解析アルゴリズムの結果を基に、歩行自立度や転倒リスクなどの総合的な指標を提示してもよい。

以上のように構成した歩容解析システム１１について、以下、その動作と効果を説明する。

骨格情報１６を推定する姿勢推定アルゴリズム１３ａを用いた歩幅推定において、被測定者２１の上下方向（足の接地の有無）ではなく、進行方向の位置情報を用いて、歩幅１７を推定する。推定には、左右の脚部の特定部位の進行方向の速度が第一閾値以下となる区間を抽出するステップＳＴ６２と、前記区間の統計量を取得するステップＳＴ６３と、時系列に並んだ前記統計量の前後の距離から歩幅１７を推定するステップＳＴ６４と、を設ける。このことにより、被測定者２１の下肢に麻痺がある際の引きずり歩行など異常歩行においても、歩幅１７を容易に検出でき、リハビリテーションにおける歩容解析に有用である。

次に、任意の脚部の左右間距離７３の時間推移を示す曲線（歩幅曲線７４）を用いることにより、被測定者２１の下肢に麻痺がある際の引きずり歩行など異常歩行においても、歩幅１７を容易に検出でき、リハビリテーションにおける歩容解析に有用である。加えて、周期的な運動である歩行を、周期的な歩幅曲線７４で表現することができ、歩幅曲線７４の符号で左右の足の判定など、人間がデータを見たときの可読性、コンピューターによる処理性に優れる。

図９、図１０はシステムを構成する図、図１１はシステムの処理を説明する図、図１２は歩幅曲線の学習データ収集時の外観を説明する図である。これらを用いて、実施例２を説明する。実施例１と重複する内容は省略することもある。

（１．歩容解析システムの全体構成）
図９、図１０のシステムを構成する図を用いて、歩容解析システム１１の全体構成を説明する。

図９はシステム全体の構成を示す図である。歩容解析システム１１は、歩行車９１と、演算部１３と、解析結果提示部１４とから構成されている。歩行車９１は、画像取得部１２と移動量取得部９２とを備える。演算部１３は、姿勢推定アルゴリズム１３ａ、歩幅推定アルゴリズム１３ｂ、歩行速度推定アルゴリズム１３ｃ、その他歩容解析アルゴリズム１３ｄを有する。画像取得部１２は使用者１０１の画像データ１５を取得し、移動量取得部９２は歩行車９１の移動量データ９３を取得し、演算部１３は使用者１０１の歩行を解析し、解析結果提示部１４はその解析結果を提示する。画像データ１５と、移動量データ９３は、計測した時間情報を有し、２つのデータを同期させて解析可能であるとよい。解析処理に関しては後述する。

図１０は歩行車９１を用いる歩容解析システム１１の外観図である。使用者１０１を補助する歩行車９１に画像取得部１２と移動量取得部９２が設けられている。これら、画像取得部１２と移動量取得部９２は脱着可能に設けられていてもよく、既存の歩行車９１に後付け可能であってもよい。

画像取得部１２は、一般的なｗｅｂカメラや、ＲＧＢ－Ｄカメラ（深度カメラ）、スマートフォン、産業用カメラ、ビデオカメラ等の画像を取得できる装置であればよい。また、画像には、フレームごとの画像に分解可能な動画も含まれる。

歩行車９１に取り付けた画像取得部１２と、使用者１０１はその距離が近いために被写体距離が近くなる。そのため、通常のカメラでは使用者１０１の体の一部しか撮像することができず、使用者１０１の全身の歩容解析ができない。歩行は全身動作であり、全身の歩容解析が重要である。そこで、画像取得部１２には広角カメラ１台を用いるとよい。特に１６０度以上の広角カメラを用いることで、１台で全身が撮像可能になり、複数台カメラによるデメリットもなく、全身の歩容解析が可能になる。

歩行車９１には、移動量取得部９２が設けられ、移動量データ９３を取得可能である。歩行車９１の走行輪には、移動量取得部９２として、エンコーダが設けられている。移動量取得部９２は、そのほかに、床面に光を照射しその反射をセンサで検出する手法でもよく、回転体を床面に接地させロータリーエンコーダがその回転を検出する手法でもよく、自己位置推定から得られる手法でもよく、歩行者自立航法測位を用いた手法等、移動量を取得可能であればよい。

演算部１３は、後述するアルゴリズムを処理するための処理装置である。演算部１３は、画像取得部１２が取得した画像データ１５と、移動量取得部９２が取得した移動量データ９３を処理可能であれば、歩行車９１と別体あるいは、歩行車９１に搭載した同一体でもよい。歩行車９１と別体である場合は、画像取得部１２が取得した画像と、移動量取得部９２が取得した移動量データ９３を保存装置（図示せず）に保存した後に、転送してもよい。転送には、ＵＳＢフラッシュメモリを使う方法や、ローカルネットワークによる無線転送等の転送手段が用いられる。また、画像取得部１２と、移動量取得部９２と、演算部１３とをＵＳＢケーブル等の通信手段によって、直接接続しても良い。

（２．歩容解析システムの解析処理）
本実施例では、実施の形態１と同様に歩幅曲線７４を用いて、歩幅１７を推定する。姿勢推定に関しては、使用者１０１を前方から測定する場合においては３Ｄ姿勢推定のみが使用可能である。本実施例においては、画像取得部１２は歩行車９１に設けられているために、画像取得部１２が移動する。そのため、歩幅曲線７４を画像からの姿勢推定のみで、推定することは不可能である。歩幅曲線７４は実施の形態１で説明しているため省略する。

そこで、図１１に示す機械学習手法を用いて、歩行する使用者１０１の骨格情報１６と、移動量取得部９２が取得した移動量データ９３を統合し、歩幅曲線７４を推定する。機械学習手法には、使用者１０１の骨格情報１６の一部である足首のキーポイント７１、７２の位置情報１１１と移動量データ９３を入力とし、計測機による歩幅曲線７４の真値を教師データとする教師あり学習を用いて、モデルを構築する。

本実施例では、多層パーセプトロン（Ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ、 ＭＬＰ）１１２を用いた。入力データは、時系列データの推移を学習するために、推定フレームと前後４０フレームの８１フレームのデータを使用した。８１フレームにわたる中央（４１フレーム目）の歩幅曲線７４の値を出力（推定値）とした。

教師あり学習における学習データの収集には、図１２に示すように、使用者１０１や歩行車９１に取り付けた再帰性反射マーカ１２１と３次元位置測定機１２２とを用いて、使用者１０１が歩行する際の測定機によるデータ（真値）と、画像データ１５、移動量データ９３を収集した。３次元位置測定機１２２は、複数の赤外線カメラ１２３で、測定範囲を囲み、再帰性反射マーカ１２１の位置を計測する装置である。歩容解析システム１１は、学習データ収集時に、３次元位置測定機１２２と、時間同期するために、赤外線発光体１２４を備えているとよい。

足首のキーポイント７１、７２の位置情報１１１は、足首である必要はなく脚部の任意のキーポイント３１でよい。また、位置情報１１１は、上下方向と進行方向の両方を用いてもよいし、その一方であってもよい。また、左右１セットのキーポイント３１だけでなく、複数のキーポイント３１を入力としてもよい。さらに、微分して速度に変換してもよい。移動量データ９３は、移動量データ９３を基に速度に変換した値を用いてもよい。

本実施例では、機械学習手法にＭＬＰ１１２を用いたが、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、Ｔｒａｎｓｆｏｒｍｅｒを用いてもよい。

本実施例では、教師データとなる歩幅曲線７４の真値の取得には、３次元位置測定機１２２を用いた。真値の取得手段には、その他に、脚部や全身に加速度センサを装着するモーションキャプチャーシステムや、２Ｄライダー・３Ｄライダーを用いる手法、歩行路に複数のセンサを並べて歩容を取得する手法等、進行方向における任意の脚部の左右間距離７３を測定できる手段であればよい。

以上のように構成した歩容解析システム１１について、以下、その動作と効果を説明する。

姿勢推定アルゴリズム１３ａが推定した歩行する使用者１０１の骨格情報１６と、移動量取得部９２が取得した移動量データ９３を統合し、マルチモーダルな機械学習により歩幅曲線７４を推定する。従来の開示では、このように歩行車９１のような移動体に搭載された画像取得部１２の骨格情報１６から、歩幅１７や歩行速度１８を推定することは難しかった。また、歩幅１７に関して、詳細な推定アルゴリズムは開示されていない。本開示の歩幅曲線７４を用いることによって、歩行車９１のような移動体に搭載された画像取得部１２であっても、歩幅１７を推定することができる。

画像取得部１２と移動量取得部９２は脱着可能に設けられていてもよく、既存の歩行車９１に後付け可能である。このことにより、例えば安価なｗｅｂカメラと、エンコーダと小型コンピューターを既存の歩行車９１に取り付けるだけで、歩容解析が可能な歩行車９１にすることができる。歩行車９１を含めて既製品で構成できるため、従来の歩容解析システムに比べて安価に提供可能である。

図１３、図１４はシステムを構成する図、図１５はシステムの派生を示す図である。これらを用いて、実施例３を説明する。実施例１、実施例２と重複する内容は省略することもある。なお、被測定者２１と使用者１０１は、歩行車９１の使用の有無で表記が異なるが、歩容解析（歩幅解析）の処理においては、同様に処理される。

（１．歩容解析システムの全体構成）
図１３、図１４のシステムを構成する図を用いて、歩容解析システム１１の全体構成を説明する。

図１３はシステム全体の構成を示す図である。歩容解析システム１１は画像取得部１２と、演算部１３と、解析結果提示部１４とから構成されている。画像取得部１２は、移動量取得部９２を備える。演算部１３は、姿勢推定アルゴリズム１３ａ、歩幅推定アルゴリズム１３ｂ、歩行速度推定アルゴリズム１３ｃ、その他歩容解析アルゴリズム１３ｄを有する。画像取得部１２は使用者１０１の画像データ１５を取得し、演算部１３は被測定者２１の歩行を解析し、解析結果提示部１４はその解析結果を提示する。画像取得部１２、移動量取得部９２、演算部１３、解析結果提示部１４は、その機能を有していれば同一の端末で構成されていてもよく、スマートフォンやタブレットなどがその一例である。

図１４において、画像取得部１２は、被測定者２１が歩行する画像を撮像する。画像取得部１２は、一般的なｗｅｂカメラや、ＲＧＢ－Ｄカメラ（深度カメラ）、スマートフォン、産業用カメラ、ビデオカメラ等の画像を取得できる装置であればよい。また、画像には、フレームごとの画像に分解可能な動画も含まれる。

画像取得部１２は、移動量データ９３を取得する移動量取得部９２を備える。図１４の実施例では、移動量取得部９２を備える移動体１４１に画像取得部１２が搭載されている。この場合、移動体１４１は、理学療法士などの測定者１４２によって、被測定者２１が測定できるように移動される。

その他の画像取得部１２と移動量取得部９２の構成を図１５の派生例に示す。

図１５（ａ）のスマートフォン等を移動させる手法では、スマートフォンやタブレットのような端末１５１を用いて、画像取得部１２は端末１５１が有するカメラ等とし、移動量取得部９２には自己位置推定や歩行者自立航法測位を用いることができる。端末１５１を保持した、理学療法士などの測定者１４２が、被測定者２１を測定することで、画像データ１５と移動量データ９３が取得可能である。これによって、歩容解析ができる。

図１５（ｂ）の移動体が自走する手法では、移動量取得部９２を備える移動体１４１に画像取得部１２が搭載されている。移動体１４１は被測定者２１との相対距離に応じて、駆動手段１５２によって自動で走行し、歩容解析ができる。

図１５（ｃ）の被測定者が移動体を押す手法では、移動量取得部９２を備える移動体１４１に画像取得部１２が搭載されている。移動体１４１を被測定者２１が、バー１５３を用いて押すことで歩容解析ができる。

（２．歩容解析システムの解析処理）
本実施例では、実施例２と同様に歩幅曲線７４を用いて、歩幅１７を推定する。歩幅曲線７４に関しては実施の形態１で説明しているため省略する。実施例２と同じく、本実施例では、画像取得部１２が移動する。そのため、歩幅曲線７４を姿勢推定アルゴリズム１３ａからの骨格情報１６のみで、推定することは不可能である。

そこで、歩行する被測定者２１の骨格情報１６と、移動量取得部９２が取得した移動量データ９３を統合し、歩幅曲線７４を推定する。歩幅曲線７４の推定には、被測定者２１の足首のキーポイント７１、７２の位置情報１１１と移動量データ９３を入力とし、計測機による歩幅曲線７４の真値を教師データとする機械学習手法を用いる。以降は、実施例２と同様であるため省略する。

以上のように構成した歩容解析システム１１について、以下、その動作と効果を説明する。

歩行する被測定者２１の骨格情報１６と、移動量取得部９２が取得した移動量データ９３を統合し、マルチモーダルな機械学習により歩幅曲線７４を推定する。このことにより、移動する画像取得部１２からの画像データ１５であっても、歩幅１７を推定することができる。これにより、移動量データ９３を取得できれば歩幅１７が推定可能となり、画像取得部１２を備える移動体１４１や、スマートフォンやタブレットのような端末１５１で歩幅１７の推定が可能となる。

スマートフォンやタブレットのような端末１５１において、自己位置推定機能等によって移動量データ９３を取得し、その移動量データ９３と骨格情報１６を統合して、被測定者２１の動作解析を行う手法はすでに開示されているが、本発明の歩幅曲線７４とその処理を用いることにより、高精度に歩幅１７を推定することができる。

以上、本発明に係る歩容解析システム１１について、上記実施の形態により説明したが、本発明は、これに限定されるものではない。本発明の目的を達成する範囲内で変更可能であることは言うまでもない。すなわち、今回開示した実施の形態はすべての点において例示であって制限的なものではないと考えられるべきである。つまり、本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本開示は、リハビリテーションにおける歩容解析、特に歩幅の評価に適用可能である。

１１ 歩容解析システム
１２ 画像取得部
１３ 演算部
１３ａ 姿勢推定アルゴリズム
１３ｂ 歩幅推定アルゴリズム
１３ｃ 歩行速度推定アルゴリズム
１３ｄ その他歩容解析アルゴリズム
１４ 解析結果提示部
１５ 画像データ
１６ 骨格情報
１７ 歩幅
１８ 歩行速度
１９ 左右ブレ、関節角度など
２０ 歩容解析結果
２１ 被測定者
２２ スタンド
３１ キーポイント
４１ 左足
４２ 右足
４３ 左右踵間距離
５１ 健常歩行における極小区間（接地時）
５２ 足が接地していない区間
５３ 非健常者歩行における極小区間（接地時）
５４ 時間推移の平坦な区間
５５ 区間の前後の距離
６１ 左足首の進行方向の位置情報
６２ 抽出区間
７１ 左足首のキーポイント
７２ 右足首のキーポイント
７３ 左右間距離
７４ 歩幅曲線
７５ 歩幅曲線の微分値
７６ 両踵接地区間
７７ 第二閾値
９１ 歩行車
９２ 移動量取得部
９３ 移動量データ
１０１ 使用者
１１１ 足首のキーポイントの位置情報
１１２ 多層パーセプトロン（Ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ、 ＭＬＰ）
１２１ 再帰性反射マーカ
１２２ ３次元位置測定機
１２３ 赤外線カメラ
１２４ 赤外線発光体
１４１ 移動体
１４２ 測定者
１５１ スマートフォンやタブレットのような端末
１５２ 駆動手段
１５３ バー

Claims (8)

1. 歩行を行う被測定者の画像を取得する画像取得部と、
   前記画像取得部の移動量を取得する移動量取得部と、
   前記画像の前記被測定者の骨格情報を推定する姿勢推定アルゴリズムと、歩幅を推定する歩幅推定アルゴリズムとを有する演算部と、
   を備える歩容解析システムにおいて、
   前記歩幅推定アルゴリズムは、
   少なくとも、
   前記被測定者の進行方向における脚部の時系列位置情報と、
   前記移動量取得部が取得した前記移動量と、
   を入力として、
   前記進行方向における任意の脚部の左右間距離の時間推移を示す曲線を推定し、
   前記任意の脚部の左右間距離の時間推移を示す曲線が、両足接地と判定できる区間を抽出し、
   前記区間内における、前記任意の脚部の左右間距離の時間推移を示す曲線の統計値から歩幅を推定すること
   を特徴とした歩容解析システム。
   
2. 前記歩容解析システムは、
   歩行車を使用する使用者の歩容解析を行うために、
   前記画像取得部と、
   前記移動量取得部と、
   は前記歩行車に搭載され、
   前記移動量取得部は前記歩行車の移動量を取得すること
   を特徴とした請求項１記載の歩容解析システム。
   
3. 前記画像取得部と、前記移動量取得部は、
   既存の歩行車に脱着可能としたこと
   を特徴とした請求項２記載の歩容解析システム。
4. 請求項１に記載の歩容解析システムにおいて、
   請求項１における移動量取得部が取得する移動量は、
   測定者が移動させる移動体または、使用者が移動させる移動体または、自走する移動体が取得する移動量であること
   を特徴とした請求項１記載の歩容解析システム。
5. 請求項１に記載の歩容解析システムにおいて、
   請求項１における移動量取得部が取得する移動量は、
   画像取得部を有する端末が取得する移動量であること
   を特徴とした請求項１記載の歩容解析システム。
6. 前記歩幅推定アルゴリズムは、
   前記進行方向における任意の脚部の左右間距離の時間推移を示す曲線の微分値が第二閾値以下である区間を両足接地区間として、
   前記両足接地区間中における、前記任意の脚部の左右間距離の時間推移を示す曲線の平均値や中央値などの統計値を用いて、
   歩幅を推定すること
   を特徴とした請求項１または請求項４ないし５記載の歩容解析システム。
7. 歩行を行う使用者を補助する歩行車と
   前記歩行車に設けた使用者の画像を取得する画像取得部と、
   前記歩行車の移動量を取得する移動量取得部と、
   少なくとも、前記画像取得部から取得した画像と、前記移動量取得部から取得した移動量とを入力とする演算部と、
   から構成される歩容解析システムにおいて、
   少なくとも、
   前記使用者の進行方向における脚部の時系列位置情報と、
   前記移動量取得部が取得した前記移動量と、
   を入力として、
   進行方向における任意の脚部の左右間距離の時間推移を示す曲線を教師データとする教師あり学習を行うこと
   を特徴とした学習手法。
8. 歩行を行う被測定者の画像を取得する画像取得部と、
   前記画像取得部の移動量を取得する移動量取得部と、
   少なくとも、前記画像取得部から取得した画像と、前記移動量取得部から取得した移動量とを入力とする演算部と、
   から構成される歩容解析システムにおいて、
   少なくとも、
   前記被測定者の進行方向における脚部の時系列位置情報と、
   前記移動量取得部が取得した前記移動量と、
   を入力として、
   進行方向における任意の脚部の左右間距離の時間推移を示す曲線を教師データとする教師あり学習を行うこと
   を特徴とした学習手法。