WO2021132426A1

WO2021132426A1 - スマートトレッドミル

Info

Publication number: WO2021132426A1
Application number: PCT/JP2020/048346
Authority: WO
Inventors: 中村　仁彦; 洋介池上; 義武太田; 裕次神▲崎▼; 大貴古賀
Original assignee: 国立大学法人東京大学; 株式会社大武ルート工業
Priority date: 2019-12-26
Filing date: 2020-12-24
Publication date: 2021-07-01
Also published as: CN114845785A; JPWO2021132426A1; TW202135902A; EP4082635A4; KR20220116237A; EP4082635A1; US20230031291A1

Abstract

トレッドミルは、フレームと、エンドレスベルトと、エンドレスベルトの駆動部と、フレームに設けてあり、姿勢および／あるいは位置が調整可能である複数のカメラと、各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する動作データ取得部と、前記動作データを用いて対象の動作を分析する動作分析部と、前記動作データに基づいて、前記エンドレスベルトの駆動部を制御する制御部を備えている。

Description

スマートトレッドミル

本発明は、トレッドミルに係り、詳しくは、モーションキャプチャ機能及び運動解析機能を備えたスマートトレッドミルに関するものである。

トレッドミルは運動トレーニングやリハビリテーションの場で広く使用される装置である。トレッドミルには、フォースプレートや位置検知センサを備えたものもあり、また、検知結果に応じてトレッドミルの速度を制御するものもあるが（特許文献１～９）、基本的には単機能（歩行／走行機能）で製品となっているものが殆どである。したがって、トレッドミル上の対象の歩行動作の解析や評価を行う場合には、モーションキャプチャ空間にトレッドミルを置いて、対象の動作を計測することが行われている。

典型的なモーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。光学式モーションキャプチャは、再帰性反射材が塗布された複数の光学式マーカを対象の身体に取り付け、赤外線カメラなどの複数のカメラで対象の動作を撮影することで、光学式マーカの移動軌跡から対象の動作を取得する。赤外線光源を用いた光学式モーションキャプチャでは、外光の影響を受けないカメラで囲まれた空間で計測を行う必要があり、計測空間が限定的である。

光学式モーションキャプチャにしても、慣性センサを用いたモーションキャプチャにしても、対象の身体に複数のマーカや複数のセンサを装着する必要があるため、動作計測の準備に時間や人手がかかる、対象の動きが制限されて、自然な動きを妨げるおそれがある、という欠点がある。

最近では、いわゆるマーカレスモーションキャプチャ技術が登場している。本明細書において、「マーカレス」とは、対象の身体に装着するマーカやセンサを用いないことを意味する。マーカレスモーションキャプチャ技術としては、距離画像（深度画像）から関節位置を推定する手法や、ＲＧＢ画像から関節位置を推定する手法が知られている。例えば、ビデオモーションキャプチャ技術（非特許文献１）は、複数台のＲＧＢカメラの映像から完全非拘束でモーションキャプチャを行う技術である。

米国特許第４８３００２１号特開２０１３－２２６３４０特開２０１５－１０７２４７米国特許第６０１０４６５号米国特許第８００２６７２号米国特許第６１７３６０８号特開平１０－２４３９７９米国特許第５３６８５３２号米国特許第５８００３１４号

T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231. Openpose. https://github.com/CMU-Perceptual-Computing-Lab/openpose. http://cocodataset.org/#keypoints-leaderboard Y. Nakamura, K. Yamane, Y. Fujita, and I. Suzuki. Somatosensory computation for man-machine interface from motion-capture data and musculoskeletal human model. Trans. Rob., 21(1):58-66, Feb 2005.

　本発明は、トレッドミルとマーカレスモーションキャプチャを組み合わせることで、高機能トレッドミルを提供することを目的とするものである。

　本発明が採用した技術手段は、
　フレームと、
　対象が載る歩行面を提供するエンドレスベルトと、
　ベルト駆動部と、
　フレームに設けてあり、姿勢および／あるいは位置が調整可能である複数のカメラと、
　各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する動作データ取得部と、
　を備えたモーションキャプチャ一体型トレッドミル、である。

　１つの態様では、前記トレッドミルは、前記動作データを用いて対象の動作を分析する動作分析部を備えている。
　１つの態様では、前記動作分析部は、前記動作データに加えて、エンドレスベルトの動作情報（速度情報やベルトの傾き）を用いて対象の動作を分析する。

　１つの態様では、前記トレッドミルは、前記動作データに基づいて、当該トレッドミルの動作を制御する制御部を備えている。
　トレッドミルの動作には、エンドレスベルトの回転、エンドレスベルトの傾斜が含まれる。エンドレスベルトの回転駆動部、エンドレスベルトの傾斜駆動部を制御することで、エンドレスベルトの走行速度（ベルト速度）、エンドレスベルトの傾きを制御することができる。
　１つの態様では、前記制御部は、
　前記動作データに基づいて入力データを生成するデータ生成部と、
　前記入力データに応じて制御信号を生成する制御信号生成部と、
を備え、
　前記制御信号を前記ベルト駆動部に出力してベルト速度を制御する。
　１つの態様では、エンドレスベルトは傾斜駆動部によって傾斜可能であり、
　前記制御部は、前記制御信号を前駆傾斜駆動部に出力してベルト傾斜を制御する。

　１つの態様では、前記動作データ取得部は、各カメラ画像で取得した対象の画像情報を用いて、対象の関節位置の確からしさの尤度の空間分布を取得し、前記尤度の空間分布に基づいて、各フレームおける対象の３Ｄ姿勢を取得する。
　１つの態様では、前記対象において、隣接する関節間の距離が定数として得られており、
　前記動作データ取得部は、
　前記尤度の空間分布を用いて、各特徴点に対応する１つあるいは複数の特徴点の位置候補を取得し、
　前記特徴点の位置候補と前記対象の多関節構造を用いた逆運動学に基づく最適化計算を行うことで、前記対象の各関節角を取得し、
　前記関節角を用いて順運動学計算を行うことで、前記対象の関節を含む特徴点の位置を取得する。
　１つの態様では、前記探索範囲は、前記特徴点の位置を中心として所定間隔で３次元状に分布する所定数の点群である。
　１つの態様では、前記逆運動学に基づく最適化計算において、前記尤度の空間分布が用いられる。
　１つの態様では、前記処理部は、１つあるいは複数のフレームで取得されている各特徴点を用いて特徴点位置候補の探索範囲を設定し、フレームt+1で取得された尤度の空間分布を用いて、フレームt+1における各関節位置の１つあるいは複数の特徴点位置候補を取得する。
　１つの態様では、前記処理部は、
　前記特徴点の位置を、他の複数のフレームで取得された複数の特徴点の位置を用いて時間方向に平滑化し、
　平滑化された特徴点の位置と前記対象の多関節構造を用いた逆運動学に基づく最適化計算を行うことで、前記対象の各関節角を取得する、
　ように構成されている。

　本発明に係るトレッドミルは、トレッドミル上で歩行ないし走行中の対象の動作計測を行う場合に、ビデオカメラを複数台設置するだけで、コンピュータを利用して所定のアルゴリズムを実行することで、よりシンプルな構成で、リアルタイムで動作計測及び動作分析を行うことができ、対象にマーカを付けたり、大掛かりなモーションキャプチャ空間を設置する準備が必要ない。マーカを装着する対象や理学療法士の負担を大幅に軽減し、通常のトレッドミルを用いる場合とほぼ同様の準備で、対象の動作計測及び動作分析を行うことができる。
　本発明では、トレッドミルとマーカレスモーションキャプチャを組み合わせることで、モーションキャプチャという１つの手段を用いるだけで、モーションキャプチャにより取得した動作データに基づいて、あらゆる制御に対応可能である。
　モーションキャプチャにより計測された動作データに基づいて動作分析ないしトレッドミルの動作制御を行うことで、例えば、歩行訓練において、従来理学療法士が目視で行っていた作業をトレッドミルの機能で対応することができる。

本実施形態に係るトレッドミル（ダブルベルトタイプ）の斜視図である。本実施形態に係るトレッドミル（シングルベルトタイプ）の斜視図である。図１に示すトレッドミルの平面図及び側面図であり、カメラ配置の第１形態を示す。トレッドミルの平面図及び側面図であり、カメラ配置の第２形態を示す。トレッドミルの平面図及び側面図であり、カメラ配置の第３形態を示す。カメラ姿勢の第１の取付構造を示す。カメラ姿勢の第２の取付構造を示す。本実施形態に係るトレッドミルの構成を示すブロック図である。本実施形態に係るトレッドミル制御システムのブロック図である。ダブルベルトタイプのトレッドミルに係る制御システムのブロック図である。本実施形態に係る動作データ取得部の全体図である。カメラキャリブレーション、骨格モデルの初期姿勢・関節間距離の取得の処理工程を示すフローチャートである。左図は本実施形態に係る骨格モデルを示し、右図はOpenPoseの特徴点を示す。関節位置候補取得部の処理工程を示すフローチャートである。モーションキャプチャを用いた動作分析の工程を示すフローチャートである。本実施形態にかかるカメラキャリブレーションを示す概略図である。本実施形態に係るトレッドミルの動作制御における目標ベルト速度の算出方法を示すブロック線図である。

［Ａ］スマートトレッドミルの全体構成
図７に示すように、本実施形態に係るスマートトレッドミルは、トレッドミルと、複数台のカメラと、１つあるいは複数のコンピュータと、ディスプレイから構成されるトレッドミルシステムである。トレッドミルは、対象が載る歩行面を提供するエンドレスベルトと、駆動部と、操作部と、を備える。スマートトレッドミルは、さらに、動作データ取得部と、動作分析部と、制御部とを備えており、これらはコンピュータによって構成される。動作データ取得部は、例えば、マーカレスモーションキャプチャであり、動作データ取得部によって対象の運動時（例えば、歩行時）の３Ｄポーズの時系列データが取得される。動作分析部は、動作データを処理することで分析データを出力する。制御部は、動作データあるいは／および分析データを用いて、トレッドミルの駆動部に所定の指令を出力して、トレッドミルの動作を制御する。

図１～図４に示すように、トレッドミルは、フロントベース１と左右のサイドフレーム２からなるベースフレームと、左右のサイドフレーム２間に支持されたトレッドベース３と、トレッドベース３の上下に位置して走行するエンドレスベルト（走行ベルト）４と、を備えている。エンドレスベルト４は、ベースフレームの前方に回転可能に設けられたフロントローラ（駆動ローラ）と、ベースフレームに回転可能に設けられたリアローラ（従動ローラ）に巻き掛けされており、エンドレスベルト４の上側部位が歩行面ないし走行面（以下、代表して「歩行面」という）を形成している。

図１、図２、図３、図４に示す態様では、エンドレスベルト４は、並行して走行する２つのエンドレスベルト（右足用の第１ベルト４Ａ、左足用の第２ベルト４Ｂ）を備えている。トレッドミルは、第１ベルト４Ａを駆動させる第１モータ（図示せず）と、第２ベルト４Ｂを駆動させる第２モータ（図示せず）を備えている。このようなダブルベルトタイプのトレッドミルは公知であって、例えば、特許文献２、６、７に開示されており、具体的な構成は、特許文献２、特許文献７の記載を参照することができる。図１Ａに示すように、エンドレスベルト４はシングルベルトでもよい。

トレッドミルは、フロントベース１内に位置して、モータを含むベルト駆動部を備えており、ベルト駆動部によって駆動ローラを駆動することで、エンドレスベルト４を走行させる。モータの回転速度は可変であって、モータの回転速度を変えることで、エンドレスベルト４の速度調整が可能である。エンドレスベルト４の速度調整は、操作部（図示せず）から操作で行うことができる。操作部には、例えば、スタートボタン、停止ボタン、増速ボタン、減速ボタンが設けてある。操作部には、エンドレスベルト４の歩行面に傾斜を付けるための傾斜調整ボタンを設けてもよい。エンドレスベルト４の傾斜の調整は、例えば、トレッドベース３及びエンドレスベルト４の傾斜機構によって実行される。傾斜調整ボタンからの指令によって傾斜機構のアクチュエータ（モータ、油圧、空気圧が例示される）を作動させてトレッドベース３の傾斜を変えることによって調整可能である。傾斜機構によるベルトの傾斜方向は、典型的には、縦方向の傾斜（ベルトの前端と後端の高さが異なる）であるが、それに加えて、あるいは、代えて、横方向の傾斜（ベルトの左端と右端の高さが異なる）であってもよい。エンドレスベルト４の速度は、制御部によって制御可能である。さらに、エンドレスベルト４の傾斜を制御部によって制御可能としてもよい。

左右のサイドフレーム２の前側には第１支柱５が設けてあり、後側には第２支柱６が設けてある。第１支柱の上端と第２支柱の上端間には手摺フレーム７が設けてある。ベースフレームの前端には、左右の支柱８０を含むフロントフレーム８が立設されており、フロントフレーム８にはディスプレイ９が支持されている。本明細書において、トレッドミルにおいて、エンドレスベルト４を除く部位、ないし構造体（フロントベース１、サイドフレーム２、トレッドベース３、第１支柱５、第２支柱６、手摺フレーム７、フロントフレーム８）を総称してフレームと呼ぶ。

本実施形態に係るトレッドミルは、歩行面を囲むように配置した４台のカメラＣを備えており、走行ベルト上の対象を、それぞれ異なる視点を備えた４台のカメラで撮影するようになっている。図１、図２に示す態様では、フロントフレーム８の左右の支柱８０の上端に位置してカメラＣ１、Ｃ２が設けてあり、左右のサイドフレーム２の後端ないしトレッドベース３の後端の幅方向両側に位置してカメラＣ３、Ｃ４が設けてある。図３に示す態様では、左右の第１支柱５にカメラＣ１、Ｃ２が設けてあり、左右の第２支柱６にカメラＣ３、Ｃ４が設けてある。図４に示す態様では、左右の第２支柱６は、手摺バー７を越えて上方に延出する延出部６０を備えており、左右の第１支柱５にカメラＣ１、Ｃ２が設けてあり、左右の第２支柱６の延出部６０にカメラＣ３、Ｃ４が設けてある。図１～図４に示すカメラの台数や配置は例示であって、図示の態様に限定されない。カメラＣ１～Ｃ４は、姿勢、および／あるいは、位置が調整可能にフレームに固定される。図５、図６に、カメラの取付構造を例示する。図５、図６に示すカメラの取付構造は例示であって、図示の態様に限定されない。

第１形態に係るカメラＣ１、Ｃ２（図１、図２）は、フロントフレーム８の上端に姿勢調節可能に取り付けられる。図５に示すように、カメラＣ２は、第１軸１０の上端に上下に回動可能に取り付けられており、第１軸１０は、フレーム８に固定された円筒状の第２軸１１に対して第１軸１０を中心に回転可能に取り付けられている。カメラＣ１、Ｃ２は、さらに、フレーム８に対して高さ位置を調整可能としてもよい。第１形態に係るカメラＣ３、Ｃ４（図１、図２）は、サイドフレーム２ないしトレッドベース３に収納可能（例えば、収納時にはフレーム上面と面一にフラット状態となる）に構成してもよい。

第２形態、第３形態に係るカメラＣ１、Ｃ２（図３、図４）は、第１支柱５に姿勢および／高さ位置が調整可能に取り付けられる。図６に示すように、カメラＣ２は、筒状体１２の周面に上下に回動可能に取り付けられており、筒状体１２は、第１支柱６の外周に周方向に回転可能かつ高さ方向に移動可能に取り付けられている。第２形態、第３形態に係るカメラＣ３、Ｃ４（図３、図４）の取付構造にも上記カメラＣ１、Ｃ２の取付構造と類似の構造を採用することができる。

トレッドミルのエンドレスベルト４が傾斜可能な場合に、カメラは、対象の歩行動作の計測中に、エンドレスベルト４の傾斜の影響を受けない不動部位に取り付けられる。例えば、カメラを第１支柱５、第２支柱６、手摺フレーム７、フロントフレーム８のいずれかに取り付けた場合には、エンドレスベルト４及びトレッドベース３が傾斜しても、カメラの姿勢や位置は不変である。

複数台のカメラＣ１～Ｃ４は、トレッドミルの歩行面上の対象の全身を撮影できるように、姿勢及び位置が調整されて、フレームに取り付けられている。図示の態様では、４台のカメラＣ１～Ｃ４を示したが、カメラの台数は限定されない。また、ミラーを設けてカメラの台数を減らしてもよい。カメラは、広角レンズや魚眼レンズを備えていてもよい。広角レンズや魚眼レンズを用いる場合には、適宜、画像歪み補正が適用され、歪み補正後画像が用いられる。複数台のカメラＣ１～Ｃ４はトレッドミルのフレームに組み込まれているので、トレッドミルが占める空間と略同じ空間でモーションキャプチャを実行することができる。

コンピュータは、データ処理を行うプロセッサ、データを記憶するメモリを備えている。コンピュータは、対象の画像データから対象の動作データ（３Ｄ姿勢の時系列データ）を取得する動作データ取得部、動作データ取得部によって得られた対象の時系列データの記憶部、対象の時系列データを用いた動作分析部、動作分析部による分析データの記憶部、分析データに基づいてトレッドミルを制御する制御部として機能する。１つの態様では、コンピュータは、フレーム、例えば、フロントベース１内に設けられる。また、コンピュータを、フレームに設けたローカルコンピュータと、ローカルコンピュータとの間で無線データ通信が可能なコンピュータやクラウドベースコンピュータから構成してもよい。１つの態様では、モーションキャプチャ用コンピュータと、動作分析用コンピュータと、トレッドミル制御用コンピュータと、が別個に用意される。

本実施形態に係るトレッドミルは、エンドレスベルト４の上側部位の下方に位置してフォースプレートを備えていてもよい。フォースプレートを備えたトレッドミルは、既知であり、例えば、特許文献１～６に開示されている。特許文献１～３には、歪みゲージを用いたフォースプレートを備えたトレッドミルが開示されている。特許文献４、５には、静電容量式センサを用いたフォースプレートを備えたトレッドミルが開示されている。特許文献６には、３方向検出可能な水晶振動子力センサを備えたトレッドミルが開示されている。対象が走行ベルト上で歩行ないし走行した時にフォースプレートで取得された時系列データは、コンピュータの記憶部に記憶される。フォースプレートで取得されたデータは、動作分析部における動作分析に用いられ得る。また、トレッドミルは、免荷装置を備えていてもよい。

［Ｂ］マーカレスモーションキャプチャ
［Ｂ－１］マーカレスモーションキャプチャの全体構成
本実施形態に係るマーカレスモーションキャプチャは、トレッドミルのフレームに取り付けられた複数台のビデオカメラと、コンピュータから構成される。図８に示すように、本実施形態に係るモーションキャプチャは、対象の動作を取得する動画取得部（ビデオカメラ）と、動画取得部で取得された画像に基づいて、関節位置を含む特徴点（Keypoints）の位置の確からしさの程度を色強度で表示するヒートマップ情報を取得するヒートマップ取得部と、ヒートマップ取得部で取得されたヒートマップ情報を用いて対象の関節位置を取得する関節位置取得部と、関節位置取得部で取得された関節位置を平滑化する平滑化処理部と、対象の身体の骨格構造、動画取得部で取得された画像の時系列データ、関節位置取得部で取得された関節位置の時系列データ等を記憶する記憶部と、動画取得部で取得された対象の画像や対象の姿勢に対応する骨格構造等を表示するディスプレイと、を備えている。対象の身体上の特徴点は主として関節であるため、本明細書及び図面において、特徴点を代表して「関節」という文言を用いており、「関節」についての説明は、関節以外の特徴点にも適用される点に留意されたい。

動画取得部は、同期している複数のカメラからなり、同時刻で取得された各カメラ画像はヒートマップ取得部に送信され、ヒートマップ取得部によって各カメラ画像においてヒートマップが生成される。ヒートマップは、身体上の特徴点の位置の確からしさの尤度の空間分布を表す。生成されたヒートマップ情報は関節位置取得部に送信され、関節位置取得部によって関節位置が取得される。取得された関節位置データは、関節位置の時系列データとして記憶部に格納される。取得された関節位置データは、平滑化処理部に送信され、平滑化関節位置、関節角が取得される。平滑化された関節位置ないし関節角、及び、対象の身体の骨格構造によって対象の姿勢が決定され、姿勢の時系列データからなる対象の動作をディスプレイに表示する。

トレッドミルの歩行面上で動作する対象はリンク構造ないし多関節構造を備えている。典型的には対象は人間であり、前記多関節構造は身体の骨格構造である。ヒートマップ取得部で用いる学習データを対象に合わせて用意する必要があるが、人間以外の対象（例えば、人間以外の動物）にも適用し得る。また、対象は、例えば人間の全身に限定されるものではなく、身体の部分であってもよい。

記憶部には、計測データや処理データが格納される。例えば、動画取得部によって取得された画像の時系列データ、関節位置取得部によって取得された関節位置データ、関節角度データが格納される。記憶部には、さらに、平滑化処理部によって取得された平滑化関節位置データ、平滑化関節角度データ、ヒートマップ取得部により生成されたヒートマップデータ、その他処理過程で生成されたデータを格納してもよい。

記憶部には、さらに、対象の身体の骨格構造を決定するデータが格納されている。このデータには、身体の骨格モデルを規定するファイル、対象の隣接する関節間距離データが含まれる。多関節体である骨格モデルの各関節の位置から、関節角度や対象のポーズが決定される。本実施形態で用いた骨格モデルを図１０左図に示す。図１０左図に示す骨格モデルは４０自由度であるが、この骨格モデルは例示である。後述するように、対象の隣接する関節間の距離を表す定数は、モーションキャプチャの初期設定時に取得することができる。対象の各関節間距離は他の手法で予め取得してもよく、あるいは、既に取得されている関節間距離を用いてもよい。本実施形態では、対象の身体の骨格構造データを用いることで、関節位置の算出において、隣接する関節間距離が時間的に不変という骨格構造特有の拘束条件を与えることができる。

ディスプレイには、動画取得部によって取得された対象の動画、モーションキャプチャによって取得された対象のポーズを表す時系列骨格画像などが表示される。例えば、コンピュータの処理部において、対象固有の骨格構造、算出された関節角及び関節位置の時系列データを用いて、フレーム毎に骨格画像（対象のポーズ）データが生成され、骨格画像データを所定のフレームレートで出力して動画としてディスプレイに表示する。

［Ｂ－２］ヒートマップ取得部
ヒートマップ取得部は、入力画像に基づいて、各関節位置を含む身体上の特徴点（keypoints）の位置の確からしさの尤度の２次元あるいは３次元の空間分布を生成し、前記尤度の空間分布をヒートマップ形式で表示する。本実施形態では、ヒートマップ取得部で取得された尤度は、２次元の画像上の各ピクセルに与えられており、複数視点からのヒートマップ情報を総合して特徴点の３次元的な存在位置の確からしさの情報を得ることができる。ヒートマップは、空間に広がって変化する値を温度分布のように色強度で空間上に表示すものであり、尤度の可視化を可能とする。本実施形態において、ヒートマップ取得部は、各関節を含む身体上の特徴点の位置の確からしさの尤度の空間分布、すなわち、ヒートマップ情報（画像の各ピクセルが尤度を表す値を保持している）が取得されていればよく、必ずしも、ヒートマップを表示することを要しない。

ヒートマップ取得部は、典型的には、畳み込みニューラルネットワーク（CNN）を用いて、入力された単一の画像から対象の身体上の特徴点の位置（典型的には関節位置）を、ヒートマップとして推定する。畳み込みニューラルネットワーク（CNN）は入力層、中間層（隠れ層）、出力層を備え、中間層は、特徴点の画像上への２次元写像の存在位置の教師データを用いた深層学習によって構築されている。

ヒートマップ取得部として、例えば、オープンソフトウェアであるOpenPose（非特許文献２）を用いることができる。OpenPoseでは、身体上の１８個の特徴点（keypoints）が設定されている（図１０右図参照）。具体的には、１８個の特徴点は、１３個の関節と、鼻、左右の目、左右の耳からなる。OpenPoseは、訓練された畳み込みニューラルネットワーク（CNN）を用いることで、１枚のRGB 画像から１８個の身体上の各特徴点（keypoints）のPart Confidence Maps(PCM)をオフラインあるいはリアルタイムで生成し、ヒートマップ形式で表示する。本明細書において、身体上の特徴点の位置の確からしさの尤度の空間分布ないしヒートマップについて、PCMという文言を用いる場合があるが、各関節位置を含む身体上の特徴点の位置の確からしさの尤度の空間分布を表す指標をPCMに限定するものでない点に留意されたい。

同期する複数のカメラから取得した各RGB画像に対し、OpenPoseによって１８個の特徴点のPart Condence Maps(PCM)が生成される。ヒートマップ取得部には、OpenPose以外の他の手法を用いることができる。対象の身体上の特徴点の位置の確からしさを表すヒートマップを取得する手法としては様々な手法が提案されている。例えば、COCO Keypoints challenge（非特許文献３）で上位入賞した手法を採用することもできる。また、独自にヒートマップ取得部のための学習器を作成して、例えば、トレッドミルのフレームに搭載されたカメラで対象を撮影した画像を学習データとして用いて、畳み込みニューラルネットワーク（CNN）を構築してもよい。

なお、各カメラ画像から得られたヒートマップを用いて関節位置の２次元座標（ヒートマップの重心座標）を推定し、それらを３次元再構成することで、各時刻における対象の３Ｄポーズを取得することができる。本発明はこのような動作データ取得手法を排除するものではないが、関節位置の２次元座標の誤推定等から、光学式モーションキャプチャのように高い精度で動作計測を行うことが難しい。そこで、本実施形態では、ヒートマップ情報を用いて関節位置の３次元再構成を行う手法であって、光学式モーションキャプチャのように高い精度で動作計測を行う手法を採用する。

［Ｂ－３］モーションキャプチャの初期設定
図３を参照しつつ、本実施形態に係るモーションキャプチャシステムにおける、カメラのキャリブレーション、骨格モデルの初期姿勢の取得、対象の関節間距離の取得について説明する。

［Ｂ－３－１］カメラキャリブレーション
複数のカメラを用いたモーションキャプチャを行うために、複数のカメラ画像を３次元再構成するためのカメラパラメータを取得する。カメラパラメータには、焦点距離や光学的中心等の内部パラメータ、カメラの姿勢・位置を表す外部パラメータ、歪みパラメータがある。カメラパラメータを取得するためのカメラキャリブレーションは、例えば、既知の形状や寸法のキャリブレーション器具（チェッカーボードやキャリブレーションワンド等）をトレッドミルの歩行面上の空間に位置させて、姿勢・位置を調整してフレームに固定した複数台のカメラで撮影し、各カメラ画像を用いた最適化計算によって実行し得る。歪みパラメータは、内部パラメータと同時に取得され得る。カメラパラメータを用いて、３次元空間上の任意の点を各カメラの画像面に投影するための投影行列を得ることができる。各カメラについての投影行列を用いて、３次元状の任意の点をカメラの撮影面のピクセル位置に変換する関数（行列）Ｐ_i が得られる。関数（行列）Ｐ_i は記憶部に格納される。

１つの態様では、両面にチェッカーパターンを備えたダブルフェースチェッカーボードを用いてキャリブレーションを行う。図１３に示すように、チェッカーボードはトレッドミルの歩行面（ベルト）上に垂直に設置される。チェッカーボードは、例えば、歩行面（ベルト）の前後方向の中間に位置して立設した支持フレームに垂直姿勢で設けられる。チェッカーボードの第１面の第１チェッカーパターンと第２面の第２チェッカーパターンは一致している。第１チェッカーパターンと第２チェッカ―パターンとの間の相対的な位置・姿勢は決定されている。前方２台のカメラで第１チェッカーパターンを撮影し、後方２台のカメラで第２チェッカーパターンを撮影する。1つの態様では、４台のカメラは、トレッドミルのフレームに取り付けられているが、４台のカメラはトレッドミルから独立したものでもよい。４台のカメラは、第１チェッカーパターン、第２チェッカーパターンのそれぞれにより形成される２つの座標空間O_chk1、O_chk2に２台ずつ分かれて配置されている。第１チェッカーパターンと第２チェッカ―パターンとの間の相対的な位置・姿勢によって決定される同次変換行列^chk2R_chk1を用いて、座標空間O_chk2においてp_chk2と表される点の座標空間O_chk1における座標p_chk1を、次式で表すことができる。

この変換により、同一の空間O_chk1で４台のカメラの相対位置・姿勢が表現・取得できる。さらに、チェッカーボード上のチェッカーパターンが設置されている高さ、並びに平板が床に対して垂直に設置されていることに基づいて、座標空間O_chk1から床面上に設定した世界座標系O_floorへの同次変換行列^chk1R_floorが導出可能である。したがって、座標空間O_chk1においてp_chk1と表される点の世界座標系O_floorにおける座標p_floorを、次式で表すことができる。

以上から、座標空間O_chk1、O_chk2を通じて、空間内の全ての点の座標、並びに全てのカメラの位置・姿勢を、世界座標系O_floorで表すことができる。本実施形態では、図７Ａに示すように、３次元座標は、原点をトレッドミルの歩行面の中央にとり、トレッドミルのベルトの走行方向に沿って後方から前方へ向かう向きをy軸、ベルトの幅方向をｘ軸、鉛直上向きをz 軸とする座標空間とする。トレッドミルのベルトの位置・姿勢及びベルト上の対象の位置・姿勢は、世界座標で規定することができる。対象の３次元関節位置データは、ある時点における対象の姿勢に加えて、トレッドミルのベルト上の対象の位置情報を規定する。ベルトの速度は、ｙ軸に沿った速度である。本実施形態に係るキャリブレーション装置についてまとめると、モーションキャプチャに用いる複数のカメラは、前記エンドレスベルトの前側に位置する１つあるいは複数の前側カメラと、前記エンドレスベルトの後側に位置する後側カメラと、を含み、前記トレッドミルには、キャリブレーション装置が設置可能であり、前記キャリブレーション装置は、前記エンドレスベルトの前後方向の中間に位置して垂直に設けられるチェッカーボードを備え、前記チェッカーボードの第１面には、前記前側カメラによって撮影される第１チェッカーパターンが設けてあり、前記チェッカーボードの第２面には、前記後側カメラによって撮影される第２チェッカーパターンが設けてある。図１３では、前側の２台のカメラ及び後側の２台のカメラを用いてモーションキャプチャを行う態様を示しているが、例えば、前側の２台のカメラのみ、あるいは、後側の２台のカメラのみでモーションキャプチャを行う場合には、いずれか一方の面のチェッカーパターンを用いてもよい。また、ベルト平面に平行に設置した水平姿勢のチェッカーボートを、単独で用いて、あるいは、ダブルフェースチェッカーボードと組み合わせて用いて、キャリブレーションを行ってもよい。また、ダブルフェースチェッカーボードを、垂直姿勢と水平姿勢との間で回動可能に支持フレームに設けてもよい。

［Ｂ－３－２］骨格モデルとヒートマップが生成される身体上の特徴点との対応
骨格モデルの各関節（図１０左図）と、ヒートマップ取得部における身体の特徴点（図１０右図、ａ，ｏ，ｐ，ｑ，ｒを除く）とを対応させる。対応関係を表１に示す。

本実施形態に係る骨格モデルの関節と、OpenPoseにおける１８個の特徴点は完全に一致してはいない。例えば、骨格モデルのpelvis(base body)、 waist、 chest、 right clavicle、left clavicle、Headに対応する特徴点は、OpenPoseには存在しない。なお、本実施形態に係る骨格モデルにおける関節、OpenPoseにおける１８個の特徴点は、共に、身体上の特徴点の代表的な特徴点であって、可能性のある全ての特徴点を網羅しているものではない。例えば、さらに詳細な特徴点を設定してもよい。あるいは、全ての身体上の特徴点が関節であってもよい。OpenPoseの１８個の特徴点だけでは決まらない関節角度については、可動範囲などの制約を考慮した最適化の結果として決定される。なお、骨格モデルの関節と、尤度の空間分布が取得される特徴点と、が初めから対応している場合には、この対応づけは不要である。

［Ｂ－３－３］骨格モデルの初期姿勢・関節間距離の取得
対象の動作計測の始点となる初期姿勢を取得する。本実施形態では、関節間距離・初期姿勢の推定を、初期画像に対し、OpenPoseを適用することで算出された特徴点のピクセル位置から求める。例えば、OpenPoseから算出した各特徴点の初期ヒートマップの重心のピクセル位置を特徴点の２次元位置と推定する。各カメラ画像上の対応する点の位置と、カメラパラメータを用いて、３次元空間上の特徴点の初期位置を推定する。初期位置が誤推定と判断された場合には、初期設定を再度行う。例えば、推定された特徴点の３Ｄ位置を各カメラ画像に投影した時の各座標のPCMスコアに閾値を設定することで誤推定を判定する。

逆運動学に基づく最適化計算には隣接する特徴点間の距離（関節間距離）の定数、すなわちリンク長が必要となるが、リンク長は対象毎に異なるため、対象毎に骨格モデルのリンク長を算出する。本実施形態に係るモーションキャプチャの精度を向上させるためには、対象毎にスケーリングを行うことが望ましい。骨格モデルは、人間の標準的な骨格構造のモデルであり、これを全身で、あるいは部位ごとにスケーリングして、対象の体型に適合した骨格モデルを生成する。

本実施形態では、得られた初期姿勢を基にして骨格モデルの各リンク長の更新を行う。骨格モデルの初期リンク長に対し、リンク長更新に用いるスケーリングパラメータを各特徴点の位置より、図１０、表１の対応を基にして算出する。図１０の左図におけるリンク長のうち、１－２、２－３、３－４、３－６、３－１０、６－７、１０－１１、のそれぞれのリンク長については、対応する特徴点が存在しないためスケールパラメータが同様の方法では決まらない。このため、その他のリンク長のスケールパラメータを用いて長さを決定する。なお、本実施形態では、人体骨格は基本的に左右対称な長さとなるため、各スケーリングパラメータは左右均等になるよう左右の平均から求めており、また骨格モデルの初期リンク長は左右均等である。Neck-Head 間のスケーリングパラメータの算出については、両耳の特徴点位置の中点を頭関節の存在する場所としてスケーリングパラメータの算出を行う。取得したスケーリングパラメータを用いて、骨格モデルの各リンク長の更新を行う。鼻・目・耳の位置を算出については、表２に示すような対応関係をもとにして各仮想関節（鼻、目、耳）の位置を算出する。

なお、リンク長は他の手法で取得してもよいし、予め取得したものを用いてもよい。あるいは、対象者に固有の骨格モデルが得られている場合には、それを用いてもよい。対象者の固有の骨格モデルは、動作分析部においても用いられ得る。

［Ｂ－４］関節位置取得部
関節位置取得部は、ヒートマップ取得部から取得されたヒートマップ情報を用いて関節位置候補を推定し、当該関節位置候補を用いて逆運動学に基づく最適化計算を実行することで骨格モデルの関節角、関節位置を更新する点に特徴を備えている。関節位置取得部は、ヒートマップデータに基づいて関節位置候補を推定する関節位置候補取得部と、関節位置候補を用いて逆運動学に基づく最適化計算を実行して関節角を算出する逆運動学計算部と、算出された関節角を用いて順運動学計算を実行して関節位置を算出する順運動学計算部と、を備えている。

本実施形態に係る関節位置候補取得部は、１つあるいは複数のフレームで取得されている各関節の３Ｄ位置（例えば、前フレームtの関節位置）を用いて関節位置候補の探索範囲を設定し、前記探索範囲内の点の全部あるいは一部を各カメラ画像平面のピクセル位置へ変換し、フレームt+1で取得された尤度の空間分布を用いて、フレームt+1における各関節位置の１つあるいは間接位置候補を取得する。

前フレームtの関節位置を用いて探索範囲を設定する場合について説明する。１フレームにおける関節位置の変化は微小であるため、フレームtにおける関節nの関節位置の３次元座標を^tＪⁿ、フレームt+1における関節位置を^t+1Ｊⁿとすると、^t+1Ｊⁿは^tＪⁿ近傍に存在すると考えられる。そこで、^tＪⁿを中心に広がった間隔sの(2k+1)^３個の格子点（kは正の整数）を考え、その集合を

と表す。例えば、^tＪⁿを中心とした間隔sの11×11×11（k=5）の格子状の点を考える。

^tＪⁿにおける全ての点は、関数Ｐｉを用いて任意のカメラの投影面のピクセル座標に変換することができることに着目する。^tＪⁿにおける１点^tＪⁿ _{ａ，ｂ，ｃ}を、カメラｉの画像平面のピクセル位置に変換する関数をＰ_ｉ、そのピクセル位置からフレームt+1におけるPCM 値を取得する関数を^t+1Ｓⁿ _ｉとすると、n_c個のカメラから算出したPCM 値の和の最大点が、フレームt+1において関節nの最も確からしい存在位置であるとみなすことができ、^t+1Ｊⁿ _predは

によって求められる。この計算をn_j個（OpenPoseの場合は１８個）の関節全てにおいて実行する。

そして、フレームt+1の各関節位置^t+1Ｊⁿは、関節角^t+1Ｑの関数であることに着目し、式（３）に示すように、逆運動学に基づく最適化計算により関節角^t+1Ｑを算出し、順運動学計算により関節位置^t+1Ｊⁿを算出する。

なお、逆運動学に基づく最適化計算における各関節の重み^t+1Ｗⁿには

と規定されるように、各関節の予測位置におけるPCM値の和を用いる。
　関節位置取得部で取得された各関節位置は、関節位置の時系列データとして記憶部に格納される。本実施形態では、関節位置取得部で取得された各関節位置は平滑化処理部によって平滑化処理されて、平滑化関節位置が生成される。

１つの態様では、式（２）で最大値となる格子点のみを求めるのではなく、全格子点の中の複数の点（例えば、７点）を関節位置点群としてPCMスコアが高くなる場所を探索することによって、逆運動学に基づく最適化計算を実行してもよい。

このように、本実施形態では、PCMスコアが最大となる３次元空間上の点を探索する方法として、３次元空間上の点群を２次元平面に投影し、そのピクセル座標のPCM値を取得し、その和（PCMスコア）を求め、点群のうちPCMスコアが最も高かった点を、PCMスコアが最大となる３次元空間上の点として関節位置候補とする。３次元上の点を各カメラ平面に投影し、そのPCMのスコアを算出する計算は軽い。本実施形態に係る関節位置候補の探索は、前フレームの情報を用いた探索範囲の限定、及び、探索範囲内の格子点の３次元位置の２次元画像(PCM)への再投影によって計算量を低減すると共に、関節位置の推定精度を向上させている。

［Ｂ－５］平滑化処理部
関節位置取得部で用いたPCMの取得、逆運動学に基づく最適化計算は時系列的な関係を考慮していないため、出力される関節位置が時間的に滑らかである保証は無い。平滑化処理部の平滑化関節位置取得部では、関節の時系列情報を用いて、時間的な連続性を考慮した平滑化処理を行う。例えば、フレームt+1で取得された関節位置を平滑化する場合には、典型的には、フレームt+1で取得された関節位置、フレームtで取得された関節位置、フレームt-1で取得された関節位置が用いられる。また、平滑化関節位置取得部では、必ずしも連続するフレームを用いなくてもよい。計算を単純にするために、先ず、身体構造情報を用いずに平滑化を行う。このため隣接する関節の距離であるリンク長は保存されない。次いで、平滑化後の関節位置を用いて、再度、対象の骨格構造を使った逆運動学に基づく最適化計算を行って、前記対象の各関節角を取得することで、リンク長を保存した平滑化を行う。

平滑化関節位置取得部は、ローパスフィルタによる関節位置の時間的平滑化を行う。関節位置取得部によって取得した関節位置にローパスフィルタによる平滑化処理を適用し、平滑化関節位置を各関節の目標位置とし、逆運動学に基づく最適化計算を行う。これにより、関節位置の時間変化の滑らかさを、各関節間距離が不変であるという骨格条件の下で生かすことが可能となる。ローパスフィルタによって求めた各関節位置をビデオモーションキャプチャの出力とすると、各関節の時間的な滑らかさは得られるが、隣接する関節間距離が定数という条件が崩れることがある。本実施形態では、このローパスフィルタ適応後の関節位置をあらためて各関節の目標関節位置と置き、再度逆運動学に基づく最適化計算を行う。逆運動学に基づく最適化計算には式（３）を用いることができるが、全関節の重みを均一（これには限定されないが）として逆運動学に基づく最適化計算を実行する。これにより、ローパスフィルタに適応した関節位置の時間変化の滑らかさを、各関節間距離が不変であるという骨格条件の下で活かすことができる。

平滑化処理部の出力には、例えば、関節角情報と骨格構造、およびその２つから一意に算出できる関節位置情報が含まれる。例えば、CG描画時に、関節角情報と、身体の骨格構造ファイルを用いて順運動学計算で身体の運動を描画する。平滑化処理部の出力に含まれる情報を記憶部に格納してもよい。

［Ｂ－６］対象の動作データ取得の流れ
本実施形態に係る入力画像から関節角度、特徴点の位置を取得するまでの工程を説明する。複数の同期したカメラによってトレッドミルの歩行面上の対象の動作が撮影され、各カメラから所定のフレームレートでRGB画像が出力される。ヒートマップ取得部は、入力画像を受信すると、対象の身体上の全特徴点において、該入力画像に基づいてヒートマップ（関節位置の確からしさの尤度の空間分布）を生成する。

関節位置取得部では、各画像のヒートマップ情報を用いて、関節位置候補の探索が行われる。１つの態様では、フレームt+1の入力画像から生成したヒートマップを受信すると、フレームtの関節位置を基に探索範囲が設定され、関節位置候補の探索が行われる。そして全関節において同じ処理を実行し、全関節の関節位置候補を取得する。

全関節位置候補に対して逆運動学に基づく最適化計算を実行する。関節位置候補と骨格モデルの関節が対応付けられており、骨格モデルは、対象者固有の骨格モデルに適合されている。特徴点の位置候補と重みを基に、逆運動学に基づく最適化計算、順運動学計算を実行して関節角、関節位置を取得する。

取得された特徴点の位置に対して、過去のフレームにおける関節位置を用いて、平滑化処理を実行することで、関節位置の時間的な動きを滑らかにする。平滑化された特徴点の位置を用いて再度逆運動学に基づく最適化計算を実行して、対象の関節角を取得し、取得した関節角を用いて順運動学計算を実行して、対象の関節位置を取得する。

本実施形態に係るモーションキャプチャは、複数のカメラの映像から深層学習を用いて推定した関節位置から、人間の骨格の構造と運動の連続性を考慮して３次元再構成を行うことで、マーカレスで、従来の光学式モーションキャプチャに匹敵する滑らかな運動計測を取得する。複数のカメラは、トレッドミルのフレームに組み込まれており、カメラの設置や対象へのマーカ取り付けの手間がかからない。また、トレッドミルが占める空間と略同じ空間で、モーションキャプチャ一体型トレッドミルを設けることができる。

［Ｃ］動作分析部
動作データ取得部によって、歩行面上で歩行する対象の３Ｄ姿勢の時系列データが取得される。各フレームにおける対象の３Ｄ姿勢は、全ての特徴点（関節位置）の３次元座標によって特定される。動作分析部では、対象の３Ｄ姿勢の時系列データを用いて各種の動作分析を行う。動作分析部は、例えば、３次元動作計測を用いた歩行分析を実行する。例えば、重心位置や重心動揺データによって、対象の前後方向あるいは側方へのふらつきを判断することができる。対象の重心位置や身体のある部位の位置（例えば関節位置）のリサージュ図を生成する。また、動作分析部は、歩行中の対象の筋張力や筋活動を推定し、可視化してディスプレイに表示する。

動作分析により取得され得る情報を例示すると、対象の各フレームにおける重心位置、対象の重心位置の時系列データ、対象の重心動揺データ、対象の身体の所定部位の動揺データ、対象の身体の全部あるいは一部の速度及び加速度、対象の身体の所定の関節の関節角度のばらつき、歩幅、左右の歩幅の差、対象の重心位置や身体のある部位の位置のリサージュ図、その他の既存の歩行動作の３次元動作分析で得られる情報を挙げることができる。これらの情報のいずれか１つあるいは複数の組み合わせを用いることで、動作分析を行い得る。

動作分析部は、動作データ取得部で取得された動作データに加えて、トレッドミルの動作情報を用いて動作分析を行い得る。トレッドミルの動作情報は、例えば、対象が歩行面上を歩行する際のエンドレスベルトの走行速度や傾斜角度である。対象の動作データとトレッドミルの動作データは、同期して記憶部に格納される。
例えば、対象の腕や肩の動きなどの上半身の動作も含め全身の運動をトレッドミルと同期させて詳細に定量化ないし可視化することで、全身の滑らかな運動として現れるようなリハビリテーションの効果を数値化できる。また、対象の重心の揺動と足の動き、トレッドミルの動きを連動させて観察することができる。また、トレッドミルのエンドレスベルトの走行速度を変化させる際の対象の全身の動作の変化をみることで、トレッドミルのみ、あるいはモーキャップのみでは観察できない、リハビリテーションの効果の評価ができる。

トレッドミルがフォースプレートを備えている場合に、動作分析部は、フォースプレートで取得された情報を用いて動作分析を行い得る。例えば、足部の着床、離床を検出して、動作分析に用いてもよい。また、歩行時の対象の生体情報（心拍数や酸素摂取量等）を取得し、動作分析部の分析において、生体情報を用いてもよい。

図１２にモーションキャプチャを用いた動作解析の処理工程を例示する。本実施形態に係るモーションキャプチャにより、歩行時の対象の関節角及び関節位置の時系列データを取得する。さらにこれに基づいて、逆動力学計算により関節トルクを取得し、前記関節トルクを用いて、筋を模倣したワイヤーを備えた筋骨格モデルにおけるワイヤー張力を最適化計算（２次計画法や線形計画法）により取得し、前記ワイヤー張力を用いて筋活動度を算出し、筋活動度の程度に応じた色が割り当てられた筋骨格画像を生成し、視覚化された筋活動度を伴う筋骨格画像を所定のフレームレートで出力して動画としてディスプレイに表示する。以下、詳細に説明する。

モーションキャプチャによって取得した骨格の全自由度の時系列のフレーム間変位を連続関数で補間することによって、各フレーム時刻における骨格の全自由度の変位、その時間微分である速度、またその時間微分である加速度を計算する。それらから算出された各リンクの位置・角度・速度・角速度・加速度・角加速度を逆動力学エンジンに送り、質量を仮定した骨格の運動に伴う、力学情報の計算を行うことで、運動に整合した関節トルクを算出する。骨格の各セグメントは剛体とし、その質量、重心位置、慣性テンソルは、体格情報を用い人の各部位の統計的な計測情報から推定したものを用いることができる。あるいは対象の運動情報からの同定によりこれらのパラメータを推定することもできる。推定に用いる対象の体格情報は事前に取得される。

筋をモデル化した全身に分布させたワイヤーの張力を、バイアス・重み付き２次計画法を用いて計算する。このワイヤー張力の計算については、非特許文献４を参照することができる。分類された運動に応じて拮抗筋が使われる際の力分布の計測値を求めておき、それを参考にしたバイアス、重みを使うことで、実際の筋の張力をよりよく近似する解を得ることができる。筋張力の取得において、筋電計やフォースプレートを用いてもよい。

取得された筋張力を当該筋の想定した最大筋張力で割った値を筋活動度とし、筋活動度に合わせて筋の色を変えた全身筋骨格系の画像を生成し、これをフレームレート（典型的には３０ＦＰＳ）で出力して映像としてディスプレイに表示する。また、骨格のポーズの画像を生成し、フレームレートで出力して映像としてディスプレイに表示する。さらに、各変数（例えば、関節角度、速度、筋張力、床反力、重心位置など）の値の変化をグラフ化して出力する。これらの出力を解析結果として映像やグラフで提示し、運動時の筋や身体の活動、あるいは体の各部位の動作の記録とする。このように、対象の運動の撮影から、運動時の対象の３次元ポーズの取得、運動に必要な筋活動の推定と可視化までを、自動的に効率的に行うことができる。

上述のように、動作分析部は、トレッドミルの歩行面上で歩行ないし走行する対象の骨格の３Ｄポーズの時系列情報を再現する。また、質量を考慮した動力学計算を実行することで、運動中の筋張力や筋活動を推定することができる。トレッドミル自体にモーションキャプチャ機能、運動解析機能を持たせることによって、いままで大掛かりな計測環境を必要としていたものが、トレッドミルだけで完結することができる。また、これまで、トレッドミル、モーションキャプチャ、運動解析などのそれぞれの技術者が連携して運動解析を行っていたが、これらを一貫して行えることから、省力化、省時間化につながる。本実施形態に係るマーカレスモーションキャプチャを用いることで、マーカを装着する対象や理学療法士の負担を大幅に軽減し、通常のトレッドミルとほぼ同様の準備で、対象の動作を評価し、分析結果を適宜可視化することができる。

［Ｄ］トレッドミルの動作の制御部
図７に示すように、本実施形態に係るトレッドミルは、動作データ取得部によって取得された動作データ（典型的には、歩行時の対象の姿勢の時系列データ）、あるいは／および、動作分析部で取得された分析データに基づいて、トレッドミルの動作を制御する制御部を備えている。

本明細書において、動作データは、対象の姿勢、対象の姿勢の時系列データ、および、前記対象の姿勢および／あるいは前記姿勢の時系列データに基づいて得られた情報を含む。後者の情報が、動作分析により取得される情報と重複することを妨げない。動作データは、例えば、あるフレームにおける対象の身体の全身またはある部位の位置情報（１つあるいは複数の関節位置によって特定される）であってもよい。動作分析により取得され得る情報は、例えば、対象の各フレームにおける重心位置、対象の重心位置の時系列データ、対象の重心動揺データ、対象の身体の所定部位の動揺データ、対象の身体の全部あるいは一部の速度及び加速度、対象の身体の所定の関節の関節角度のばらつき、歩幅、左右の歩幅の差である。

トレッドミルの動作には、エンドレスベルトの回転、エンドレスベルトの傾斜が含まれる。エンドレスベルトの回転の制御は、駆動部（モータ）を介して、回転速度（ベルト速度）を制御することであり、ベルト速度の減速、増速、所定速度の維持、減速後の停止、停止、エンドレスベルトの逆回転、が含まれる。また、並行して走行する２つのエンドレスベルトの回転速度を独立して制御してもよい。

エンドレスベルトの傾斜は、例えば、駆動部（モータ）を介しての、エンドレスベルトの上側部位を支持するトレッドベース及びエンドレスベルトの傾斜であり、傾斜の変化は、エンドレスベルトの傾き角度の増大（歩行面が上り坂になる場合、歩行面が下り坂になる場合がある）、傾き角度の減少（傾斜状態からフラット状態に向かう動作）、傾き角度（フラット状態を含む）の維持が含まれる。エンドレスベルトの傾斜は、縦方向の傾斜に加え、横方向の傾斜を含んでもよい。

図７Ａを参照しつつ、トレッドミルの動作を制御する制御部について詳細に説明する。制御部は、モーションキャプチャによって取得された動作データに基づいて入力データを生成する入力データ生成部と、前記入力データに応じて制御信号を生成する制御信号生成部と、を備え、前記制御信号が駆動部に出力されて、所望のベルト速度や傾斜を得るようになっている。制御部による制御は、メモリに記憶された１つあるいは複数の制御プログラムにしたがって実行される。制御プログラムには、どのような情報をどのように用いて、どのような制御を実行するかについて規定されている。入力データ生成部は、制御プログラムにしたがって、入力データを生成する。制御信号生成部は、制御プログラムにしたがって、入力データに応じて制御信号を生成する。

１つの態様では、制御部は、動作データに基づいて対象の異常状態や異変（運動中の対象に何等かのアクシデントが生じたこと）が検知された場合に、前記トレッドミルの動作を制御する。制御プログラムは、異変検知に用いる情報（入力データ）及び異変を判定するための条件を規定する。制御プログラムは、例えば、対象の正常状態（動作データに基づいて規定される）から異常状態（動作データに基づいて規定される）への変化や異常状態の継続を検出して、異変を判定する。対象の異変は、例えば、対象の姿勢や姿勢の変化、重心の変化（姿勢の変化や重心の変化からふらつきが検出できる）と、予め決定された基準値ないし閾値と、を比較することで検知することができる。異変が検知された場合のトレッドミルの動作制御は、典型的には、ベルト速度の減速、ないし、減速後の停止である。

１つの態様では、制御部は、対象が歩行面の前端や後端に過度に寄った時に、ベルト速度を減速し、ないし、減速後停止させる。例えば、動作データに基づいて検出された対象の全身あるいは所定部位の位置情報によって、対象が定常位置（歩行面上の所定領域）から後方（ｙ軸方向）にはみ出したことを検知して、ベルト速度をゆっくり減速させてもよい。あるいは、対象の重心位置が、定常位置（歩行面上の所定領域）から後方（ｙ軸方向）にはみ出したことを検知して、ベルト速度をゆっくり減速させてもよい。

例えば、動作データに基づいて検出された対象の全身あるいは所定部位の位置情報によって、対象が定常位置（歩行面上の所定領域）から前方（ｙ軸方向）にはみ出したことを検知して、ベルト速度をゆっくり増速させてもよい。あるいは、対象の重心位置が、定常位置（歩行面上の所定領域）から前方（ｙ軸方向）にはみ出したことを検知して、ベルト速度をゆっくり増速させてもよい。

上記のようにベルト速度を減速した後に、対象が定常位置に復帰したことを検知して、ベルト速度を増速して元の速度に復帰させてもよい。同様に、ベルト速度を増速した後に、対象が定常位置に復帰したことを検知して、ベルト速度を減速して元の速度に復帰させてもよい。

制御部は、さらに、動作データに基づいて検出された対象の全身あるいは所定部位の位置情報によって、対象が定常位置（歩行面上の所定領域）から横方向（ｘ軸方向）にはみ出したことを検知して、ベルト速度をゆっくり減速させ、あるいは、減速後停止させてもよい。あるいは、対象の重心位置が、定常位置（歩行面上の所定領域）から横方向（ｘ軸方向）にはみ出したことを検知して、ベルト速度をゆっくり減速させ、あるいは、減速後停止させてもよい。あるいは、対象のある部位の加速度情報の大きさや重心動揺の大きさを検知して、ベルト速度をゆっくり減速させ、あるいは、減速後停止させてもよい。

制御部は、さらに、ベルトが上り傾斜姿勢にある時に、動作データに基づいて検出された対象の全身あるいは所定部位の位置情報によって、対象が定常位置（歩行面上の所定領域）から後方に位置していることを検知して、ベルトの傾斜をリセットしてゆっくりフラット状態に戻し、および／あるいは、ベルト速度をゆっくり減速させ、あるいは、減速後停止させてもよい。

ダブルベルトタイプのトレッドミルにおいて、いずれか一方あるいは両方のベルトの走行速度を調整してもよい。ダブルベルトタイプのトレッドミルの動作制御について、図７Ｂを参照しつつ説明する。ダブルベルトタイプのトレッドミルは、各ベルト駆動部によって独立して動作可能な２本のベルトと、ベルトの傾斜を変化させる傾斜駆動部と、操作部と、を備え、操作部からの指示に従って、ベルト駆動部、傾斜駆動部を作動させる。傾斜駆動部によるベルトの傾斜方向は、典型的には、縦方向の傾斜（ベルトの前端と後端の高さが異なる）であるが、それに加えて、あるいは、代えて、横方向の傾斜（ベルトの左端と右端の高さが異なる）であってもよい。ダブルベットタイプのトレッドミルは、例えば、片麻痺患者の歩行分析システム、歩行訓練システム、ないし、歩行リハビリテーション支援システムとして用いられる。なお、図７Ｂでは、マーカレスモーションキャプチャ及びダブルベルトタイプのトレッドミルを示したが、モーションキャプチャで取得した対象の動作データに応じてトレッドミルの動作を制御するという技術思想は、マーカレスモーションキャプチャ及びダブルベルトタイプのトレッドミルに限定されない。

トレッドミルは、モーションキャプチャによってリアルタイムで取得された対象の動作データに応じてトレッドミルの動作を制御する制御部を備えている。ダブルベルト上を歩行する対象の動作データをマーカレスモーションキャプチャによって取得する。動作データは、典型的には、対象の３Ｄポーズの時系列データであり、３Ｄポーズの時系列データから、例えば、全身の３Ｄ位置、部位の３Ｄ位置、全身の姿勢、部位の姿勢、全身の動き、部位（肢や足等）の動き、対象の身体の全部あるいは一部の速度、重心の位置、重心動揺、部位の動揺、が得られる。これらのデータは、制御部で用いられ得るデータの例示であって、制御内容に応じて、３Ｄポーズの時系列データに基づいて様々な情報が生成され得ることが当業者に理解される。制御部は、所定の制御プログラムにしたがって生成されたデータの入力に応じて、前記制御プログラムにしたがってトレッドミルの動作を制御する。

１つの態様では、前記制御部は、動作データに応じて各ベルトの走行速度を独立して制御する。例えば、左右の脚の動きの速度や左右の歩幅の違いに応じて一方のベルトの速度調整を行ってもよい。従来の片麻痺患者の歩行リハビリテーションでは、理学療法士が、患者の麻痺した足の状態をみながら、麻痺側の走行ベルトのスピードを変えたりしているのが現状である。本実施形態に係るダブルベルトタイプのトレッドミルでは、制御部によって、麻痺した足の動きに合わせた走行ベルトのスピード変化（増速したり減速したりする）を自動で制御することができる。また、ベルト上の患者の身体が前のめりになって患者が倒れる動作に応じて、走行ベルトを停止させたり、あるいは、ベルトを適切に加速することによって、前のめり状態を補正して正しい歩行に導くようにしてもよい。

１つの態様では、前記制御部は、動作データに応じて両方のベルトの傾斜を制御する。例えば、ベルト上の患者が前屈みになったことを示す姿勢を検知し、姿勢に合わせて、傾斜駆動部を制御することでベルトの傾斜を調整するようにしてもよい。

制御部による速度の制御には、増速、減速、停止に加えて、エンドレスベルトの逆回転を含んでもよい。例えば、麻痺した足を前方に踏み出すことが難しい患者に対し、麻痺した足を前方に踏み出す動作の時に走行ベルトを逆回転させて、歩行支援を行ってもよい。

トレッドミル（シングルベルトタイプ、ダブルベルトタイプを問わない）が、その他に可動部（例えばモータにより動作する）を備えている場合に、当該可動部の動作を制御してもよい。例えば、手摺バーを前後方向に可動とし、対象の手や腕の動きに応じて、手摺バーを移動させてもよい。

［Ｅ］歩行リハビリテーション支援システム
歩行リハビリテーション支援のため、トレッドミル上における患者（対象）の歩行運動データを利用してトレッドミルのベルト速度を制御する手法について説明する。第１の制御方式は、ベルトを患者の運動能力に合わせた速度で駆動する。患者の運動能力に対して歩行速度が遅すぎるとリハビリテーションの効果が薄まり、逆に無理に高速歩行を行おうとすると転倒などの危険が伴う。本実施形態に係るベルト速度制御では、患者が安全に無理なく歩けることが保証される範囲内で、可能な限り大きなベルト速度を出力する。第２の制御方式は、左右の脚に運動能力の差がある患者でも、直立に近い適切な歩行姿勢を保つように制御する。片麻痺などが原因で両脚の運動能力に差が生じると、運動能力が低い方の脚を引き摺るような姿勢で歩くことになる。トレッドミルのベルト速度に左右差をつけることによって両脚の運動能力差を補償する。本実施形態では、第１の制御方式と第２の制御方式を組み合わせたベルト速度制御手法を提供する。

第１の制御方式について説明する。第１の制御方式として、位置制御と速度制御の２つの制御を提案する。位置制御について説明する。ベルト速度が遅く患者が余裕をもって歩ける場合、患者はトレッドミル上で前方へ進んでいく。反対にベルト速度が速く患者の歩行速度が追い付かない場合、ベルトの流れにより患者は後方へと押し戻されていく。患者の歩行位置をトレッドミルの歩行面上の所定位置（典型的には、中央付近）に維持することでベルト速度を患者の歩行速度に合わせる手法を採用する。患者の歩行位置を示す指標として、ビデオモーションキャプチャから左右股関節の３次元位置推定結果が出力される。本実施形態では、左右股関節の中点を「腰部中心」として、腰部中心を疑似的に身体中心と見なす。時刻ｔにおける腰部中心のｙ座標は、時刻ｔにおける左股関節のｙ座標y_Lplv(t)、右股関節のy座標y_Rplv(t)から求めることができる。本実施形態では、歩行１周期中（例えば、１秒）における腰部中心のy座標平均値と、腰部中心の目標値y^ref _plvとの差Δy_plv(t)

を0に近づけるような制御を行う。目標値y^ref _plvはキャリブレーション時に設定した座標系にしたがって設定され、本実施形態ではy^ref _plv=0mmとする。

速度制御ついて説明する。ベルト速度と患者の歩行速度が完全に釣り合っているとき、トレッドミル上において患者の歩行位置は一定に保たれる。すなわち、世界座標系において患者の移動速度は0に近い値を示す。世界座標系における患者の速度が0になるようにベルト速度を調整する。時刻tにおいて、世界座標系での腰部中心のy方向速度v_plv,y(t)を過去c秒間にわたって平均した値は以下の通り表される。

この値を0に近づけるような制御を行う。

第２制御方式ついて説明する。患者の左右の脚に運動能力の差があり、それによって患者が片脚を引き摺るような歩行姿勢になっているとき、患者の両脚の運動範囲には前後方向（ｙ軸方向）にずれが生じている。これは直接的には左右の歩幅差が原因である。トレッドミルのベルト速度に左右差をつけることによって両脚の運動能力差を補償し、両脚の運動範囲の中心を揃える。時刻tにおけるビデオモーションキャプチャ結果において、患者の左足首、右足首のy座標がそれぞれy_L,ank(t)、y_R,ank(t)と検出されたとすると、左脚、右脚それぞれのy方向に関する運動範囲の中心は以下の通り求められる。

ここで、Δy_LRa(t)を以下の通り定める。

このΔy_LRa(t)は両脚の運動範囲のy方向中心のずれを表すので、第１制御方式における位置制御ないし速度制御に、Δy_LRa(t)を0に近づけるような第２制御方式を加える。すなわち、第２制御方式は、第１制御方式の位置制御あるいは速度制御と組み合わせて適用され得る。なお、第１制御方式（位置制御、速度制御）は健常者やアスリートの運動に用いることもできる。

目標ベルト速度の算出手法について説明する。時刻tにおけるトレッドミルの左ベルト目標速度v_L,ref(t)、右ベルト目標速度v_R,ref(t)の算出方法を表すブロック線図を図１４に示す。まず、両ベルトの初期速度v_L,ref(0)、v_R,ref(0)を以下の通り定める。

本実施形態では、トレッドミル上の対象の動作データを用いて、時刻nf秒における各ベルト速度v_L,ref(nf)、v_R,ref(nf)を、以下の更新式に従ってfフレームごとに更新する。

ここで、Δv_L,ref(nf)、Δv_R,ref(nf)はベルト速度更新用の修正項である。

Δv_L,ref(nf)及びΔv_R,ref(nf)の算出方法を述べる。まず、e(t)を以下の通り定義する。

２つの定数k_p1、k_p2を用いてΔp(t)を以下のように定める。

２つの定数k_s1、k_s2を用いてΔs(t)を以下のように定める。

Δp(t)、Δs(t)を用いて、Δv_L,ref(nf)、Δv_R,ref(nf)を以下のように定める。

k_p1、k_p2、k_s1、k_s2の値は、当業者において適宜設定される。例えば、k_p1=1.0、k_p2=0.5、k_s1=0.3、k_s2=0.1、とする。図１４に示すように、本実施形態では、トレッドミルとマーカレスモーションキャプチャを組み合わせることで、モーションキャプチャという１つの手段を用いるだけで、モーションキャプチャにより取得した動作データに基づいて、第１の制御方式と第２の制御方式にしたがった複数の制御を同時に行うことができる。

Claims

　フレームと、
　対象が載る歩行面を提供するエンドレスベルトと、
　ベルト駆動部と、
　フレームに設けてあり、姿勢および／あるいは位置が調整可能である複数のカメラと、
　各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する動作データ取得部と、
　を備えたモーションキャプチャ一体型トレッドミル。
　前記動作データは、対象の姿勢及び対象の姿勢の時系列データを含む、
　請求項１に記載のトレッドミル。
　前記動作データは、前記対象の姿勢および／あるいは前記姿勢の時系列データに基づいて得られた情報を含む、
　請求項２に記載のトレッドミル。
　前記対象の姿勢は、エンドレスベルトの走行方向の第１軸、エンドレスベルトの幅方向の第２軸、鉛直方向の第３軸によって規定された３次元座標値として得られる、
　請求項１、２いずれか１項に記載のトレッドミル。
　前記動作データ取得部は、各カメラ画像で取得した対象の画像情報を用いて、対象の関節位置の確からしさの尤度の空間分布を取得し、前記尤度の空間分布に基づいて、各フレームおける対象の３次元姿勢を取得する、請求項１～４いずれか１項に記載のトレッドミル。
　前記動作データを用いて対象の動作を分析する動作分析部を備えた請求項１～５いずれか１項に記載のトレッドミル。
　前記動作分析部は、前記動作データに加えて、エンドレスベルトの動作情報を用いて対象の動作を分析する、
　請求項６に記載のトレッドミル。
　前記動作データに基づいて、当該トレッドミルの動作を制御する制御部を備えた、請求項１～７いずれか１項に記載のトレッドミル。
　前記制御部は、
　前記動作データに基づいて入力データを生成するデータ生成部と、
　前記入力データに応じて制御信号を生成する制御信号生成部と、
を備え、
　前記制御信号を前記ベルト駆動部に出力してベルト速度を制御する、
　請求項８に記載のトレッドミル。
　エンドレスベルトは傾斜駆動部によって傾斜可能であり、
　前記制御部は、前記制御信号を前駆傾斜駆動部に出力してベルト傾斜を制御する、
　請求項９に記載のトレッドミル。
　前記制御部は、対象の姿勢に基づいて得られた対象の位置情報に応じてベルト速度を制御する、
　請求項９、１０いずれか１項に記載のトレッドミル。
　前記制御部は、対象の所定部位の位置を目標値に一致させるようにベルト速度を制御する、
　請求項１１に記載のトレッドミル。
　前記制御部は、対象の姿勢の時系列データに基づいて得られた対象の所定部位の速度に応じてベルト速度を制御する、
　請求項９、１０いずれか１項に記載のトレッドミル。
　前記制御部は、対象の所定部位の世界座標系における移動速度を０に近づけるようにベルト速度を制御する、
　請求項１３に記載のトレッドミル。
　前記エンドレスベルトは、対象の左足が載る第１エンドレスベルトと、対象の右足が載る第２エンドレスベルトと、を含み、
　前記駆動部は、第１エンドレスベルト用の第１駆動部と、第２エンドレスベルト用の第２駆動部と、を備え、
　前記制御部は、前記動作データに応じて第１エンドレスベルトの速度及び第２エンドレスベルトの速度を独立して制御する、
　請求項８～１４いずれか１項に記載のトレッドミル。
　前記制御部は、前記動作データに基づいて得られた左右の歩幅に差がある場合に、当該歩幅差を補償するように、前記第１エンドレスベルトの速度と前記第２エンドレスベルトの速度を制御する、
　請求項１５に記載のトレッドミル。
　前記制御部は、前記動作データに基づいて前記対象の異変を検知した場合に、前記トレッドミルの動作を制御する、請求項８～１０いずれか１項に記載のトレッドミル。
　前記トレッドミルには、キャリブレーション装置が設置可能であり、
　前記キャリブレーション装置は、前記エンドレスベルトの前後方向の中間に位置して垂直に設けられるチェッカーボードを備え、
　前記チェッカーボードの第１面には、前記複数のカメラのうちの１つあるいは複数のカメラによって撮影可能な第１チェッカーパターンが設けてあり、
　前記チェッカーボードの第２面には、前記複数のカメラのうちの残りの１つあるいは複数のカメラによって撮影可能な第２チェッカーパターンが設けてある、
　請求項１に記載のトレッドミル。
　エンドレスベルトと、
　ベルト駆動部と、
　エンドレスベルト上で運動する対象の動きを取得するマーカレスモーションキャプチャと、
　トレッドミルの動作を制御する制御部と、
を備え、
　前記制御部は、前記モーションキャプチャで取得した対象の動作データに応じて前記トレッドミルの動作を制御する、
　トレッドミル制御システム。
　前記制御部は、
　前記動作データに基づいて入力データを生成するデータ生成部と、
　前記入力データに応じて制御信号を生成する制御信号生成部と、
を備え、
　前記制御信号を前記ベルト駆動部に出力してベルト速度を制御する、
　請求項１９に記載のトレッドミル制御システム。
　エンドレスベルトは傾斜駆動部によって傾斜可能であり、
　前記制御部は、前記制御信号を前駆傾斜駆動部に出力してベルト傾斜を制御する、
　請求項２０に記載のトレッドミル制御システム。
　前記制御部は、対象の姿勢に基づいて得られた対象の位置情報に応じてベルト速度を制御する、
　請求項２０、２１いずれか１項に記載のトレッドミル制御システム。
　前記制御部は、対象の所定部位の位置を目標値に一致させるようにベルト速度を制御する、
　請求項２２に記載のトレッドミル制御システム。
　前記制御部は、対象の姿勢の時系列データに基づいて得られた対象の所定部位の速度に応じてベルト速度を制御する、
　請求項２０、２１いずれか１項に記載のトレッドミル制御システム。
　前記制御部は、対象の所定部位の世界座標系における移動速度を０に近づけるようにベルト速度を制御する、
　請求項２４に記載のトレッドミル。
　前記エンドレスベルトは、対象の左足が載る第１エンドレスベルトと、対象の右足が載る第２エンドレスベルトと、を含み、
　前記駆動部は、第１エンドレスベルト用の第１駆動部と、第２エンドレスベルト用の第２駆動部と、を備え、
　前記制御部は、前記動作データに応じて第１エンドレスベルトの速度及び第２エンドレスベルトの速度を独立して制御する、
　請求項１９～２５いずれか１項に記載のトレッドミル制御システム。
　前記制御部は、前記動作データに基づいて得られた左右の歩幅に差がある場合に、当該歩幅差を補償するように、前記第１エンドレスベルトの速度と前記第２エンドレスベルトの速度を制御する、
　請求項２６に記載のトレッドミル制御システム。
　前記制御部は、前記動作データに基づいて前記対象の異変を検知した場合に、前記トレッドミルの動作を制御する、請求項１９～２１いずれか１項に記載のトレッドミル制御システム。