JP6466139B2 - 人間の動きを測定するロボット計測器 - Google Patents

Description

本発明は、人間の動きを測定するロボット計測器に関する。本発明は、特にリハビリ医療や介護の分野において患者の動きを三次元空間情報として自動的に測定し、記録し、運動能力を定量的に把握する目的で身体各部位の動きについて、軌跡、運動量、加速度、関節可動域などを算出し、現在のデータを単独であるいは過去に記録したデータと比較して、患者および医療従事者に数値、グラフ、静止画、動画として提供することでリハビリ訓練の効果を確認し、医療従事者によって次の訓練の処方立案を支援することを可能とするロボット計測器に関する。

高齢者あるいは脳卒中や交通事故の患者の増加によって身体の自由な動きができない人の数が増加している。一方、そういった人達を介護する医師、理学療法士、作業療法士の数は増加しておらず、今後も増加が期待できない。しがって、リハビリにあたって、自動的に患者の動きを測定したり、記録したりして医療従事者を補助する手段が求められている。

患者の身体の動きを測定する場合、ビデオカメラで撮影することによって非接触で測定し、画像から解析することが行われている。（非特許文献１）また、モーションキャプチャと呼ばれる装置が、身体動作を二次元だけでなく、さらに三次元で測定可能であり、身体の要素ごとの動きを解析できる装置として使われてきた。

その例として、運動状態を測定するにあたって、患者の身体にマーカーを付け、複数のビデオカメラで撮影してマーカーの三次元の動きを画像処理で測定する装置（カトウ光研株式会社３次元リアルタイムトラッカーなど）がある。また、別のモーションキャプチャ装置としては、制限された空間に磁界発生源と磁気測定部による三次元空間を構成して磁気発生源の位置を測定するものがある。

これらは、人の歩行運動を測定するときにはその空間内にトレッドミルを設置して擬似的に移動空間を構成する必要が有り、装置が大掛かりになり、高価であるという課題がある。三次元情報を得るために被測定者である患者などが身体に多数のマーカーまたはセンサーを装着するという面倒さもある。

別の例として、ゴルフスィングの練習など特定の運動を行うとき、身体に複数の慣性センサーを取付け、測定した信号を無線で送り、同時にビデオカメラで撮影した画像とから、パーソナルコンピュータで特定の動作のパフォーマンスを数値データ化して、グラフ表示し、さらにデータをインターネットを通じて送ってデータベース化し、過去のデータなどと比較して、運動の改善を行う方法（特許文献１）が提案されている。

しかし、これは前記の例と同様に、多数のセンサーを身体に取り付けなくてはならないという面倒さと、ビデオカメラの撮影範囲で運動をしなければならないという課題があった。

また、身体にマーカーやセンサーを取り付けずに、非接触で撮影し、その画像上で身体特徴点を検出し、身体の構造や可動範囲に関する知識を利用しながら、身体の運動を解析するシステム（特許文献２）が提案されている。

しかし、この提案も測定対象が撮影範囲から外れて移動しないようにトレッドミルを使わないといけないので、測定対象が自由に歩き回ることができないという課題が有る。

特表２００８−５２８１９５号公報 特開平１０−１１１９４０号公報

「デジタルビデオカメラを用いた矢状面歩行解析におけるマーカー位置の計測誤差」理学療法学３５（３），８９−９５，２００８−０６−２０

上記に述べたように、リハビリ医療や看護の分野において患者（被測定者）になるべく負担を減らし利用制限の少ない人間の動きを測定することを目的とすると、従来の方法における第一の課題は、被測定者にセンサーを装着することが必要条件になる測定方法においては、センサー装着作業により被測定者に負担になるとともに測定に必要な全体時間が長くなり、装着作業に多くの人手を要する。

第二の課題は、従来のモーションキャプチャ装置は大規模な計測器を設置した空間に限られていたことであり、より一般的な場所である病院や介護施設の部屋や廊下などで計測できない。

第三の課題は、モーションキャプチャ装置が設置されていない場所での被測定者の動きの測定は目視ないしビデオ撮影による記録画像から計測対象となる身体部位を推定する人手による作業を必要としていたことで、多大な作業時間を必要となる。

第四の課題は、計測空間を介護施設や病院の廊下などまで広げる目的でロボットに三次元空間情報センサーを搭載するシステムを本発明で提案し、測定対象の被験者が移動しかつセンサーで計測可能領域に被測定者を捕捉しようロボットが移動するため、人とロボット間の距離と向きを一定に保つことはできない条件下では、センサーが測定した人体各部の距離情報は常時変動し、ディスプレイに表示すると画像表示が不安定になる。

第五の課題は、測定対象の被測定者が移動しかつセンサーもロボットに搭載して常時移動する場合どちらも空間に固定した絶対座標での計測はできないため、同一被測定者の過去のデータと比較評価することが困難となる。

第六の課題は、被測定者の歩行能力を測定する従来テストでは所要時間と移動距離をマニュアルに従って人手計測しており、ロボットで自動計測する場合には測定開始地点および測定終了地点を判定する手段が必要になる。

第七の課題は、従来の計測では歩行リハビリで用いられる床反力の計測において、足裏の床反力を計測する目的で作成された特別仕様の靴などを使用しなければならず、普段被測定者が生活で利用している靴をそのまま利用して床反力の推定ができない。

第八の課題は、歩行リハビリ訓練では被測定者が歩行困難なため計測中に倒れる恐れがあり、本提案のロボット計測器を利用する場合においても被計測者の怪我などを未然に防ぐため計測中も介護者が付き添う必要があり、したがって計測領域に二人以上の人物が登場し、計測対象と介護者をロボットが識別する手段が必要となる。

第九の課題は、衣服をまとう被測定者と風でそよぐカーテンなどの衣服と類似のセンサー反応を示す物体との識別に誤判定が生じやすいことである。

第十の課題は、三次元光センサーによる人体表面をスキャンして予め用意された人体モデルを適用して人の動きを測定する手法では、特定の人を対象にしたときに関節位置など身体部位の測定値に誤差が生じる、ことである。

第十一の課題は、人の動きを観察してその人の日常生活における運動能力、生活能力を客観的に測定する計測手段が存在していないことである。

したがって、本発明の目的は、上記諸課題を解決する人間の動きを測定するロボット計測器を提供することにある。

上記課題を解決する本発明に従うロボット計測器は、第１の側面として、人間の動きを測定するロボット計測器であって、制御部と、三次元空間情報を取得するセンサー部と、前記制御部とセンサー部を搭載して一体で移動する走行部を有し、前記制御部は、自律的に移動する被測定者の計測中に、前記被測定者が前記センサー部のセンシング可能領域に入るように前記センサー部を制御し、且つ前記走行部を前記被測定者の動きに追従するように前記走行部の移動を制御し、前記センサー部は、光学的手段で視野内を三次元画像として繰り返し撮影し、三次元空間情報を取得する手段を有し、前記制御部は、更に、前記センサー部により取得される三次元空間情報の中から被測定者だけを選択して被測定者とする手段を有することを特徴とする。

上記課題を解決する本発明に従うロボット計測器は、第２の側面として、センサー部、制御部、走行部の各ブロックから構成され、前記走行部には、前記センサー部及び制御部が搭載され、前記センサー部は三次元空間情報センサーを有し、前記制御部は計測開始から終了までの間、自律的に動く被測定者に追従して移動し、測定中に前記被測定者がセンシング可能領域に入るように前記センサー部及び前記走行部を制御し、前記三次元空間情報センサーは光学的手段で視野内を三次元画像として繰り返し撮影し、三次元空間情報を取得する機能を有し、前記制御部は、前記三次元空間情報センサーの取得した三次元空間情報の中から特定の人物だけを選択して被測定者とする機能と、ロボット移動範囲と動作を指定するために、測定空間に設定した標識を識別する機能を有し、かつ、前記被測定者の動きを表示装置上に表示するときには被測定者とセンサー間の距離および向きが両者の動きによって変化する場合においても距離および向き一定でセンシングしたように座標変換する機能を有し、更に、前記制御部は、前記被測定者の身体各部の動きの三次元測定データを、適宜な形態で該表示装置に表示する機能を有し、前記三次元測定データを連続データとして記憶装置に記録し必要に応じて読みだす機能を有することを特徴とする。

上記課題を解決する本発明に従うロボット計測器は、前記第２の側面において、第１の形態として前記制御部は三次元空間情報処理装置を有し、前記三次元空間情報センサーで得た三次元画像全体の情報から、固定物体の画像のうちから指定された標識を判別する機能を有し、前記被測定者が標識として設定したスタートラインを越えて移動する事象を検知して、その事象の発生した時刻を記録し同時に測定を開始し、前記被測定者が歩行中に足の動き情報を解析して歩数を計数し、次いで、第２標識として設定したゴールラインで測定終了時間を判定し経過時間および歩数計数測定を終了する機能を有することを特徴とする。

上記課題を解決する本発明に従うロボット計測器は、前記第２の側面または、その第２の態様において、前記制御部は、前記被測定者の画像から前記被測定者の体重を推定し、重心の位置と、下肢の動きとから、歩行時に足にかかる力を連続して推定し、その結果を床反力データとして、一定の演算式で評価データに変換し、該床反力データならびに前記評価データを記憶装置に格納し、必要に応じて、該床反力データならびに／もしくは該評価データを、動画、静止画、グラフなど適宜な形式で適時に該表示装置に表示し、該記憶装置に格納してある過去の床反力データならびに／もしくは評価データを、該床反力データならびに／もしくは該評価データと比較して表示する機能を有することを特徴とする。

上記課題を解決する本発明に従うロボット計測器は、前記第２の側面または、その第２の態様において、さらに、無線または／および有線の通信装置を備え、外部のサーバに接続することができ、外部からの動作指令を受け取り、あるいは外部サーバへの接続を自律的に行い、現在測定中または／および測定済み被測定者の動きデータを送り、外部の三次元空間情報ベースと三次元空間情報、統計データなどビッグデータの送受が可能であることを特徴とする。

本発明によればリハビリ医療現場で体の動きに不自由を感じて治療を受けている患者に対してロボット計測器を用いて医療従事者が「１０メートル快適歩行」「Ｔｉｍｅｄ Ｕｐ＆Ｇｏ」などの身体能力測定を実施することで、患者にセンサーを装着するなどの時間を費やす負担を軽減し、医療従事者には測定データを紙に手書きで記録する負担をなくし、患者身体各部位（手足、関節など）の動きについて連続データを収集し、運動能力を定量的に把握する目的で、軌跡、運動量、加速度、関節可動域などを算出し、現在のデータを単独であるいは過去に記録したデータと比較して、患者および医療従事者に数値、グラフ、静止画、動画として提供することでリハビリ訓練の効果を確認し、医療従事者によって次の訓練の処方立案を支援することが可能となる。

本発明における人（被測定者）とロボット計測器の空間的配置を示した全体構成図である。 ロボット計測器の機能ブロック図 三次元空間情報センサーの構成図 三次元空間情報センサーが距離測定光で被測定者までの距離を測定し三次元座標を測定する原理図 三次元空間情報センサーが縦方向に距離測定光を投影した時に得られる距離情報の例 三次元空間情報センサーが横方向に距離測定光を投影した時に得られる距離情報の例 三次元空間情報センサーが検出した空間座標の集まりから被測定者の額および腰位置でポリゴンを構成する例 三次元空間情報センサーの原点位置とは異なる位置に可視光集光レンズを配置して被測定者を可視光ＣＣＤで撮影し、得られた色情報と図７のポリゴンを重ねて表示した例 三次元空間情報センサー位置情報と可視光ＣＣＤが検出した位置情報の対応関係が被測定者（スクリーン）までの距離で変化する様子の説明図 ポリゴンと人体立体モデルを照合する説明 作成した人体ポリゴンの誤判定を減らす条件判定例 選択した人体立体モデルから骨格モデルをポリゴンに当てはめる説明図 介助者が付き添うときの被測定者と介助者を識別する仕組みの説明図 「１０メートル快適歩行」の説明図 「１０メートル快適歩行」の処理フロー 「１０メートル快適歩行」をロボット計測器が横方向から測定する説明図 「Ｔｉｍｅｄ Ｕｐ ＆Ｇｏ」計測の説明図 人に与える重心原点とロボットに与えるセンサー面原点の説明図 センサー面原点の位置ベクトルを重心原点の位置ベクトルに変換する説明図 床反力計測の説明図 床反力計測の算出アルゴリズム 計測ロボットが歩数を計測する仕組み 走行部の構造説明図 ロボット計測器で計測したデータの一例

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本発明は以下の実施形態及び実施例に記載した内容により限定されるものではない。又、以下に記載した実施形態及び実施例における構成要件には、当事者が容易に想定できるもの、実質的に同一の均等の範囲のものが含まれる。更に、以下に記載した実施形態及び実施例で開示した構成要素は適宜組み合わせてもよいし、適宜選択して用いてもよい。

図１は、本発明に従うロボット計測器２００を使用して被測定者１００の動きを観察記録する際の、被測定者１００とロボット計測器２００の空間的配置を示した全体構成図である。図２は、ロボット計測器２００の機能ブロック図である。

図１において、ロボット計測器２００は、主要部として、センサー部３００、制御部４００、走行部５００の各ブロックから構成される。

センサー部３００は、三次元空間情報センサー３１０を有し、補助センサーとして人感センサー、姿勢センサー、スタビライザー等を含む。

図２に示すように、制御部４００は、三次元空間情報処理装置４１０、入力装置４３０、記憶装置４４０、表示装置４５０を有し、更にこれらと信号の送受を行うように接続される制御装置４２０を有する。さらに、上記制御部４００の各装置に電力を供給する電源装置４７０及び、外部との通信を行う通信装置４６０を有する。

走行部５００は、移動装置５１０上に計測目的に応じて必要な装置類を搭載し、計測開始から終了までの間、自律的に動く被測定者１００などの測定対象に追従して移動するように制御される。これにより移動装置５１０は、測定中に前記測定対象である被測定者１００がセンシング可能領域に入るように三次元空間情報センサー３１０が移動制御される。

三次元空間情報センサー３１０は光学的手段で視野内を三次元画像として繰り返し撮影する機能を持ち、三次元空間情報処理装置４１０は、取得した三次元空間情報の中から特定の人物だけを選択して測定対象とする機能を有する。また三次元空間情報処理装置４１０は、ロボット移動範囲と動作を指定する目的で測定空間に設定した標識を識別する機能を持ち、かつ、測定対象の動きを表示装置４５０上に表示するときには被測定者１００と三次元空間情報センサー３１０間の距離および向きが両者の動きによって変化する場合においても距離および向き一定でセンシングしたように座標変換する機能を有する。

制御装置４２０は、被測定者１００の身体各部の動きの三次元測定データを、適宜な形態で表示装置４５０に表示する機能を持ち、記憶装置４４０は、測定データを連続データとして記録し必要に応じて読みだす機能を持つ。これにより、被測定者１００の動きに自動的に追随し、被測定者１００の動きを測定し記録する。

図２の機能ブロック図に示した制御装置４２０は、主として３つの機能を果たす。

すなわち、ａ）三次元空間情報を三次元空間情報処理装置４１０から受け取り、三次元空間情報処理の一部を行い、表示装置４５０に送り、記憶装置４４０や通信装置４６０との間で三次元空間情報処理結果を送受する動作、ｂ）走行部５００を制御し、更に、ｃ）入力装置４３０により、操作者からの運転指示やデータ入力を受け取ることである。

記憶装置４４０は、測定した動作データを時系列に沿って記録し、また必要に応じて記録した動作データを再生する。表示装置４５０は、動作データの動画像やロボット計測器２００全体の制御状況などを表示する。

通信装置４７０は、無線または有線で外部のネットワークを通じて外部に有る別のコンピュータとの間で測定結果やそれを加工したデータ、あるいは標準となる動作データなどを送受する。

図２に示した電源装置４７０は、ニッケル水素電池、リチウムイオン電池などの２次電池である。ロボット計測器２００の各装置に電力を供給する。または、各装置が個別に電源装置をそなえてもよい。

ロボット計測器２００は、入力装置４３０を使用して、動作の開始や停止を操作者によって操作される。測定の結果は表示装置４５０に表示し、また表示装置４５０の一部としての記録装置４４０に記録される。これらの測定結果を医療従事者が見て、患者の状態やリハビリ治療の効果を判断することができる。

ここで、本発明に従う人間の動きを測定するロボット計測器では、計測において「三次元空間情報」を利用すること、また得られた空間情報について「座標変換」操作を伴うことが特徴である。

（三次元空間情報）
本発明で扱う三次元空間情報は、三次元空間座標と二次元画像から構成される。三次元空間座標は測定対象の空間における位置座標であり、当該空間を計測するためセンサーなどの原点を定めてＸ，Ｙ，Ｚ軸を固定し計測して得られる特定のポイントの空間位置情報（位置ベクトル）である。本発明で述べる二次元画像は、センサーなどで前記三次元空間に存在する人物などを計測して得られた各測定点（位置ベクトルの指す点）に対応する色情報とする。色情報を収集するには三次元空間座標を測定するセンサーと並置する形でＣＣＤカメラなどを設置する、又は両者を一体化するなどが考えられる。

通常三次元空間に存在する特定空間ポイントの色情報は観察点の位置（ＣＣＤカメラの三次元空間における位置）によって変化する。本発明で述べる二次元画像の色情報は撮影するために配置した撮像装置で得る。三次元空間情報を構成する三次元空間座標と二次元画像は各ポイントの対応関係を明示する必要があり、三次元空間座標が示す各ポイント対応に二次元画像の色情報を示す方法、三次元空間座標の３ポイントで構成するポリゴン対応に三次元画像の色情報を示す方法などがある。

（座標変換）
前述のように、三次元空間座標は測定対象の空間における位置座標であり、当該空間を計測するためセンサーなどの原点を定めてＸ，Ｙ，Ｚ軸を固定し計測して得られる特定ポイントの位置ベクトルの集まりとして扱うことができる。得られた三次元空間座標（位置ベクトルの集まりで構成するポリゴン）は視点の位置を変化（直交変換）させることで上下左右の任意の位置から見た立体情報に変換することが可能である。

センサーの原点を定めてＸ，Ｙ，Ｚ軸を固定して測定した三次元データは、別の三次元座標に変換して記録表示することが有用となる場合がある。たとえば被測定者１００の体の中心（例：重心）を原点として前額面（Ｘ，Ｙ軸）と矢状面（Ｙ、Ｚ軸）に軸を固定した三次元データとして記録することで、計測時の三次元センサーの配置に左右されない被測定者１００の測定データを得ることが可能となる。

また被測定者の歩行解析を目的とするときには、被測定者１００の重心から鉛直線を床面におろした点を原点にすることで、歩行の軌跡を記録表示するデータとして診断医に理解が容易になる。これらのことからセンサー計測で得られた三次元空間座標を任意の座標軸配置に変換することで診断目的に沿った記録表示が可能となる。

本発明は、走行部５００の上に光学的手段で撮影する三次元空間情報センサー３１０を搭載し、三次元空間情報センサー３１０が検出した被測定者の三次元空間座標情報から制御装置４２０が走行部５００に被測定者１００が常にセンサー検出可能領域に入るように指示を出し、収集した三次元空間座標と二次元画像から演算処理により測定対象である患者（被測定者１００）の三次元空間情報だけを選択的に切り出し、この空間情報データから患者身体の各部分との対応を演算処理で推定する。これによって、測定対象である患者の手足を含む体全体の動きの状態を連続的に測定し、空間情報データを三次元画像情報として静止画、動画、グラフなど可視化表示することで、医療従事者が動きの良否を判定する。あるいは過去の状態や標準的な歩き方と比較し、リハビリの診療方針を作成するときの支援情報の提供を可能とする。

上記した第二の課題は、一般の廊下や部屋などどこでも測定できるようにする」の目的を達成する手段はロボット計測器２００が走行部５００を有し、制御部４００がセンサー情報により走行方向を指示して被測定者１００をセンサー領域に捕捉することで実現する。

本発明に従うロボット計測器２００は、センシング可能領域における三次元空間情報の取得、測定対象人物の三次元空間情報の抽出、ロボット運行制御標識の抽出を行い、必要に応じて被測定者１００の体形空間情報から推測する骨格モデル化、関節の三次元空間座標の推定、ディスプレイ表示のための空間座標変換、患者診断のために用いるたとえば身体重心を原点とする空間座標変換、という順序でステップを踏んで測定を行う。

三次元空間座標の取得は、測定対象である被測定者１００の動きに従って自律的に移動するロボット計測器１００に搭載した三次元空間情報センサー３１０によって行う。

（三次元空間情報の取得）
三次元空間情報センサー３１０を用いて前方のセンシング可能な視野内の三次元空間座標（位置ベクトル）と二次元画像を取得する。三次元空間情報の測定および後に記載する演算処理は一定の短時間ごとにリアルタイムで行われ、連続した動画として記録できる。測定は、測定対象である被測定者１００の身体にセンサーや配線、あるいはマーカーなどをつけることなく、特殊な装置を備えていない普通の部屋や通路を歩いている状態で行うことができる。これにより、上記した第一の課題「被測定者にセンサー装着の負担を負わせない」の目的を達成することができる。

ここで、三次元空間情報センサー３１０の構成例を図３に示す。三次元空間座標の測定は赤外レーザ光源３１２を用いてホログラムフィルム３１３でドットパターンを生成し、測定対象となる空間に投影する。空間内に人物を含む物体が存在すればその表面で赤外光ドットは反射し、反射赤外光３５０は、交距離測定赤外光集光レンズ３１７で集めて受信ＣＣＤ３１８に到達する。制御・伝送回路３１１は、受信ＣＣＤ３１８上に記録される距離測定用赤外光を参照してドット毎の距離ベクトルを求める。得られる位置ベクトルはセンサー面を原点とする直交座標でＸ軸は地面に平行な左右方向、Ｙ軸は地面に垂直、Ｚ軸は地面に平行な奥行方向でＸ軸、Ｙ軸と直交する（図４参照）。

（二次元画像の取得）
三次元空間情報センサー３１０は集光レンズ３１５を通して入力される光をレンズセンサー面に備えられた可視光撮影ＣＣＤ３１６を利用して二次元画像も同時に収集する。撮影する画像は一般のディジタルカメラと同一の原理であり、画素対応に位置ベクトルを求める演算処理（後述）を行う。

（距離測定の基本原理）
図４、図５は三次元空間情報センサー３１０がレーザ光源３１２からの距離測定赤外光を投影して対象空間に存在する人物他の距離座標を計測する仕組みを模式的に示したものである。

図４は三次元空間情報センサー３１０から放射した赤外光が被測定者１００の手１０１で反射してセンサーに戻る様子を図示している。センサーが光で距離を測定する仕組みは、図３に示されるセンサー面の投影レンズ３１４と集光レンズ３１７間の距離を底辺とした三角測量、投影するドット直径が距離に応じて受光ＣＣＤ３１８で受光面積が小さくなることを利用して変化量から対応する距離を算出する、また赤外光短パルスを利用して放射から受信までの時間を計測する、など実用化されている各種方式が利用可能である。

（多数のドット反射距離から三次元情報を作成する）
図５は縦方向に並んだ多数のドット反射点（１０１〜１０７）を順に結び付けることで人物の表面形状をなぞる様子を模擬的に示している。図５の右側は三次元空間情報センサー３１０から見た光放射空間を縦にスキャンしている様子を示す。図５の左側はその様子を横から観察し赤外光のドットがセンサー面から放射され被測定者１００の表面で反射する様子を示している。各ドット対応にセンサー面原点からドット反射点までの距離が求められるので、得られた距離情報を座標Ｘ，Ｙ，Ｚ成分に分解することで３次元空間情報（位置ベクトル）が得られる。

（縦横のドット列を組み合わせて三次元情報からポリゴンを構成する）
図６は横方向に並んだ多数のドット反射点を順に結び付けることで人物の表面形状を横になぞる様子を模擬的に示している。図６の右側は三次元空間情報センサー３１０から見た放射空間について人物頭部１０２を含む横方向および人物腰１０５を含む横方向にスキャンしている例である。図６の左側はその様子を横から眺め、連続したドットを結ぶことで額の曲面、腰回りの曲線を三次元空間情報として取得できることを示している。更に図５及び図６のドットによるスキャンを空間全面に広げることで多数のドットの位置ベクトルを収集し、人物表面の立体構造すなわちポリゴンを作成することが可能となる。

（三次元画像画素と二次元空間座標の位置関係）
図７は、距離測定赤外光集光レンズ３１７を三次元空間情報センサー３１０のセンサー面座標原点として撮影する構成図である。図８は、これに可視光の撮影を追加して示す図である。すなわち、三次元空間情報センサー３１０の機能は、三次元空間情報と二次元画像の撮影機能を組み合わせで成り立っている。両者を物理的に同一装置に合体して座標原点を同一にする仕組みも可能であるが、図８においては両者の原点位置が異なる場合を図示している。

図８に示すように２種類のセンサー３１６と３１８を併存させて空間情報と対象物の色情報を収集する場合には、図８の右側に図示したように両者の測定点が同じ面をカバーする場合でも、色情報画素の二次元座標（Ｘｃ、Ｙｃ）は、三次元センサー３１８が検出した位置座標と完全に一致することは極稀で、二次元画像センサー３１６の画素毎に三次元座標情報を計算する処理が必要となる。そこで、予め可視光ＣＣＤ画素情報と空間情報（位置ベクトル）の対応データを作成して三次元空間情報処理装置に記録しておく。

（二次元画像の画素対応の座標ベクトルを求めるアルゴリズム）
図９は三次元センサー３１７が検出した反射点の位置ベクトルが可視光ＣＣＤ３１６のどの画素に対応するかを予め計測する原理図を示している。三次元センサー３１７の原点から計測用の可視光をスクリーンに投影する。図９では遠方からスクリーン１、２、３と三段階に分けて計測する例である。計測用可視光の方向を一定としているが、スクリーン位置が異なると可視光受信ＣＣＤ３１６上の反射光を検出するＣＣＤ画素上の位置は移動する。図９では三次元センサー３１７とスクリーン情報反射点間の距離が決まれば可視光受信ＣＣＤ３１６上の座標を求めることができる。この対応状況を三次元空間情報処理装置４１０で管理し、画素対応の三次元空間座標（位置ベクトル）を求める。

（身体表面位置ベクトルでポリゴン作成）
図７に戻ると、図５、図６で得られた赤外線反射ポイントの位置ベクトルを用いて近接ポイント間をつなぐことで三角形のタイルを敷き詰めるように構成したポリゴンの一例を示す。三次元空間情報センサー３１０が距離測定用赤外光を照射して得られたすべての反射赤外光３５０の反射点を使ってポリゴンを生成する。一定距離（一例は５メートル）以上センサー面から離れると距離計測できない場合がある。距離計測できない空間ではポリゴンを作成しない。

（人物立体モデルとの照合）
ポリゴンは三次元空間座標で表された多数のポイントの集合体である。三次元表示の立体像を作成する目的で汎用的に利用されている。図１０の左側ではセンサーが検出したポリゴンの集合体が被測定者１００のセンサー側半面を表現している様子を示している。このポリゴンは人物の表面形状を立体的に捉えており、図１０の右側に例示した人体立体モデルの様々な形と照合させることで人（被測定者１００）の体位を判定する。これにより、第三の課題「記録画像から計測対象となる身体部位を推定する人手作業」を計測した被測定者ポリゴンと予め作成した人体モデルのポリゴンをコンピュータが照合処理することで解決することができる。

（測定対象人物の抽出）
三次元空間情報処理装置４１０は、取得した三次元空間情報から、前述のように人体の立位など形状マッチング処理により人物とみなすブロック（連続した物体）を判定する。即ち空間を隔てて別の場所に存在するブロックは個別に人物であるかどうかの判定処理を実施する。人物の抽出には平面画像で用いられている動きのある領域を識別に利用することも可能である。これは撮影した連続フレーム間で画素の差分を計算しまとまって動きの変化が見られる部分と静止している部分の境界を判定し動くブロックを人物の候補とする手法である。本発明ではこの手法も適用するとともに、ロボット計測器自体の移動を考慮して、演算処理によって空間に静止しているものと移動している人を識別し、測定対象人物の三次元空間情報を抽出する。

図１１は人物の識別について精度を向上させる手法を説明している。人物候補を動きのある空間情報から選んだ場合、対象とする人物の日常生活では有りえない状態、たとえば足が一定時間床に接触していない立った状態などは人物では無いと判定する。（例えば風で揺れるカーテンなど。）対象オブジェクトの寸法が人として妥当な大きさの範囲に納まるか、計測データから得られたウエスト周囲の寸法（一例である）が標準人体体形に準じた形状であるかどうかなどの検査も実施する。抽出される三次元空間情報には、測定対象である患者の他に医療従事者などが含まれる可能性がある。

（ロボット運行制御標識の抽出）
センサーで測定する三次元空間情報には、ロボットが行動範囲を判断するための情報や、動きに関係する動作を規定するための情報として、周囲環境に配置される標識情報が含まれている。センサーが獲得した三次元空間情報を利用して、三次元空間座標が平面上連続し予め定められた形状と色を示す部分をロボット運行制御標識として利用する。

一例は、１００メートル快適歩行の計測で利用するスタート地点とストップ地点の床に設置する白線である。他にも壁やドア、家財道具などに貼る２次元コード（ＱＲコード（登録商標）、ＡＲコード、バーコードなど）を運行制御標識として利用する。第六の課題「ロボットで自動計測するには測定開始地点終了地点を判断する手段が必要になる」についての解決手段は床ないし周囲の家具類にセンサーで読み取り可能な記号を描くことで頭部センサーないし脚部センサーで検出し予めプログラムされた処理動作を行うことで、たとえば測定開始、測定終了の判断を自動的に実施する。

（被測定者の体位情報から推測する骨格モデル）
図１０では三次元空間情報で得られたポリゴン形状を人物立体モデルと照合して体位を判定した。体位判定では立位、座位、転倒、仰臥など人物が存在する様々な形態を識別する。判定した体位から頭、手足、腰などの空間的位置を推定することが可能である。人の外形と体内の各関節の位置関係はＭＲＩ、ＣＴなどで計測した結果が公知である。図１２には被測定者１００のポリゴン情報から体位を推定し、そこから骨格情報を当てはめて人体の各関節の三次元座標を計算で求める様子を説明している。

（関節の三次元空間座標の推定）
得られた骨格モデルを参照して測定した三次元空間情報から関節の三次元空間座標を推定する。たとえば被測定者１００がセンサーに正対した立位で、センサーから得られる右肩形状の三次元座標によるポリゴンは着衣ないし皮膚の表面座標を示している。骨格モデルを参照することで人体表面の形状から人体内部に存在する肩関節の三次元座標を求める。たとえばセンサーが測定した右肩関節の方向を示すＺ軸の値が２１０センチメートルであれば、人体表面から５センチメートル奥に右肩関節が存在するという骨格モデル情報を参照してＺ軸の値を２１５センチメートルと算出する。

人体には多数の関節が存在し、たとえば体を構成する主要２０関節について毎秒３０フレームの三次元空間情報をセンサーが測定し、その結果に基づいて測定対象とするすべての関節について骨格モデルを参照しながら三次元空間座標を推定する。得られた関節の座標を毎秒３０フレームでディスプレイ上に再生することで骨格の動きを立体的に表示することが可能となる。

（空間座標変換）
三次元空間座標は測定対象の空間における位置座標であり、当該空間を計測するためセンサーなどの原点を定めてＸ，Ｙ，Ｚ軸を固定し計測して得られる特定ポイントの空間位置情報である。本ロボット計測においてはロボットに搭載した三次元空間情報センサーにより空間座標を計測する。その場合空間座標を測定する原点（０，０，０）をセンサー面に設定し、Ｘ、Ｙ、Ｚ軸を設定する。各軸は直交しておりＸ軸は床に平行な横方法、Ｙ軸は床に垂直な縦方向、Ｚ軸は床に平行なセンサー正面方向とするのが一般的である。センサーが取得した三次元空間座標を元に、視点の位置を変化させることで上下左右の任意の位置から見た立体情報に変換することが可能である。本ロボット計測においてはセンサーによるセンシングはセンサー面を原点とするが、センサーが取得した三次元空間座標は目的に応じて最適な空間座標原点とＸ，Ｙ，Ｚ軸を設定して利用する。

（ディスプレイ表示の座標変換）
本発明に従うロボット計測器に搭載した測定対象人物の動きをモニターする表示装置４５０上に人物を常に一定の大きさで表示するために座標変換を行う。三次元空間情報センサー３１０を原点とした座標で計測された座標データを元にセンサーと測定対象人物間の距離が一定になる変換処理を行う。すなわち三次元空間において、センサー面座標原点を仮想的に前後にずらして人物座標を計算する、あるいは逆にセンサー面座標原点をそのままとし測定対象人物を構成するポリゴンの空間座標（Ｘ，Ｙ，Ｚ）をセンサー面に近づける、ないし遠ざける計算処理を行う。

これにより計測ロボット器２００と測定対象人物との距離が変化しても搭載した表示装置４５０上には人物の形や骨格が安定した大きさで表示される。第四の課題「移動するロボットに搭載されたセンサーと被計測者間の距離方向は一定しないため、計測した距離情報を元にディスプレイ画像を描くと画像が不安定になる」は、人体の重心を原点とした三次元座標、センサー面を原点とした三次元座標を構成し、どちらも時々刻々と原点位置が移動することを考慮して相互に座標変換が可能な計算処理方式を採用することにより可能である。

（身体に原点を設定する空間座標変換）
ロボット計測器２００で収集する人体各部の位置関係を示す三次元空間情報は、たとえば人体主要２０関節のＲＯＭ（関節可動域）を計測し記録することでリハビリテーションに役立つ情報となる。この目的には、センサー前面に原点を設定した測定結果情報ではなく、人体の一部たとえば重心に原点を設定してＸ，Ｙ，Ｚの各軸を前額面、矢状面に一致させることが必要になる。これにより計測時にセンサーと被測定者１００の距離が変動しても、測定結果を記録するカルテでは毎回の測定データと基準座標が同一となり、被測定者１００のデータ相互の比較や日本人全体を平均した標準データとの比較が容易になる。即ち計測時の三次元センサーの配置に左右されない被測定者１００の測定データを得ることが可能となる。

被測定者１００の歩行解析を目的とするときには、被測定者１００の重心から鉛直線を床面におろした点を原点にすることで、歩行時の床面に対する両足の軌跡を記録表示するデータが得られ、歩行リハビリテーション診断医に役立つ情報になる。つまりセンサー計測で得られた三次元空間座標を身体に原点および座標軸を配置する空間座標変換に変換して測定結果を記録する。このようにして得られた記録データは、表示装置４５０上で視点位置を上下左右の任意の位置に設定して観察することができる。これにより、第五の課題「被測定者１００およびロボット計測器２００のどちらも移動するため、測定データそのままでは記録したのちの過去データとの比較が困難である」を解決する別の手段として被測定者１００の重心から鉛直線を床面におろした点を原点とする座標に変換することが可能である。

本発明で提案するロボット計測器は上記手段によって決められた測定項目（１０メートル快適歩行、Ｔｉｍｅｄ Ｕｐ＆Ｇｏ、など）を実施し、得られたデータはＣＳＶファイルなどの形式で出力し、運動能力を定量的に把握する目的で身体各部位の動きについて、軌跡、運動量、加速度、関節可動域などを算出し、現在のデータを単独であるいは過去に記録したデータと比較して、患者および医療従事者に数値、グラフ、静止画、動画として提供することでリハビリ訓練の効果を確認し、医療従事者によって次の訓練の処方立案を支援することを可能とする。

実施例１「１０メートル快適歩行」計測を図１４に従って説明する。「１０メートル快適歩行」は歩行に困難があり医療機関や介護施設でリハビリ訓練を受けている患者（被測定者）１００に対して歩行能力、リハビリ効果を測定する目的で採用されている。現在広く普及している計測方法であり、診療所の廊下などを利用して介護者が立ち会いながらストップウオッチでスタートライン１６０からゴールライン１６２までの１０メートル区間を歩くのに要した時間および歩数を計測する。スタートライン１６０までの区間とゴールライン１６２通過後の区間に数メートルの助走区間を設ける。被測定者１００は１０メートル区間を被測定者１００の感覚で快適（無理なく）に歩き、スタートライン１６０からゴールライン１６２までの所要時間を介助者１３５がストップウオッチで計測し、同時に歩数もカウントする。測定した所要時間と歩数を介助者１３５が記録する。

図１４は１０メートル快適歩行計測をロボット計測器２００により実施する説明図である。左側にスタートライン１６０、右側にゴールライン１６２を床にテープを貼るなどして準備する。ロボット計測器２００は被測定者１００の進行方向前方に位置し、被測定者１００が歩行を開始すると一定間隔を保ちながらロボット計測器２００は進行する。被測定者１００は歩行し、ロボット計測器２００は被測定者１００をセンシング範囲に捉えるように移動する。

患者（被測定者１００）が助走区間を経てスタートライン１６０を通過したと位置ベクトル１６１で判定した時点でロボット計測器２００は時間計測を開始し、１０メートル区間を歩いた後にゴールライン１６２を通過したと位置ベクトル１６３で判定した時点でロボット計測器２００は所要時間計測を終了する。

図１５に示すアルゴリズムでロボット計測器２００は被測定者１００がスタートライン１６０を通過する時点の判定を床に印されたスタートライン１６０の位置を検出し、同時に被測定者１００の重心がスタートライン１６０の真上を通過したことで識別する。ゴールライン１６２についても同様である。図１６も「１０メートル快適歩行」を計測する様子を示しているが、この場合にはロボットが進行方向左側を走行する例である。ロボット計測器２００の計測時の走行ルートは、計測場所の環境によって自由に設定する。

実施例１「１０メートル快適歩行」をロボット計測器２００で計測する場合に各課題をどのように解決しているかを以下に説明する。

第一の課題「被測定者１００にセンサー装着の負担を負わせない」の目的を達成する手段はロボット計測器２００の頭部に搭載した非接触の三次元空間情報センサー３１０であり一例はＫＩＮＥＣＴ（マイクロソフトの商品）である。図１は、被測定者１００とロボットの測定時の空間的配置イメージの一例であり、ロボットは頭部に搭載したセンサーを被測定者１００に向けている。

図１８は計測時に時刻Ｔ１とＴ２における被測定者１００とロボット２００の位置関係を説明する図である。図１８の左側の被測定者１００は時刻Ｔ１およびＴ２における同一人物の形状を模式的に示したもので体の重心座標（Ｘ軸１５０、Ｙ軸１５１、Ｚ軸１５２）が時刻Ｔ１（１４１）から時刻Ｔ２（１４２）と変化する様子を示している。同時に○印で示した右肘関節の三次元座標１５４と身体重心位置１４０との相対関係を示している。

時刻Ｔ１で右肘関節は重心原点座標Ｔ１においては進行方向Ｚ軸の値がプラスであるのに対して、時刻Ｔ２においては重心原点座標Ｔ２に対してＺ軸の値がマイナスになっている。このように人の体の動きを把握するには人の体において基準点（原点）を定めて体各部の位置を記録することが必要であり、本発明では体の重心１４０を原点とすることも提案している。他にも医療分野で用いられる前額面、矢状面に基準点を設定することも本発明の提案に含まれる。前額面は人体を前側（腹側）と後ろ側（背側）の２つの部分に分けたときの断面のことであり、矢状面は左右線対象な動物の体の正中に対し平行に、体を左右に分ける面である。

図３に示した三次元空間情報センサー３１０は、光学的方法で、高速に繰り返して（例えば１／３０秒ごと）、視野内の全測定点を計測して測定点毎の三次元空間情報（Ｘ軸３２０，Ｙ軸３２１，Ｚ軸３２２座標）を得る。図４に示すように三次元空間情報センサー３１０は視野内の全方向に直線距離を測定する目的で赤外光３１２をドットパターン生成フィルム３１３を介して投影レンズ３１４から投影し、視野内に存在する人や家具などの表面において反射された赤外光を距離測定赤外光集光レンズ３１７により集めて距離測定用赤外光受信ＣＣＤ３１８で受信しセンサー３１０と反射点間の直線距離算出を行う。

得られた直線距離情報をセンサーが予め設定したＸ軸３２０，Ｙ軸３２１，Ｚ軸３２２成分に分解することで測定点１０１のＸ，Ｙ，Ｚ座標が得られる。三次元空間情報センサー３１０を採用することに、測定対象である被測定者１００にセンシングのためのマーカーを付けずに、体表面からの反射赤外光で得られる三次元空間情報に基づく体表面のポリゴン１２０、即ち被測定者１００の立体像情報を作成することが可能である。本ポリゴン情報は動画像と同じ毎秒３０フレームで測定することで被測定者１００の体の動きを三次元情報として記録できる。理解を容易にするために、図５は縦方向に距離測定の赤外線を投影した時の距離測定光の軌跡３５０と距離情報測定点の例１０２、１０４、１０５、１０７、図６は横方向に赤外線を投影した時の距離測定光の軌跡３５０と距離情報測定点の例１０２、１０５を示している。

実際には測定対象領域すべてをカバーするように赤外線を投影する。図５においては被測定者１００の額１０２、首１０４、腰１０５および床１０７を赤外光で距離測定している様子を示している。その結果、図１０に示すように体の表面を面上に覆うポリゴン１２０を作成することが可能となる。

図５，６、７のいずれにおいても、左側の図は三次元空間情報センサーのセンサー面原点３１７から距離測定光が投影される軌跡３５０を人物の右横から描いており、右側の図はロボット計測器２００側から被測定者１００の正面を見た形で同じく距離測定光の軌跡３５０を示している。また図７では左側の図で示した人の額の距離測定による三次元座標１０２から作成した額のポリゴン１０３を右側に図示し、左側で示す被測定者１００の腰の三次元座標１０５で生成する腰のポリゴン１０６を右側に図示している。

「１０メートル快適歩行」においてロボット計測器２００は所要時間とともに被測定者１００が１０メートル区間で要した歩数を計測する。ロボットは被測定者１００の右足および左足の動きをセンサー３１０が検出する三次元座標から判定する。

ロボット計測器のセンサー面は時刻Ｔ１の原点位置３３０、時刻Ｔ２の原点位置３３１と移動する。図２２ではロボット計測器が移動しながらセンサー３１０が被測定者１００の足元についても位置座標情報３４３，３４４，３４５を収集している様子を示しており、右足左足が交互に動く様子を解析し、片方の足の位置の変動が少なく、他方が動いていると判定される周期を一歩とし、その累積で歩数を計測する。

図２２では被測定者１００が一人で歩行している様子を示しており、付き添いの介助者１３５などは図中に表示していないが、実際には図１３に示すようにロボットとともに介助者１３５が付き添っていることを前提としている。図２４は実施例１で試作したロボット計測器２００の測定データをグラフ化した図であり被測定者の歩数が計測できていることを示している。

図４で基本原理を説明した様に、非接触の三次元空間情報センサー３１０が被測定者１００をセンシングする。ロボット計測器２００は頭部に搭載したセンサーから被測定者１００あるいは周囲空間に配置された家具類に向かってセンシングのための赤外光を多数照射し、その光が被測定者１００の皮膚の表面、衣服の表面、家具類の表面で反射する様子を観察して距離を算出する。センシングの距離算出の仕組みには複数種類あり、光を照射する窓とは異なる位置に赤外光受信用窓を設置して三角測量により距離測定する方法、光パルスを使い光照射時間から光検出時間までの時間差から距離測定する方法などがある。

三次元空間情報センサー３１０が距離をセンシングして得たポイントと二次元画像を撮影して得られた画素の三次元空間位置は一般には一致しない。このため両者の位置関係を予め調べ、各二次元画素対応の三次元空間座標（位置ベクトル）を算出する処理が必要になる。図８は三次元空間座標原点３１７位置とは異なる位置に可視光集光レンズ３１５を配置して被測定者を可視光ＣＣＤ３１６で撮影し、可視光受信ＣＣＤの画素配列１１０で検出する色情報と図７のポリゴン１０３，１０６を重ねて表示した例である。

図９は三次元空間情報センサー３１０位置情報と可視光ＣＣＤ３１６が検出した位置情報の対応関係を予め計測する方法の一例である。両者が空間的に別位置に存在するため、センサーと被測定者の距離が変動すると両者の対応関係が変化する。図９では三次元空間情報センサー３１０が投射する赤外光の方向が一定でもスクリーンの位置がセンサーに近づくと可視光受信ＣＣＤ上では座標が横にずれていく例を示している。三次元空間情報センサー３１０はリアルタイムで三次元空間座標（位置ベクトル）と可視光ＣＣＤ３１６情報を計測し三次元空間情報処理装置４１０に送り画素毎の位置ベクトルを算出する。

本発明ではこの非接触三次元空間座標測定機能を採用しリハビリ効果測定を目的とするロボット計測器２００として実現し、第一の課題「被測定者１００にセンサー装着の負担を負わせない」の目的を達成し医療介護分野で利用する。

第二の課題「一般の廊下や部屋などどこでも測定できるようにする」の目的を達成する手段は上記三次元空間測定装置を頭部に搭載したロボットに移動手段としての走行部５００を組み合わせロボット計測器２００とすることで、センシング可能範囲に常時被測定者１００を捉えるように走行制御することで実現する。図２３は実施例１で試作に利用したＲｏｏｍｂａ（ｉＲｏｂｏｔ社商品）の走行機能を説明する図である。Ｋｉｎｅｃｔを頭部（センサー部）に搭載し、脚部（走行部）には被測定者１００の動きに合わせて移動する走行機能Ｒｏｏｍｂａを備えることで「一般の廊下や部屋などどこでも測定できるようにする」を実現する。

第三の課題「身体各部の三次元空間座標の計測を体表面の三次元座標を計測するセンサーを用いて自動的に推定する」の目的を達成する手段は、三次元空間を測定する赤外線センサーから得られる距離情報と予め用意した人体の立体モデル１２１，１２２，１２３，１２４を利用する。図１０は模式的にその様子を示す。三次元空間情報センサー３１０により撮影空間内で動き回るポリゴンで構成される一塊の物体を抜き出すことができる。

一例として一秒間に３０コマ空間距離情報を撮影するセンサーでは、毎フレームの距離情報から差分を計算し、移動物体が存在する領域を切り出すことが可能である。あるいは一コマの撮影フレームにおいても近接した距離情報をもつ領域は関連性があると判断し、距離情報の変化が一定以上の場合には別の物体と判断することで被測定者１００候補となる塊を識別することが可能である。図１０では得られた被測定者１００候補のポリゴン情報と予め用意された人物立体モデルを突き合わせる処理により三次元空間情報処理装置４１０において被測定者の体位を判定する様子を説明している。

図１１では検出した被測定者１００候補の領域を破線で囲んだ立法体１３０で示している。図１１左に示すように三次元空間情報センサー３１０で得られる情報はセンサー側の赤外光が反射する被測定者１００の半分弱に相当する顔や衣服の表面形状の情報である。人物表面形状からは図１１に示すようにたとえば背の高さや肩幅の寸法、胴回り寸法１３１を測定することができる。

図１２は得られた人体モデルを利用し、予め作成して情報として三次元空間情報処理装置４１０内に記録されている骨格モデル１２５を当てはめる様子を示している。測定した背の高さや肩幅に合わせて骨格モデル１２５を変形することで測定中の被測定者１００の体形に合わせることができる。モデルの体形が決定されれば、次に骨格モデル１２５からたとえば右肩関節の位置が算出できるため、被測定者１００表面形状と組み合わせることで右肩関節の三次元座標を算出することができる。三次元空間情報センサー３１０は体ないしは衣服の表面までの距離を算出するがこのように骨格モデル１２５を組み合わせることで人体内部に存在する関節位置の空間座標を算出することが可能になる。このようにして第三の課題「身体各部の三次元空間座標の計測を体表面の三次元座標を計測するセンサー３１０を用いて自動的に推定する」により目的を達成する。

図１９はロボット計測器２００が三次元空間情報センサー３１０の前面を直交座標の原点として測定した位置ベクトルが様々な原点位置の位置ベクトルに変換可能であることを説明する図である。図１９において例示しているのは被測定者１００の身体重心Ｇ１４０を原点とした三次元座標、センサー面Ｓを原点３１７とした三次元座標、重心Ｇから床に鉛直線を下して床との交点を床面原点Ｆ１７０とする座標である。

図１９では一例として被測定者１００の右手手先ポイントＰ１０１についてセンサー面を原点として測定した位置ベクトルＳＰ３４０、センサーが重心位置を計測した位置ベクトルＳＧ３４１とするならば被測定者１００の身体重心Ｇ１４０を座標原点とするＰ１０１の位置ベクトルＧＰ１５３はベクトルＳＰ３４０マイナスベクトルＳＧ３４１で得られることを示している。どの座標も各軸が直角に交わる直交座標が前提条件である。

三次元空間に設定する直交座標は相互に変換可能であることは周知であり、変換式の一例は以下のとおりである。
（１）直交座標での原点の変更（座標系の平行移動）
原点を、（ｘｏ，ｙｏ，ｚｏ）に変更する。
ｘ＝ｘ−ｘｏ
ｙ＝ｙ−ｙｏ
ｚ＝ｚ−ｚｏ
（２）直交座標での座標系回転（ｘ軸回りの回転）
ｘ軸回り（反時計回りを正）に、ｙ，ｚ座標軸をθだけ回転する。
ｘ＝ｘ
ｙ＝ｙ＊ｃｏｓ（θ）＋ｚ＊ｓｉｎ（θ）
ｚ＝−ｙ＊ｓｉｎ（θ）＋ｚ＊ｃｏｓ（θ）
（３）直交座標での座標系回転（ｙ軸回りの回転）
ｙ軸回り（反時計回りを正）に、ｘ，ｚ座標軸をθだけ回転する。
ｘ＝ｘ＊ｃｏｓ（θ）−ｚ＊ｓｉｎ（θ）
ｙ＝ｙ
ｚ＝ｘ＊ｓｉｎ（θ）＋ｚ＊ｃｏｓ（θ）
（４）直交座標での座標系回転（ｚ軸回りの回転）
ｚ軸回り（反時計回りを正）に、ｘ，ｙ座標軸をθだけ回転する。
ｘ＝ｘ＊ｃｏｓ（θ）＋ｙ＊ｓｉｎ（θ）
ｙ＝−ｘ＊ｓｉｎ（θ）＋ｙ＊ｃｏｓ（θ）
ｚ＝ｚ

第五の課題「測定対象の被測定者１００が移動しかつセンサーもロボットに搭載して常時移動する場合どちらも空間に固定した絶対座標での計測はできないため、同一被測定者の過去のデータと比較評価することが困難となる」の解決策の一つは人体の重心位置Ｇを原点座標として前額面をＸＹ平面、矢状面をＹＺ平面に一致させることである。毎回同じ原点と座標に基づくデータの記録が可能となり、したがって過去の測定データとの比較も容易になる。

図１８において被測定者１００の重心１４１、１４２を原点として３次元の座標（Ｘ、Ｙ、Ｚ軸）を示している。時刻Ｔ１の座標軸は実線で、時刻Ｔ２の座標軸は点線で示している。提案する座標軸は、前額面に平行な平面をＸＹ平面、矢状面に平行な平面をＹＺ平面、平らな床に平行な平面をＸＺ平面である。被測定者１００が静止した状態での重力が働く方向をＹ軸のマイナス方向とする。

したがって床が水平であればＹ軸は床に垂直（鉛直）な法線となる。本発明が提案するロボット計測で被測定者１００の体の動きを観察するとき、ロボットのディスプレイ画面ないしは記録ファイルをパソコン等他のディスプレイ画面に表示して観察することになる。その場合ディスプレイ上では安定した被測定者１００の動作画像が表示されることが望ましい。ここで述べる安定した人物描画の事例は被測定者１００の重心位置が常にディスプレイの中心にあり３軸の方向が一定であり、被測定者１００を常に等距離から観察している画像となることである。別の事例はビデオ撮影のような被測定者１００が廊下を歩いている軌跡まで含めた様子を再現することでその場合には図１９で示した床面原点Ｆ１７０を利用すると分かりやすい。

ディスプレイ上に被測定者１００の動作を安定した画像で表現するためには、図１４においてロボットのセンサーと被測定者１００間の距離が常に一定でしかも正対していることが条件となる。つまり時刻Ｔ１における重心原点１４０とセンサー面原点との距離と向きが、時刻Ｔ２におけるそれらと同一となることである。しかし被測定者１００が動き、ロボットも追従動作を行うためにこの条件を常に満足させてロボット測定を実現することは不可能である。したがって何らかの手段で補正処理が必要となる。

本発明の提案はロボット計測器２００がセンサー３１０を利用して被測定者１００の重心位置１４０を推定し、重心位置の距離変動および向き変動を考慮して補正することである。ロボット計測器２００はセンサー面３２０を原点として３軸の空間座標を作成する。ロボット計測器２００は床平面をセンサーで検知し、床平面に平行なＸＺ平面を作成する。またＹ軸は床に垂直な法線としロボット計測器２００の進行方法をＺ軸とする。

ロボット計測器２００のセンサーはセンサー面を原点３２０とする被測定者１００の重心座標１４０を測定により知ることが可能で、センサー面原点座標と被測定者１００の重心原点座標の相対位置関係を把握することが可能となる。ロボット計測器２００のＹ軸に対して被測定者１００の重心Ｙ座標が上下に変動する様子、およびロボット計測器２００のＺ軸の向きに対して被測定者１００のＺ軸の向きが変動する様子、さらに被測定者１００の重心座標とロボットセンサー面座標との距離変動分（Ｘ，Ｙ，Ｚ各成分）を補正する。

図２２はロボット計測器２００が被測定者１００の足の運びをセンシングして床に対する被測定者１００の動き（軌跡）を計測する仕組みを説明している。被測定者１００の足の位置をロボットのセンサーが検出しその座標をセンサー面原点情報３３０，３３１で測定する。得られた足位置座標はセンサー面を原点とするため、時刻Ｔ１とＴ２で異なる値となり、ロボットが時刻Ｔ１からＴ２に移動した距離情報が加算されている。

これに対し被測定者１００の足が床に接触している場所ないし身体重心のＹ軸を床面におろした交点を一時的な床面原点１７１、１７２とみなすことでロボットがＴ１において測定した３次元座標とＴ２において測定した値が異なるものの、演算処理でＴ１およびＴ２の床面原点を同一とみなし、床に法線を下した身体重心位置を中心に足の軌跡を描くことが可能となる。床面原点は被測定者１００の右足左足が同時に床に接触している間仮想的にソフトウエアで設置する。

リハビリ計測で対象とする被測定者１００は一般に歩行に困難を伴う人が多く、両足とも床に接触している。このため仮想的な床面原点を設定することで、図２２に示すように歩幅・歩数を仮想原点間の距離と頻度（床面原点間の距離と数）から直接算出することが可能となる。

第四の課題「空間センサーと人体との変動する距離情報をもとに人体各部の相対的な位置関係を算出して安定した人体の動き画像を生成する」の目的を達成する手段は前述の直交座標相互の変換では原点と座標を任意の場所に計算で移動することができる原理を利用して、センサー面３３０，３３１から一定距離（たとえばＺ軸２メートル）に図１９におけるＧ座標１４１，１４２を移動しその上で床面原点Ｆ１７１，１７２を基準にしてディスプレイ上に被測定者の画像を描画することであり、安定した人体の動き画像を描くことができる。

第六の課題「特定動作の所要時間と距離を測定環境に設置された印を利用して自動算出する」の目的を達成する手段は、床ないし周囲の家具類にセンサーで読み取り可能な記号を描くことで頭部センサー（センサー部）ないし脚部センサー（走行部）で検出し予めプログラムされた処理動作を行うことで、たとえば測定開始、測定終了の判断を自動的に実施すめる。図１４、図１６は１０メートル快適歩行の測定を説明している。１０メートル快適歩行ではスタートライン１６０とゴールライン１６２を床に設定して１０メートルの距離を示す。本発明ではこれらのラインをロボットに搭載したセンサーで識別することで、スタートライン１６０からゴールライン１６２まで被測定者１００が費やした時間・歩数を計測する。

第七の課題「足裏に加わる床反力の計測」の目的を達成する手段は、センサーが計測した被測定者１００の体形情報から予め参照データとしてロボット計測器２００に保存されているモデル人体情報を利用して体重を計算し被測定者１００の動き情報も勘案して足裏にかかる圧力を算出することで実現する。床反力は被測定者１００の歩行状態から各関節や筋肉にかかる負荷を解析する情報として有用である。

図２０は床反力の計算についてその仕組みを説明している。ロボット計測器２００のセンサー３１０は人物存在空間１３０を利用して被測定者１００の背の高さを検出できる。その様子は図１１で説明した。背丈に人の骨格モデル１２５を組み合わせることで、肩の高さ・回り寸法、胸の高さ・回り寸法、ウエストの高さ・回り寸法、腰の高さ・回り寸法などが推定できる。その様子は図２０で説明している。これら高さ及び回り寸法情報からセンサーが該当の高さ位置で人体の水平面に相当する表面形状を収集し、それを予め収集した被測定者１００の標準断面図を当てはめることで各断面の面積が推定できる。これらを人体各部で計算することで、被測定者１００の体積について上限下限値を推定することが可能であり、人の比重を掛け合わせることで体重を推定することができる。

したがって推定した体重が体の重心１４０にかかることを前提にすると図２０に示す重心からの下向きベクトル３６０で表すことが可能となる。被測定者１００重心の下向きベクトルを支える形で被測定者１００の足裏１３２にかかる床反力ベクトル３６１を推定することが可能になる。被測定者１００に動きがある場合には、動きのベクトルも考慮して床反力３６１を計算する。さらに、重心の左右への位置変動から左右の足にかかる力の配分を求める。このようにして第七の課題「足裏に加わる床反力の計測」の目的を達成する。

第八の課題「被測定者１００と介護者を自動的に見分ける」の目的を達成する手段は、介護者に被測定者１００とは異なる特徴を見出すか目印を付与することとし、衣服の形状や色配置の違い１３８、帽子１３６の有無、職員証１３７などの目印を利用することで実現する。図１３は１０メートル快適歩行を計測する場合の一般的な測定風景で被測定者１００は歩行が困難であり万一の転倒に備えて介助者１３５が一緒に歩行する。三次元空間情報センサー３１０は被測定者１００と介助者１３５を同時にセンシングするため、図１３の例では二人の人物を検出する。１０メートル快適歩行の計測は被測定者１００のみに実施するため、センシングした二人の人物の内被測定者１００を識別して測定する必要がある。このため介助者１３５に識別のための手段として、帽子１３６などの目印、職員証１３７などの目印、衣服の形状や色１３８を利用する。

第九の課題「衣服をまとう被測定者１００と風でそよぐカーテンなどの衣服と類似のセンサー反応を示す物体との識別」の目的を達成する手段は、被測定者１００の足が床面に接触１３２していること、人体の背丈の範囲に納まること、背丈から人体モデルに基づいて割り出した肩、胸、腰などの高さにおいて被測定者１００の水平断面を距離情報から作成し、人体モデルの特徴条件を満たしているかどうか判定することで実現する。図１１において三次元空間情報センサー３１０がカーテン１３３をスキャンしその表面形状の軌跡１３４を調べる様子を図示している。

図１１は被測定者１００の背後に風で揺れ動くカーテンなどがセンシング領域内に存在した時にロボットのセンサーが人物を誤認識する様子を説明している。空間内に存在する人物を検出する手段は人の動きによる背景との分離であり画像の各フレーム間で各画素の差分を算出することで求める。

このような手段をロボット計測器２００の空間センサー３１０に適用すると風で動くカーテンなど、人の着衣に近いセンサー反応を示す対象物に対して人が存在する候補として検出する。そこで人であるかどうかを更に検証するためには追加の条件チェックが必要であり、被測定者１００の足が床面に設置していること、人体の背丈の範囲に納まること、背丈から人体モデルに基づいて割り出した肩、胸、腰などの高さにおいて被測定者１００の水平断面を距離情報から作成し、人体モデルの特徴条件を満たしているかどうか判定することで実現する。

第十の課題「三次元光センサーによる人体表面をスキャンして予め容易された人体モデルを適用して人の動きを測定する手法では、特定の人を対象にしたときに関節位置など身体部位の測定値に誤差が生じる」という課題に対しては、医療機器ＣＴ、ＭＲＩで特定の人を診断したデータから当該被測定者１００の骨格や体形情報を別途生成し、その情報を本発明ロボット計測器２００に予め参照データとして与えること、ならびにロボット計測器２００が計測した人体表面の三次元情報をロボット計測器２００がファイル出力し別途オフラインのマシンを使って計算することで誤差を低減することで解決する。ＣＴ，ＭＲＩは人を寝台に寝かせた状態で精密な人体構造を測定する装置である。このため、骨格、関節、筋肉、臓器の位置が精密に計測される。しかしながらＣＴ、ＭＲＩでは人が動いている状態での計測はできない。一方本発明で提案するロボット計測装置は被測定者１００を拘束することなく自由に動き回る状態で三次元空間情報センサー３１０を利用して人の外形情報から関節位置情報などを推定する。このためＣＴ，ＭＲＩを使って特定の被測定者１００の骨格や体形情報を測定し、本発明のロボット測定器と連携させることで、より誤差の少ない動き情報を収集してリハビリに活用することが可能になる。

第二の実施例を図１７で説明する。「Ｔｉｍｅｄ Ｕｐ ＆ Ｇｏ」は「１０メートル快適歩行」と同じくリハビリ医療の現場で採用されている歩行能力を測定する一つの計測手順である。被測定者１００は最初椅子に座り介助者１３５の指示に従いのポールの周囲を回って元の椅子に座り、所要時間と歩数を介助者１３５が測定する。図１７ではその様子を本発明で提案するロボットによる計測する方法を説明している。「１０メートル快適歩行」では被測定者は直線距離を歩いたが、「Ｔｉｍｅｄ Ｕｐ ＆ Ｇｏ」では椅子に座った状態からスタートすること、またポールまでの折り返しを歩き方向転換することが異なる。所要時間の計測は椅子から立ち上がった時間から椅子に座った時間まででこれも「１０メートル快適歩行」とは異なる。図１７では示していないが介助者１３５が被測定者１００の転倒に備えて一緒に歩行することは前提となっている。「Ｔｉｍｅｄ Ｕｐ＆ Ｇｏ」においても１０メートル快適歩行と同じく各課題が適用され、解決策も同様である。

第三の実施例「運動能力計測ロボット」は現時点で存在していないが、提案者が今後高齢化社会において広く普及すると予想している人の運動能力を計測するロボットの提案である。高齢者は年齢とともに運動能力が徐々に低減し次第に一人では日常生活に支障をきたすようになる。このため、高齢者の運動能力あるいは生活能力について定量的に把握するための計測手段の出現が望まれる。本発明で提案するロボット計測器は三次元空間情報センサー３１０を使い高齢者の動き情報を空間座標で収集し、収集した空間座標から体各部の動きを推定する。推定した体各部の動き情報から軌跡、運動力、加速度、関節可動域などを算出し、運動能力を定量的に把握することが可能となる。

これら収集した情報をネットワークを介してビッグデータとして扱うことにより、高齢者の生活についてより生活に密着した統計的なデータ処理が可能となる。すなわち運動能力が一定レベル以下になる兆候を見つけ出す基準値を設定してリハビリや生活習慣の改善に役に立てるなどである。

第十一の課題は、人の動きを観察してその人の日常生活における運動能力、生活能力を客観的に測定する手段がないことである。本発明で提案する計測ロボットで日常生活における高齢者の動きを測定記録することで、体各部位の動きについて、軌跡、運動量、加速度、関節可動域などを算出し運動能力を定量的な指標で示すとともに、被測定者１００および医療従事者に数値、グラフ、静止画、動画として提供し、高齢者の運動能力を測定しリハビリに活用する。

第四の実施例は走行部５００を保有しない固定式のロボット計測器２００である。ロボット計測器２００はモジュール組み合わせ式であり実施例１で示したロボット計測器２００から走行部５００のモジュールを取り外して固定式としたものである。

固定式ロボット計測器２００は走行部５００に代わって三次元センサーの視野を左右に移動できるように、三次元センサーは機械的な回転装置の上に搭載されており、センシング方向を回転できる。ただし、ＫＩＮＥＣＴを採用すると撮影距離は４ｍであり、その制限の理由は距離測定赤外線レーザの光量であるので、赤外線レーザを光量の大きなものに換装する。その他に実施例１と異なるのは、走行部５００が制御装置４２０に従って、測定対象である被測定者１００から一定の距離を保って移動したのに対して、回転装置が制御装置４２０に従って、測定対象である被測定者１００を常に視野の中央に位置するように回転する点だけである。その他の構造や動作は実施例１と同様である。

固定式ロボット計測器２００では、機械的に三次元センサーを回転する代わりに、周囲３６０度を視野に入れる３６０度レンズを使う光学的な方法も可能である。この場合は機械的な回転装置は不要であり、撮影した画面の歪みを画像処理によって正しく直す。この場合も、その他の構造や動作は実施例１と同様である。

本発明は高齢化社会に役立つ提案であり福祉分野で大いに利用されると期待できる。

１００・・・ロボット計測器２００で測定対象とする人（患者、被測定者）
１０１・・・人の右手の距離測定ポイント、Ｐ点
１０２・・・人の額の三次元座標（センサー面原点）
１０３・・・人の額の三次元座標（センサー面原点）から作成するポリゴンの例
１０４・・・人の首の三次元座標（センサー面原点）
１０５・・・人の腰の三次元座標（センサー面原点）
１０６・・・人の腰の三次元座標（センサー面原点）から作成するポリゴンの例
１０７・・・床の三次元座標（センサー面原点）
１１０・・・可視光受信ＣＣＤの画素配列の例
１２０・・・被測定者に対して照射した距離測定光で得られたすべての三次元座標情報で構成したポリゴン
１２１・・・ポリゴンで構成する人物立体モデル（立位）
１２２・・・ポリゴンで構成する人物立体モデル（座位）
１２３・・・ポリゴンで構成する人物立体モデル（仰臥）
１２４・・・ポリゴンで構成する人物立体モデル（転倒）
１２５・・・ポリゴンで構成する人物骨格モデル
１３０・・・被測定者を囲む立方体で示す人物存在空間
１３１・・・被測定者の胴回りポリゴン形状から推定した胴回り形状
１３２・・・被測定者の足位置から算出した足の床接触点
１３３・・・カーテン
１３４・・・カーテンの表面形状を計測する距離測定赤外光の軌跡
１３５・・・介助者
１３６・・・介助者が身に着ける帽子
１３７・・・介助者が身に着ける職員証
１３８・・・介助者が身に着ける衣服
１４０・・・人の重心座標原点、Ｇ点
１４１・・・時刻Ｔ１における人の重心座標原点
１４２・・・時刻Ｔ２における人の重心座標原点
１５０・・・重心座標原点のＸ軸
１５１・・・重心座標原点のＹ軸
１５２・・・重心座標原点のＺ軸
１５３・・・重心座標原点からＰ点への位置ベクトル
１５４・・・人の右腕肘の三次元座標（重心座標原点）
１６０・・・スタートライン
１６１・・・スタートラインを検出する位置ベクトル（センサー面原点）
１６２・・・ゴールライン
１６３・・・ゴールラインを検出する位置ベクトル（センサー面原点）
１７０・・・人の重心座標原点から床面に鉛直線を下し床面との交点を原点とする床面原点で、Ｘ軸Ｚ軸は重心原点座標と平行、Ｙ軸は重なる。
１７１・・・時刻Ｔ１における床面原点
１７２・・・時刻Ｔ２における床面原点
２００・・・ロボット計測器
３００・・・センサー部
３１０・・・三次元空間情報センサー
３１１・・・制御・伝送回路
３１２・・・距離測定用赤外レーザ光源
３１３・・・ドットパターン生成フィルム
３１４・・・距離測定赤外光投影レンズ
３１５・・・可視光集光レンズ
３１６・・・可視光受信ＣＣＤ
３１７・・・距離測定赤外光集光レンズ、三次元空間情報センサーのセンサー面座標原点
３１８・・・距離測定用赤外光受信ＣＣＤ
３２０・・・センサー面原点のＸ軸
３２１・・・センサー面原点のＹ軸
３２２・・・センサー面原点のＺ軸
３３０・・・時刻Ｔ１におけるセンサー面原点
３３１・・・時刻Ｔ２におけるセンサー面原点
３４０・・・センサー面原点からＰ点への位置ベクトル
３４１・・・センサー面原点からＧ点への位置ベクトル
３４３・・・時刻Ｔ１におけるセンサー面原点から左足への位置ベクトル
３４４・・・時刻Ｔ１におけるセンサー面原点から右足への位置ベクトル
３４５・・・時刻Ｔ２におけるセンサー面原点から左足への位置ベクトル
３５０・・・距離測定光の軌跡
３６０・・・重心に加わる力ベクトル
３６１・・・右足踵の床反力ベクトル
４００・・・制御部
４１０・・・三次元空間情報処理装置
４２０・・・制御装置
４３０・・・入力装置
４４０・・・記憶装置
４５０・・・表示装置
４６０・・・通信装置
４７０・・・電源装置
５００・・・走行部
５１０・・・移動装置

Claims (4)

1. 被測定者の動きを測定するロボット計測器であって、
   制御部と、三次元空間座標と二次元画像から構成される三次元空間情報を取得するセンサー部と、前記制御部と前記センサー部を搭載して一体で移動する走行部を有し、
   前記制御部は、自律的に移動する前記被測定者の計測中に、前記被測定者が前記センサー部のセンシング可能領域に入るように前記センサー部を制御し、且つ前記走行部を前記被測定者の動きに追従するように前記走行部の移動を制御し、
   前記センサー部により取得される、前記三次元空間座標は、被測定者の空間における位置座標であり、前記二次元画像は、前記空間に存在する被測定者の各測定点の色情報であり、
   前記制御部は、更に前記センサー部により取得される三次元空間座標と二次元画像から前記被測定者の三次元空間情報だけを選択的に求め、前記求めた三次元空間情報から前記被測定者の身体の各部分との対応を推定する、
   ことを特徴とする人間の動きを測定するロボット計測器。
2. 請求項１において、
   前記制御部は、前記三次元空間情報のセンサー部の取得した三次元空間情報から形状マッチング処理により前記被測定者とする機能と、
   前記被測定者の動きを表示装置上に表示するとき、前記センサー部を原点とした座標で計測される座標データを基に、前記センサー部と前記被測定者間の距離が一定となる座標変換処理を行う機能を有し、これにより
   前記被測定者との距離が変化しても前記表示装置に前記被測定者の形状が安定した大きさで表示させる、
   ことを特徴とする人間の動きを測定するロボット計測器。
3. 請求項２において、
   前記制御部は三次元空間情報処理装置を有し、前記センサー部で得た三次元画像全体の情報から、固定物体の画像のうちから指定された標識を判別する機能を有し、前記被測定者が標識として設定したスタートラインを越えて移動する事象を検知して、その事象の発生した時刻を記録し同時に測定を開始し、前記被測定者が歩行中に足の動き情報を解析して歩数を計数し、次いで、第２標識として設定したゴールラインで測定終了時間を判定し経過時間および歩数計数測定を終了する機能を有する、
   ことを特徴とする人間の動きを測定するロボット計測器。
4. 請求項２または３において、
   前記制御部は、前記被測定者の画像から前記被測定者の体重を推定し、重心の位置と、下肢の動きとから、歩行時に足にかかる力を連続して推定し、その結果を床反力データとする機能を有する、
   ことを特徴とする人間の動きを測定するロボット計測器。