JP6482102B2 - 測定装置及び測定方法 - Google Patents

Description

本発明は、歩行動作の分析技術に関する。

様々な場面及び分野で歩行動作の分析が行われている。例えば、転倒を防ぐために、高齢者や運動機能の疾患者を対象に歩行動作が分析される。また、理学療法の場面においても、歩行動作の分析により歩行障害を見つけ、治療方法が決定される。

一方で、モーションキャプチャ技術や三次元センシング技術を用いて、人の動きを三次元で捉え、デジタルデータ化する様々なアプリケーションが存在する。モーションキャプチャの方式には、三次元センサから得られる三次元情報を用いて人体の姿勢推定を行う方式が存在する。三次元センサから得られる三次元情報は、被験者が実際に存在する三次元空間を表す情報であり、二次元情報及び深度情報により形成される。二次元情報で表される二次元は、単一の可視光カメラ等から得られる映像又は画像の平面であり、深度情報で表される深度は、赤外線センサや複数の可視光カメラ等の三次元センサから得られる、三次元センサからの距離を示す。三次元位置は、二次元位置と深度とから特定される。上述の方式によれば、人体にマーカやセンサを付すことなく、人の動きを三次元データ化することができる。人体の姿勢推定では、三次元情報から人の肢体の各部位（頭、手、腕、脚など）が認識され、各部位の動きが記録される。

下記特許文献１では、三次元センサであるＫｉｎｅｃｔ（登録商標）を搭載した自走式装置を用いて、歩行能力を測定する手法が提案されている。この手法では、自走式装置が被験者との距離を一定に保つように走行しながら、Ｋｉｎｅｃｔ（登録商標）から得られるスケルトンデータ（骨格の位置データ）が記録され、被験者の歩行時の特徴がグラフ化される。

安達宏幸ほか，"ＫＩＮＥＣＴ・自走ロボットを使用した歩行データの取得"，信学技法，MICT2014-50，2014-10

しかしながら、上述の提案手法で利用されるスケルトンデータは精度に問題がある。例えば、足の三次元位置がスケルトンデータとして得られるが、足首より下の足部は、踵からつま先まで或る程度の大きさがあるため、スケルトンデータとして得られる位置情報も足部に関し固定的な箇所の位置を示すわけではない。このようなスケルトンデータを用いた上述の提案手法では、測定精度に改善の余地を残す。

本発明は、このような事情に鑑みてなされたものであり、高精度に歩行状態を測定する技術を提供する。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の側面は、測定装置に関する。第１の側面に係る測定装置は、二次元位置毎の深度を示す深度情報を取得する第一取得手段と、当該深度情報を用いて被験者の歩行状態を測定する測定手段と、二次元画像を取得する第二取得手段と、前記取得される二次元画像に線状画像が重畳された画像を表示する表示処理手段と、を有する。前記測定手段は、前記線状画像に対応する走査線上の深度情報を用いて前記被験者の歩行状態を測定する。

第２の側面は、少なくとも一つのコンピュータにより実行される測定方法に関する。第２の側面に係る測定方法は、二次元位置毎の深度を示す深度情報を取得し、当該深度情報を用いて被験者の歩行状態を測定し、二次元画像を取得し、前記取得される二次元画像に線状画像が重畳された画像を表示する、ことを含む。前記測定は、前記線状画像に対応する走査線上の深度情報を用いて前記被験者の歩行状態を測定する。

なお、本発明の他の側面としては、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、高精度に歩行状態を測定する技術を提供することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第一実施形態における測定装置のハードウェア構成例を概念的に示す図である。 第一実施形態における測定装置の処理構成例を概念的に示す図である。 被験者の足裏が歩行面に接地した状態における足部を表す深度画像の例を示す図である。 線状画像及びマーク画像が重畳された二次元画像の表示例を示す図である。 測定された歩行状態の情報が更に重畳された二次元画像の表示例を示す図である。 準備段階における測定装置の動作例を示すフローチャートである。 測定段階における測定装置の動作例を示すフローチャートである。 第二実施形態における測定装置の処理構成例を概念的に示す図である。 第二実施形態における測定装置の動作例を示すフローチャートである。

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

［第一実施形態］
〔装置構成〕
図１は、第一実施形態における測定装置１０のハードウェア構成例を概念的に示す図である。第一実施形態における測定装置１０は、いわゆるコンピュータであり、例えば、バスで相互に接続される、ＣＰＵ（Central Processing Unit）１、メモリ２、入出力インタフェース（Ｉ／Ｆ）３、通信ユニット４等を有する。

ＣＰＵ１には、一般的なＣＰＵに加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれる。
メモリ２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

入出力Ｉ／Ｆ３は、表示装置５、入力装置６等のユーザインタフェース装置と接続可能である。表示装置５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１等により処理された描画データに対応する画面を表示する装置である。入力装置６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置５及び入力装置６は一体化され、タッチパネルとして実現されてもよい。また、入力装置６は、音声を取得するマイクロフォンユニットであってもよい。入出力Ｉ／Ｆ３には、スピーカユニット等のような他の出力装置が接続されてもよい。

通信ユニット４は、他のコンピュータとの通信網（図示せず）を介した通信や、プリンタ等のような他の機器との信号のやりとり等を行う。通信ユニット４には、ＵＳＢ（Universal Serial Bus）等により三次元センサ７と接続される。但し、通信ユニット４と三次元センサ７との通信形態は制限されない。また、通信ユニット４には、可搬型記録媒体等も接続され得る。

三次元センサ７は、三次元情報を検出する。三次元センサ７は、例えば、Ｋｉｎｅｃｔ（登録商標）や３Ｄカメラのように、可視光カメラ及び深度センサが統合されたセンサとして実現される。深度センサは、距離画像センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離が算出される。三次元センサ７は、視野内の被験者の所定部位の三次元位置を検出することができれば、その実現手法は制限されない。例えば、三次元センサ７は、複数の可視光カメラを用いる三次元スキャナ方式で実現されてもよい。以下の説明では、説明を分かり易くするために、三次元センサ７は、可視光カメラ及び深度センサが統合されたセンサであると仮定する。

測定装置１０のハードウェア構成は、図１に示される例に限定されない。測定装置１０は、図示されていない他のハードウェア要素を含み得る。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、測定装置１０は、複数のＣＰＵ１を有していてもよい。

〔処理構成〕
図２は、第一実施形態における測定装置１０の処理構成例を概念的に示す図である。第一実施形態における測定装置１０は、データ取得部１１、検出部１２、決定部１３、設定部１４、測定部１５、表示処理部１６等を有する。これら各処理モジュールは、例えば、ＣＰＵ１によりメモリ２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット４を介してインストールされ、メモリ２に格納されてもよい。

データ取得部１１は、三次元センサ７から二次元画像のフレーム及び深度画像（距離画像）のフレームを所定周期で取得する。両フレームは、同じ周期で取得されてもよいし、異なる周期で取得されてもよい。以降、各フレームは、二次元画像及び深度画像と略称される。二次元画像は、可視光カメラにより撮像された画像である。深度画像は、深度センサにより得られるデータであり、当該二次元画像の撮像領域と略同一の領域の深度情報である。深度画像は、各画素の値（画素値）により深度を表す。即ち、深度画像は、二次元位置毎の深度を示す深度情報と表記することもできる。取得される二次元画像及び深度画像では、各画像の座標系が相互に変換可能である。但し、データ取得部１１は、録画された二次元画像及び深度画像を他のコンピュータ又は可搬型記録媒体から通信ユニット４を介して取得することもできる。この場合には、測定装置１０は、三次元センサ７に接続されていなくてもよい。

本実施形態では、被験者は、三次元センサ７に対して真横を向いた状態で、測定される。これにより、データ取得部１１により取得される二次元画像及び深度画像には、被験者の側面が表される。

検出部１２は、データ取得部１１から取得された深度画像から被験者の足部を検出する。ここで検出される足部は、くるぶしより下の全体であってもよいし、つま先から踵までを含む一部であってもよい。例えば、検出部１２は、被験者が含まれない状態で得られた深度画像を背景画像として認識し、その背景画像と差分が生じた画素の集合を被験者領域として認識する。検出部１２は、その被験者領域の下端で、深度画像の左右に最も広い部分を足部として検出する。但し、検出部１２による足部の検出方法はこのような手法に制限されない。例えば、検出部１２は、取得された二次元画像及び深度画像から得られる被験者の右足又は左足のスケルトンデータ（骨格データ）に基づいて、深度画像内の被験者の足部の位置に当たりをつけ、その位置の周辺で同じ深度を示す領域から足部を検出してもよい。このようにすれば、背景画像を認識する必要はない。

決定部１３は、検出部１２により検出された足部の長さを決定する。具体的には、決定部１３は、検出部１２により検出された足部における深度画像の左右に最も広い部分の画素数をカウントする。足部における深度画像の左右に最も広い部分は、つま先から踵までの直線又は領域に対応する。

設定部１４は、検出部１２により検出された足部の位置に基づいて、深度画像の二次元座標系における走査線の座標を取得する。「走査線」とは、データ取得部１１により取得された深度画像内の、測定部１５が深度を走査する画素の並びを意味する。「走査線」は、概念的には、深度画像で表される被験者の歩行面に相当する。例えば、設定部１４は、決定部１３により決定された足部の長さを示す線分を延長した直線を走査線とし、その走査線上の画素の位置を走査線の座標として取得する。本実施形態では、上述のように、三次元センサ７に対して被験者は真横を向くため、走査線は、深度画像の水平方向に設定される。但し、深度画像に設定される走査線は、直線でなくてもよく、例えば、曲線であってもよい。

測定部１５は、設定部１４により取得された走査線の座標（画素）の深度を用いて被験者の歩行状態を測定する。ここで、歩行状態を測定する上で、一歩を精度よく認識することは大変重要である。歩行面に足部が接地する度に、接地した右足部又は左足部内の固定的な部位の位置を特定することができれば、一歩を高精度に認識することができる。一方で、本実施形態では、上述のとおり、走査線上の深度を用いて歩行状態を測定することで、全ての深度を走査することに比べて、処理速度を向上させている。

そこで、測定部１５は、当該走査線上の深度情報を用いて、被験者の足裏が歩行面に接地した状態におけるその足部内の所定箇所の位置を特定し、特定された位置を用いて被験者の歩行状態を測定する。被験者の足裏が歩行面に接地した状態は、歩行動作におけるフットフラット（ＦＦ）期及びミッドスタンス（ＭＳ）期の足部の状態に相当する。歩行分析の分野では、一般的に、歩行動作が、ヒールコンタクト（ＨＣ）期、ＦＦ期、ＭＳ期、ヒールオフ（ＨＯ）期、及びトウオフ（ＴＯ）期に区分けされる。足裏が歩行面に接地した状態は、つま先から踵までのラインが走査線上に重なる状態により検出することができる。ところが、つま先のみ又は踵のみの接地状態は、走査線上の深度のみでは正確に検出することが難しい。走査線上の深度で示される足部の部位がつま先なのか、踵なのかを区別することが難しいからである。

例えば、測定部１５は、次のようにして、被験者の足裏が歩行面に接地した状態を検出する。測定部１５は、走査線に沿った所定方向に深度情報を走査することにより、歩行面に接地した足部の或る部位の位置を特定する。具体的には、測定部１５は、取得された深度画像における走査線上の画素と、検出部１２により背景として認識された深度画像（背景画像）における対応する位置の画素とで画素値に差分のある画素の位置を特定する。測定部１５は、その特定された部位の位置の深度と、その特定された部位の位置から決定部１３により決定された足部の長さ分先の位置の深度とが同じか否かを判定する。測定部１５は、この判定結果により両深度が同じである場合に、被験者の足裏が歩行面に接地した状態を検出することができる。ここで、「両深度が同じ」には、両深度が完全に一致する場合のみでなく、両深度が所定誤差内で近似する場合も含んでもよい。また、本実施形態では、２つの位置の深度のみで被験者の足裏が歩行面に接地した状態の検出を行うことで、処理負荷を軽減している。但し、足部の長さ分の領域に含まれる３つ以上の位置の深度を比較するようにしてもよい。

図３は、被験者の足裏が歩行面に接地した状態における足部を表す深度画像の例を示す図である。図３の例では、深度画像には被験者の足部の右側面ＦＤが表されている。図３の例において、測定部１５は、走査線ＳＬの座標として得られる位置（画素）の深度（画素値）を深度画像の右から左に走査していく。測定部１５は、この走査により、背景画像と異なる深度を示す位置ＳＰを最初に特定する。被験者の足裏が歩行面に接地した状態では、図３に示されるように、その位置ＳＰはつま先の位置を示す。測定部１５は、その位置ＳＰから決定部１３により決定された足部の長さＬＥＮ（例えば、５２画素）分先の位置ＥＰを特定する。被験者の足裏が歩行面に接地した状態では、その位置ＥＰは踵の位置を示す。測定部１５は、位置ＳＰの深度（画素値）と位置ＥＰの深度（画素値）とが同じ場合に、被験者の足裏が歩行面に接地した状態を検出することができる。踵のみ又はつま先のみが接地している状態、即ち足裏が歩行面に接地していない状態では、両深度は相違することになる。

本実施形態では、測定部１５は、被験者の足裏が歩行面に接地した状態における踵の位置を特定する。踵の位置は、図３の例では、位置ＥＰである。但し、測定部１５は、つま先の位置を特定してもよいし、つま先から踵までの中央の位置を特定してもよい。

測定部１５は、足部内の所定箇所（例えば、踵）に関し、上述のように特定された複数の位置に基づいて、歩幅の実測値、歩数、及び歩隔の実測値のいずれか一つ以上を算出する。特定された複数の位置の中で隣接する位置間の実距離が歩幅の実測値となり、特定された位置の数で歩数が算出できる。歩隔は、右足と左足との、肩幅方向（進行方向と直交する方向）の間隔であり、歩隔の実測値は、一歩前の足部の深度と現在の足部の深度との比較（差など）により算出することができる。但し、測定部１５により測定される歩行状態は、これらに制限されない。例えば、測定部１５は、一歩毎の歩幅の実測値を用いて、平均歩幅を算出することもできるし、歩幅の揺らぎ度（分散）を算出することもできる。更に、測定部１５は、位置の特定に用いられた深度画像のフレームの時間又は識別番号を保持することにより、特定された位置間の時間差を算出することができる。この時間差及び歩幅の実測値を用いて、測定部１５は、歩行速度を算出することもできる。

ところで、足部内の所定箇所に関し特定された各位置は、深度画像上の位置を示すため、深度画像上の各位置間の距離は、世界座標系における距離、即ち、歩幅の実測値ではない。よって、測定部１５は、深度画像上の各位置間の画素数から次のようにして歩幅の実測値を算出する。具体的には、測定部１５は、特定された位置間の画素数ＰＸ１と、特定された位置の深度ＤＰＴと、二次元画像の幅（水平方向の長さ）の半分の画素数ＰＸ２と、三次元センサ７（二次元画像を撮像する可視光カメラ等）の水平視野角の半分（例えば、３５度）とを用いて、次のような式により、世界座標系における位置間の距離（歩幅の実測値）を算出することができる。
世界座標系の距離＝（ＰＸ１・ＤＰＴ・ｔａｎ３５）／ＰＸ２
但し、歩幅の実測値の算出手法は、この式に限定されない。例えば、ＰＸ２は、深度画像の幅（水平方向の長さ）の半分の画素数とし、水平視野角は、深度センサの垂直視野角としてもよい。また、ＰＸ１は、二次元画像上における画素数としてもよい。

表示処理部１６は、データ取得部１１により取得される二次元画像を表示装置５に逐次表示する。表示処理部１６は、深度画像で被験者が検出された場合には、深度画像内で特定される被験者の領域に基づいて、二次元画像内の被験者を表す領域を特定し、二次元画像内の被験者の領域を深度情報で着色した二次元画像を表示してもよい。

また、表示処理部１６は、設定部１４により走査線の座標が取得されると、データ取得部１１により取得された二次元画像に、走査線に対応する線状画像が重畳された画像を表示することもできる。二次元画像における線状画像の重畳位置は、深度画像の座標系から二次元画像の座標系への変換により決定可能である。二次元画像に重畳されて表示される線状画像は、測定のための歩行路を被験者に指示する役目を持つ。即ち、被験者は、表示される線状画像を見ることで、どの位置を歩けばよいのか容易に把握することができる。表示処理部１６は、走査線に対応する線状画像に加えて、その線状画像に平行な１以上の他の線状画像を更に重畳させてもよい。

表示処理部１６は、測定部１５により特定された、足部内の所定箇所の位置を表すマーク画像が上記線状画像と共に、データ取得部１１により取得された二次元画像に重畳された画像を表示することもできる。このとき、測定部１５により特定された位置は、深度画像上の位置であるため、表示処理部１６は、その位置を二次元画像の座標系に変換することで、当該マーク画像の重畳位置を決定する。

図４は、線状画像及びマーク画像が重畳された二次元画像の表示例を示す図である。図４の例では、マーク画像が丸印で表され、走査線に対応する線状画像ＬＰ１に加えて、その線状画像ＬＰ１に平行な線状画像ＬＰ２が重畳表示されている。２本の線状画像ＬＰ１及びＬＰ２を表示することで、被験者に歩行路をより容易に把握させることができる。

更に、表示処理部１６は、測定部１５で測定された歩行状態の情報を表示してもよい。
図５は、測定された歩行状態の情報が更に重畳された二次元画像の表示例を示す図である。図５の例では、歩行状態の情報として算出された歩幅の実測値及び歩数が表示されている。表示処理部１６は、歩行状態の情報を二次元画像に重畳させず、二次元画像とは別の表示領域に表示してもよい。

〔動作例／測定方法〕
以下、第一実施形態における測定方法について図６及び図７を用いて説明する。図６及び図７は、第一実施形態における測定装置１０の動作例を示すフローチャートである。図６及び図７に示されるように、第一実施形態における測定方法は、測定装置１０のような少なくとも一つのコンピュータにより実行される。図６及び図７に示される各処理工程は、測定装置１０が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。

第一実施形態における測定方法は、準備段階と測定段階とに区分けされる。
図６は、準備段階における測定装置１０の動作例を示すフローチャートである。図６に示される準備段階において、測定装置１０は、三次元センサ７から取得される二次元画像を表示装置５に逐次表示している。

測定装置１０は、まず、背景を認識する（Ｓ６１）。このとき、被験者は、三次元センサ７のセンシング領域外にいる必要がある。測定装置１０は、「被験者は三次元センサ７の前に立たないでください」といった指示文を含む画面を表示してもよい。測定装置１０は、三次元センサ７から取得される、被験者を含まない深度画像を背景画像として保持する。

次に、被験者は、三次元センサ７のセンシング領域内に入り、三次元センサ７に対して真横を向き、立つ。このとき、測定装置１０は、背景画像の保持の完了後に、「被験者は三次元センサ７の前に横を向いて立ってください」といった指示文を含む画面を表示してもよい。測定装置１０は、被験者を含む深度画像を三次元センサ７から取得すると、（Ｓ６１）で保持された背景画像とその取得された深度画像との差分から、被験者の足部を検出する（Ｓ６２）。検出される足部及び深度画像からの足部の検出手法については、上述したとおりである（検出部１２）。

このとき、測定装置１０は、表示される二次元画像における被験者を表す領域を着色をしてもよい。例えば、測定装置１０は、深度画像から被験者の領域を特定し、この特定された領域に基づいて当該二次元画像内の被験者を表す領域を特定し、被験者の深度情報に基づいて、その特定された領域を着色する。

続いて、測定装置１０は、（Ｓ６２）で検出された足部の長さを決定する（Ｓ６３）。ここで決定される長さは、深度画像内における長さ（例えば、画素数）でよい。足部の長さの決定手法については、上述したとおりである（決定部１３）。

測定装置１０は、（Ｓ６２）で検出された足部の位置に基づいて、深度画像の座標系における走査線の座標を取得する（Ｓ６４）。「走査線」の意味や走査線の座標の取得手法については、上述したとおりである（設定部１４）。本実施形態では、上述のように、三次元センサ７に対して被験者は真横を向くため、走査線は、深度画像の水平方向に設定される。

測定装置１０は、（Ｓ６４）で取得された座標を二次元画像の座標系に変換することにより、走査線に対応する線状画像を二次元画像に重畳して、二次元画像に線状画像が重畳された画像を表示する（Ｓ６５）。二次元画像に対する線状画像の重畳手法については、上述したとおりである（表示処理部１６）。二次元画像には、走査線と同一位置に設定される線状画像に加えて、その線状画像と並行な他の線状画像が更に重畳されてもよい。このような準備段階が終了すると、次に、測定段階に移行する。

本実施形態では、準備段階の終了後に、被験者は、一度、三次元センサ７のセンシング領域から外れる。そして、測定段階に移行すると、被験者は、線状画像が重畳された二次元画像の表示を見ながら、その線状画像に沿って歩き、三次元センサ７のセンシング領域を通過する。準備段階において、被験者が、三次元センサ７のセンシング領域の端に立っていた場合には、当該センシング領域から外れることなく、その位置から当該センシング領域の逆端に向かって歩いてもよい。

図７は、測定段階における測定装置１０の動作例を示すフローチャートである。測定装置１０は、三次元センサ７から或る周期で取得された二次元画像及び深度画像に関して、次のような動作を行う。

測定装置１０は、取得された深度画像における走査線の座標上の画素を所定方向に走査する（Ｓ８１）。
測定装置１０は、取得された深度画像における走査線上の画素と、図６に示される（Ｓ６１）で保持された背景画像における対応する位置の画素とで画素値に差分のある画素を検出する（Ｓ７２）。測定装置１０は、差分が検出されない場合（Ｓ７２；ＮＯ）、新たに取得される深度画像に対して（Ｓ７１）以降を実行する。

測定装置１０は、差分が検出された場合（Ｓ７２；ＹＥＳ）、差分が検出された画素（検出画素と表記）から深度（画素値）を取得する（Ｓ７３）。
更に、測定装置１０は、その検出画素から、当該走査線上の、図６に示される（Ｓ６３）で決定された足部の長さ分先の画素から深度（画素値）を取得する（Ｓ７４）。

測定装置１０は、（Ｓ７３）で取得された深度と（Ｓ７４）で取得された深度とが同一であるか否かを判定する（Ｓ７５）。ここで、「２つの深度が同一」には、両深度が完全に一致する場合のみでなく、両深度が所定誤差内で近似する場合も含んでもよい。測定装置１０は、両深度が同一ではない場合（Ｓ７５；ＮＯ）、新たに取得される深度画像に対して（Ｓ７１）以降を実行する。両深度が同一でない場合（Ｓ７５；ＮＯ）は、被験者の足裏が歩行面に接地していない状態に相当する。

測定装置１０は、両深度が同一である場合（Ｓ７５；ＹＥＳ）、検出画素の位置を特定する（Ｓ７６）。特定される位置は、深度画像内の位置を示す。
測定装置１０は、図６に示される（Ｓ６５）で重畳されている線状画像と共に、（Ｓ７６）で特定された位置を表すマーク画像が二次元画像に重畳された画像を表示する。このとき、測定装置１０は、（Ｓ７６）で特定された深度画像内の位置を二次元画像の座標系に変換することで、当該マーク画像の重畳位置を決定する。

測定装置１０は、このような処理工程を、周期的に取得される各深度画像に対して、測定終了となるまで繰り返し実行する（Ｓ７８；ＮＯ）。測定終了は、（Ｓ７６）の位置の特定が所定時間以上実行されない場合に、自動的に決定されてもよい。また、入力装置６から得られるユーザ操作情報に基づいて、測定終了が決定されてもよい。

測定装置１０は、測定終了となると（Ｓ７８；ＹＥＳ）、（Ｓ７６）で特定された複数の位置に基づいて、歩幅の実測値、歩数、及び歩隔の実測値のいずれか一つ以上を算出する（Ｓ７９）。歩幅の実測値、歩数、及び歩隔の実測値の算出手法については、上述したとおりである（測定部１５）。

測定装置１０は、三次元センサ７からの二次元画像のフレーム及び深度画像（距離画像）のフレームが取得される度に、図７に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図７に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図６及び図７に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。

図６及び図７に示される動作例によれば、深度画像のみを用いて、被験者の歩行状態を測定することができる。しかしながら、第一実施形態における測定方法は、深度画像に加えて、スケルトンデータ（骨格データ）が示す位置を補足的に利用してもよい。例えば、図６の（Ｓ６２）は、スケルトンデータが示す位置に基づいて、深度画像内の被験者の足部の位置を推定し、その位置の周辺の深度分布に従って、被験者の足部が検出されてもよい。

〔第１実施形態の作用及び効果〕
上述したように、第一実施形態では、準備段階で取得された走査線の座標の深度を用いて、被験者の足裏が歩行面に接地した状態におけるその足部内の所定箇所の位置が特定され、その特定された位置を用いて被験者の歩行状態が測定される。このように、第一実施形態では、三次元センサ７から得られる深度画像を用いて被験者の歩行状態が測定されるため、スケルトンデータとして得られる骨格の位置に基づく測定と比較して、より高精度に歩行状態を測定することができる。深度画像を解析することで、踵やつま先や足部の中央位置といった足部内の所定箇所を固定的に特定し、その固定的に特定される所定箇所の位置に基づいて歩行状態が測定されるからである。

更に、第一実施形態では、走査線上の深度のみを走査することで、被験者の足裏が歩行面に接地した状態におけるその足部内の所定箇所の位置が特定されるため、深度画像で表される全ての深度を確認する場合に比べて、処理を高速化することができる。

また、第一実施形態では、足部の或る部位の位置を特定し、特定された部位の位置の深度と、その特定された部位の位置から準備段階で決定された足部の長さ分先の位置の深度とが同じか否かを判定することで、被験者の足裏が歩行面に接地した状態が検出される。これにより、走査線上の深度の中で、背景との差分が検出される位置と、その画素から足部の長さ分先の位置との２つの深度を確認すればよいため、処理を高速化することができる。更に、その２つの深度が同一か否かの判定で被験者の足裏が歩行面に接地した状態が検出されるため、両足が重なった場合にも、足部内の所定箇所の位置を適切に特定することができ、ひいては、一歩を正確に検出することができる。

［変形例］
測定装置１０は、測定された歩行状態を表示せず、測定装置１０のメモリ２に格納してもよい。また、測定装置１０は、測定された歩行状態を他のコンピュータに送信してもよいし、可搬型記録媒体に格納してもよい。

また、測定装置１０は、三次元センサ７に対して被験者が真横を向いているか否かを判定し、真横を向いていない場合、真横を向くように指示する表示を出力するようにしてもよい。この場合、例えば、測定装置１０は、被験者に足部の長さ（足の実測サイズ）を入力装置６を用いて入力させ、入力された足の実測サイズと、決定部１３により決定される足部の長さから推定される足の実測サイズとを比較する。測定装置１０は、両方の実測サイズが所定誤差の範囲を超えて異なる場合、真横を向いていないと判断することができる。決定部１３により決定される足部の長さから足の実測サイズを算出する手法は、歩幅の実測値の算出手法と同様である。

また、深度画像における走査線の座標は、予め決められていてもよい。この場合、測定装置１０（測定部１５）は、走査線の座標を予め保持し、この保持される座標を用いて、被験者の歩行状態を測定する。従って、この場合には、設定部１４は不要となる。

［第二実施形態］
以下、第二実施形態における測定装置及び測定方法について図８及び図９を用いて説明する。また、第二実施形態は、この測定方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。

図８は、第二実施形態における測定装置の処理構成例を概念的に示す図である。図８に示されるように、測定装置１００は、取得部１０１及び測定部１０２を有する。図８に示される測定装置１００は、例えば、図１に示される上述の測定装置１０と同様のハードウェア構成を有し、その測定装置１０と同様にプログラムが処理されることで、上述の各処理モジュールが実現される。但し、測定装置１００には、三次元センサ７、表示装置５及び入力装置６が接続されていなくてもよい。

取得部１０１は、二次元位置毎の深度を示す深度情報を取得する。深度情報の具体例が上述の深度画像フレームである。但し、深度情報は、二次元位置毎の深度を示す情報であれば、どのような形式で表されていてもよい。取得部１０１は、測定装置１００に接続されている深度センサ又は三次元センサ７から深度情報を取得してもよいし、記録された深度情報を他のコンピュータ又は可搬型記録媒体から取得することもできる。

測定部１０２は、取得部１０１で取得された深度情報を用いて被験者の歩行状態を測定する。例えば、測定部１０２は、上述の実施形態と比較して、処理速度に問題があるものの、次のような手法で歩行状態を測定できる。測定部１０２は、当該深度情報から被験者の足部内の所定箇所を特定し、その所定箇所が歩行面に接地した状態を検出する。測定部１０２は、背景画像との差分により被験者の領域を特定でき、その被験者の領域から足部内の所定箇所を特定できる。更に、測定部１０２は、足部の形及び向き（水平）から、足部の所定箇所が歩行面に接地した状態を検出することができる。測定部１０２は、その状態が検出された際の所定箇所の位置を特定する。このように、測定部１０２は、上述の実施形態の手法のみならず、他の様々な手法により、深度情報を用いた歩行状態の測定を行うことができる。

測定部１０２により測定される歩行状態は、上述の実施形態と同様に、歩幅の実測値又は歩数、若しくは両方であってもよいし、歩速、歩幅の揺らぎ等の他の指標値であってもよい。深度情報を用いて被験者の歩行に関し特定される情報に基づいて算出される指標値であれば、歩行状態はどのような指標値であってもよい。

図９は、第二実施形態における測定装置１００の動作例を示すフローチャートである。図９に示されるように、第二実施形態における測定方法は、測定装置１００のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、測定装置１００が有する各処理モジュールにより実行される。

本実施形態における測定方法は、二次元位置毎の深度を示す深度情報を取得し（Ｓ９１）、（Ｓ９１）で取得された深度情報を用いて被験者の歩行状態を測定する（Ｓ９２）、ことを含む。（Ｓ９１）の内容は、取得部１０１について述べたとおりであり、（Ｓ９２）の内容は、測定部１０２について述べたとおりである。

測定装置１００は、測定された歩行状態を格納する。測定装置１００は、測定された歩行状態を表示することもできるし、他のコンピュータへ送信することもできるし、可搬型記録媒体へ格納することもできる。

第二実施形態によれば、深度情報を用いて被験者の歩行状態が測定されるため、上述の実施形態と同様に、スケルトンデータとして得られる骨格の位置に基づく測定と比較して、より高精度に歩行状態を測定することができる。

上述の各実施形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
上述の各実施形態及び変形例の一部又は全部は、以下のように特定され得る。但し、上述の内容が以下の記載に限定されるものではない。

１． 二次元位置毎の深度を示す深度情報を取得する第一取得手段と、
前記深度情報を用いて被験者の歩行状態を測定する測定手段と、
を備える測定装置。
２． 二次元画像を取得する第二取得手段と、
前記取得される二次元画像に線状画像が重畳された画像を表示する表示処理手段と、
を更に備え、
前記測定手段は、前記線状画像に対応する走査線上の深度情報を用いて前記被験者の歩行状態を測定する、
１．に記載の測定装置。
３． 前記測定手段は、前記走査線上の深度情報を用いて、前記被験者の足裏が歩行面に接地した状態におけるその足部内の所定箇所の位置を特定し、特定された位置を用いて前記被験者の歩行状態を測定し、
前記表示処理手段は、前記特定された位置を表すマーク画像が前記線状画像と共に、前記取得される二次元画像に重畳された画像を表示する、
２．に記載の測定装置。
４． 前記取得された深度情報から前記被験者の足部を検出する検出手段と、
前記検出された足部の長さを決定する決定手段と、
を更に備え、
前記測定手段は、所定方向に前記走査線に沿って深度情報を走査することにより、前記歩行面に接地した足部の或る部位の位置を特定し、特定された部位の位置の深度と、その特定された部位の位置から前記決定された前記被験者の足部の長さ分先の位置の深度とが同じか否かを判定することで、前記被験者の足裏が前記歩行面に接地した状態を検出する、
３．に記載の測定装置。
５． 前記測定手段は、前記特定された複数の位置に基づいて、歩幅の実測値、歩数、及び歩隔のいずれか一つ以上を算出する、
３．又は４．に記載の測定装置。
６． 前記取得された深度情報から前記被験者の足部を検出する検出手段と、
前記検出された足部の位置に基づいて、前記深度情報が示す二次元座標系における前記走査線の座標を取得する設定手段と、
を更に備え、
前記表示処理手段は、前記取得された前記走査線の座標を前記二次元画像の座標系に変換することにより、前記二次元画像に前記線状画像が重畳された画像を表示する、
２．から５．のいずれか１つに記載の測定装置。

７． 少なくとも一つのコンピュータにより実行される測定方法において、
二次元位置毎の深度を示す深度情報を取得し、
前記深度情報を用いて被験者の歩行状態を測定する、
ことを含む測定方法。
８． 二次元画像を取得し、
前記取得される二次元画像に線状画像が重畳された画像を表示する、
ことを更に含み、
前記測定は、前記線状画像に対応する走査線上の深度情報を用いて前記被験者の歩行状態を測定する、
７．に記載の測定方法。
９． 前記測定は、
前記走査線上の深度情報を用いて、前記被験者の足裏が歩行面に接地した状態におけるその足部内の所定箇所の位置を特定し、
前記特定された位置を用いて前記被験者の歩行状態を測定する、
ことを含み、
前記表示は、前記特定された位置を表すマーク画像が前記線状画像と共に、前記取得される二次元画像に重畳された画像を表示する、
８．に記載の測定方法。
１０． 前記取得された深度情報から前記被験者の足部を検出し、
前記検出された足部の長さを決定する、
ことを更に含み、
前記位置の特定は、
所定方向に前記走査線に沿って深度情報を走査することにより、前記歩行面に接地した足部の或る部位の位置を特定し、
前記特定された部位の位置の深度と、その特定された部位の位置から前記決定された前記被験者の足部の長さ分先の位置の深度とが同じか否かを判定することで、前記被験者の足裏が前記歩行面に接地した状態を検出する、
ことを含む、
９．に記載の測定方法。
１１． 前記測定は、前記特定された複数の位置に基づいて、歩幅の実測値、歩数、及び歩隔のいずれか一つ以上を算出することを含む、
９．又は１０．に記載の測定方法。
１２． 前記取得された深度情報から前記被験者の足部を検出し、
前記検出された足部の位置に基づいて、前記深度情報が示す二次元座標系における前記走査線の座標を取得する、
ことを更に含み、
前記表示は、前記取得された前記走査線の座標を前記二次元画像の座標系に変換することにより、前記二次元画像に前記線状画像が重畳された画像を表示する、
８．から１１．のいずれか１つに記載の測定方法。

１３． ７．から１２．のいずれか１つに記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。

この出願は、２０１５年６月２６日に出願された日本出願特願２０１５−１２９０１７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (7)

1. 二次元位置毎の深度を示す深度情報を取得する第一取得手段と、
   前記深度情報を用いて被験者の歩行状態を測定する測定手段と、
   二次元画像を取得する第二取得手段と、
   前記取得される二次元画像に線状画像が重畳された画像を表示する表示処理手段と、
   を備え、
   前記測定手段は、前記線状画像に対応する走査線上の深度情報を用いて前記被験者の歩行状態を測定する、測定装置。
2. 前記測定手段は、前記走査線上の深度情報を用いて、前記被験者の足裏が歩行面に接地した状態におけるその足部内の所定箇所の位置を特定し、特定された位置を用いて前記被験者の歩行状態を測定し、
   前記表示処理手段は、前記特定された位置を表すマーク画像が前記線状画像と共に、前記取得される二次元画像に重畳された画像を表示する、
   請求項１に記載の測定装置。
3. 前記取得された深度情報から前記被験者の足部を検出する検出手段と、
   前記検出された足部の長さを決定する決定手段と、
   を更に備え、
   前記測定手段は、所定方向に前記走査線に沿って深度情報を走査することにより、前記歩行面に接地した足部の或る部位の位置を特定し、特定された部位の位置の深度と、その特定された部位の位置から前記決定された前記被験者の足部の長さ分先の位置の深度とが同じか否かを判定することで、前記被験者の足裏が前記歩行面に接地した状態を検出する、
   請求項２に記載の測定装置。
4. 前記測定手段は、前記特定された複数の位置に基づいて、歩幅の実測値、歩数、及び歩隔のいずれか一つ以上を算出する、
   請求項２又は３に記載の測定装置。
5. 前記取得された深度情報から前記被験者の足部を検出する検出手段と、
   前記検出された足部の位置に基づいて、前記深度情報が示す二次元座標系における前記走査線の座標を取得する設定手段と、
   を更に備え、
   前記表示処理手段は、前記取得された前記走査線の座標を前記二次元画像の座標系に変換することにより、前記二次元画像に前記線状画像が重畳された画像を表示する、
   請求項１から４のいずれか１項に記載の測定装置。
6. 少なくとも一つのコンピュータにより実行される測定方法において、
   二次元位置毎の深度を示す深度情報を取得し、
   前記深度情報を用いて被験者の歩行状態を測定し、
   二次元画像を取得し、
   前記取得される二次元画像に線状画像が重畳された画像を表示する、
   ことを含み、
   前記測定は、前記線状画像に対応する走査線上の深度情報を用いて前記被験者の歩行状態を測定する、測定方法。
7. 請求項６に記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。

Images