JP6662532B2 - 歩行分析装置、歩行分析方法、及びプログラム - Google Patents

Description

本発明は、人の歩行動作を分析するための、歩行分析装置、及び歩行分析方法に関し、更には、これらを実現するためのプログラムに関する。

近年、Ｋｉｎｅｃｔ（登録商標）に代表されるデプスセンサによって、ヒトの動作を分析する試みがなされている。例えば、非特許文献１は、リハビリテーション中の患者が関節を動かすところをデプスセンサで撮影することで、患者の関節の可動範囲を測定するシステムを開示している。また、非特許文献１に開示されたシステムを用いれば、リハビリテーション時以外の動作の分析も行うことができると考えられる。

例えば、非特許文献１に開示されたシステムによれば、ヒトの歩行動作の分析も可能となる。歩行中の転倒は、特に高齢になる程、健康を損ない、寝たきりや引きこもりの原因となる可能性が高いことから、転倒リスクの程度を予め予測しておくことは重要である。この予測に、非特許文献１に開示されたシステムを用いた歩行動作の分析が有用になると考えられる。この場合、分析対象者が、デプスセンサに向かって歩行するだけで良い。

狐崎直文、安達栄治郎、横田卓、水澤順一著、「ＫＩＮＥＣＴのリハビリテーション用アプリケーションの実用化」、一般社団法人電子情報通信学会、信学技報ＩＥ２０１２−８９、２０１２年１１月、ｐ．４１−４６

ところで、非特許文献１に開示されたシステムでは、動作を正確に分析するためには、分析対象となるユーザは、デプスセンサの正面に位置している必要がある。従って、歩行動作の分析を行う場合は、ユーザは、デプスセンサに向かって歩行する必要がある。

しかしながら、デプスセンサに向かって歩行する場合、ユーザは、無意識にデプスセンサを障害物と捉えてしまうため、デプスセンサの近くで急に歩行速度を弱めてしまったり、進路を変えてしまったりすることがある。この場合、歩行動作の分析精度が低下するおそれがある。

本発明の目的の一例は、上記問題を解消し、デプスセンサによって歩行動作を分析する際において、分析精度の向上を図り得る、歩行分析装置、歩行分析方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における歩行分析装置は、
歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、データ取得部と、
前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、骨格情報作成部と、
前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、計測情報作成部と、
取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、共通部分抽出部と、
抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、補正処理部と、
補正後の骨格情報を用いて、前記ユーザの歩行を分析する、分析処理部と、
を備えていることを特徴とする。

また、上記目的を達成するため、本発明の一側面における歩行分析方法は、
（ａ）歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、ステップと、
（ｂ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、ステップと、
（ｃ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、ステップと、
（ｄ）取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、ステップと、
（ｅ）抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、ステップと、
（ｆ）補正後の骨格情報を用いて、前記ユーザの歩行を分析する、ステップと、
を有することを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、ステップと、
（ｂ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、ステップと、
（ｃ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、ステップと、
（ｄ）取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、ステップと、
（ｅ）抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、ステップと、
（ｆ）補正後の骨格情報を用いて、前記ユーザの歩行を分析する、ステップと、
を実行させることを特徴とする。

以上のように、本発明によれば、デプスセンサによって歩行動作を分析する際において、分析精度の向上を図ることができる。

図１は、本発明の実施の形態における歩行分析装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における歩行分析装置の構成をより具体的に示すブロック図である。 図３は、本実施の形態で用いられるデプスセンサの配置の一例を示す図である。図３（ａ）〜（ｃ）は、それぞれ異なる態様を示している。 図４は、本発明の実施の形態で作成された骨格情報の一例を示す図である。 図５は、本発明の実施の形態における三次元座標の算出処理を説明する図であり、図５（ａ）は画面の水平方向を示し、図５（ｂ）は画面の垂直方向を示している。 図６は、ユーザの胸腰部のＹ座標の値（ｙ値）の時系列変化と接地判定の結果との一例を示す図である。 図７は、本発明の実施の形態で作成された計測情報の一例を示す図である。 図８（ａ）及び（ｂ）は、本発明の実施の形態で行われる、フレーム数が一致しない場合の補填処理の一例を示す図である。図８（ａ）及び（ｂ）はそれぞれ異なる例を示している。 図９は、ユーザの胸腰部のｘ座標の値（ｘ値）及びｚ座標の値（ｚ値）の時系列変化の一例を示す図である。 図１０は、ユーザの進行方向とデプスセンサの位置との関係の一例を示す図である。 図１１は、本発明の実施の形態における骨格情報の補正を説明する図であり、図１１（ａ）は第１の画像データの骨格情報の一例を示し、図１１（ｂ）は第２の画像データの骨格情報の一例を示し、図１１（ｃ）は補正後の骨格情報の一例を示している。 図１２は、本発明の実施の形態における歩行分析装置の動作を示すフロー図である。 図１３は、本発明の実施の形態における歩行分析装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、歩行分析装置、歩行分析方法、及びプログラムについて、図１〜図１３を参照しながら説明する。

［装置構成］
最初に、本実施の形態における歩行分析装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態における歩行分析装置の概略構成を示すブロック図である。

図１に示す本実施の形態における歩行分析装置１０は、ユーザの歩行を分析するための装置である。図１に示すように、歩行分析装置１０は、データ取得部１１と、骨格情報作成部１２と、計測情報作成部１３と、共通部分抽出部１４と、補正処理部１５と、分析処理部１６とを備えている。

データ取得部１１は、歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データを、１フレーム毎に取得する。また、データ取得部１１は、歩行中のユーザを、進行方向に対して第１の方向とは別の方向に傾斜した第２の方向から、上記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データも、１フレーム毎に取得する。

骨格情報作成部１２は、第１の画像データ及び第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、ユーザの特定の関節の位置を特定する骨格情報を作成する。

計測情報作成部１３は、第１の画像データ及び第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、ユーザの全歩数とユーザの左右の足の接地履歴とを特定する計測情報を作成する。

共通部分抽出部１４は、取得されている全ての第１の画像データの計測情報と、取得されている全ての第２の画像データの計測情報とを対比する。そして、共通部分抽出部１４は、取得されている全ての第１の画像データの骨格情報と、取得されている全ての第２の画像データの骨格情報との中から、ユーザの左右の足の接地履歴が共通している部分を抽出する。

補正処理部１５は、抽出された第１の画像データと、抽出された第２の画像データとのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する。分析処理部１６は、補正後の骨格情報を用いて、ユーザの歩行を分析する。

このように、歩行分析装置１０では、デプスセンサをユーザの正面から外れた位置に配置した状態で得られた画像データを用いて、ユーザの歩行を分析できる。従って、ユーザが、無意識にデプスセンサを障害物と捉えて、デプスセンサの近くで急に歩行速度を弱めてしまったり、進路を変えてしまったりすることが抑制される。このため、歩行分析装置１０によれば、デプスセンサによって歩行動作を分析する際において、分析精度の向上を図ることができる。

続いて、図２〜図１１を用いて、本実施の形態における歩行分析装置１０の構成及び機能について具体的に説明する。図２は、本発明の実施の形態における歩行分析装置の構成をより具体的に示すブロック図である。

図２に示すように、本実施の形態においては、歩行分析装置１０は、デプスセンサ２０及び２１に接続されている。歩行分析装置１０は、デプスセンサ２０及び２１から、有線又は無線によって、画素毎の深度が付加された画像データを受信する。デプスセンサ２０及び２１は、例えば、特定のパターンで赤外線レーザ光を出射する光源と、対象物で反射された赤外線を受光する撮像素子とを備えており、これらによって、画素毎の深度が付加された画像データを出力する。デプスセンサ２０及び２１の具体例としては、Ｋｉｎｅｃｔ（登録商標）といった既存のデプスセンサが挙げられる。

ここで、図３を用いて、デプスセンサの位置とユーザの進行方向との関係を説明する。図３は、本実施の形態で用いられるデプスセンサの配置の一例を示す図である。図３（ａ）〜（ｃ）は、それぞれ異なる態様を示している。また、図３（ａ）〜（ｃ）において、実線の矢印はユーザ３０の進行方向を示し、破線の矢印はデプスセンサの撮影方向を示している。

図３（ａ）に示すように、本実施の形態では、デプスセンサ２０は、歩行中のユーザ３０の主に右側を撮影するように配置され、デプスセンサ２１は、歩行中のユーザ３０の主に左側を撮影するように配置されている。つまり、図３（ａ）の例では、デプスセンサ２０は、歩行中のユーザ３０の進行方向に対して右側へと傾斜した方向から、ユーザ３０を撮影し、デプスセンサ２１は、歩行中のユーザ３０の進行方向に対して左側へと傾斜した方向から、ユーザ３０を撮影している。

また、本実施の形態は、図３（ｂ）及び（ｃ）に示すように、デプスセンサが１台のみ配置されている態様であっても良い。例えば、図３（ｂ）に示すように、ユーザ３０が、デプスセンサ２０の前を横切るように歩行し、更に、方向を１８０度変えて引き返せば、一台のデプスセンサ２０で、歩行中のユーザ３０の進行方向に対して右側へ傾斜した方向と左側へ傾斜した方向とから撮影できる。

更に、図３（ｃ）に示すように、ユーザ３０が、デプスセンサ２０の左側へと抜けるように歩行し、更に、右側へと抜けるように歩行した場合も、一台のデプスセンサ２０で、歩行中のユーザ３０の進行方向に対して右側へ傾斜した方向と左側へ傾斜した方向とから撮影できる。

データ取得部１１は、デプスセンサ２０及び２１が図３（ａ）に示す態様で配置されていれば、デプスセンサ２０から第１の画像データを取得し、デプスセンサ２１から第２の画像データを取得する。但し、１台のデプスセンサのみが配置される図３（ｂ）及び（ｃ）の態様では、データ取得部１１は、１台のデプスセンサから、第１の画像データと第２の画像データとを取得する。

骨格情報作成部１２は、本実施の形態では、画像データ毎に、画像データ上での座標と画素に付加された深度とを用いて、ユーザの特定の関節の三次元座標を算出し、算出した三次元座標を用いて骨格情報を作成する。図４は、本発明の実施の形態で作成された骨格情報の一例を示す図である。図４に示すように、骨格情報は、撮影開始時からの経過時間毎の各関節の三次元座標によって構成されている。なお、本明細書において、Ｘ座標は、画像データ上での水平方向における位置の値であり、Ｙ座標は、画像データ上での垂直方向における位置の値であり、Ｚ座標は、画素に付与された深度の値である。

特定の関節としては、例えば、頭、首、右肩、右肘、右手首、右手、右手親指、右手先、左肩、左肘、左手首、左手、左手親指、左手先、胸部、胸腰部、骨盤部、右股関節、右膝、右くるぶし、右足甲、左股関節、左膝、左くるぶし、左足甲等が挙げられる。図４においては、骨盤部、胸腰部、親指右（右手親指）の三次元座標が例示されている。

また、画像データ上での座標と深度とから三次元座標を算出する手法は、下記の通りである。図５は、本発明の実施の形態における三次元座標の算出処理を説明する図であり、図５（ａ）は画像の水平方向（Ｘ座標）における算出処理を示し、図５（ｂ）は画像の垂直方向（Ｙ座標）における算出処理を示している。

まず、深度が付加された画像データ上における、特定点の座標を（ＤＸ，ＤＹ）、特定点における深度をＤＰＴとする。また、画像データの水平方向の画素数を２ＣＸ、垂直方向の画素数を２ＣＹとする。そして、デプスセンサの水平方向の視野角を２θ、垂直方向の視野角を２φとする。この場合、特定点の三次元座標（ＷＸ，ＷＹ，ＷＺ）は、図５（ａ）及び（ｂ）から分かるように、以下の数１〜数３によって算出される。

計測情報作成部１３は、本実施の形態では、まず、第１の画像データ及び第２の画像データそれぞれ毎に、ユーザの足が床面に着地しているかどうかを判断し、足が床面に着地しているタイミング、即ち、接地タイミングを特定する。そして、計測情報作成部１３は、特定した接地タイミングから、計測情報を作成する。

具体的には、計測情報作成部１３は、ユーザの胸腰部のＹ座標の変位を観察し、変位が負の値から正の値になった時のフレームを接地タイミングとする。図６は、ユーザの胸腰部のＹ座標の値（ｙ値）の時系列変化と接地判定の結果との一例を示す図である。図６においては、実線は接地判定を示している。そして、胸腰部のＹ座標の変位が負の値から正の値になった時に、接地判定の値は「１」とされ、接地していると判定されている。一方、これ以外の場合は、接地判定の値は「０」とされ、接地していないと判定される。また、図６において、破線は胸腰部のｙ値を示している。

そして、計測情報作成部１３は、接地判定の結果に基づいて、例えば、図７に示す計測情報を作成する。図７は、本発明の実施の形態で作成された計測情報の一例を示す図である。図７に示すように、計測情報は、撮影開始時からの経過時間毎に、ピッチ［秒］と、右足及び左足の歩行リズム［秒］とを記録している。

図７において、ピッチは、接地タイミング間の時間を表している。歩行リズムは、例えば右足であれば、左足の接地タイミングを基準として、次に右足が接地するまでの時間を表している。従って、図７に示す計測情報を用いれば、ピッチの値の変化の総数からユーザの全歩数が計算できる。また、左右どちらの足の歩行リズムが先に変化するかを特定することで、接地履歴として、接地足の順番が特定できる。更に、歩行リズムが変化するまでのフレーム数から、接地履歴として、接地時の経過フレーム数が特定できる。

共通部分抽出部１４は、本実施の形態では、まず、第１の画像データの計測情報から、全歩数と接地の順番とを特定し、更に、第２の画像データからも、全歩数と接地の順番とを特定して、両方の骨格情報の中から、接地履歴の共通している部分を抽出する。例えば、第１の画像データの計測情報から、総歩数「５」、接地履歴「左右左右左」が特定され、第２の画像データの計測情報から総歩数「３」、接地履歴「右左右」が特定されている場合は、共通部分抽出部１４は、両者の「右左右」を共通している部分として特定する。そして、共通部分抽出部１４は、第１の画像データ及び第２の画像データそれぞれの共通している部分に該当する骨格情報を特定し、特定した骨格情報を抽出する。

補正処理部１５は、まず、抽出された骨格情報に対応する画像データのフレーム数が、第１の画像データと第２の画像データとで一致していない場合は、フレーム数を一致させる処理を実行する。つまり、補正処理部１５は、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された第１の画像データのフレーム数と、抽出された第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する。

ここで、フレーム数を一致させる処理について図８を用いて説明する。図８（ａ）及び（ｂ）は、本発明の実施の形態で行われる、フレーム数が一致しない場合の補填処理の一例を示す図である。図８（ａ）及び（ｂ）はそれぞれ異なる例を示している。

図８（ａ）の例では、第１の画像データのフレーム数が１０フレームであるのに対して、第２の画像データのフレーム数が７フレームであるので、第２の画像データの骨格情報を補填する必要がある。そして、補填タイミングは、次の組数、待数、及び飛数を計算することによって決定される。なお、以下の説明では、元々存在する骨格情報を実データと表記し、補填される骨格情報を仮データと表記する。

組数は、実データと組になる仮データの数であり、多い方の総フレーム数を少ない方の総フレーム数で除算し、得られた値の少数部分を切り捨てて、整数部分から１を減算することで算出される。待数は、組数に従って追加される仮データとは別の仮データを追加する前に出現すべき実データの数である。待数は、少ない方の総フレーム数を、多い方の総フレーム数を少ない方の総フレーム数で除算したときの余りの値で除算し、得られた値の少数部分を切り捨てることで算出される。飛数は、待数のカウント飛ばしを行う回数であり、待数を算出したときの余りの値である。なお、待数のカウント飛ばしとは、実データの数が待数に達するまで実データの数をカウントする際に、１つ目の実データをカウントの対象から除外する回数である。

図８（ａ）の例では、第１の画像データのフレーム数が１０、第２の画像データのフレーム数が７であるので、組数は、１０÷７＝１．４２...（１余り３）となるので、１−１＝０より、「０」となる。また、待数は、７÷３＝２．３３...（２余り１）より、「２」となる。そして、飛数は「１」となる。よって、補填後の第１の画像データ及び第２の画像データは、図８（ａ）に示す通りとなる。具体的には、図８（ａ）の例では、組数が「０」であるので、実データと組になる仮データは追加されていない。また、飛数が「１」で、待数が「２」であるので、第２の画像データの１つ目の実データが待数のカウントから除外され、３つ目、５つ目及び７つ目の実データの後にそれぞれ仮データが追加されている。

また、図８（ｂ）の例では、第１の画像データのフレーム数が１８、第２の画像データのフレーム数が７であるので、組数は、１８÷７＝２．５７...（２余り４）となるので、２−１＝１より、「１」となる。また、待数は、７÷４＝１．７５（１余り３）より、「１」となる。そして、飛数は「３」となる。よって、補填後の第１の画像データ及び第２の画像データは、図８（ｂ）に示す通りとなる。図８（ｂ）においては、組を説明するために、実データ仮データとの各組をそれぞれ四角で囲っている。具体的には、図８（ｂ）の例では、組数が「１」であるので、各実データに対してそれぞれ仮データが１つ追加されている。また、飛数が「３」であるので、待数のカウント飛ばしが３回行われ、第２の画像データの１つ目、３つ目及び５つ目の実データが待数のカウントから除外されている。更に、待数が「１」であるので、待数が１になるごとに仮データが追加され、３つ目、５つ目及び７つ目の実データの前にそれぞれ仮データが追加されている。

また、図８（ａ）及び（ｂ）において、「●」が補填された骨格情報を示している。また、補填された骨格情報としては、その前のフレームの実データが用いられている。つまり、「●」の骨格情報は、その左隣の「○」の骨格情報と同一である。

また、補正処理部１５は、フレーム数を一致させる処理の後、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正するため、まず、第１の画像データの取得時のユーザの進行方向と、第２の画像データの取得時のユーザの進行方向とを特定する。

補正処理部１５は、本実施の形態では、胸腰部の三次元座標の変化から、胸腰部の水平面（Ｘ軸及びＺ軸を含む面）での移動ベクトルを算出し、算出した移動ベクトルを用いて、デプスセンサの撮像面に対するユーザの進行方向の角度θを算出する。図９は、ユーザの胸腰部のｘ座標の値（ｘ値）及びｚ座標の値（ｚ値）の時系列変化の一例を示す図である。図１０は、ユーザの進行方向とデプスセンサの位置との関係の一例を示す図である。

また、図９においては、プロットされた黒丸から得られた実線のグラフは胸腰部のｘ値及びｚ値を示し、丸で囲まれている部分は接地タイミングを示している。特に、グラフの左側に位置する丸はユーザの右足の接地タイミングを示し、右側に位置する丸はユーザの左足の接地タイミングを示している。また、図１０において、矢印ＡＢは、ユーザの進行方向を示す移動ベクトルＡＢである。Ｏは、デプスセンサの撮像面上の任意の点を示している。

具体的には、図９に示すように、補正処理部１５は、胸腰部のｘ値及びｚ値の時系列変化から、ユーザのいずれか一方の足の接地タイミングを特定し、特定した接地点を結ぶベクトルを求め、求めたベクトルを移動ベクトルＡＢとして、ユーザの進行方向を特定する。また、補正処理部１５は、データ取得の開始点と終了点とを特定し、特定した開始点と終了点とを結ぶベクトルを求め、求めたベクトルを移動ベクトルＡＢとして、ユーザの進行方向を特定しても良い。

図９において、実線で表現された矢印は、接地タイミングから求められた移動ベクトルを示し、破線で表現された矢印は、データ取得の開始点と終了点とから求められた移動ベクトルを示している。

補正処理部１５は、上述したいずれかの手法によって、ユーザの移動ベクトルＡＢを特定すると、更に、デプスセンサの位置とユーザのデータ取得の開始時の位置とからベクトルＡＯを求め、下記の数４を用いて、角度θを算出する。

また、補正処理部１５は、第１の画像データの取得時及び第２の画像データの取得時それぞれにおいてユーザの進行方向を特定すると、特定した各進行方向が一致するように、一方又は両方の骨格情報における各関節の三次元座標を、特定したユーザの進行方向の角度θを用いて、ｙ軸を中心に回転させて変換する。

その後、補正処理部１５は、第１の画像データの骨格情報と第２の画像データの骨格情報とを補正によって合成して、新たな骨格情報を作成する。この点について図１１を用いて説明する。図１１は、本発明の実施の形態における骨格情報の補正を説明する図であり、図１１（ａ）は第１の画像データの骨格情報の一例を示し、図１１（ｂ）は第２の画像データの骨格情報の一例を示し、図１１（ｃ）は補正後の骨格情報の一例を示している。

また、実際には、骨格情報は、補正前及び補正後のいずれであっても、図４に示したように、各関節の三次元情報によって構成されているが、図１１（ａ）〜（ｃ）の例では、骨格情報は、説明のため骨格で表現されている。また、図１１（ａ）〜（ｃ）それぞれにおいては、骨格情報に含まれる全ての関節ではなく、主な関節のみが示されている。更に、図１１（ａ）〜（ｃ）それぞれにおいて、左側の骨格はユーザを正面から捉えた場合の骨格であり、右側の骨格は、ユーザを右側面から捉えた場合の骨格である。

例えば、第１の方向がユーザの進行方向に対して右側へと傾斜した方向であり、第２の方向が、歩行中のユーザの進行方向に対して左側へと傾斜した方向であり、第２の画像データのフレーム数が第１の画像データのフレーム数よりも多いとする。この場合は、補正処理部１５は、図１１（ｃ）に示すように、第２の画像データの骨格情報における右側の腕及び足の関節の位置を、第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える。

なお、第１の画像データのフレーム数が第２の画像データのフレーム数よりも多い場合は、補正処理部１５は、第１の画像データの骨格情報における左側の腕及び足の関節の位置を第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換える。

分析処理部１６は、本実施の形態では、補正後の骨格情報を用いて、膝の開き度合、爪先の上がり具合といった歩行情報を算出し、算出した歩行情報を表示画面に表示する。また、分析処理部１６は、骨格情報から得られる骨格（図１１（ａ）〜（ｃ）参照）を表示画面に表示することもできる。

［装置動作］
次に、本発明の実施の形態における歩行分析装置１０の動作について図１２を用いて説明する。図１２は、本発明の実施の形態における歩行分析装置１０の動作を示すフロー図である。以下の説明においては、適宜図１〜図１１を参酌する。また、本実施の形態では、歩行分析装置１０を動作させることによって、歩行分析方法が実施される。よって、本実施の形態における歩行分析方法の説明は、以下の歩行分析装置１０の動作説明に代える。

図１２に示すように、最初に、データ取得部１１は、デプスセンサ２０から第１の画像データを取得し、デプスセンサ２１から第２の画像データを取得する（ステップＳ１）。データ取得部１１は、取得した各画像データを骨格情報作成部１２に渡す。

次に、骨格情報作成部１２は、画像データ毎に、画像データ上での座標と画素に付加された深度とを用いて、ユーザの特定の関節の三次元座標を算出し、算出した三次元座標を用いて骨格情報を作成する（ステップＳ２）。骨格情報作成部１２は、作成した骨格情報を共通部分抽出部１４に渡す。

次に、計測情報作成部１３は、第１の画像データ及び第２の画像データそれぞれ毎に、接地タイミングを特定し、特定した接地タイミングから、計測情報を作成する（ステップＳ３）。計測情報作成部１３は、作成した計測情報を共通部分抽出部１４に渡す。

次に、共通部分抽出部１４は、第１の画像データの計測情報から、全歩数と接地の順番とを特定し、第２の画像データからも、全歩数と接地の順番とを特定して、両方の骨格情報の中から、接地履歴の共通している部分を特定する（ステップＳ４）。

次に、補正処理部１５は、抽出された骨格情報に対応する画像データのフレーム数が、第１の画像データと第２の画像データとで一致していない場合は、フレーム数を一致させる処理を実行する（ステップＳ５）。なお、抽出された骨格情報に対応する画像データのフレーム数が、第１の画像データと第２の画像データとで一致している場合は、ステップＳ５はスキップされる。

次に、補正処理部１５は、第１の画像データの取得時のユーザの進行方向と、第２の画像データの取得時のユーザの進行方向とを特定する（ステップＳ６）。続いて、補正処理部１５は、各画像データの取得時におけるユーザの進行方向を特定すると、特定した各進行方向が一致するように、一方又は両方の骨格情報における各関節の三次元座標を、ユーザの進行方向の角度θを用いて、ｙ軸を中心に回転させて変換する（ステップＳ７）。

次に、補正処理部１５は、第１の画像データの骨格情報と第２の画像データの骨格情報とを補正によって合成して、新たな骨格情報を作成する（ステップＳ８）。また、補正処理部１５は、補正後の新たな骨格情報を分析処理部１６に渡す。

次に、分析処理部１６は、補正後の骨格情報を用いて、ユーザの歩行を分析する（ステップＳ９）。具体的には、分析処理部１６は、補正後の骨格情報を用いて、膝の開き度合、爪先の上がり具合といった歩行情報を算出し、算出した歩行情報を表示画面に表示する。また、分析処理部１６は、骨格情報から得られる骨格（図１１（ｃ）参照）も表示画面に表示する。

以上のように、本実施の形態によれば、歩行するユーザを斜め方向から撮影した場合であっても、正面から撮影した場合と同様の骨格情報を得ることができる。よって、撮影時において、ユーザが無意識にデプスセンサを障害物と捉えて、デプスセンサの近くで急に歩行速度を弱めてしまったり、進路を変えてしまったりすることが抑制されるので、歩行の分析における精度の向上が図られることになる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図１２に示すステップＳ１〜Ｓ９を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における歩行分析装置１０と歩行分析方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、データ取得部１１、骨格情報作成部１２、計測情報作成部１３、共通部分抽出部１４、補正処理部１５、及び分析処理部１６として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、骨格情報作成部１２、計測情報作成部１３、共通部分抽出部１４、補正処理部１５、及び分析処理部１６のいずれかとして機能しても良い。

［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、歩行分析装置１０を実現するコンピュータについて図１３を用いて説明する。図１３は、本発明の実施の形態における歩行分析装置１０を実現するコンピュータの一例を示すブロック図である。

図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

なお、本実施の形態における歩行分析装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、歩行分析装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記９）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、データ取得部と、
前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、骨格情報作成部と、
前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、計測情報作成部と、
取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、共通部分抽出部と、
抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、補正処理部と、
補正後の骨格情報を用いて、前記ユーザの歩行を分析する、分析処理部と、
を備えていることを特徴とする歩行分析装置。

（付記２）
前記補正処理部は、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された前記第１の画像データのフレーム数と、抽出された前記第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する、
付記１に記載の歩行分析装置。

（付記３）
前記第１の方向が、歩行中の前記ユーザの進行方向に対して右側へと傾斜した方向であり、前記第２の方向が、歩行中の前記ユーザの進行方向に対して左側へと傾斜した方向であり、
前記補正処理部は、
前記第１の画像データのフレーム数が前記第２の画像データのフレーム数よりも多い場合は、前記第１の画像データの骨格情報における左側の腕及び足の関節の位置を、前記第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換え、
前記第２の画像データのフレーム数が前記第１の画像データのフレーム数よりも多い場合は、前記第２の画像データの骨格情報における右側の腕及び足の関節の位置を、前記第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える、
付記１または２に記載の歩行分析装置。

（付記４）
（ａ）歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、ステップと、
（ｂ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、ステップと、
（ｃ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、ステップと、
（ｄ）取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、ステップと、
（ｅ）抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、ステップと、
（ｆ）補正後の骨格情報を用いて、前記ユーザの歩行を分析する、ステップと、
を有することを特徴とする歩行分析方法。

（付記５）
前記（ｅ）のステップにおいて、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された前記第１の画像データのフレーム数と、抽出された前記第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する、
付記４に記載の歩行分析方法。

（付記６）
前記第１の方向が、歩行中の前記ユーザの進行方向に対して右側へと傾斜した方向であり、前記第２の方向が、歩行中の前記ユーザの進行方向に対して左側へと傾斜した方向であり、
前記（ｅ）のステップにおいて、
前記第１の画像データのフレーム数が前記第２の画像データのフレーム数よりも多い場合は、前記第１の画像データの骨格情報における左側の腕及び足の関節の位置を、前記第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換え、
前記第２の画像データのフレーム数が前記第１の画像データのフレーム数よりも多い場合は、前記第２の画像データの骨格情報における右側の腕及び足の関節の位置を、前記第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える、
付記４または５に記載の歩行分析方法。

（付記７）
コンピュータに、
（ａ）歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、ステップと、
（ｂ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、ステップと、
（ｃ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、ステップと、
（ｄ）取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、ステップと、
（ｅ）抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、ステップと、
（ｆ）補正後の骨格情報を用いて、前記ユーザの歩行を分析する、ステップと、
を実行させるプログラム。

（付記８）
前記（ｅ）のステップにおいて、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された前記第１の画像データのフレーム数と、抽出された前記第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する、
付記７に記載のプログラム。

（付記９）
前記第１の方向が、歩行中の前記ユーザの進行方向に対して右側へと傾斜した方向であり、前記第２の方向が、歩行中の前記ユーザの進行方向に対して左側へと傾斜した方向であり、
前記（ｅ）のステップにおいて、
前記第１の画像データのフレーム数が前記第２の画像データのフレーム数よりも多い場合は、前記第１の画像データの骨格情報における左側の腕及び足の関節の位置を、前記第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換え、
前記第２の画像データのフレーム数が前記第１の画像データのフレーム数よりも多い場合は、前記第２の画像データの骨格情報における右側の腕及び足の関節の位置を、前記第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える、
付記７または８に記載のプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年３月３１日に出願された日本出願特願２０１６−０７２４１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように、本発明によれば、デプスセンサによって歩行動作を分析する際において、分析精度の向上を図ることができる。本発明は、人の歩行の分析が必要な種々の分野に有用である。

１０ 歩行分析装置
１１ データ取得部
１２ 骨格情報作成部
１３ 計測情報作成部
１４ 共通部分抽出部
１５ 補正処理部
１６ 分析処理部
２０、２１ デプスセンサ
３０ ユーザ
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (9)

1. 歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、データ取得部と、
   前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、骨格情報作成部と、
   前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、計測情報作成部と、
   取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、共通部分抽出部と、
   抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、補正処理部と、
   補正後の骨格情報を用いて、前記ユーザの歩行を分析する、分析処理部と、
   を備えていることを特徴とする歩行分析装置。
2. 前記補正処理部は、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された前記第１の画像データのフレーム数と、抽出された前記第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する、
   請求項１に記載の歩行分析装置。
3. 前記第１の方向が、歩行中の前記ユーザの進行方向に対して右側へと傾斜した方向であり、前記第２の方向が、歩行中の前記ユーザの進行方向に対して左側へと傾斜した方向であり、
   前記補正処理部は、
   前記第１の画像データのフレーム数が前記第２の画像データのフレーム数よりも多い場合は、前記第１の画像データの骨格情報における左側の腕及び足の関節の位置を、前記第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換え、
   前記第２の画像データのフレーム数が前記第１の画像データのフレーム数よりも多い場合は、前記第２の画像データの骨格情報における右側の腕及び足の関節の位置を、前記第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える、
   請求項１または２に記載の歩行分析装置。
4. コンピュータが実行する歩行分析方法であって、
   （ａ）歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、ステップと、
   （ｂ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、ステップと、
   （ｃ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、ステップと、
   （ｄ）取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、ステップと、
   （ｅ）抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、ステップと、
   （ｆ）補正後の骨格情報を用いて、前記ユーザの歩行を分析する、ステップと、
   を有することを特徴とする歩行分析方法。
5. 前記（ｅ）のステップにおいて、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された前記第１の画像データのフレーム数と、抽出された前記第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する、
   請求項４に記載の歩行分析方法。
6. 前記第１の方向が、歩行中の前記ユーザの進行方向に対して右側へと傾斜した方向であり、前記第２の方向が、歩行中の前記ユーザの進行方向に対して左側へと傾斜した方向であり、
   前記（ｅ）のステップにおいて、
   前記第１の画像データのフレーム数が前記第２の画像データのフレーム数よりも多い場合は、前記第１の画像データの骨格情報における左側の腕及び足の関節の位置を、前記第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換え、
   前記第２の画像データのフレーム数が前記第１の画像データのフレーム数よりも多い場合は、前記第２の画像データの骨格情報における右側の腕及び足の関節の位置を、前記第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える、
   請求項４または５に記載の歩行分析方法。
7. コンピュータに、
   （ａ）歩行中のユーザを、進行方向に対して傾斜した第１の方向から、デプスセンサによって撮影して得られた第１の画像データと、歩行中の前記ユーザを、前記進行方向に対して前記第１の方向とは別の方向に傾斜した第２の方向から、前記デプスセンサ又は別のデプスセンサによって撮影して得られた第２の画像データとを、それぞれ１フレーム毎に取得する、ステップと、
   （ｂ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、それぞれが含む深度情報を用いて、取得されている全ての画像データについて、前記ユーザの特定の関節の位置を特定する骨格情報を作成する、ステップと、
   （ｃ）前記第１の画像データ及び前記第２の画像データそれぞれ毎に、取得されている全ての画像データを用いて、前記ユーザの全歩数と前記ユーザの左右の足の接地履歴とを特定する計測情報を作成する、ステップと、
   （ｄ）取得されている全ての前記第１の画像データの計測情報と、取得されている全ての前記第２の画像データの計測情報とを対比して、取得されている全ての前記第１の画像データの骨格情報と、取得されている全ての前記第２の画像データの骨格情報との中から、前記ユーザの左右の足の接地履歴が共通している部分を抽出する、ステップと、
   （ｅ）抽出された前記第１の画像データの骨格情報と、抽出された前記第２の画像データの骨格情報とのうち、フレーム数が多い方の画像データの骨格情報を、フレーム数が少ない方の画像データの骨格情報で補正する、ステップと、
   （ｆ）補正後の骨格情報を用いて、前記ユーザの歩行を分析する、ステップと、
   を実行させるプログラム。
8. 前記（ｅ）のステップにおいて、フレーム数が少ない方の骨格情報に対して、補完用の骨格情報を追加して、抽出された前記第１の画像データのフレーム数と、抽出された前記第２の画像データのフレーム数とを一致させた上で、フレーム数が多い方の骨格情報を、フレーム数が少ない方の骨格情報で補正する、
   請求項７に記載のプログラム。
9. 前記第１の方向が、歩行中の前記ユーザの進行方向に対して右側へと傾斜した方向であり、前記第２の方向が、歩行中の前記ユーザの進行方向に対して左側へと傾斜した方向であり、
   前記（ｅ）のステップにおいて、
   前記第１の画像データのフレーム数が前記第２の画像データのフレーム数よりも多い場合は、前記第１の画像データの骨格情報における左側の腕及び足の関節の位置を、前記第２の画像データの骨格情報における左側の腕及び足の関節の位置に置き換え、
   前記第２の画像データのフレーム数が前記第１の画像データのフレーム数よりも多い場合は、前記第２の画像データの骨格情報における右側の腕及び足の関節の位置を、前記第１の画像データの骨格情報における右側にある腕及び足の関節の位置に置き換える、
   請求項７または８に記載のプログラム。
   

Images