JP3569188B2

JP3569188B2 - Walking judgment device

Info

Publication number: JP3569188B2
Application number: JP2000035061A
Authority: JP
Inventors: 恭子数藤; 聡嶌田; 行恭飯田; 作一大塚
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-02-14
Filing date: 2000-02-14
Publication date: 2004-09-22
Anticipated expiration: 2020-02-14
Also published as: JP2001218754A

Description

【０００１】
【発明の属する技術分野】
本発明は、歩行者又は動物体の動作状態を計測して、歩行の美しさ・健康度を定量化して評価するウォーキング判定装置に関するものである。
【０００２】
【従来の技術】
従来、歩行者等の動物体の歩行の美しさや健康度の判定は、判定者の目視によって行われている。
また、動物体の姿勢を計測する方法が、特開平１１−２３５３２８号公報に開示されている。この姿勢計測方法は、動物体の接地圧から動物体の接地位置と姿勢を推定し、これらの情報とカメラ画像との照合をとることで動物体の姿勢を計測するものである。
【０００３】
また、被験者の動作状態をパラメータ化して診断する動作分析装置が特開平１０−３０５０２３号公報に開示されている。この動作分析装置は、被験者の動作分析データをニューラルネットワークの手法を用いて解析するものである。
さらに、歩行者の足圧分布から歩行特徴を定量化する歩行分析方法が特開平１１−１１３８８４号公報に開示されている。この歩行分析方法は、歩行時の足圧分布を計測し、その計測結果から歩行動作を解析して、その特徴をパラメータとして出力するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、判定者の目視によって動物体の歩行の美しさや健康度を判定する方法は、判定者の主観によるため、客観的かつ一定の基準での判定が困難であるという問題点があった。例えば、歩行者の体形に対する判定者の趣味等、歩行そのものとは無関係の要因が判定結果に影響する恐れがあった。
また、特開平１１−２３５３２８号公報、特開平１０−３０５０２３号公報、特開平１１−１１３８８４号公報に開示された技術は、いずれも動作状態の計測に関するものであり、センサからの計測結果そのものを出力するか、あるいは特徴パラメータを出力するものであって、動物体の歩行の美しさや健康度を定量化して客観的に判定する方法は従来知られていなかった。
【０００５】
本発明は、上記課題を解決するためになされたもので、客観的、かつ一定の基準での歩行判定を実現することができるウォーキング判定装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明のウォーキング判定装置は、歩行に伴って時間的に変化する、歩行者又は動物体の足圧分布を足圧画像として計測する歩行計測部（１１）と、前記足圧画像をｋ（ｋは１以上の整数）個の足底部位に分割し、分割した部位毎に足底部位内の圧力和を特徴ベクトルとして求め、この特徴ベクトルを各時刻について求めた時系列特徴ベクトル列Ｘを出力する時空間特徴抽出部（１２）と、前記時系列特徴ベクトル列Ｘと予め記憶された力学的合理性判断基準とから、力学的合理性評価パラメータを求める定量化部（１３）とを備えるものである。
また、前記時空間特徴抽出部は、足底画像学習データベースと確率モデルに基づいて足圧画像を足底部位に分割する足底部位分割部を有するものである。
また、前記時空間特徴抽出部は、歩行周期を基準として時間的に正規化された時系列特徴ベクトル列Ｘを出力するものである。
また、時空間特徴抽出部は、足底部位毎の荷重値を表すバブルチャートを出力する手段を有するものである。
【０００７】
【発明の実施の形態】
［実施の形態の１］
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の第１の実施の形態となるウォーキング判定装置の構成を示すブロック図である。図１において、ウォーキング判定装置は、歩行に伴って時間的に変化する、歩行者又は動物体の動作状態を計測する歩行計測部１１と、動作状態から時空間歩行特徴量を抽出する時空間特徴抽出部１２と、時空間歩行特徴量から歩行の美しさ又は健康度を定量化して評価する美しさ・健康度定量化部１３と、美しさ・健康度を表示する表示部１４とから構成される。
【０００８】
歩行計測部１１は、圧力センサ等のセンサにより、歩行人物の足圧分布を時間的に連続して計測し、足圧分布を画像化した時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝を時空間特徴抽出部１２に出力する。Ｓ_ｔは時刻ｔにおいて計測された足圧画像データであり、フレーム（１秒間に３０枚）毎に出力される。
【０００９】
時空間特徴抽出部１２は、時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝から時空間歩行特徴量を示す時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）を抽出して、これを美しさ・健康度定量化部１３に出力する。Ｘ_Ｔは、時刻Ｔにおいて観測された計測データより抽出される特徴ベクトルである。
【００１０】
美しさ・健康度定量化部１３は、歩行の美しさ・健康度の空間への写像により、時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）を歩行の美しさ・健康度の空間に写像し、その結果、美しさ・健康度を示す得点ｙを出力する。
そして、表示部１４は、美しさ・健康度の得点ｙを表示する。
【００１１】
歩行計測部１１の具体的な例を図２に示す。歩行計測部１１で使用されるセンサには、足圧を計測するための圧力センサ２１がある。圧力センサ２１は、連続した数歩の足圧を計測することができる。歩行者は、この圧力センサ２１上を自然な歩行で３歩から５歩程度で通り抜ける。圧力センサ２１によって計測された足圧は、圧力の強さを階調値とする足圧画像データＳ_ｔとして毎秒３０枚出力され、コンピュータ２２に取り込まれる。
【００１２】
コンピュータ２２は、足圧画像データＳ_ｔを１フレーム毎に時空間特徴抽出部１２に出力すると共に、モニタ装置２３に出力する。これにより、モニタ装置２３の画面には、コンピュータ２２が取り込んだ画像が表示される。なお、図２の例では、圧力センサ２１を１台しか使用していないが、複数台使用してもよい。図３に圧力センサ２１によって計測された足圧画像の例を示す。ただし、図３は、圧力センサ２１上を歩いて通りぬける間の数秒に出力されるフレームをすべて重畳し、各画素について最大値を残して重畳画像としたものである。
【００１３】
図４は、時空間特徴抽出部１２の動作を説明するための説明図である。ここでは、１歩の足が接地してから蹴りだすまでの時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_Ｔ｝を時空間特徴抽出部１２への入力とする。時空間特徴抽出部１２は、入力された時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_Ｔ｝の各フレームについて、画像全体から一歩分の足型画像に内接する矩形領域を図４（ａ）、図４（ｂ）、図４（ｃ）、図４（ｄ）のように切り出して、この矩形領域の画像を｛Ｓ_１’，Ｓ_２’，・・・，Ｓ_Ｔ’｝とする。
【００１４】
続いて、時空間特徴抽出部１２は、矩形の画像Ｓ_ｔ’ 内を図４（ｅ）のようにＮ（Ｎは１以上の整数）個の領域に分割して、分割した各領域毎に領域内の圧力和を求めることにより、時刻ｔにおける足圧画像データＳｔからＮ次の特徴ベクトルＸｔ＝（ｌ_ｔ１，ｌ_ｔ２，・・・，ｌ_ｔＮ）を求める。ｌ_ｔｉは、時刻ｔにおける足圧画像のＮ個の分割領域のうちｉ番目の領域内の圧力和である。このような処理をｔ＝１，２，・・・，Ｔの各フレームについて行うことにより、時空間特徴抽出部１２は、次式のような時系列特徴ベクトル列Ｘを出力する。
【００１５】
【数１】

【００１６】
次に、美しさ・健康度定量化部１３を図５を用いて説明する。図５は美しさ・健康度定量化部１３の構成を示すブロック図である。図５において、美しさ・健康度定量化部１３は、時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）から姿勢のバランス、対称性や歩行の時間的な連続性といった評価項目毎の得点を示す力学的合理性評価パラメータを生成する力学的合理性評価パラメータ生成部１３１と、複数の力学的合理性評価パラメータを合成して得点ｙを出力する得点合成部１３２と、力学的合理性判断基準を予め記憶している力学的合理性判断基準記億部１３３とからなる。
【００１７】
力学的合理性評価パラメータ生成部１３１は、力学的合理性判断基準記億部１３３を参照し、力学的合理性判断基準に基いて、美しさ・健康度定量化部１３に入力された時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）から力学的合理性評価パラメータ｛ａ_１，ａ_２，・・・，ａ_ｊ｝を計算し、この力学的合理性評価パラメータを得点合成部１３２へ出力する。
【００１８】
得点合成部１３２は、力学的合理性評価パラメータ｛ａ_１，ａ_２，・・・，ａ_ｊ｝の和を求めて、この結果を得点ｙとして出力する。
あるいは、得点合成部１３２は、力学的合理性評価パラメータ｛ａ_１，ａ_２，・・・，ａ_ｊ｝の重み付け平均を次式のように求めて、この結果を得点ｙとして出力する。
【００１９】
【数２】

【００２０】
式（２）において、Ｗ_１，Ｗ_２，・・・，Ｗ_ｊは、それぞれａ_１，ａ_２，・・・，ａ_ｊに対する重みである。
以下に、力学的合理性判断基準記億部１３３に記憶された力学的合理性判断基準と、これを参照して力学的合理性評価パラメータ生成部１３１で生成される力学的合理性評価パラメータａの実施形態を示す。
【００２１】
歩行の美しさの力学的合理性判断基準は、「人間の姿勢・運動の美しさの問題は力学的合理性や作業能と大きな関連をもつ」ことや、「バランスと対称性は姿勢の美しさを評価するときの重要な要素となる」ことに基づいている（参考文献：「臨床運動学第二版」、医歯薬出版）。
【００２２】
具体的には、歩行者の姿勢のバランス、対称性を判定するためのしきい値が美しさの力学的合理性判断基準として力学的合理性判断基準記億部１３３に記憶されている。姿勢のバランス、対称性は、例えば右足と左足で足圧が等しいかどうかにより判定することができるので、美しさの力学的合理性判断基準としては右足の足底荷重の和と左足の足底荷重の和との差分を用いている。
【００２３】
歩行の健康度の力学的合理性判断基準は、「正常歩行は必要なエネルギー消費を最小限にするようなパターンになると仮定される」ことや、「正常歩行は種々の臓器系機能が統合された結果であり、非常に効率のよい運動となっている。一部の臓器系に機能障害があれば、最適な運動パターンは乱れ、効率も低下する」ことに基づいている（参考文献：同上）。
【００２４】
具体的には、歩行の時間的な連続性（滑らかさ）を判定するためのしきい値が健康度の力学的合理性判断基準として力学的合理性判断基準記億部１３３に記憶されている。歩行の時間的な連続性（滑らかさ）は、例えば足圧の変化量、すなわち足圧の時間微分値で判定することができるので、健康度の力学的合理性判断基準としては足圧の時間微分値を用いている。
【００２５】
力学的合理性評価パラメータ生成部１３１は、入力された時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）から右足の足底荷重の和と左足の足底荷重の和との差分を求め、この差分を歩行のバランス、対称性の力学的合理性判断基準（しきい値）と比較することにより、歩行のバランス、対称性についての得点を示す力学的合理性評価パラメータａ_１を計算する。この場合、右足の足底荷重の和と左足の足底荷重の和との差分が小さいほど、歩行のバランス、対称性がよく美しい歩行であるとして、力学的合理性評価パラメータａ_１の得点が高くなる。
【００２６】
また、力学的合理性評価パラメータ生成部１３１は、時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）から足圧の時間微分値を求め、この時間微分値を歩行の滑らかさの力学的合理性判断基準（しきい値）と比較することにより、歩行の滑らかさについての得点を示す力学的合理性評価パラメータａ_２を計算する。この場合、足圧が滑らかに変化するほど、歩行のエネルギー効率がよく健康的な歩行であるとして、力学的合理性評価パラメータａ_２の得点が高くなる。
【００２７】
［実施の形態の２］
図６は本発明の第２の実施の形態となるウォーキング判定装置の時空間特徴抽出部の構成を示すブロック図である。
本実施の形態の時空間特徴抽出部１２ａは、足圧画像を空間的に正規化する空間正規化部１２１と、足圧画像を時間的に正規化する時間正規化部１２２とからなる。
【００２８】
空間正規化部１２１への入力は、歩行計測部１１から出力される時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝である。
空間正規化部１２１は、時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝を空間的に正規化して、足圧画像データ列｛Ｓ_１’，Ｓ_２’，・・・，Ｓ_ｔ’｝を出力する。
【００２９】
時間正規化部１２２は、足圧画像データ列｛Ｓ_１’，Ｓ_２’，・・・，Ｓ_ｔ’｝を時間的に正規化して、時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）を出力する。
【００３０】
図７は空間正規化部１２１の構成を示すブロック図である。空間正規化部１２１は、足圧分布を足底の各部位に分類する足底部位分割部２０１と、分類した足底部位毎の荷重値を時空間歩行特徴量として算出する足底部位別特徴量抽出部２０２とから構成される。
空間正規化部１２１の足底部位分割部２０１は、時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝において、踵、つま先、第１指〜第５指などｋ個の足底部位を認識して、図８に示すように足圧画像をｋ分割する。
【００３１】
なお、図８は、１歩の足が接地してから蹴りだすまでの時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝を画素毎に加算して、足底全体の足圧画像を求めたものである。足底部位分割部２０１は、図８のような足圧画像を求めた上で、この足圧画像において踵、つま先、第１指〜第５指などｋ（ｋは１以上の整数）個の足底部位を認識し、足圧画像をｋ分割する（図８では、ｋ＝１０）。
【００３２】
そして、足底部位分割部２０１は、時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝と、足圧画像データＳ_ｉ（ｉ＝１，２，・・・，ｔ）中の各画素に対して、どの足底部位に含まれるかを示す足底部位番号を付与したマップＭ＝｛Ｍ_１，Ｍ_２，・・・，Ｍ_ｔ｝を出力する。マップＭは、フレーム毎、すなわち足圧画像データＳ_ｉ（ｉ＝１，２，・・・，ｔ）毎に生成される。
図９はマップＭの１例を示しており、図８に示す足圧画像中の各画素に対して足底部位番号１，２，３，４・・・・が付与されている。このとき、足底以外の領域の画素については、負の値（図９の例では−１）が付与される。
【００３３】
足底部位別特徴量抽出部２０２は、マップＭを参照して足底部位毎に、各足底部位内での荷重和などを特徴量として計算し、計算結果を足圧画像データＳ_ｉ’ （ｉ＝１，２，・・・，ｔ）として出力する。例えば、足圧画像データＳ_ｉの踵について計算する場合、足底部位別特徴量抽出部２０２は、マップＭ_ｉの足底部位番号１の領域に相当する領域を足圧画像データＳ_ｉから抽出し、抽出した領域内の荷重和を計算して、この計算結果を足圧画像データＳ_ｉ’ の踵の部位の特徴量とする。足底部位別特徴量抽出部２０２は、このような足底部位毎の特徴量の計算を各フレームについて行う。
【００３４】
次に、時間正規化部１２２について説明する。正常な歩行者には、共通して踵の着地、足底の回転、蹴りだし、といった一連の歩行周期が存在する。
歩行周期の構成要素は、大きく立脚相と遊脚相に分けられ、前者が足が接地している期間、すなわち足圧が計測される期間である。
【００３５】
この立脚相は、さらに以下の５つの要素に分けられる（参考文献：「臨床運動学第二版」、医歯薬出版）。
（１）踵接地（ｈｅｅｌｓｔｒｉｋｅ）
（２）足底接地（ｆｏｏｔｆｌａｔ）
（３）立脚中期（ｍｉｄ−ｓｔａｎｃｅ）
（４）踵離地（ｈｅｅｌｏｆｆ）
（５）足尖離地（ｔｏｅｏｆｆ）
【００３６】
この歩行周期のいずれの期間であるかは、足圧の形状から認識できる。このように、時間正規化部１２２は、歩行周期を基準として、ある期間から次の期間までが一定のフレーム数になるように足圧画像データ列｛Ｓ_１’，Ｓ_２’，・・・，Ｓ_ｔ’｝の正規化を行い、時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）を出力する。
【００３７】
次に、足底部位分割部２０１についてより詳細に説明する。図１０は足底部位分割部２０１の構成を示すブロック図である。
足底部位分割部２０１は、確率モデル変換パラメータ計算部４０１と、確率モデル生成部４０２とから構成される。そして、確率モデル生成部４０２は、足底画像学習データベース４０３と、確率モデル記憶部４０４とを有している。
空間に分布する与えられたデータ点集合（特徴ベクトル）に対し、空間内での移動・回転・尺度変換のパラメータをもつ確率モデルを当てはめ、この点集合に対して移動・回転・尺度変換を施した形状を含む２次元画像があるとき、確率モデルの移動・回転・尺度変換のパラメータを推定することで、形状を認識することができる（参考文献：赤穂昭太郎、「ＥＣＭ法を用いた確率分布の位置、尺度、回転パラメータの推定法」、電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ８２−Ｄ−ＩＩＮｏ．１２ｐｐ．２２４０−２２５０）。
本発明では、確率モデルとして複数の２次元正規分布の和（正規混合分布）を用いている。このため、この確率モデルに含まれる各正規分布の平均、分散から、形状中での位置が分かることに注目し、足底部位認識を行っている。
【００３８】
まず、確率モデル生成部４０２は、足底形状をｋ個（ｋ＝１０程度）の２次元正規分布の和ｐ（ｘ；ζ，θ_１，・・・，θ_ｋ）で近似して、足底の確率モデルを生成する。今、ｊ番目の確率モデルをｐ_ｊ（ｘ；θ_ｊ）とすると、ｋ個の確率モデルの混合分布は、次式のように表すことができる（図１１）。
【００３９】
【数３】

【００４０】
足底画像学習データベース４０３は、標準的な足底画像を予め記憶しており、式（３）におけるパラメータζ_ｊ，θ_ｊを学習により求め、足底の確率モデルを作成する。このとき、パラメータθ_ｊの分布領域がｊ番目の足底部位となる。足底画像学習データベース４０３によって作成された確率モデルは、確率モデル記憶部４０４に格納される。
【００４１】
足底の確率モデルをｆ（ｘ）として数式表現すると、ｆ（ｘ）に位置・スケール・回転の変換を施してできる確率モデルは、回転とスケールの行列をＨとすると、次式のように表すことができる。
Ｐ（ｘ；Ｈ，ｂ）＝｜Ｈ｜ｆ（Ｈｘ＋ｂ）・・・（４）
【００４２】
確率モデル変換パラメータ計算部４０１は、足底部位分割部２０１への入力である時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝に対し、式（４）におけるパラメータＨとｂを推定する。これにより、足底部位を決定することができる。
そして、確率モデル変換パラメータ計算部４０１は、時系列足圧画像データ列｛Ｓ_１，Ｓ_２，・・・，Ｓ_ｔ｝と、マップＭ＝｛Ｍ_１，Ｍ_２，・・・，Ｍ_ｔ｝とを出力する。
【００４３】
［実施の形態の３］
図１２は本発明の第３の実施の形態となるウォーキング判定装置の時空間特徴抽出部の構成を示すブロック図である。
本実施の形態の時空間特徴抽出部１２ｂは、空間正規化部１２１と、時間正規化部１２２と、時空間チャート作成部１２３とからなる。空間正規化部１２１と時間正規化部１２２については、実施の形態の２と全く同じであるので、説明を省略する。
【００４４】
時空間チャート作成部１２３は、時系列特徴ベクトル列Ｘ＝（Ｘ_１，Ｘ_２，・・・，Ｘ_Ｔ）から図１３のような時空間チャート（バブルチャート）を作成して、この時空間チャートを表示部１４の画面に表示させる。
時空間チャートは、横軸を時間（フレーム）、縦軸を前記足底部位番号とし、足底部位毎の荷重値の和を丸印（バブル）の大きさで表したものである。バブルの大きさで表される各足底部位の荷重値は、左右の足底荷重値の総和を基準値として正規化したものである。このように、足底部位毎の荷重値の時間変化をバブルチャート表示することで、２次元平面上で、歩行の特徴を観察することができる。
【００４５】
【発明の効果】
本発明によれば、歩行計測部、時空間特徴抽出部及び美しさ・健康度定量化部を設けることにより、歩行者の体形に対する判定者の趣味等といった、歩行と無関係な要因に影響を受けることなく、歩行の美しさ又は健康度を客観的、かつ一定の基準で評価することができる。その結果、不特定個人の歩行を常に公正に評価する手段が提供される。また、判定者の目視によって歩行の美しさや健康度を判定する方法では、判定者によって時間や場所が制限されるが、本発明では判定者に頼らない評価を実現できるので、歩行訓練を行う者にとっては時間や場所の制約が解消される。
【００４６】
また、時空間特徴抽出部が、足圧分布を足底の各部位に分類して、分類した足底部位毎に荷重値を算出することにより、動作状態から時空間歩行特徴量を抽出することができる。
【００４７】
また、美しさ・健康度定量化部が歩行動作の力学的合理性に基づいて評価を行うことにより、時空間歩行特徴量から歩行の美しさ又は健康度を定量化して評価することができる。
【００４８】
また、時空間特徴抽出部に足底部位毎の荷重値を表すバブルチャートを出力する手段を設けることにより、２次元平面上で、歩行の特徴を観察することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態となるウォーキング判定装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態における歩行計測部の構成を示すブロック図である。
【図３】歩行計測部の圧力センサによって計測された足圧画像の例を示す図である。
【図４】本発明の第１の実施の形態における時空間特徴抽出部の動作を説明するための説明図である。
【図５】本発明の第１の実施の形態における美しさ・健康度定量化部の構成を示すブロック図である。
【図６】本発明の第２の実施の形態となるウォーキング判定装置の時空間特徴抽出部の構成を示すブロック図である。
【図７】本発明の第２の実施の形態における空間正規化部の構成を示すブロック図である。
【図８】本発明の第２の実施の形態における足底部位分割部の動作を説明するための説明図である。
【図９】本発明の第２の実施の形態において足底部位分割部から出力されるマップの１例を示す図である。
【図１０】本発明の第２の実施の形態における足底部位分割部の構成を示すブロック図である。
【図１１】本発明の第２の実施の形態における確率モデル生成部の動作を説明するための説明図である。
【図１２】本発明の第３の実施の形態となるウォーキング判定装置の時空間特徴抽出部の構成を示すブロック図である。
【図１３】本発明の第３の実施の形態において時空間チャート作成部から出力される時空間チャートの１例を示す図である。
【符号の説明】
１１…歩行計測部、１２、１２ａ、１２ｂ…時空間特徴抽出部、１３…美しさ・健康度定量化部、１４…表示部、２１…圧力センサ、２２…コンピュータ、２３…モニタ装置、１２１…空間正規化部、１２２…時間正規化部、１２３…時空間チャート作成部、１３１…力学的合理性評価パラメータ生成部、１３２…得点合成部、１３３…力学的合理性判断基準記億部、２０１…足底部位分割部、２０２…足底部位別特徴量抽出部４０１…確率モデル変換パラメータ計算部、４０２…確率モデル生成部、４０３…足底画像学習データベース、４０４…確率モデル記憶部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a walking determination device that measures the state of movement of a pedestrian or a moving object and quantifies and evaluates the beauty and health of walking.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, the determination of the beauty and health of a walking object such as a pedestrian has been performed visually by the determiner.
A method of measuring the posture of a moving object is disclosed in Japanese Patent Application Laid-Open No. H11-235328. This posture measuring method estimates the ground position and posture of the moving object from the ground pressure of the moving object, and measures the posture of the moving object by comparing the information with the camera image.
[0003]
Japanese Patent Application Laid-Open No. 10-305023 discloses a motion analysis device for diagnosing a motion of a subject by parameterizing the motion state. This motion analysis apparatus analyzes motion analysis data of a subject using a neural network technique.
Further, a gait analysis method for quantifying a gait characteristic from a pedestrian's foot pressure distribution is disclosed in Japanese Patent Application Laid-Open No. H11-113844. This walking analysis method measures a foot pressure distribution during walking, analyzes a walking motion from the measurement result, and outputs the characteristic as a parameter.
[0004]
[Problems to be solved by the invention]
However, the method of judging the beauty or health of the walking of the moving object by visual observation of the judge has a problem in that it is difficult to make an objective and constant judgment based on the subjective judgment of the judge. For example, there is a risk that factors unrelated to walking itself, such as the hobby of the judge with respect to the pedestrian's body shape, may affect the judgment result.
Further, the techniques disclosed in JP-A-11-235328, JP-A-10-305023, and JP-A-11-113844 are all related to measurement of an operation state, and a measurement result itself from a sensor is used. There is no known method of outputting an object or outputting a characteristic parameter, and quantifying the beauty and health of a walking object and objectively determining it.
[0005]
The present invention has been made in order to solve the above-described problem, and has as its object to provide a walking determination device that can objectively determine walking based on a fixed reference.
[0006]
[Means for Solving the Problems]
The walking determination device of the present invention includes a walking measurement unit (11) that measures a foot pressure distribution of a pedestrian or a moving object, which temporally changes with walking, as a foot pressure image, and converts the foot pressure image into k (k Is an integer equal to or greater than 1) sole plantar parts, the sum of pressure in the sole part is obtained as a feature vector for each of the divided parts, and a time-series feature vector sequence X in which this feature vector is obtained at each time is output. A time-spatial feature extraction unit (12), and a quantification unit (13) for obtaining a dynamic rationality evaluation parameter from the time-series feature vector sequence X and a previously stored dynamic rationality criterion. It is.
Further, the spatiotemporal feature extraction unit has a plantar part dividing unit that divides a foot pressure image into plantar parts based on a plantar image learning database and a probability model .
The spatiotemporal feature extraction unit outputs a time-series feature vector sequence X that is temporally normalized based on a walking cycle .
Further, the spatiotemporal feature extraction unit has means for outputting a bubble chart representing a load value for each sole portion.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
[First Embodiment]
Next, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a walking determination device according to a first embodiment of the present invention. In FIG. 1, a walking determination device includes a walking measurement unit 11 that measures an operation state of a pedestrian or a moving object, which temporally changes with walking, and a spatio-temporal feature that extracts a spatio-temporal walking feature amount from the operation state. It is composed of an extraction unit 12, a beauty / health quantification unit 13 for quantifying and evaluating the beauty or health level of walking from spatiotemporal walking features, and a display unit 14 for displaying the beauty / health level. You.
[0008]
The walking measurement unit 11 measures the foot pressure distribution of the walking person continuously over time using a sensor such as a pressure sensor, and a time-series foot pressure image data sequence {S ₁ , S ₂ , .., _St } to the spatiotemporal feature extraction unit 12. _St is foot pressure image data measured at time t, and is output for each frame (30 frames per second).
[0009]
Spatiotemporal characteristic extraction unit 12, time-series foot pressure image data string _{_{{S 1, S 2, ···}} , S t} series feature vector sequence when showing the spatial gait feature amount when the _X _{= (X} 1, X ₂ ,..., X _T ) are extracted and output to the beauty / health degree quantification unit 13. _XT is a feature vector extracted from measurement data observed at time T.
[0010]
The beauty / health quantification unit 13 maps the time series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ) to the walking beauty by mapping the beauty / health degree of walking to the space. The image is mapped onto the space of the degree of health and health, and as a result, a score y indicating the degree of beauty and health is output.
The display unit 14 displays the beauty / health score y.
[0011]
FIG. 2 shows a specific example of the walking measurement unit 11. The sensors used in the walking measurement unit 11 include a pressure sensor 21 for measuring foot pressure. The pressure sensor 21 can measure foot pressure for several consecutive steps. The pedestrian passes through the pressure sensor 21 in about three to five steps by natural walking. Foot pressure measured by the pressure sensor 21 is output 30 frames per second as a foot pressure image data S _t to the gradation value of intensity of the pressure is taken into the computer 22.
[0012]
Computer 22 outputs the spatiotemporal characteristic extraction unit 12 for each frame a foot pressure image data S _t, and outputs to the monitor device 23. As a result, an image captured by the computer 22 is displayed on the screen of the monitor device 23. Although only one pressure sensor 21 is used in the example of FIG. 2, a plurality of pressure sensors 21 may be used. FIG. 3 shows an example of a foot pressure image measured by the pressure sensor 21. However, FIG. 3 shows a superimposed image in which all frames output in a few seconds while walking on the pressure sensor 21 are superimposed, and the maximum value is left for each pixel.
[0013]
FIG. 4 is an explanatory diagram for explaining the operation of the spatiotemporal feature extraction unit 12. Here, a time-series foot pressure image data sequence {S ₁ , S ₂ ,..., S _T } from when the foot of one step touches down to when the foot starts to kick is input to the spatiotemporal feature extraction unit 12. Spatiotemporal characteristic extraction unit 12, the input time-series foot pressure image data string _{_{{S 1, S 2, ···}} , S T} for each frame of a rectangle inscribed from the entire image in one step portion of the foot-type image The region is cut out as shown in FIGS. 4A, 4B, 4C, and 4D, and the image of this rectangular region is {S ₁ ′, S ₂ ′,. Let _ST ′｝.
[0014]
Subsequently, the spatiotemporal feature extraction unit 12 divides the rectangular image _St ′ into N (N is an integer of 1 or more) regions as shown in FIG. By calculating the sum of the pressures in the region, the Nth-order feature vector Xt = ( _lt1 , _lt2 , ..., _ltN ) is determined from the foot pressure image data St at the time t. l _ti is the pressure sum in the i-th region of the N divided regions of the foot pressure image at time t. By performing such processing for each frame of t = 1, 2,..., T, the spatiotemporal feature extraction unit 12 outputs a time-series feature vector sequence X as in the following equation.
[0015]
(Equation 1)

[0016]
Next, the beauty / health degree quantification unit 13 will be described with reference to FIG. FIG. 5 is a block diagram illustrating the configuration of the beauty / health degree quantification unit 13. In FIG. 5, the beauty / health degree quantification unit 13 calculates the balance of the posture, the symmetry, and the temporal continuity of walking from the time-series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ). Dynamic rationality evaluation parameter generation unit 131 that generates a dynamic rationality evaluation parameter indicating a score for each evaluation item such as gender, and a score synthesis unit 132 that synthesizes a plurality of mechanical rationality evaluation parameters and outputs a score y And a mechanical rationality determination criterion storage unit 133 in which the mechanical rationality criterion is stored in advance.
[0017]
The dynamic rationality evaluation parameter generation unit 131 refers to the dynamic rationality determination criterion storage unit 133, and based on the dynamic rationality criterion, inputs the time series input to the beauty / health quantification unit 13. A dynamic rationality evaluation parameter {a ₁ , a ₂ ,..., A _j } is calculated from the feature vector sequence X = (X ₁ , X ₂ ,..., X _T ), and the dynamic rationality evaluation is performed. The parameters are output to the point synthesis unit 132.
[0018]
The score synthesis unit 132 obtains the sum of the dynamic rationality evaluation parameters {a ₁ , a ₂ ,..., A _j }, and outputs the result as the score y.
Alternatively, the score synthesis unit 132 obtains a weighted average of the dynamic rationality evaluation parameters {a ₁ , a ₂ ,..., A _j } as in the following expression, and outputs the result as the score y.
[0019]
(Equation 2)

[0020]
In the formula _{_{(2), W 1, W}} 2, ···, W j are respectively _a _1, a 2, · · ·, a weight for _{a j.}
The dynamic rationality criterion stored in the dynamic rationality criterion storage unit 133 and the dynamic rationality evaluation parameter a generated by the dynamic rationality evaluation parameter generation unit 131 with reference to the criterion are described below. An embodiment will be described.
[0021]
The criteria for the dynamic rationality of the beauty of walking are that "the problem of the beauty of human posture and movement has a great relationship with mechanical rationality and workability" and that "balance and symmetry are the beauty of posture. It is an important factor in assessing the likelihood "(Reference:" Clinical kinematics 2nd edition ", Medical and Dental Medicine Publishing).
[0022]
Specifically, thresholds for determining the balance and symmetry of the pedestrian's posture are stored in the dynamic rationality determination standard storage unit 133 as the dynamic rationality determination standard for beauty. The balance and symmetry of the posture can be determined by, for example, whether or not the pressures of the right and left feet are equal. Therefore, as a criterion for determining the mechanical rationality of beauty, the sum of the plantar load of the right foot and the plantar of the left foot The difference from the sum of the loads is used.
[0023]
The criteria for the kinetic rationality of walking health include: "normal walking is assumed to be a pattern that minimizes the necessary energy consumption" and "normal walking involves integration of various organ system functions. The result is a highly efficient exercise. If some organ systems are impaired, the optimal exercise pattern will be disrupted and the efficiency will be reduced. ” ).
[0024]
Specifically, a threshold value for determining the temporal continuity (smoothness) of walking is stored in the dynamic rationality determination criterion storage unit 133 as the dynamic rationality determination criterion of the health level. . The temporal continuity (smoothness) of walking can be determined by, for example, the amount of change in foot pressure, that is, the time differential value of foot pressure. Differential values are used.
[0025]
The dynamic rationality evaluation parameter generation unit 131 calculates the sum of the sole load of the right foot and the sole load of the left foot from the input time-series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ). The difference from the sum is obtained, and the difference is compared with the gait balance and symmetry dynamic rationality criterion (threshold) to evaluate the dynamic rationality indicating the score of the balance and symmetry of gait. to calculate the parameters _{a 1.} In this case, as the difference between the sum of the sum and left plantar load right foot plantar load is small, the balance of the gait, the symmetry is well beautiful walking, the score of the mechanical rationality evaluation parameters a ₁ Get higher.
[0026]
Further, the dynamic rationality evaluation parameter generation unit 131 obtains a time differential value of foot pressure from the time-series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ), and walks this time differential value. by comparing the smoothness of the mechanical rationality criteria (thresholds), calculates the mechanical rationality evaluation parameters a ₂ showing the scores for the smoothness of gait. In this case, as the foot pressure changes smoothly, as the energy efficiency of the walk is a good healthy walking scores of mechanical rationality evaluation parameters a ₂ is increased.
[0027]
[Second Embodiment]
FIG. 6 is a block diagram showing a configuration of a spatiotemporal feature extraction unit of the walking determination device according to the second embodiment of the present invention.
The spatiotemporal feature extraction unit 12a according to the present embodiment includes a space normalization unit 121 that spatially normalizes a foot pressure image, and a time normalization unit 122 that temporally normalizes a foot pressure image.
[0028]
The input to the space normalization unit 121 is a time-series foot pressure image data sequence {S ₁ , S ₂ ,..., S _t } output from the walking measurement unit 11.
The spatial normalization unit 121 spatially normalizes the time-series foot pressure image data sequence {S ₁ , S ₂ ,..., _St } to obtain a foot pressure image data sequence {S ₁ ′, S ₂ ′, ..., _St ' Output｝.
[0029]
Time normalization unit 122, foot pressure image data string _{_{{S 1 ', S 2'}} , ···, S t ' 時間 is temporally normalized, and a time-series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ) is output.
[0030]
FIG. 7 is a block diagram illustrating a configuration of the space normalization unit 121. The space normalizing unit 121 is a sole part dividing unit 201 that classifies the foot pressure distribution into each part of the sole, and a sole part characteristic that calculates a load value for each classified sole part as a spatiotemporal walking feature amount. And an amount extraction unit 202.
In the time-series foot pressure image data sequence {S ₁ , S ₂ ,..., S _t }, the sole portion division unit 201 of the space normalization unit 121 calculates the heel, toe, first to fifth fingers, etc. Recognizing the sole parts, the foot pressure image is divided into k as shown in FIG.
[0031]
8 shows time-series foot pressure image data string up to one step of the foot starts to kick the grounded _{_{{S 1, S 2, ···}} , S t} by adding for each pixel, plantar The whole foot pressure image is obtained. After obtaining the foot pressure image as shown in FIG. 8, the sole portion dividing unit 201 calculates k (k is an integer of 1 or more) heels, toes, and first to fifth fingers in the foot pressure image. The sole portion is recognized, and the foot pressure image is divided into k (k = 10 in FIG. 8).
[0032]
Then, the plantar part division unit 201 generates the time-series foot pressure image data sequence {S ₁ , S ₂ ,..., _St } and the foot pressure image data S _i (i = 1, 2,. For each pixel in t), a map M = {M ₁ , M ₂ ,..., M _t } to which a sole portion number indicating which sole portion is included is output. The map M is generated for each frame, that is, for each foot pressure image data S _i (i = 1, 2,..., T).
FIG. 9 shows an example of the map M, in which the

sole portions

1, 2, 3, 4,... Are assigned to the respective pixels in the foot pressure image shown in FIG. At this time, a negative value (−1 in the example of FIG. 9) is assigned to the pixels in the region other than the sole.
[0033]
The sole-part-specific feature amount extracting unit 202 calculates, for each sole part, a load sum or the like in each sole part as a feature amount with reference to the map M, and calculates the calculation result as foot pressure image data S _i ′. (I = 1, 2,..., T). Such as extraction, when calculating the heel of the foot pressure image data S _i, plantar site feature quantity extraction unit 202, a region corresponding to the region of the plantar region number 1 in the map M _i from foot pressure image data S _i Then, the load sum in the extracted region is calculated, and the calculation result is used as the feature amount of the heel portion of the foot pressure image data S _i ′. The plantar part-specific feature amount extracting unit 202 calculates such a feature amount for each plantar portion for each frame.
[0034]
Next, the time normalizing unit 122 will be described. Normal pedestrians commonly have a series of walking cycles such as heel landing, sole rotation, and kicking.
The components of the walking cycle are largely divided into a stance phase and a swing phase, and the former is a period in which the foot is in contact with the foot, that is, a period in which foot pressure is measured.
[0035]
This stance phase is further divided into the following five elements (reference: “Clinical Kinetics, 2nd Edition”, Medical and Dental Medicine Publishing).
(1) heel strike
(2) Foot flat (foot flat)
(3) Mid-stance
(4) Heel off
(5) Toe off
[0036]
The period of this walking cycle can be recognized from the shape of the foot pressure. As described above, the time normalizing unit 122 sets the foot pressure image data sequence {S ₁ ′, S ₂ ′,... So that the number of frames from a certain period to the next period becomes a fixed number of frames based on the walking cycle. , _St ' ｝ Is normalized, and a time-series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ) is output.
[0037]
Next, the plantar part dividing unit 201 will be described in more detail. FIG. 10 is a block diagram illustrating a configuration of the sole portion dividing unit 201.
The plantar part division unit 201 includes a probability model conversion parameter calculation unit 401 and a probability model generation unit 402. The probability model generation unit 402 has a sole image learning database 403 and a probability model storage unit 404.
To a given data point set (feature vector) distributed in space, a stochastic model having parameters of movement, rotation, and scale conversion in space is applied, and this point set is subjected to movement, rotation, and scale conversion. When there is a two-dimensional image containing a transformed shape, the shape can be recognized by estimating the parameters of movement, rotation, and scale conversion of the probability model (Reference: Shotaro Ako, "Probability Distribution Using ECM Method" Method for Estimating Position, Scale, and Rotation Parameters of a Computer ”, IEICE Transactions on Electronics, D-II Vol. J82-D-II No. 12 pp. 2240-2250).
In the present invention, the sum (normal mixture distribution) of a plurality of two-dimensional normal distributions is used as a probability model. For this reason, attention is paid to the fact that the position in the shape can be determined from the average and variance of each normal distribution included in the probability model, and the sole portion is recognized.
[0038]
First, the probability model generation unit 402 approximates the sole shape with the sum p (x; ζ, θ ₁ ,..., Θ _k ) of _k (about k = 10) two-dimensional normal distributions, and Generate a bottom probability model. Now, assuming that the j-th probability model is p _j (x; θ _j ), a mixture distribution of k probability models can be expressed as the following equation (FIG. 11).
[0039]
(Equation 3)

[0040]
The sole image learning database 403 stores a standard sole image in advance, obtains the parameters ζ _j , θ _j in Expression (3) by learning, and creates a probability model of the sole. At this time, the distribution area of the parameter θ _j is the j-th sole portion. The probability model created by the sole image learning database 403 is stored in the probability model storage unit 404.
[0041]
When the probability model of the sole is expressed by f (x) as a mathematical expression, a probability model that can be obtained by subjecting f (x) to a transformation of position, scale, and rotation is represented by the following equation, where H is the matrix of rotation and scale. Can be represented.
P (x; H, b) = | H | f (Hx + b) (4)
[0042]
Probabilistic model conversion parameter calculation unit 401, time-series foot pressure image data stream is an input to the plantar region dividing section _{_{201 {S 1, S 2,}} ···, S t} to the parameters in equation (4) Estimate H and b. Thereby, a sole part can be determined.
Then, the probabilistic model conversion parameter calculation unit 401 calculates the time-series foot pressure image data sequence {S ₁ , S ₂ ,..., S _t } and the map M = {M ₁ , M ₂ _,. ｝ Is output.
[0043]
[Third Embodiment]
FIG. 12 is a block diagram illustrating a configuration of a spatiotemporal feature extraction unit of the walking determination device according to the third embodiment of the present invention.
The spatiotemporal feature extraction unit 12b of the present embodiment includes a space normalization unit 121, a time normalization unit 122, and a spatiotemporal chart creation unit 123. The space normalization unit 121 and the time normalization unit 122 are exactly the same as those in the second embodiment, and thus description thereof will be omitted.
[0044]
The spatio-temporal chart creation unit 123 creates a spatio-temporal chart (bubble chart) as shown in FIG. 13 from the time-series feature vector sequence X = (X ₁ , X ₂ ,..., X _T ). The chart is displayed on the screen of the display unit 14.
In the spatio-temporal chart, the horizontal axis is time (frame), the vertical axis is the sole part number, and the sum of the load values for each sole part is represented by the size of a circle (bubble). The load value of each sole portion represented by the size of the bubble is normalized using the sum of the left and right sole load values as a reference value. In this way, by displaying the time change of the load value for each sole portion in a bubble chart, the characteristics of walking can be observed on a two-dimensional plane.
[0045]
【The invention's effect】
According to the present invention, by providing the walking measurement unit, the spatiotemporal feature extraction unit, and the beauty / health degree quantification unit, it is affected by factors unrelated to walking, such as the hobby of the judge with respect to the pedestrian's body shape. Without walking, it is possible to evaluate the beauty or health of walking objectively and with a certain standard. As a result, a means for always and fairly evaluating the walking of an unspecified individual is provided. In addition, in the method of visually determining the beauty and health of the walker by the judge, the time and place are limited by the judge, but in the present invention, an evaluation that does not rely on the judge can be realized, so that walking training is performed. For people, the time and place restrictions are eliminated.
[0046]
Further, the spatiotemporal feature extraction unit extracts the spatiotemporal walking feature amount from the operation state by classifying the foot pressure distribution into each part of the sole and calculating a load value for each classified sole part. Can be.
[0047]
Further, the beauty / health degree quantification unit performs the evaluation based on the dynamic rationality of the walking motion, so that the beauty or health degree of walking can be quantified and evaluated from the spatiotemporal walking feature amount.
[0048]
In addition, by providing the spatiotemporal feature extraction unit with a means for outputting a bubble chart representing a load value for each plantar portion, it is possible to observe walking characteristics on a two-dimensional plane.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a walking determination device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a walking measurement unit according to the first embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a foot pressure image measured by a pressure sensor of a walking measurement unit.
FIG. 4 is an explanatory diagram for explaining an operation of a spatiotemporal feature extraction unit according to the first embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a beauty / health degree quantification unit according to the first embodiment of the present invention.
FIG. 6 is a block diagram illustrating a configuration of a spatiotemporal feature extraction unit of a walking determination device according to a second embodiment of the present invention.
FIG. 7 is a block diagram illustrating a configuration of a space normalizing unit according to a second embodiment of the present invention.
FIG. 8 is an explanatory diagram for explaining an operation of a sole portion dividing section according to the second embodiment of the present invention.
FIG. 9 is a diagram illustrating an example of a map output from a plantar site division unit according to the second embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a sole portion dividing section according to the second embodiment of the present invention.
FIG. 11 is an explanatory diagram for explaining an operation of a probability model generation unit according to the second embodiment of the present invention.
FIG. 12 is a block diagram illustrating a configuration of a spatiotemporal feature extraction unit of a walking determination device according to a third embodiment of the present invention.
FIG. 13 is a diagram illustrating an example of a spatio-temporal chart output from a spatio-temporal chart creating unit according to the third embodiment of the present invention.
[Explanation of symbols]
11: walking measurement unit, 12, 12a, 12b: spatiotemporal feature extraction unit, 13: beauty / health quantification unit, 14: display unit, 21: pressure sensor, 22: computer, 23: monitor device, 121: Spatial normalization unit, 122: Temporal normalization unit, 123: Spatiotemporal chart creation unit, 131: Dynamic rationality evaluation parameter generation unit, 132: Scoring unit, 133: Mechanical rationality judgment criterion storage unit, 201 ... A sole part dividing unit, 202 a sole part characteristic amount extracting unit 401, a probability model conversion parameter calculating unit, 402, a probability model generating unit, 403, a sole image learning database, 404, a probability model storage unit.

Claims

A walking measurement unit that changes over time with walking, and measures a foot pressure distribution of a pedestrian or a moving object as a foot pressure image ,
The foot pressure image is divided into k (k is an integer of 1 or more) plantar parts, the pressure sum in the plantar part is obtained as a feature vector for each of the divided parts, and this characteristic vector is obtained at each time. A spatio-temporal feature extraction unit that outputs a time-series feature vector sequence X ;
A walking determination device, comprising: a quantification unit that determines a dynamic rationality evaluation parameter from the time-series feature vector sequence X and a previously stored dynamic rationality evaluation criterion.

The walking determination device according to claim 1,
The walking determination device, wherein the spatiotemporal feature extracting unit includes a plantar part dividing unit that divides a foot pressure image into plantar parts based on a plantar image learning database and a probability model .

The walking determination device according to claim 1,
The walking determination device, wherein the spatiotemporal feature extraction unit outputs a time-series feature vector sequence X that is temporally normalized based on a walking cycle .

The walking determination device according to claim 1,
The walking determination device, wherein the spatiotemporal feature extraction unit includes a unit that outputs a bubble chart representing a load value for each of the sole portions.