JP6558820B2 - 計測装置、計測方法、及びプログラム - Google Patents

計測装置、計測方法、及びプログラム Download PDF

Info

Publication number
JP6558820B2
JP6558820B2 JP2018508010A JP2018508010A JP6558820B2 JP 6558820 B2 JP6558820 B2 JP 6558820B2 JP 2018508010 A JP2018508010 A JP 2018508010A JP 2018508010 A JP2018508010 A JP 2018508010A JP 6558820 B2 JP6558820 B2 JP 6558820B2
Authority
JP
Japan
Prior art keywords
user
foot
depth
pixel
walking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018508010A
Other languages
English (en)
Other versions
JPWO2017170440A1 (ja
Inventor
宏紀 寺島
宏紀 寺島
克幸 永井
克幸 永井
友見 木下
友見 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solutions Innovators Ltd
Original Assignee
NEC Solutions Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solutions Innovators Ltd filed Critical NEC Solutions Innovators Ltd
Publication of JPWO2017170440A1 publication Critical patent/JPWO2017170440A1/ja
Application granted granted Critical
Publication of JP6558820B2 publication Critical patent/JP6558820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Description

本発明は、歩行するユーザの爪先の位置を計測するための、計測装置、計測方法、及びこれらを実現するためのプログラムに関する。
近年、歩行時の爪先と地面との距離、いわゆるフットクリアランスについての研究に注目が集まっている。この研究は、高齢になるほどフットクリアランスが低くなり、歩行中の転倒が増加するという仮説に基づいており、フットクリアランスを測定することで、高齢者の健康状態を把握するという試みである(例えば、非特許文献1参照)。
また、非特許文献1においては、フットクリアランスの測定のため、まず、被験者の踵及び爪先を含む全身13箇所にマーカーを取り付け、その状態で被験者を歩行させる。次に、歩行の様子を6台のカメラで撮影し、撮影画像から抽出されたマーカーの軌跡に基づいて、フットクリアランスが測定される。
但し、このような方法でのフットクリアランスの測定には、コストが高いこと、被測定者にとって身体的負担が大きいこと、及び測定者にとって測定作業の負担が大きいことが問題点として挙げられる。このため、フットクリアランスの測定の普及は困難となっている。従って、低コストで簡単にフットクリアランスを測定する手段が求められている。
ところで、近年、Kinect(登録商標)に代表されるデプスセンサによって、ヒトの動作を分析する試みがなされている(例えば、非特許文献2参照)。具体的には、非特許文献2は、リハリビリテーション中の患者が関節を動かすところをデプスセンサで撮影することで、患者の関節の可動範囲を測定するシステムを開示している。非特許文献2に開示されたシステムでは、デプスセンサからの画像データのみで、患者の各部分を検出できるので、特許文献2に開示されたシステムを用いれば、低コストで簡単にフットクリアランスを測定することもできると考えられる。
西澤哲、長崎浩、古名丈人、奥住秀之、杉浦美穂、伊東元、藤田祐樹著、「地域高齢者を対象にした歩行時のフットクリアランスに関する研究」、バイオメカニズム学会、Society of Bio mechanisms Japan (14)、1998年11月25日、p.69−79 狐崎直文、安達栄治郎、横田卓、水澤順一著、「KINECTのリハビリテーション用アプリケーションの実用化」、一般社団法人電子情報通信学会、信学技報IE2012−89、2012年11月、p.41−46
しかしながら、通常、デプスセンサで特定される足の関節は、膝、くるぶし、足首であり、非特許文献2に開示されたシステムでも、つま先は含まれていない。このため、非特許文献2に開示されたシステムでは、つま先の位置を取得することが難しく、実際にはフットクリアランスの測定は困難である。
本発明の目的の一例は、上記問題を解消し、デプスセンサを用いてフットクリアランスの測定を可能にし得る、計測装置、計測方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における計測装置は、歩行するユーザの爪先の位置を計測するための装置であって、
予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、データ取得部と、
前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、特定画素抽出部と、
抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、位置算出部と、
を備えていることを特徴とする。
また、上記目的を達成するため、本発明の一側面における計測方法は、歩行するユーザの爪先の位置を計測するための方法であって、
(a)予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、ステップと、
(b)前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、ステップと、
(c)抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、歩行するユーザの爪先の位置を計測するためのプログラムであって、
前記コンピュータに、
(a)予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、ステップと、
(b)前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、ステップと、
(c)抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、ステップと、
を実行させることを特徴とする。
以上のように、本発明によれば、デプスセンサを用いてフットクリアランスの測定を可能にすることができる。
図1は、本発明の実施の形態における計測装置の概略構成を示すブロック図である。 図2は、本発明の実施の形態における計測装置の具体的構成を示すブロック図である。 図3は、本発明の実施の形態においてデプスセンサから出力された画像データの一例を示す図であり、図3(a)は歩行路にユーザが存在していない状態を示し、図3(b)は歩行路にユーザが存在している状態を示し、図3(c)は差分を示している。 図4は、本発明の実施の形態における三次元座標の算出処理を説明する図であり、図4(a)は画面の水平方向を示し、図4(b)は画面の垂直方向を示している。 図5は、本発明の実施の形態における計測装置の動作を示すフロー図である。 図6は、本発明の実施の形態における計測装置を実現するコンピュータの一例を示すブロック図である。
(実施の形態)
以下、本発明の実施の形態における、計測装置、計測方法、及びプログラムについて、図1〜図5を参照しながら説明する。
[装置構成]
最初に、本実施の形態における計測装置の概略構成について図1を用いて説明する。図1は、本発明の実施の形態における計測装置の概略構成を示すブロック図である。
図1に示す、本実施の形態における計測装置10は、歩行するユーザの爪先の位置を計測する装置である。図1に示すように、計測装置10は、データ取得部11と、特定画素抽出部12と、位置算出部13とを備えている。
データ取得部11は、まず、デプスセンサから、歩行路にユーザが存在していない状態の画像データ(後述の図3(a)参照)を基準データとして取得する。更に、データ取得部11は、デプスセンサから、歩行路をユーザが歩行している状態の画像データ(後述の図3(b)参照)を、歩行データとして取得する。また、デプスセンサは、予め設定された歩行路及び歩行路上の空間を撮影するように配置されている。デプスセンサは、画素毎の深度が付加された画像データを出力する。
特定画素抽出部12は、歩行データと基準データとの差分を求め、求めた差分(後述の図3(c)参照)と差分に含まれる深度とから、ユーザのデプスセンサ側に位置している足を特定する。また、特定画素抽出部12は、特定した足を構成している画素の中から、深度に基づいて爪先部分の画素を抽出する。位置算出部13は、抽出された画素の画像データ上での座標と、抽出された画素の深度とから、画素の三次元座標を算出し、算出した三次元座標を前記ユーザの爪先の位置とする。
このように、本実施の形態では、計測装置10は、デプスセンサからの深度が付加された画像データを用いていることによって、爪先の位置を特定できる。従って、本実施の形態によれば、デプスセンサを用いたフットクリアランスの測定が可能となる。
続いて、図2及び図3を用いて本実施の形態における計測装置の具体的構成について説明する。図2は、本発明の実施の形態における計測装置の具体的構成を示すブロック図である。図3は、本発明の実施の形態においてデプスセンサから出力された画像データの一例を示す図であり、図3(a)は歩行路にユーザが存在していない状態を示し、図3(b)は歩行路にユーザが存在している状態を示し、図3(c)は差分を示している。
図2に示すように、本実施の形態においては、計測装置10は、デプスセンサ20に接続されている。計測装置10は、デプスセンサ20から、有線又は無線によって、画素毎の深度が付加された画像データを受信する。デプスセンサ20は、例えば、特定のパターンで赤外線レーザ光を出射する光源と、対象物で反射された赤外線を受光する撮像素子とを備えており、これらによって、画素毎の深度が付加された画像データを出力する。デプスセンサの具体例としては、Kinect(登録商標)といった既存のデプスセンサが挙げられる。
また、図3(a)及び図3(b)に示すように、デプスセンサ20は、歩行路30及びその上の空間を撮影可能となるように配置されている。歩行路30は、ユーザが歩くことができる平らな場所であれば良く、特に限定されるものではない。
また、図2に示すように、本実施の形態では、計測装置10は、データ取得部11、特定画素抽出部12、及び位置算出部13に加えて、フットクリアランス算出部14を備えている。
特定画素抽出部12は、本実施の形態では、歩行データが取得される度に、歩行データと基準データとの差分となる画像データ(以下「差分画像データ」と表記する。図3(c)参照)において、ユーザの四肢及び動体の複数の部位を特定する。更に、特定画素抽出部12は、特定した各部位について、画像データ上での座標と深度とを特定して、これらを用いて、各部位の三次元座標を算出する。
なお、本明細書において三次元座標は、画素の画像データ上での座標と、画素に付加された深度とで構成されている。また、特定される部位は、頭、首、右肩、右肘、右手首、右手の親指、右手の先、左肩、左肘、左手首、左手の親指、左手の先、胸部、腰部、骨盤部、右股関節、右膝、右くるぶし、右足甲、左股関節、左膝、左くるぶし、左足甲である。
また、画像データ上での座標と深度とから三次元座標を算出する手法は、下記の通りである。図4は、本発明の実施の形態における三次元座標の算出処理を説明する図であり、図4(a)は三次元空間におけるX−Z平面を示し、図4(b)は三次元空間におけるY−Z平面を示している。
まず、深度が付加された画像データ上における、特定点の座標を(DX,DY)、特定点における深度をDPTとする。また、画像データの水平方向の画素数を2CX、垂直方向の画素数を2CYとする。そして、デプスセンサの水平方向の視野角を2θ、垂直方向の視野角を2φとする。この場合、特定点の三次元座標(WX,WY,WZ)は、図4(a)及び(b)から分かるように、以下の数1〜数3によって算出される。
(数1)
WX=((CX−DX)×DPT×tanθ)/CX
(数2)
WY=((CY−DY)×DPT×tanφ)/CY
(数3)
WZ=DPT
そして、特定画素抽出部12は、左右の足のくるぶしの位置の三次元座標を用いて、右足のくるぶしの深度と左足のくるぶしの深度とを比較し、値が小さい方の足を、デプスセンサ側(図3(a)及び(b))の足と特定する。
また、特定画素抽出部12は、特定した足について、三次元空間において膝とくるぶしとを結ぶ線分の中間を脛と仮定し、膝の三次元座標とくるぶしの三次元座標とから脛の三次元座標を算出する。更に、特定画素抽出部12は、算出した脛の三次元座標から、脛の画像データ上での座標を算出し、算出した座標に基づいて、特定した足の領域を構成している画素の中から、ユーザの脛より下の部分を抽出する。そして、特定画素抽出部12は、抽出した部分を構成する各画素の深度に基づいて、抽出した部分を構成している画素のうち、最も手前に位置する画素、即ち、深度が最も小さい画素を更に抽出し、この抽出した画素を爪先部分の画素とする。
位置算出部13は、本実施の形態では、まず、特定画素抽出部12によって爪先部分の画素として抽出された画素の元の画像データ上での座標を算出する。そして、位置算出部13は、算出した画像データ上での座標と、抽出された画素の深度とを用いて、ユーザの爪先の三次元座標を算出する。
フットクリアランス算出部14は、位置算出部13によって算出されたユーザの爪先の三次元座標を随時取得し、三次元座標を取得する度に、取得した三次元座標と、予め登録されている歩行路30の三次元座標とを対比して、フットクリアランスを算出する。具体的には、フットクリアランスは、例えば、2つの三次元座標の垂直方向の成分の差分を計算することによって、算出される。算出されたフットクリアランスは、例えば、右足及び左足の判定結果と共に、計測装置10に接続された表示装置の画面などに表示される。このように、計測装置10によれば、簡単なシステム構成でフットクリアランスを測定することができる。
[装置動作]
次に、本発明の実施の形態における計測装置10の動作について図5を用いて説明する。図5は、本発明の実施の形態における計測装置10の動作を示すフロー図である。以下の説明においては、適宜図1〜図4を参照する。また、本実施の形態では、計測装置10を動作させることによって、計測方法が実施される。よって、本実施の形態における計測方法の説明は、以下の計測装置10の動作説明に代える。
まず、前提として、予め、データ取得部11は、デプスセンサ20から基準データを取得している。そして、図3に示すように、デプスセンサ20によって、ユーザが歩行路30を歩行している状態で撮影が行なわれ、得られた画像データが出力されると、データ取得部11は、歩行データを取得する(ステップS1)。
次に、特定画素抽出部12は、ステップS1で取得した歩行データと基準データとの差分となる画像データ(差分画像データ)を求め、差分画像データを抽出する(ステップS2)。
次に、特定画素抽出部12は、ステップS2で抽出した差分画像データにおいて、ユーザの四肢及び動体の複数の部位を特定し、特定した部位の三次元座標を算出する。そして、特定画素抽出部12は、左右の足のくるぶしの位置の三次元座標を用いて、右足のくるぶしの深度と左足のくるぶしの深度とを比較して、ユーザのデプスセンサ側に位置している足を特定する(ステップS3)。
次に、特定画素抽出部12は、ステップS3で特定した足を構成している画素の中から、ユーザの脛より下の部分を抽出する(ステップS4)。
次に、特定画素抽出部12は、抽出した部分を構成する各画素の深度に基づいて、抽出した部分を構成している画素のうち、深度が最も小さい画素を更に抽出する(ステップS5)。この抽出された画素が爪先部分の画素に相当する。
次に、位置算出部13は、ステップS5で抽出された画素の元の画像データ上での座標を算出し、算出した画像データ上での座標と、ステップS5で抽出された画素の深度とから、ステップS5で抽出された画素の三次元座標を算出する(ステップS6)。この算出された三次元座標が、ユーザの爪先の位置となる。
次に、位置算出部13は、ステップS3で特定された足が、ユーザの右足であるかを判定する(ステップS7)。ステップS7の判定の結果、右足である場合は、位置算出部13は、ステップS6で算出された座標を右足の爪先の座標とする(ステップS8)。一方、ステップS7の判定の結果、右足でない場合は、位置算出部13は、ステップS6で算出された座標を左足の爪先の座標とする(ステップS9)。
ステップS8又はS9の実行後、フットクリアランス算出部14は、ステップS6で算出された三次元座標と、予め登録されている歩行路30の三次元座標とを対比して、フットクリアランスを算出する(ステップS10)。また、ステップS10では、フットクリアランス算出部14は、算出したフットクリアランスと、右足及び左足の判定結果とを、計測装置10に接続された表示装置の画面などに表示する。
また、上述したステップS1〜S10は、デプスセンサ20によって、ユーザが歩行路30を歩行している状態で撮影が行なわれ、得られた画像データが出力される度に、つまり、フレーム毎に、繰り返し実行される。
[実施の形態による効果]
このように、計測装置10によれば、デプスセンサ20によって、歩行状態のユーザを撮影するだけで、爪先の位置を特定でき、正確にフットクリアランスを測定できる。そして、計測装置10によれば、簡単なシステム構成で良いため、フットクリアランスの測定にかかるコストの増加が抑制される。
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図5に示すステップS1〜S10を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における計測装置10と計測方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、データ取得部11、特定画素抽出部12、位置算出部13、及びフットクリアランス算出部14として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部11、特定画素抽出部12、位置算出部13、及びフットクリアランス算出部14のいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、計測装置10を実現するコンピュータについて図6を用いて説明する。図6は、本発明の実施の形態における計測装置を実現するコンピュータの一例を示すブロック図である。
図6に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
なお、本実施の形態における計測装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、計測装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記9)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
歩行するユーザの爪先の位置を計測するための装置であって、
予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、データ取得部と、
前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、特定画素抽出部と、
抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、位置算出部と、
を備えていることを特徴とする計測装置。
(付記2)
前記位置算出部は、特定された前記足が、前記ユーザの右足及び左足のいずれであるかを判定し、算出された前記ユーザの爪先の位置を、判定された側の足の爪先の位置とする、
付記1に記載の計測装置。
(付記3)
前記特定画素抽出部が、特定した足を構成している画素のうち、前記深度が最も小さい画素を抽出する、
付記1または2に記載の計測装置。
(付記4)
歩行するユーザの爪先の位置を計測するための方法であって、
(a)予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、ステップと、
(b)前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、ステップと、
(c)抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、ステップと、
を有することを特徴とする計測方法。
(付記5)
(d)特定された前記足が、前記ユーザの右足及び左足のいずれであるかを判定し、算出された前記ユーザの爪先の位置を、判定された側の足の爪先の位置とする、ステップを更に有している、付記4に記載の計測方法。
(付記6)
前記(b)のステップにおいて、特定した足を構成している画素のうち、前記深度が最も小さい画素を抽出する、
付記4または5に記載の計測方法。
(付記7)
コンピュータによって、歩行するユーザの爪先の位置を計測するためのプログラムであって、
前記コンピュータに、
(a)予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、ステップと、
(b)前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、ステップと、
(c)抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、ステップと、
を実行させるプログラム。
(付記8)
前記コンピュータに、
(d)特定された前記足が、前記ユーザの右足及び左足のいずれであるかを判定し、算出された前記ユーザの爪先の位置を、判定された側の足の爪先の位置とする、ステップを更に実行させる、付記7に記載のプログラム
(付記9)
前記(b)のステップにおいて、特定した足を構成している画素のうち、前記深度が最も小さい画素を抽出する、
付記7または8に記載のプログラム
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2016年3月28日に出願された日本出願特願2016−064212を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように、本発明によれば、デプスセンサを用いてフットクリアランスの測定を可能にすることができる。本発明は、ユーザの健康状態の把握が求められる分野において有用である。
10 計測装置
11 データ取得部
12 特定画素抽出部
13 位置算出部
14 フットクリアランス算出部
20 デプスセンサ
30 歩行路
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (9)

  1. 歩行するユーザの爪先の位置を計測するための装置であって、
    予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、データ取得部と、
    前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、特定画素抽出部と、
    抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、位置算出部と、
    を備えていることを特徴とする計測装置。
  2. 前記位置算出部は、特定された前記足が、前記ユーザの右足及び左足のいずれであるかを判定し、算出された前記ユーザの爪先の位置を、判定された側の足の爪先の位置とする、
    請求項1に記載の計測装置。
  3. 前記特定画素抽出部が、特定した足を構成している画素のうち、前記深度が最も小さい画素を抽出する、
    請求項1または2に記載の計測装置。
  4. 歩行するユーザの爪先の位置を計測するための方法であって、
    (a)予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、ステップと、
    (b)前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、ステップと、
    (c)抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、ステップと、
    を有することを特徴とする計測方法。
  5. (d)特定された前記足が、前記ユーザの右足及び左足のいずれであるかを判定し、算出された前記ユーザの爪先の位置を、判定された側の足の爪先の位置とする、ステップを更に有している、請求項4に記載の計測方法。
  6. 前記(b)のステップにおいて、特定した足を構成している画素のうち、前記深度が最も小さい画素を抽出する、
    請求項4または5に記載の計測方法。
  7. コンピュータによって、歩行するユーザの爪先の位置を計測するためのプログラムであって、
    前記コンピュータに、
    (a)予め設定された歩行路及び前記歩行路上の空間を撮影するように配置され、且つ、画素毎の深度が付加された画像データを出力する、デプスセンサから、前記歩行路に前記ユーザが存在していない状態の画像データを基準データとして取得し、更に、前記歩行路を前記ユーザが歩行している状態の画像データを、歩行データとして取得する、ステップと、
    (b)前記歩行データと前記基準データとの差分を求め、求めた差分と前記差分に含まれる深度とから、前記ユーザの前記デプスセンサ側に位置している足を特定し、更に、特定した足を構成している画素の中から、前記深度に基づいて爪先部分の画素を抽出する、ステップと、
    (c)抽出された前記画素の前記画像データ上での座標と、抽出された前記画素の前記深度とから、前記画素の三次元座標を算出し、算出した前記三次元座標を前記ユーザの爪先の位置とする、ステップと、
    を実行させるプログラム。
  8. 前記コンピュータに、
    (d)特定された前記足が、前記ユーザの右足及び左足のいずれであるかを判定し、算出された前記ユーザの爪先の位置を、判定された側の足の爪先の位置とする、ステップを更に実行させる、請求項7に記載のプログラム
  9. 前記(b)のステップにおいて、特定した足を構成している画素のうち、前記深度が最も小さい画素を抽出する、
    請求項7または8に記載のプログラム
JP2018508010A 2016-03-28 2017-03-27 計測装置、計測方法、及びプログラム Active JP6558820B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016064212 2016-03-28
JP2016064212 2016-03-28
PCT/JP2017/012462 WO2017170440A1 (ja) 2016-03-28 2017-03-27 計測装置、計測方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2017170440A1 JPWO2017170440A1 (ja) 2019-01-24
JP6558820B2 true JP6558820B2 (ja) 2019-08-14

Family

ID=59964597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508010A Active JP6558820B2 (ja) 2016-03-28 2017-03-27 計測装置、計測方法、及びプログラム

Country Status (5)

Country Link
US (1) US10796449B2 (ja)
EP (1) EP3438601B1 (ja)
JP (1) JP6558820B2 (ja)
CN (1) CN108885087B (ja)
WO (1) WO2017170440A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764546B (zh) * 2021-01-29 2022-08-09 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备
CN117100250A (zh) * 2023-07-10 2023-11-24 北京华益精点生物技术有限公司 脚趾位置的确定方法、装置、电子设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4102119B2 (ja) * 2002-06-21 2008-06-18 浜松ホトニクス株式会社 歩幅測定装置及び歩幅測定方法
CN1265763C (zh) 2004-03-16 2006-07-26 中国科学院合肥智能机械研究所 一种多轴力平台阵列及人体行走步态信息获取方法
CN101515374B (zh) 2008-02-20 2010-12-01 中国科学院自动化研究所 基于图像的个性化真实感虚拟人物造型方法
CN101650776B (zh) * 2008-08-12 2013-03-20 财团法人工业技术研究院 追踪人物肢体位置的方法与系统
US8917915B2 (en) * 2010-06-30 2014-12-23 Nec Solution Innovators, Ltd. Head detecting method, head detecting apparatus, attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
KR101129556B1 (ko) * 2010-11-18 2012-03-29 경북대학교 산학협력단 하지 재활 치료 장치 및 그것의 하지 재활 치료 방법
CN102178530A (zh) 2011-01-24 2011-09-14 天津大学 基于三维点云数据的人体尺寸自动测量方法
WO2013058985A1 (en) * 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
US20140045593A1 (en) * 2012-08-07 2014-02-13 Microsoft Corporation Virtual joint orientation in virtual skeleton
GB2509783B (en) * 2013-01-15 2017-07-05 Holition Ltd Foot tracking
JP6334925B2 (ja) * 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
JP5880506B2 (ja) * 2013-09-19 2016-03-09 富士ゼロックス株式会社 処理装置
CN103971409B (zh) * 2014-05-22 2017-01-11 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
KR101606768B1 (ko) * 2014-06-24 2016-03-28 (주)이튜 모션 추출기반의 보행 자세 교정장치
JP2017205134A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム
CN104274179B (zh) * 2014-09-05 2017-04-19 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
CN115500818A (zh) * 2016-03-18 2022-12-23 哈佛大学校长及研究员协会 分析对象的运动以将其分成亚秒级模块的系统和方法
US10956723B2 (en) * 2016-06-03 2021-03-23 Pillar Vision, Inc. Systems and methods for determining reduced player performance in sporting events
WO2018148181A1 (en) * 2017-02-07 2018-08-16 Veo Robotics, Inc. Workspace safety monitoring and equipment control

Also Published As

Publication number Publication date
JPWO2017170440A1 (ja) 2019-01-24
WO2017170440A1 (ja) 2017-10-05
CN108885087A (zh) 2018-11-23
US20190080472A1 (en) 2019-03-14
US10796449B2 (en) 2020-10-06
CN108885087B (zh) 2020-05-26
EP3438601B1 (en) 2023-05-03
EP3438601A1 (en) 2019-02-06
EP3438601A4 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
JP6662532B2 (ja) 歩行分析装置、歩行分析方法、及びプログラム
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6188332B2 (ja) 医用画像表示装置及びプログラム
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
WO2014112635A1 (ja) 動作情報処理装置
JP6930995B2 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
WO2017222072A1 (ja) 姿勢分析装置、姿勢分析方法、及びコンピュータ読み取り可能な記録媒体
CN113728394A (zh) 身体活动执行和训练的评分度量
US20230005161A1 (en) Information processing apparatus and determination result output method
JP6558820B2 (ja) 計測装置、計測方法、及びプログラム
Samad et al. Elbow Flexion and Extension Rehabilitation Exercise System Using Marker-less Kinect-based Method.
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
JP6940139B2 (ja) 身体特性分析装置、身体特性分析方法、及びプログラム
US11263780B2 (en) Apparatus, method, and program with verification of detected position information using additional physical characteristic points
JP6482102B2 (ja) 測定装置及び測定方法
JP2009189671A (ja) 歩行周期検出方法、歩行周期検出装置、および歩行周期検出プログラム
JP2022061691A (ja) 深度推定方法
Alothmany et al. Accuracy of joint angles tracking using markerless motion system
Catteau et al. Concept and preliminary experiments with a wearable computer vision system for measuring shoe position and orientation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190711

R150 Certificate of patent or registration of utility model

Ref document number: 6558820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150