JP4424869B2 - 歩幅測定装置 - Google Patents

歩幅測定装置 Download PDF

Info

Publication number
JP4424869B2
JP4424869B2 JP2001076435A JP2001076435A JP4424869B2 JP 4424869 B2 JP4424869 B2 JP 4424869B2 JP 2001076435 A JP2001076435 A JP 2001076435A JP 2001076435 A JP2001076435 A JP 2001076435A JP 4424869 B2 JP4424869 B2 JP 4424869B2
Authority
JP
Japan
Prior art keywords
stride
foot
sign
image
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001076435A
Other languages
English (en)
Other versions
JP2002277213A (ja
Inventor
剛弘 黒野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2001076435A priority Critical patent/JP4424869B2/ja
Priority to US10/096,891 priority patent/US20020130951A1/en
Publication of JP2002277213A publication Critical patent/JP2002277213A/ja
Application granted granted Critical
Publication of JP4424869B2 publication Critical patent/JP4424869B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G01C22/006Pedometers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/62Measuring physiological parameters of the user posture

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、歩行または走行時の歩幅を測定する歩幅測定装置に関する。
【0002】
【従来の技術】
近年、スポーツクラブ等において、適切な速度で駆動されるベルトの走行面上を被験者が歩行・走行して体力的トレーニング等を行なういわゆるトレッドミルが普及している。そして、このトレッドミル上を歩行・走行する被験者の歩幅は、被験者の歩行・走行姿勢を評価する指標として重要視されている。そこで、トレッドミル上を歩行・走行する被験者の歩幅を測定するために、例えば、実公平7−45239号公報に開示されているように、足がベルト上に着地する時間間隔とベルトの走行速度との関係から歩幅を取得して表示する歩幅測定装置が知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記のような歩幅測定装置では、ベルトの走行速度の測定や足が着地する時間間隔を測定するためのセンサをトレッドミルに設置する必要があるために、構成が複雑となりコスト高となる。また、ベルトの走行速度と足の着地の時間間隔とから間接的に歩幅を求めることになるために、測定される歩幅の精度が悪くなるという問題もあった。
【0004】
本発明は、上記課題に鑑みてなされたものであり、簡易な構成でありながら歩幅を高精度に測定できる歩幅測定装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明に係る歩幅測定装置は、床面上を走行または歩行する被験者の歩幅を測定する歩幅測定装置であって、床面上に設置された標識と、標識と被験者の足とを含む画像を撮影する撮影手段と、撮影された画像に基づいて、一方の足の床面への着地を検知して当該足が着地した時の当該足と標識との位置関係を取得し、他方の足の床面への着地を検知して当該足が着地した時の当該足と標識との位置関係を取得し、2つの位置関係に基づいて被験者の歩幅を取得する歩幅計測手段とを備えることを特徴とする。
【0006】
本発明の歩幅測定装置によれば、床面上を走行または歩行する被験者の足と標識とを含む画像を撮影し、この画像に基づいて足の床面上への着地を検知するとともに、一方の足が着地したときの当該足と標識との位置関係および他方の足が着地したときの当該足と標識との位置関係を各々取得し、双方の位置関係に基づいて被験者の歩幅を取得することにより、歩行、走行の速度や床面の速度に関係なく歩幅が直接かつ高精度に取得される。また、センサー等を用いず、画像に基づいて歩幅を取得する簡易な構成となり装置の低コスト化が図れる。
【0007】
また、標識は床面上に被験者が走行または歩行する方向に所定間隔で複数設置されていることが好ましい。
【0008】
これによって、画像中で被験者の足により近い標識を選択し、この標識に基づいて一方の足および他方の足との位置関係を取得することが可能とされ、取得される歩幅の精度が向上される。
【0009】
また、歩幅計測手段は、撮影された画像に基づいて、一方の足の床面への着地を検知して当該足が着地した時の当該足と標識との位置関係を取得し、他方の足の床面への着地を検知し当該足が着地した時の当該足と標識との位置関係を取得し、2つの位置関係を各々取得する際に用いた標識間の距離を取得し、2つの位置関係および標識間の距離に基づいて被験者の歩幅を取得することが好ましい。
【0010】
これにより、足の位置関係を取得する際に、一方の足と他方の足とで互いに異なる標識に基づく位置関係を取得して歩幅を取得するすることが可能とされるので、画像中で被験者の各々の足に最も近い標識を用いて位置関係の取得をすることができ、さらに高精度に歩幅が取得される。
【0011】
ここで、床面は、所定の速度で駆動される無端ベルトの走行面であることが好ましい。
【0012】
これによって、無端ベルト上を走行または歩行する被験者の歩幅が無端ベルトの駆動速度および被験者の歩行走行速度に無関係に測定される。
【0013】
また、撮影手段は、所定時間毎に画像を撮影するとともに、走行面に対して撮影範囲が固定されていることが好ましい。
【0014】
これにより、撮影手段で撮影された各画像において、無端ベルト上の標識が一定方向に所定の速度で移動し、標識の検出が容易に行われるとともに、無端ベルト上に着地した足が標識と同じ方向、同じ速度で移動するので、足の着地の検知も容易に行われる。
【0015】
また、撮影手段は、撮影される画像における、走行面の駆動方向と画像の外枠の一辺とが平行になるように設定されていることが好ましい。これによって、足の着地や標識の検出が更に容易に行われる。
【0016】
また、標識は、無端ベルトの駆動による所定時間における移動距離よりも長い間隔で設けられていることが好ましい。
【0017】
これにより、ある時間の画像中の標識が、次の時間の画像中において、前の時間の画像中の他の標識を追い越すことが無いので、標識の検出がさらに容易に行われる。
【0018】
また、歩幅計測手段は、画像中の標識を抽出し、当該画像より前に撮影された画像中の標識の位置と比較して2つの画像間で標識同士を対応づけ、画像中の標識に前に撮影された画像中の対応する標識と同一の認識番号を付すとともに、新しく撮影された標識に新しい認識番号を付す移動標識認識手段と、画像中の被験者の足の所定部の位置を検出する所定部検出手段と、所定部の位置の時間変化に基づいて被験者の足が無端ベルト上に着地しているか否かを判断する着地判定手段と、被験者の足が無端ベルトに着地していると判断された時の、所定部と画像中の標識との位置関係および当該標識の認識番号を足が着地する毎に取得する着地位置取得手段と、隣り合う2回の着地時に各々取得された位置関係と、位置関係を取得する際に用いた各々の標識の認識番号および所定間隔に基づいて取得される当該標識間の距離とに基づいて被験者の歩幅を取得する歩幅取得手段とを備えることが好ましい。
【0019】
これによって、各画像毎の標識の認識が確実に行われ、歩幅測定装置が好適に実施される。
【0020】
また、取得された歩幅を表示する表示手段を備えると、取得された歩幅が容易に把握される。
【0021】
また、個人ごとの歩幅データが格納される個人データ格納部と、個人データ格納部に格納された歩幅データと取得された歩幅との比較を行うデータ比較部とを備えることが好ましい。
【0022】
これによって、前に測定された歩幅データや他人の歩幅データ等と今回測定された歩幅データとの比較が容易に行われる。
【0023】
また、被験者の走行姿勢または歩行姿勢を被験者の正面または側面の少なくとも何れかの方向から撮影する姿勢撮影手段をさらに備えることが好ましい。これによって、歩幅と同時に姿勢の確認も可能とされる。
【0024】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明に係る歩幅測定装置の好適な実施形態について詳細に説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。
【0025】
図1は、本実施形態に係る歩幅測定装置100を示す構成図である。この歩幅測定装置100は、ベルト(無端ベルト)20を備えるトレッドミル10と、このトレッドミル10およびトレッドミル10上を走行または歩行する被験者1の足2を所定時間毎に撮影する歩幅用ビデオカメラ50と、撮影された画像に基づいて被験者1の歩幅を取得するコンピュータ30と、取得した歩幅を表示するディスプレイ40とを備えている。
【0026】
トレッドミル10は、平行に設置される一対のローラ21,21によって張設された無端のベルト20を備えている。ベルト20は、ローラ21の一方が図示しない駆動装置によって駆動されることにより、所定速度で図示A方向に循環駆動される。そして、このベルト20の上面は、被験者1が載るとともにベルト20の駆動速度に合わせて駆動方向Aと逆方向に走行や歩行を行う走行面26として機能する。また、このベルト20の外周面には、図2に示すように標識24が設けられている。標識24は、ベルト20の外周面の両縁部にそれぞれ駆動方向Aに沿って一定間隔Lで複数設けられているが、片側だけでもかまない。なお、標識24としては、ベルト20の輝度と大きく異なる輝度を有することが好ましい。
【0027】
間隔Lは、歩幅用ビデオカメラ50の撮影時間間隔である所定時間に標識24が走行面26上を動く距離よりも長くされている。なお、本実施形態で採用する歩幅用ビデオカメラ50の撮影の時間間隔は33msであり、また、走行面26の最高速度を30km/hに設定しているので、標識24間の距離Lを27.5cm以上にすることが望ましく、本実施形態ではその約2倍の距離としてL=60cmとした。
【0028】
また、ベルト20は、図1に示すように、走行面26のみが露出する矩形開口部を上面中央に備える箱状のカバー23によって覆われている。このカバー23上面で走行面26の標識24と隣接する位置には、図2に示すように、標識24と同様に駆動方向Aに沿って間隔Lで設置された固定標識25が設置されている。
【0029】
図1に示すように、歩幅用ビデオカメラ50は、トレッドミル10を側方から撮影し、その撮影方向が駆動方向Aと直交するように設置されている。また、歩幅用ビデオカメラ50は、走行面26よりも高い位置に設置されている。そして、この歩幅用ビデオカメラ50は、図3に示すように、走行面26上の標識24および走行面26上を歩行または走行する被験者1の足2を画像に含み、かつ、走行面26が画像の底辺に対して平行に配置されるように設定されている。
【0030】
また、画像の撮影範囲は、トレッドミル10の走行面26に対して固定されている。このため、ベルト20が一定速度で駆動されている場合、画面上で標識24は一定速度かつ駆動方向Aとは逆の水平方向に移動する。また、カバー23上の固定標識25も手前側と、奥側で各々一組以上撮影されるように撮影範囲が設定される。この固定標識25間の画面上の距離と、あらかじめ設定してある実際の固定標識25間の距離Lとに基づいて、画面上の距離と実際の距離との換算がおこなわれる。
【0031】
そして、あらかじめ画面上で、走行面26上の標識24が通過する領域に水平方向の線を設定し、標識抽出線Cとする。また、画面上で、走行面26上に被験者1の足2が着地したときのその足2のつま先(所定部)3が存在すると考えられる領域を設定し、つま先抽出領域Dとする。
【0032】
コンピュータ30は、図4に示すように、つま先検出部31、着地判定部32、着地位置取得部33、歩幅取得部34、移動標識認識部36、個人データ格納部37、各種データ演算部38、および、データ比較部39を備えて構成されている。
【0033】
つま先検出部31は、歩幅用ビデオカメラ50によって撮影された画像を順に取得して前記被験者1のつま先3の位置を検出する。着地判定部32は、検出されたつま先3が走行面26上に着地しているかどうかを判定する。移動標識認識部36は、歩幅用ビデオカメラ50によって撮影された画像を順に取得して標識24を認識し、前の時間に撮影された画像中の標識24の位置と比較して2つの画像間で標識24同士を対応づけ、画像中の標識24に前に撮影された画像中の対応する標識24と同一の認識番号を付すとともに、新しく撮影された標識24に新しい認識番号を付す。着地位置取得部33は、つま先3が走行面26上に着地していると判断された時のつま先3と画面中の標識24との走行面26の駆動方向Aの距離を取得するとともに、その標識24の認識番号を取得する。
【0034】
歩幅取得部34は、隣接する2つの着地点におけるつま先3と標識24との距離およびこれらの着地点で参照された各々の標識24の認識番号に基づいて得たこれらの標識24間の距離に基づいて被験者1の歩幅を取得する。各種データ演算部38は、歩幅データ等からストライド時間等のデータを取得する。個人データ格納部37は、歩幅データ等を個人毎に保存する。データ比較部39は、個人データ格納部37に格納されている歩幅データと歩幅取得部34によって取得された歩幅データとを比較して比較データを取得する。
【0035】
ディスプレイ40は、歩幅取得部34、各種データ演算部38およびデータ比較部39から出力されるデータを表示するものであり、被験者1が走行面26上を走行等しながら見ることができる位置に設置されている。
【0036】
つぎに、コンピュータ30によって実行される処理の手順について、図5に示すフロー図を参照して説明する。
【0037】
あらかじめ、トレッドミル10のベルト20を所定の速度で駆動して、被験者1にベルト20の走行面26上を走行または歩行させるとともに、歩幅用ビデオカメラ50による撮影を開始する。
【0038】
まず、ステップ1(S1)において歩幅用ビデオカメラ50により撮影された画像(図3参照)をコンピュータ30に取り込んでn番目のフレームとする。
【0039】
つぎに、ステップ2(S2)において、画像中の標識24を検出して前の画像の標識24との対応づけを行い、各々の標識に認識番号の付与を行う。ここで、ステップ2について図6のフロー図を参照して詳しく説明する。まず、ステップ51(S51)において、あらかじめ画像中で標識24が通過する領域として設定された標識抽出線C(図3の線C)上の画素をスキャンし、図7(a)に示すような、輝度値変化データGを得る。さらに、ステップ52(S52)において、この輝度値変化データGを所定の閾値で2値化し、標識24の画素とそれ以外の画素とが分離された、図7(b)に示すような、2値化データHを得る。なお、ベルト20の反射等により、標識24の抽出が2値化処理では困難な場合には、輝度値変化データGの微分値に基づいて標識24を抽出しても構わない。
【0040】
そして、ステップ53(S53)において、この2値化データHの標識を示すピークの右側エッジを各々の標識24a,24b,24cの位置として取得し(図7(b)参照)、これをn番目のフレームの標識24a,24b,24cの位置として記憶する(図8(a)参照)。なお、この時左側エッジやピークの中心座標を採用してもよい。また、閾値は標識24とベルト20が分離可能な値とし、たとえば、輝度値変化データGの最大値と最小値の中間の値とすることができる。また、輝度値に限らず、画素の彩度値や明度値等の色情報の変化データを取得してこれを2値化して標識24の位置を取得しても構わない。
【0041】
つぎに、図6のステップ54(S54)において、前の時間の画像であるn−1番目のフレーム(図8(b)参照)において取得された標識24e,24f,24gとの対応づけを行う。ここでは、現在のnフレーム中の隣接する一対の標識、たとえば、標識24aと標識24bとの間にあるn−1フレーム中の標識24fを探し出し、n−1フレーム中の標識24fが移動してnフレーム中の一対の標識24a,24bのベルト20の駆動方向A側の標識24aとなったと判断し、標識24fが既に有する認識番号2をnフレームの標識24aの認識番号として付与する。また、同様に、n−1フレームの標識24gとnフレームの標識24bとを対応づけ、標識24bに標識24gの認識番号である3を付与する。さらに、n−1フレームにおいて対応する標識24が見つからないnフレームの標識24cについては、新しく出現したものであると判断して、新しい認識番号4を付与する。
【0042】
このように、新しく出現した標識には新たな認識番号を付与するとともに、各フレーム間で標識24同士を対応づけて同一の標識24には同一の認識番号を付けているので、任意のフレーム中の任意の標識24同士の位置関係、すなわち距離が各々の標識24の認識番号に基づいて(たとえば、差をとる等)容易に取得できる。また、標識24の間隔Lは、歩幅用ビデオカメラ50の撮影間隔である所定時間に標識24が走行面26上を動く距離よりも長くされていて、ある時間に撮影された画像中の標識24が、前の時間の画像中の他の標識24を追い越さないので、画像間での標識24の対応づけが容易に行われるようになっている。
【0043】
つぎに、図5のステップ3(S3)において、つま先3の座標の検出を行う。まず、図9のフロー図に示すように、ステップ61(S61)において、ステップ1において取得した画像中から、あらかじめ、画像上で被験者1の足2がベルト20の走行面26上に着地している際に足2のつま先3が撮影される領域として設定されたつま先抽出領域D(図3参照)を抽出する。そして、ステップ62(S62)において、このつま先抽出領域Dを、図10(a)に示すように、図示左端からベルトの駆動方向(図示A方向)にスキャンして各画素の輝度値を得る。
【0044】
つぎに、ステップ63(S63)において、スキャンによって得た輝度値を、あらかじめ設定されたベルト20の平均的な輝度値と比較する。そして、その差が所定の閾値に満たない場合、その画素はベルト20であって足2の画素ではないと判断し、ステップ62に戻ってさらにその右側の画素の輝度を調べ、その列がすべてスキャンされた場合は、つま先抽出領域Dの異なる列の輝度値を同様に左側から順に調べる。
【0045】
この際、ステップ62において、一番上の列から一番下の列まで順番にスキャンを行ってもよいが、中心の列を最初に行い(図10(a)参照)、つぎに残された列のうちの中心の列(図10(b)参照)というようにスキャンすると、効率よく足2の発見が可能となる。
【0046】
一方、ステップ63において、ステップ62で取得した画素の輝度値と所定の輝度値との差が所定の閾値を越えた場合、この画素は足2の領域を構成する画素と判断し、ステップ64(S64)に進む。
【0047】
つぎに、ステップ64において、図10(c)に示すように、足2が見つかった列Rの上下の列を順にスキャンしてステップ63と同様に足2の領域を探索し、足2の領域における走行面26の駆動方向Aの後ろ側、すなわち、足2の被験者1の進行方向側のエッジFを取得する。そして、ステップ65(S65)において、このエッジFで被験者1の最も進行方向側にある点をつま先3とし、その座標を取得する。なお、このステップ3においては、足2とベルト20との色や明るさの違い等に応じて、輝度値に変えて、色相値や彩度値等の色情報を用いてつま先3を検出しても構わない。
【0048】
つぎに、図5のステップ4(S4)において、つま先3が着地しているかを判断する。ここでは、2つ前の時間のn−2フレーム、直前のn−1フレームおよび今回のnフレームの画像において各々取得されたつま先3の座標の変化を調べ、つま先3がベルト20の駆動方向Aにほぼ一定速度で移動し、さらにつま先3が走行面26に対して垂直方向にほとんど移動していない場合に着地していると判断する。
【0049】
たとえば、図11に示すように、nフレームのつま先がつま先3e、n−1フレームがつま先3d、n−2フレームがつま先3cの場合、つま先3はベルト20の走行面26の駆動方向Aにほぼ一定速度で移動しており、さらに、つま先が走行面26に対して垂直方向にほとんど移動していないのでこのつま先3eが着地していると判断される。
【0050】
なお、この判断において、簡単のために、つま先3が走行面26の駆動方向Aにほぼ一定速度で移動すること、または、つま先3が走行面26に対して垂直方向にほとんど運動していないことのいずれか一方のみを採用することも可能である。
【0051】
そして、着地していると判断されたら、図5のステップ20(S20)に進み、そのつま先3eから一番近い標識24hを探し、つま先3eと標識24hとの間の画面上での駆動方向Aの距離DLをつま先3eと標識24hとの位置関係として取得するとともに、標識24hの認識番号を取得する。そして、またステップ1へ戻って、新しい画像に関して、標識24の検出等を行う。
【0052】
なお、一方の足のつま先3が走行面26に着地してから離れるまでの間に、ステップ1,2,3,4,20のループを複数回繰り返すので、一方の足2の着地に対してつま先3e〜3lの複数回にわたってつま先3と標識24との距離および標識24の認識番号のデータを得ることとなる。
【0053】
一方、ステップ4において、上述の条件を満たさないときは、着地していないものと判断する。たとえば、nフレームのつま先がつま先3m、n−1フレームがつま先3l、n−2フレームがつま先3kの場合、つま先3が駆動方向Aに対して一定速度で増加していないし、走行面26の垂直方向にも移動しているので、このつま先3mは着地していないと判断される。また、たとえば、nフレームのつま先がつま先3c、n−1フレームがつま先3b、n−2フレームがつま先3aの場合も同様に、このつま先3cは着地していないと判断される。そして、着地していないと判断された時は、図5のステップ5(S5)に進む。
【0054】
ステップ5では、前回のフレームの処理時につま先3が着地していたかどうかを判断し、着地していないときはつま先3が空中を動いている途中(たとえば、今回の処理対象のつま先が図11のつま先3b、3n等のとき)として、ステップ2に戻って次の時間の画像を取得して、標識の検出等を順に行う。
【0055】
一方、前回のフレームの処理時につま先3が着地していたとき(たとえば、今回の処理対象のつま先が図11のつま先3mのとき)は、着地が終わってつま先3が上昇し始めたときと判断し、ステップ6に進む。
【0056】
ステップ6(S6)では、今回着地していた一方の足2についてつま先3e〜3lにおいて各々取得されたつま先3と標識24との距離および標識24の認識番号のデータから、最も精度が高いと考えられるものを一つ選択する。ここでは、被験者1のつま先3が歩幅用ビデオカメラ50の画像の中心付近に位置している時のデータ、たとえば、つま先3hの時のデータが、画像の歪み等が無く精度が一番高いと考えられるので、そのデータを選択して今回の一方2の足の着地時におけるつま先3と標識24との距離および標識24の認識番号として取得する。なお、画像の中心にあるつま先3のデータに代えて、たとえば、複数のつま先3e〜3lのデータの平均を取ってもよい。なお、得られた画面上の位置は、ベルト20上での位置とは多少ずれているので、その分の補正処理を行う。つまり、得られた位置は、すべてベルト20上での位置に変換されて以降の処理がなされれる。
【0057】
つぎに、ステップ7(S7)において、歩幅の取得を行う。ここでは、まず、図12に示すように、前回着地した他方の足2n−1について取得したつま先3n−1と標識24iとの距離および標識24iの認識番号と、今回着地した一方の足2nについて取得したつま先3nと標識24jとの距離および標識24jの認識番号とを呼び出し、標識24iと標識24jとの認識番号の差および標識24の実際の間隔Lに基づいて、これらの標識24i,24j間の実際の距離γを求める。つぎに、標識24iとつま先3n−1との画面上の距離と、標識24jとつま先3nとの画面上での距離とを、あらかじめ設定した画面上の距離と実際の距離との換算係数を用いて実際の距離に各々換算して、標識24iとつま先3n−1との実際の距離αと、標識24jとつま先3nとの実際の距離βとを求め、このα、β、γを適切に加減算することにより、前回の着地と今回の着地との間の実際の歩幅δが直接的かつ高精度に求められる。
【0058】
そして、ステップ8(S8)において、必要に応じて各種データの計算を行う。たとえば、標識24のフレーム間の移動距離を歩幅用ビデオカメラ50の所定時間で割ることによりベルト20の駆動速度が、また、(歩幅)/(ベルト20の駆動速度)により一歩にかかる時間であるストライド時間が、さらに、1/(ストライド時間)により一秒間のストライド数であるピッチが各々取得される。また、つま先がベルト20の走行面26に着地していない(空中に浮遊している)状態のフレームの数を取得することにより浮遊時間が、また、ストライド時間−浮遊時間により着地時間の取得が各々可能である。
【0059】
つぎに、ステップ9(S9)において、取得した歩幅データを他のデータと比較する。ここでは、必要に応じて、取得された歩幅データ等が個人毎に個人データ格納部37に記憶されるとともに、個人データ格納部37に記憶されている自分の昔のデータ、他人のデータまたは標準データ等と今回測定された歩幅データ等とを比較する。これによって、前に測定された歩幅データや他人の歩幅データ等と今回測定された歩幅データとの比較が容易に行われ、歩幅の矯正等の効果等が容易に判断できる。
【0060】
そして、ステップ10(S10)において、歩幅データ等を出力してディスプレイ40に表示させる。このときの、画面の例を図13に示す。これによって、取得された歩幅が被験者等に容易に把握されるようになっている。また、図14に示すように、一歩毎の歩幅をアニメーションによって表示することも可能である。さらに、図15に示すように、歩幅の経時変化をグラフによって表示することも可能である。このグラフは、時速11kmでジョギングしながら加速減速を繰り替えした場合のもので、加速減速による歩幅の増減が容易に把握できる。
【0061】
また、ステップ9によって比較された、比較データも同様に画面上に表示する。このとき、音や光などでこれらの比較結果等を出力してもよく、また、このようなデータをマップ化して歩行・走行のデータを評価することも可能である。
【0062】
なお、図1に示すように、姿勢用ビデオカメラ90を設置して走行・歩行する被験者の姿を正面、側面あるいは背面等から撮影し、この画像をディスプレイ40に同時に表示しても構わない。これによって、走行・歩行姿勢と歩幅とが同時に被験者1等に把握される。
【0063】
そして、このような歩幅等の出力を終えると、またステップ1に戻ってもう一方側の足2の着地等を検出することとなる。これによって、1歩毎に連続的に歩幅のデータを得ることができ、歩幅の経時変化や、ペース変化等の細かいデータの取得も可能となっている。
【0064】
このように、本実施形態に係る歩幅測定装置100によれば、ベルト20の走行面26上を走行または歩行する被験者1の足2と標識24とを含む画像を撮影し、この画像に基づいて足2のベルト20上への着地を検知するとともに、一方の足2が着地したときの当該足2と標識24との位置関係および他方の足2が着地したときの当該足2と標識24との位置関係を各々取得し、双方の位置関係に基づいて被験者1の歩幅を直接的に取得することにより、歩行、歩行、走行の速度や床面の速度に関係なく歩幅が直接かつ高精度に取得できる。また、センサー等を用いず、画像に基づいて歩幅を取得する簡易な構成となるので装置の低コスト化が図れる。
【0065】
また、標識24はベルト20の外周面上に被験者1が走行等する方向に所定間隔で複数設置されているので、画像中で被験者1の足2により近い標識24を選択し、この標識24に基づいて一方の足2および他方の足2との位置関係を取得することが可能であり、取得される歩幅の精度が向上する。
【0066】
また、コンピュータ30は、撮影された画像に基づいて、一方の足2のベルト20への着地を検知して当該足2が着地した時の当該足2と標識24との位置関係を取得し、他方の足2のベルトへの着地を検知し当該足2が着地した時の当該足2と標識24との位置関係を取得し、さらに2つの位置関係を各々取得する際に用いた標識24間の距離を取得するとともに、2つの位置関係および標識24間の距離とに基づいて被験者1の歩幅を取得しているので、足2の位置関係を取得する際に、一方の足2と他方の足2とで互いに異なる標識24に基づく位置関係を取得して歩幅を取得するすることが可能であり、画像中で被験者1の各々の足2に最も近い標識24を用いて位置関係の取得をすることができ、さらに高精度に歩幅が測定できる。
【0067】
また、歩幅用ビデオカメラ50は、さらに、所定時間毎に画像を撮影するとともに、走行面26に対して撮影範囲が固定されているので、撮影された各画像において、ベルト20上の標識24の位置が一定方向に所定の速度で移動し、標識24の認識が容易に行われるとともに、ベルト20上に着地した足2が標識24と同じ方向、同じ速度で移動するので、足2の着地の検知も容易に行える。
【0068】
また、歩幅用ビデオカメラ50は、撮影される画像中で、走行面26の駆動方向と画像の外枠の一辺とが平行になるように設定されているので、標識24の認識や足2の着地の判断が更に容易に行える。
【0069】
なお、本発明に係る歩幅測定装置は、上記実施形態に限定されるものではなく、種々の変形態様をとることが可能である。例えば、本実施形態では、床面としてトレッドミル10のベルト20の走行面26を採用しているがこれに限られず、床やグラウンド等の固定した面でも構わない。
【0070】
また、本実施形態では、ベルト20に複数の標識24を備えているが、一つの標識のみを備えていてもよい。この場合、一方の足2が着地してから他方の足2が着地するまでの間に、歩幅用ビデオカメラ50にその標識24と足2とが常時含まれるように撮影されればよい。そして、標識24が一つなので、標識24間の距離を求めること無く、一方の足2の着地の際のその標識24と足2のつま先3との距離と、他方の足2の着地の際のその標識24と足2のつま先3との距離のみに基づいて歩幅が取得される。
【0071】
また、本実施形態では、歩幅用ビデオカメラ50は、標識24の認識および対応づけや、つま先3の検出を容易にすべく、撮影される撮影範囲がベルト20の走行面26に対して固定されるように設定されているが、これに限られない。たとえば、被験者がベルト20の駆動速度を打ち消すように走行等しない場合等、画像内に被験者1の足2が収まるように歩幅用ビデオカメラ50の撮影範囲を被験者1の動きに合わせて移動させる場合もある。この場合、画像上での標識24の動きは一定速度・一定方向とはならず、着地の判定は、画面上でのつま先3の動きのみに基づくのではなく、例えば、画面上でのつま先3と標識24との相対運動(例えば、相対速度がほぼゼロになったとき)に基づいて行うことができる。
【0072】
また、本実施形態では、走行面26が画像の底辺に対して平行に配置されていたが、これに限られず、例えば、図16に示すように、平行でない配置をとっても構わない。この場合は、座標変換等を行うことにより、同様に画面上の距離から実際の距離を取得することができる。
【0073】
また、本実施形態では、各画像間で標識24を容易に対応づけるべく、ベルト20に設置される標識24の間隔は、歩幅用ビデオカメラ50の撮影の所定間隔の時間に標識24が走行面26上を動く距離よりも長く設定されているが、短くても構わない。この場合、たとえば、隣接する標識24同士で色や大きさ等に差を設け、画像中でこれを読み取ることにより、画像間での標識24の認識と対応づけが可能とされる。
【0074】
また、本実施形態では、測定結果を表示すべくディスプレイ40を備えているが、これに限られず、プリンター等によって結果を印刷するようにしても構わない。
【0075】
また、本実施形態では、個人データ格納部37、データ比較部39、各種データ演算部38、および、姿勢用ビデオカメラ90を備え、歩幅測定装置100によって得られた歩幅データが充分にトレーニング等に活用されるようになっているが、これらを備えなくても歩幅データの取得が可能であることは言うまでもない。
【0076】
また、本実施形態では、足の所定部としてつま先3を採用しているが、これに限られず、かかと、靴等の模様や、足2に設置する新たな標識等でも構わない。
【0077】
【発明の効果】
以上説明したように、本発明に係る歩幅測定装置によれば、無端ベルトの走行面上を走行または歩行する被験者の足と標識とを含む画像を撮影し、この画像に基づいて足の無端ベルト上への着地を検知するとともに、一方の足が着地したときの当該足と標識との位置関係および他方の足が着地したときの当該足と標識との位置関係を各々取得し、双方の位置関係に基づいて被験者の歩幅を直接的に取得することにより、歩行、走行の速度や無端ベルトの速度に関係なく歩幅が直接かつ高精度に取得される。また、センサー等を用いず、画像に基づいて歩幅を取得する簡易な構成となるので装置の低コスト化が図られる。
【図面の簡単な説明】
【図1】本実施形態の歩幅測定装置を示す構成図である。
【図2】図1中のトレッドミルの上面図である。
【図3】図1中の歩幅用ビデオカメラにより撮影される画像の一例を示す模式図である。
【図4】図1の歩幅測定装置のブロック図である。
【図5】図1中のコンピュータ内で行われる処理を示すフロー図である。
【図6】図5中の移動標識認識ステップの処理を示すフロー図である。
【図7】(a)は図6中のステップ51により取得される輝度値データ、(b)は(a)の輝度値データを図6中のステップ52によって処理することにより取得される2値化データを示す図である。
【図8】図6中のステップ54を説明する図であり、(a)はnフレームにおいて取得された標識を示す模式図、(b)はn−1フレームにおいて取得された標識を示す模式図である。
【図9】図5中のつま先認識ステップにおける処理を説明するフロー図である。
【図10】図9中のステップ62およびステップ63を説明する図であり、(a)は画像に対して最初にステップ62を行う場合を説明する模式図、(b)は画像に対して2回目にステップ62を行う場合を説明する模式図、(c)は画像に対してステップ63を行う場合を説明する模式図である。
【図11】図5中のステップ4およびステップ20の処理を説明する模式図である。
【図12】図5中の歩幅取得ステップの処理を説明する模式図である。
【図13】図1中のディスプレイに表示される測定結果の例を示す模式図である。
【図14】図1中のディスプレイに表示される測定結果の他の例を示す模式図である。
【図15】図1中のディスプレイに表示される測定結果のさらに他の例を示す模式図である。
【図16】図1中の歩幅用ビデオカメラにより撮影される画像の他の例を示す模式図である。
【符号の説明】
1…被験者、2…足、3…つま先(所定部)、20…ベルト(無端ベルト)、24…標識、26…走行面(床面)、30…コンピュータ(歩幅計測手段)、31…つま先検出部(所定部検出手段)、32…着地判定部(着地判定手段)、33…着地位置取得部(着地位置取得手段)、34…歩幅取得部(歩幅取得手段)、36…移動標識認識部(移動標識認識手段)、37…個人データ格納部、39…データ比較部、40…ディスプレイ(表示手段)、50…歩幅用ビデオカメラ(撮影手段)、90…姿勢用ビデオカメラ(姿勢撮影手段)、100…歩幅測定装置。

Claims (11)

  1. 床面上を走行または歩行する被験者の歩幅を測定する歩幅測定装置であって、
    前記床面上に設置された標識と、
    前記標識と前記被験者の足とを含む画像を撮影する撮影手段と、
    前記撮影された画像に基づいて、一方の足の前記床面への着地を検知して当該足が着地した時の当該足と前記標識との位置関係を取得し、他方の足の前記床面への着地を検知して当該足が着地した時の当該足と前記標識との位置関係を取得し、前記2つの位置関係に基づいて前記被験者の歩幅を取得する歩幅計測手段と、
    を備えることを特徴とする、歩幅測定装置。
  2. 前記標識は前記床面上に前記被験者が走行または歩行する方向に所定間隔で複数設置されていることを特徴とする、請求項1に記載の歩幅測定装置。
  3. 前記歩幅計測手段は、前記撮影された画像に基づいて、一方の足の前記床面への着地を検知して当該足が着地した時の当該足と前記標識との位置関係を取得し、他方の足の前記床面への着地を検知し当該足が着地した時の当該足と前記標識との位置関係を取得し、前記2つの位置関係を各々取得する際に用いた標識間の距離を取得し、前記2つの位置関係および前記標識間の距離に基づいて前記被験者の歩幅を取得することを特徴とする、請求項2に記載の歩幅測定装置。
  4. 前記床面は、所定の速度で駆動される無端ベルトの走行面であることを特徴とする、請求項2または3に記載の歩幅測定装置。
  5. 前記撮影手段は、所定時間毎に前記画像を撮影するとともに、前記走行面に対して撮影範囲が固定されていることを特徴とする、請求項4に記載の歩幅測定装置。
  6. 前記撮影手段は、前記撮影される画像における、前記走行面の駆動方向と前記画像の外枠の一辺とが平行になるように設定されていることを特徴とする、請求項5に記載の歩幅測定装置。
  7. 前記標識は、前記無端ベルトの駆動による前記所定時間における移動距離よりも長い間隔で設けられていることを特徴とする、請求項5または6に記載の歩幅測定装置。
  8. 前記歩幅計測手段は、
    前記画像中の標識を抽出し、当該画像より前に撮影された画像中の標識の位置と比較して前記2つの画像間で標識同士を対応づけ、前記画像中の標識に前記前に撮影された画像中の対応する標識と同一の認識番号を付すとともに、新しく撮影された標識に新しい認識番号を付す移動標識認識手段と、
    前記画像中の前記被験者の足の所定部の位置を検出する所定部検出手段と、
    前記所定部の位置の時間変化に基づいて前記被験者の足が前記無端ベルト上に着地しているか否かを判断する着地判定手段と、
    前記被験者の足が前記無端ベルトに着地していると判断された時の、前記所定部と前記画像中の標識との位置関係および当該標識の認識番号を前記足が着地する毎に取得する着地位置取得手段と、
    隣り合う2回の着地時に各々取得された前記位置関係と、前記位置関係を取得する際に用いた各々の標識の認識番号および前記所定間隔に基づいて取得される当該標識間の距離とに基づいて前記被験者の歩幅を取得する歩幅取得手段と、
    を備えることを特徴とする、請求項5〜7の何れか1項に記載の歩幅測定装置。
  9. 前記取得された歩幅を表示する表示手段を備えることを特徴とする、請求項1〜8の何れか1項に記載の歩幅測定装置。
  10. 個人ごとの歩幅データが格納される個人データ格納部と、前記個人データ格納部に格納された歩幅データと前記取得された歩幅との比較を行うデータ比較部とを備えることを特徴とする、請求項1〜9の何れか一項に記載の歩幅測定装置。
  11. 前記被験者の走行姿勢または歩行姿勢を前記被験者の正面または側面の少なくとも何れかの方向から撮影する姿勢撮影手段をさらに備えることを特徴とする、請求項1〜10に記載の歩幅測定装置。
JP2001076435A 2001-03-15 2001-03-16 歩幅測定装置 Expired - Fee Related JP4424869B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001076435A JP4424869B2 (ja) 2001-03-16 2001-03-16 歩幅測定装置
US10/096,891 US20020130951A1 (en) 2001-03-15 2002-03-14 Stride length measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001076435A JP4424869B2 (ja) 2001-03-16 2001-03-16 歩幅測定装置

Publications (2)

Publication Number Publication Date
JP2002277213A JP2002277213A (ja) 2002-09-25
JP4424869B2 true JP4424869B2 (ja) 2010-03-03

Family

ID=18933366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001076435A Expired - Fee Related JP4424869B2 (ja) 2001-03-15 2001-03-16 歩幅測定装置

Country Status (2)

Country Link
US (1) US20020130951A1 (ja)
JP (1) JP4424869B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3947456B2 (ja) * 2002-11-20 2007-07-18 浜松ホトニクス株式会社 歩幅測定装置及び歩幅測定方法
US7231834B2 (en) 2003-07-28 2007-06-19 Hamamatsu Photonics K. K. Stride measuring apparatus
JP3841075B2 (ja) * 2003-09-22 2006-11-01 株式会社日立製作所 生体検査装置
FR2870747B1 (fr) * 2004-05-26 2009-11-20 Thierry Albert Dispositif d'amelioration de la motricite notamment de la marche
KR100702898B1 (ko) 2006-05-29 2007-04-03 경북대학교 산학협력단 동작분석을 이용한 보행훈련 장치
JP4862895B2 (ja) * 2007-01-30 2012-01-25 パナソニック電工株式会社 歩行能力診断システム
US7871303B2 (en) * 2007-03-09 2011-01-18 Honeywell International Inc. System for filling and venting of run-in gas into vacuum tubes
US7914420B2 (en) 2007-07-18 2011-03-29 Brunswick Corporation Sensing applications for exercise machines
WO2009072435A1 (ja) * 2007-12-03 2009-06-11 Shimane Prefectural Government 画像認識装置および画像認識方法
US7927257B2 (en) * 2008-10-21 2011-04-19 Rakesh Patel Assisted stair training machine and methods of using
US9360959B2 (en) 2010-10-12 2016-06-07 Tactonic Technologies, Llc Fusing depth and pressure imaging to provide object identification for multi-touch surfaces
CN102512785A (zh) * 2011-12-08 2012-06-27 苏州市世纪晶源电力科技有限公司 一种健身跑步机
ES2432228B1 (es) * 2013-02-15 2014-11-18 Asociación Instituto De Biomecánica De Valencia Procedimiento e instalación para caracterizar el patrón de apoyo de un sujeto
JP6205901B2 (ja) * 2013-06-28 2017-10-04 カシオ計算機株式会社 計測装置、計測方法及びプログラム
JP2015068973A (ja) * 2013-09-27 2015-04-13 カシオ計算機株式会社 撮像制御装置、撮像制御方法、及びプログラム
JP6350268B2 (ja) * 2014-12-22 2018-07-04 株式会社Jvcケンウッド 接地検出装置、接地検出方法およびプログラム
TWI587892B (zh) * 2016-01-22 2017-06-21 岱宇國際股份有限公司 運動機台
TWI615178B (zh) * 2016-02-04 2018-02-21 原相科技股份有限公司 跑步機及其跑道控制方法
US10293210B2 (en) 2016-02-04 2019-05-21 Pixart Imaging Inc. Treadmill and control method for controlling the treadmill belt thereof
US9870622B1 (en) * 2016-07-18 2018-01-16 Dyaco International, Inc. Systems and methods for analyzing a motion based on images
CN108671522A (zh) * 2018-04-23 2018-10-19 万赢体育科技(上海)有限公司 一种用于未来体育馆的运动指导方法及系统
CN109409324B (zh) * 2018-11-08 2022-09-09 深圳泰山体育科技有限公司 跑步机运行参数测量方法以及跑步机运行参数测量装置
CN115170603B (zh) * 2021-04-06 2024-01-23 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN113350770B (zh) * 2021-05-31 2022-04-01 集美大学 一种辅助训练用的跑步机器人
JP7537374B2 (ja) 2021-06-15 2024-08-21 トヨタ自動車株式会社 歩行状態測定システム
JP7515651B1 (ja) 2023-03-31 2024-07-12 株式会社Nttファシリティーズ デスクワーク支援システム、及びデスクワーク支援方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600016A (en) * 1985-08-26 1986-07-15 Biomechanical Engineering Corporation Method and apparatus for gait recording and analysis
US4774679A (en) * 1986-02-20 1988-09-27 Carlin John A Stride evaluation system
US5483630A (en) * 1990-07-12 1996-01-09 Hitachi, Ltd. Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller
JPH0745239Y2 (ja) * 1991-03-28 1995-10-18 日本光電工業株式会社 トレッドミル
WO1993006779A1 (en) * 1991-10-10 1993-04-15 Neurocom International, Inc. Apparatus and method for characterizing gait
US5299454A (en) * 1992-12-10 1994-04-05 K.K. Holding Ag Continuous foot-strike measuring system and method
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US6231527B1 (en) * 1995-09-29 2001-05-15 Nicholas Sol Method and apparatus for biomechanical correction of gait and posture
JPH1043327A (ja) * 1996-07-31 1998-02-17 Hitachi Techno Eng Co Ltd 運動訓練装置
US5831937A (en) * 1997-04-09 1998-11-03 Northwestern University Portable ranging system for analyzing gait
JP2923493B1 (ja) * 1998-03-09 1999-07-26 株式会社エイ・ティ・アール知能映像通信研究所 歩行感覚生成装置
US6205245B1 (en) * 1998-07-28 2001-03-20 Intel Corporation Method and apparatus for rapid down-scaling of color images directly from sensor color filter array space
JP4260313B2 (ja) * 1999-02-08 2009-04-30 株式会社リコー 画像形成装置
JP2001000420A (ja) * 1999-06-16 2001-01-09 Hitachi Plant Eng & Constr Co Ltd 目標達成度評価装置及び目標達成度評価方法
JP2001256486A (ja) * 2000-03-10 2001-09-21 Hitachi Kiden Kogyo Ltd 歩行評価装置
US6645126B1 (en) * 2000-04-10 2003-11-11 Biodex Medical Systems, Inc. Patient rehabilitation aid that varies treadmill belt speed to match a user's own step cycle based on leg length or step length
US6590536B1 (en) * 2000-08-18 2003-07-08 Charles A. Walton Body motion detecting system with correction for tilt of accelerometers and remote measurement of body position
WO2003025615A2 (en) * 2001-09-17 2003-03-27 The Curavita Corporation Monitoring locomotion kinematics in ambulating animals

Also Published As

Publication number Publication date
JP2002277213A (ja) 2002-09-25
US20020130951A1 (en) 2002-09-19

Similar Documents

Publication Publication Date Title
JP4424869B2 (ja) 歩幅測定装置
CN102706319B (zh) 一种基于图像拍摄的距离标定和测量方法及系统
US8542874B2 (en) Videotracking
JP4971808B2 (ja) 歩行動作分析装置
WO2018158552A1 (en) System, method and markers for assessing athletic performance
US10247626B2 (en) Motion recognition method and apparatus
JP2010172394A (ja) 歩行状態表示装置
JP4102119B2 (ja) 歩幅測定装置及び歩幅測定方法
KR20200142087A (ko) 핸드레일의 순환 시간을 판정하는 승객 컨베이어의 점검 시스템
JP2804949B2 (ja) 動画像の処理方法
JP3947456B2 (ja) 歩幅測定装置及び歩幅測定方法
CN104586404A (zh) 体质监测的姿态识别方法及系统
WO2023106744A1 (ko) 마찰력 정량화 지표를 활용한 신발 설계 시스템
JP4609640B2 (ja) 歩行跡分析装置
KR102054818B1 (ko) 족적 영상 패턴 분석 기반 가상현실 제공 방법
TWI736148B (zh) 姿態檢測系統與方法
JP2002365018A (ja) 移動物体の計測装置
JP7064107B2 (ja) 映像表示システム
JP2740088B2 (ja) 打球動作練習機
KR102672715B1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 보행 분석 방법 및 장치
JP2002342749A (ja) 足跡分析装置
CN108525269B (zh) 一种用于田径场上跑步速度的采集控制系统
JPWO2003034713A1 (ja) 泳者撮像装置
JP2022170183A (ja) 歩行特徴量検出装置及びプログラム
JP2784163B2 (ja) 位置認識方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091208

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees