JP3947456B2 - 歩幅測定装置及び歩幅測定方法 - Google Patents
歩幅測定装置及び歩幅測定方法 Download PDFInfo
- Publication number
- JP3947456B2 JP3947456B2 JP2002336896A JP2002336896A JP3947456B2 JP 3947456 B2 JP3947456 B2 JP 3947456B2 JP 2002336896 A JP2002336896 A JP 2002336896A JP 2002336896 A JP2002336896 A JP 2002336896A JP 3947456 B2 JP3947456 B2 JP 3947456B2
- Authority
- JP
- Japan
- Prior art keywords
- foot
- stride
- subject
- data
- landing position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of Distances Traversed On The Ground (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、走行又は歩行する被験者の歩幅を測定する歩幅測定装置及び歩幅測定方法に関する。
【０００２】
【従来の技術】
近年、種々の運動において、運動能力を評価する指標の１つとして歩幅が重要視されている。例えば、短距離走では、走者のスタート時の歩幅が特に重要であり、スタート時の歩幅を知り改善することによって記録を向上させることが可能である。このような歩幅を測定し得る装置として、特開平１０−１１１９４０号公報に記載された身体運動解析装置を例示することができる。この公報に記載の身体運動解析装置は、運動している被験者を撮影し、撮影した画像に基づいて被験者の身体特徴点（頭部や胴部の重心点、及び各関節点等）を検出することによって運動解析を行うものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記公報に記載の身体運動解析装置にあっては、身体特徴点を検出するに際して、予め作成・記憶した身体の知識（身体特徴点間の関係等を示すデータ）を必要とするため、個々の被験者毎に精度良く運動解析を行うには非常に手間がかかる。
【０００４】
そこで、本発明は、このような事情に鑑みてなされたものであり、簡易な構成でありながら高精度に歩幅を測定することのできる歩幅測定装置及び歩幅測定方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る歩幅測定装置は、走行又は歩行する被験者の足を含む画像を撮影する撮影手段と、画像における被験者の足の位置の時間変化に基づいて、被験者の一方の足の着地位置と一方の足に続いて前方に出された被験者の他方の足の着地位置とを取得し、一方の足の着地位置と他方の足の着地位置とに基づいて歩幅を取得する歩幅取得手段とを備え、歩幅取得手段は、撮影手段により撮影された画像に基づいて所定時間毎の画像データを取得し、画像データにおける画素データを被験者の進行方向に直角な方向に積算することにより一次元の積算データを作成する積算データ作成手段と、積算データを所定時間毎に配置することにより積算データ群を作成する積算データ群作成手段と、積算データ群において周期的に現れる特徴点を検出する特徴点検出手段と、特徴点のうち連続して現れた２つの特徴点を一方の足の着地位置と他方の足の着地位置とに対応する点として歩幅を算出する歩幅算出手段とを有することを特徴とする。
【０００６】
走行（以下、単に「走行」という場合は歩行を含む）する被験者の足は、空中に浮いている間は被験者の進行方向前方へ移動し、地面等の走行面に着地している間は同じ位置に停滞する。したがって、本発明に係る歩幅測定装置によれば、走行する被験者の足を含む画像を撮影するため、その画像における被験者の足の位置の時間変化に基づいて一方の足の着地位置と一方の足に続いて前方に出された他方の足の着地位置とを取得することができ、これにより歩幅を算出することができる。このように、被験者の足を含む画像から直接的に歩幅を算出するため、簡易な構成によって高精度に歩幅を測定することが可能になる。
【０００８】
また、走行する被験者の足は左右交互に移動と停滞とを繰り返すため、積算データ群には、足の着地位置に対応する特徴点が周期的に現れる。したがって、連続して現れた２つの特徴点を一方の足の着地位置と他方の足の着地位置とに対応する点として高精度に歩幅を算出することができる。
【０００９】
また、上記目的を達成するために、本発明は歩幅測定方法にも係り、本発明に係る歩幅測定方法は、走行又は歩行する被験者の足を含む画像を撮影する撮影工程と、画像における被験者の足の位置の時間変化に基づいて、被験者の一方の足の着地位置と一方の足に続いて前方に出された被験者の他方の足の着地位置とを取得し、一方の足の着地位置と他方の足の着地位置とに基づいて歩幅を取得する歩幅取得工程とを備え、歩幅取得工程は、撮影工程において撮影された画像に基づいて所定時間毎の画像データを取得し、画像データにおける画素データを被験者の進行方向に直角な方向に積算することにより一次元の積算データを作成する積算データ作成工程と、積算データを所定時間毎に配置することにより積算データ群を作成する積算データ群作成工程と、積算データ群において周期的に現れる特徴点を検出する特徴点検出工程と、特徴点のうち連続して現れた２つの特徴点を一方の足の着地位置と他方の足の着地位置とに対応する点として歩幅を算出する歩幅算出工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明に係る歩幅測定装置の好適な実施形態について、図面を参照して詳細に説明する。
【００１２】
歩幅測定装置１０は、図１に示すように、地面（屋内の床面等でもよい）に引かれた２本のラインＬ間をラインＬに沿って走行する被験者Ｓの歩幅を測定する装置であって、ビデオカメラ（撮影手段）１２、コンピュータ（歩幅取得手段）１４及び表示部１６を備えて構成されている。
【００１３】
ビデオカメラ１２は、撮影方向がラインＬと直角になるようにラインＬから所定の距離をとって設置され、画像の水平方向がラインＬと平行になるように調整される。これは、撮影された画像に基づくコンピュータ１４の演算処理を容易にするためである。そして、ビデオカメラ１２は、図２に示すように、２本のラインＬ間を走行する被験者Ｓの足Ｆを含む画像を撮影する。なお、ビデオカメラ１２の撮影方向がラインＬに対して直角以外の所定の角度で設置された場合は、当該所定の角度に基づいて座標変換処理を行えばよい。また、２本のラインＬにより形成される測定コースが長く、ビデオカメラ１２の撮影範囲に収まらない場合は、ラインＬに沿って所定の間隔毎に複数台のビデオカメラ１２を設置すればよい。
【００１４】
コンピュータ１４は、ビデオキャプチャ（図示しない）を介すことによって、ビデオカメラ１２により撮影された画像をフレーム毎の画像データとして取得し、この画像データに基づいて被験者Ｓの歩幅を算出する。なお、画像データをフィールド毎に取得して演算処理を行えば、時間分解能を向上させることができる。表示部１６は、ＬＣＤやＣＲＴ等の表示装置を備えて構成され、コンピュータ１４による演算処理結果等を表示する。
【００１５】
上述のコンピュータ１４の構成について説明する。図３に示すように、コンピュータ１４は、メモリ部１８、画素抽出部２０、積算データ作成部（積算データ作成手段）２２、ＤＴマップ作成部（積算データ群作成手段）２４、特徴点検出部（特徴点検出手段）２６、歩幅算出部（歩幅算出手段）２８、各種データ算出部３０及び個人データ格納部３２を備えて構成されている。
【００１６】
メモリ部１８は、ビデオカメラ１２により撮影された画像に基づいてビデオキャプチャから出力されたフレーム毎の画像データを記憶する。画素抽出部２０は、メモリ部１８からフレーム毎の画像データを取得し、取得した画像データにおいて被験者Ｓの足Ｆに対応する画素を抽出する。具体的には、画素抽出部２０は、前処理として、図２に示す抽出領域Ｄ内の全ての画素を足Ｆに対応する画素とその他の画素とに２値化し、これにより、図４（ａ）に示すように、抽出領域Ｄ内において足Ｆに対応する画素を抽出する。抽出領域Ｄは、２本のラインＬ間において、足Ｆが着地した際に足Ｆの爪先から踵にかけての部分が存在すると想定される領域である。また、前処理は、色相値或いは輝度値等の画素データに基づいて行われ、予め前処理パラメータとして設定された画素データの閾値により２値化される。
【００１７】
積算データ作成部２２は、画素抽出部１８により抽出された足Ｆに対応する画素を垂直方向（被験者Ｓの進行方向に直角な方向）に積算することによって図４（ｂ）に示す積算数データを取得し、この積算数データに基づいて、図４（ｃ）に示す、積算数に比例した輝度値を有する一次元の画素列である積算データ４０を作成する。この積算データ４０において、輝度値を有する画素の集合部４２が被験者Ｓの足Ｆに対応し、集合部４２の左エッジ部４２ａが、前方に出された足Ｆの爪先に対応する。
【００１８】
ＤＴマップ作成部２４は、積算データ作成部２２により作成された積算データ４０を画像データの出力順に垂直方向に配置していくことによって、図５に示すようなＤＴマップ（距離−時間マップ）を作成する。すなわち、このＤＴマップは、フレーム時間毎（すなわち１／３０秒毎）に作成された一次元の積算データ４０を垂直方向に順次配列して形成した二次元の積算データ群であり、縦軸が時間を示し、横軸が距離を示している。図５には、輝度値を有する画素の集合領域４４によって、被験者ＳがＤＴマップの右上方から左下方へ移動していく様子が表されている。なお、同図において、輝度値を有する画素の集合領域４４に濃淡が生じているのは、積算データ作成部２２により作成された積算データ４０が積算数に比例した輝度値を有するからであり、ここでは、集合領域４４において輝度値が高い部分ほど濃く表されている。
【００１９】
特徴点検出部２６は、ＤＴマップにおいて周期的に現れる特徴点Ｐｎ（ｎ＝１，２，…）を検出する。被験者Ｓの足Ｆは、空中に浮いている間は被験者Ｓの進行方向前側へ移動し、地面に着地している間は同じ位置に停滞する。ＤＴマップにはこの様子が顕著に現れる。すなわち、ＤＴマップにおいて輝度値を有する画素の集合領域４４のうち、横方向に延びる領域Ａが一方の足Ｆが空中に浮いている状態を示し、矩形状に集合した領域Ｂが一方の足Ｆが着地している状態を示している。被験者Ｓが走行すると一方の足Ｆと他方の足Ｆとが交互に前方へ出されるため、領域Ａと領域ＢとがＤＴマップに周期的に現れる。
【００２０】
このようなＤＴマップの特徴により、特徴点検出部２６は、例えば積算データ４０における左エッジ部４２ａのフレーム時間当たりの変位量が所定値以下になったか否かを判断することによって、矩形状に集合した領域Ｂの左上方の角部を特徴点Ｐｎとして検出する。この特徴点Ｐｎは、ｎ歩目の足Ｆの爪先が着地した時点における、測定開始位置から爪先までの距離ｄｎ（画素数で示される）と測定開始時点からの経過時間ｔｎとを示している。なお、特徴点Ｐｎとして、領域Ｂの右上方の角部（足Ｆの踵の着地を示す点）や右下方の角部（足Ｆの踵が地面から離れたことを示す点）、或いは左下方の角部（足Ｆの爪先が地面から離れたことを示す点）を検出してもよい。
【００２１】
歩幅算出部２８は、特徴点検出部２６により検出された特徴点Ｐｎ−１とＰｎとに基づいて、距離ｄｎとｄｎ−１との差をとり実空間における距離に変換することによってｎ歩目の歩幅を算出する。なお、画素数で示された距離から実空間における距離への変換は、ビデオカメラ１２による撮影距離や撮影倍率等の条件に基づいて行われる。例えば、２．２［ｃｍ／画素］であれば、画素数で示された距離に２．２［ｃｍ／画素］を乗じることによって実空間における距離を算出する。そして、歩幅算出部２８は、ｎ歩目の歩幅を示すデータを被験者Ｓに対応付けて個人データ格納部３２に保存すると共に、必要に応じて表示部１６に表示させる。
【００２２】
各種データ算出部３０は、特徴点検出部２６により検出された特徴点Ｐｎ−１とＰｎとに基づいて、経過時間ｔｎとｔｎ−１との差をとることによってｎ歩目のストライド時間を算出したり、単位時間をストライド時間で割ることによって単位時間当たりのピッチ数を算出したりする。そして、算出した各種データを被験者Ｓに対応付けて個人データ格納部３２に保存すると共に、必要に応じて表示部１６に表示させる。個人データ格納部３２は、前述のように、歩幅算出部２８及び各種データ算出部３０により算出された各種データを個人毎に記憶・保存する。
【００２３】
次に、歩幅測定装置１０の処理手順について、図６に示すフローチャートに従って説明する。
【００２４】
測定を開始する前に、コンピュータ１４の画素抽出部２０による足Ｆに対応する画素の抽出のために、抽出領域Ｄの設定と、輝度値等の画素データの閾値である前処理パラメータの設定とを行う（Ｓ６０２，Ｓ６０４）。この初期設定を行った後、被験者Ｓが走行を開始すると、ビデオカメラ１２による被験者Ｓの撮影も開始され、これにより測定が開始される（Ｓ６０６）。測定が開始されると、ビデオカメラ１２により撮影された画像が、ビデオキャプチャによってフレーム毎の画像データに変換され、変換されたフレーム毎の画像データがビデオキャプチャからコンピュータ１４のメモリ部１８に順次出力される。
【００２５】
これによりコンピュータ１４において、画素抽出部２０が、メモリ部１８に記憶されたフレーム毎の画像データを順次取り込み、前処理として、抽出領域Ｄ内の全ての画素を前処理パラメータに基づいて足Ｆに対応する画素とその他の画素とに２値化して足Ｆに対応する画素を抽出する（Ｓ６０８）。続いて、積算データ作成部２２が、画素抽出部１８により抽出された足Ｆに対応する画素を垂直方向に積算することによって、その積算数に比例した輝度値を有する一次元の画素列である積算データ４０を作成する（Ｓ６１０）。
【００２６】
積算データ作成部２２により積算データ４０が作成されると、ＤＴマップ作成部２４が、画像データの出力順に積算データ４０を垂直方向に配置していくことによってＤＴマップを作成する（Ｓ６１２）。そして、被験者Ｓが走行を終了すると、ビデオカメラ１２による被験者Ｓの撮影も終了され、これにより測定が終了される（Ｓ６１４）。続いて、特徴点検出部２６が、ＤＴマップ作成部２４により作成されたＤＴマップにおいて周期的に現れる特徴点Ｐｎ（ｎ＝１，２，…）を検出する（Ｓ６１６）。この特徴点Ｐｎの検出は次のように行われる。すなわち、特徴点検出部２６が、例えば積算データ４０における左エッジ部４２ａのフレーム時間当たりの変位量が所定値以下になったか否かを判断することによって、矩形状に集合した領域Ｂの左上方の角部を特徴点Ｐｎとして検出する。
【００２７】
これにより、歩幅算出部２８が、特徴点Ｐｎ−１とＰｎとに基づいて、距離ｄｎとｄｎ−１との差をとり実空間における距離に変換することによってｎ歩目の歩幅を算出し、算出したｎ歩目の歩幅を示すデータを被験者Ｓに対応付けて個人データ格納部３２に保存する（Ｓ６１８）。更に、各種データ算出部３０が、特徴点Ｐｎ−１とＰｎとに基づいて、経過時間ｔｎとｔｎ−１との差をとることによってｎ歩目のストライド時間を算出したり、単位時間をストライド時間で割ることによって単位時間当たりのピッチ数を算出したりし、算出した各種データを被験者Ｓに対応付けて個人データ格納部３２に保存する（Ｓ６２０）。
【００２８】
そして、表示部１６が、図７〜図１１に示すように、歩幅算出部２８及び各種データ算出部３０により算出された各種データを種々の態様で表示する（Ｓ６６２）。図７〜図１１には、被験者Ｓについて２回の測定を行った結果が示されている。なお、上述の歩幅測定装置１０の処理手順においては、特徴点Ｐｎの検出（Ｓ６１６）、歩幅及び各種データの算出・保存（Ｓ６１８，Ｓ６２０）並びに各種データの表示（Ｓ６２２）を測定終了（Ｓ６１４）後に行ったが、測定と同時進行で行うことも可能である。すなわち、特徴点Ｐｎが現れる毎に、１つ前の特徴点Ｐｎ−１とに基づいて歩幅や各種データを算出・表示していくこともできる。このようにすれば、被験者Ｓが走行している最中において即座に、被験者Ｓの歩幅等のデータを知ることが可能になる。
【００２９】
以上説明したように、走行する被験者Ｓの足Ｆは左右交互に移動と停滞とを繰り返すため、歩幅測定装置１０において作成されるＤＴマップには、足Ｆの着地位置に対応する特徴点Ｐｎが周期的に現れる。したがって、走行する被験者Ｓの足Ｆを含む画像を撮影すれば、その画像から直接的に歩幅やストライド時間等の各種データを算出することができるため、簡易な構成によって高精度且つ即座に歩幅やストライド時間等の各種データを測定することが可能になる。
【００３０】
また、歩幅測定装置１０によれば、被験者Ｓの歩幅、ストライド時間、ピッチ数及び走行速度等の各種データを歩数毎に算出することができるため、被験者Ｓのバランス変動やペース配分の変動等を把握し、被験者Ｓの競技力向上等に役立てることが可能になる。更に、コンピュータ１４が個人データ格納部３２を有するため、被験者Ｓ自身の過去のデータ、他人のデータ又は標準データ等と現在測定を行っている被験者Ｓのデータとを比較してその比較結果を表示部１６に表示させることも可能である。
【００３１】
以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記実施形態に限定されない。
【００３２】
例えば、歩幅のみを測定する場合は、次のような算出を行うことが可能である。すなわち、図１２（ａ）に示すＤＴマップ（画像の左側から右側へ被験者Ｓが移動する場合であって、模式的に示したものである）において、その全ての画素の輝度値を垂直方向に積算し、図１２（ｂ）に示す輝度値変化データを取得する。そして、この輝度値変化データを所定の閾値で２値化することによって、図１２（ｃ）に示す２値化データを取得する。この２値化データにおいて連続して現れた右エッジ部（左エッジ部でもよい）の相対距離を算出し、これを実空間における距離に変換することによって、歩幅を算出することができる。
【００３３】
また、２本のラインＬ間をラインＬ方向に並んで走行する複数名の被験者の歩幅を同時に算出することも可能である。これは、後ろを走行する被験者が前を走行する被験者を追い抜かなければ、図１３に示すようなＤＴマップが得られるからである。図１３には、２名の被験者が前後に並んで走行した場合の結果が示されている。
【００３４】
【発明の効果】
以上説明したように、本発明に係る歩幅測定装置は、走行又は歩行する被験者の足を含む画像を撮影する撮影手段と、画像における被験者の足の位置の時間変化に基づいて、被験者の一方の足の着地位置と一方の足に続いて前方に出された被験者の他方の足の着地位置とを取得し、一方の足の着地位置と他方の足の着地位置とに基づいて歩幅を取得する歩幅取得手段とを備えることによって、簡易な構成でありながら高精度に歩幅を測定することができる。
【図面の簡単な説明】
【図１】本発明に係る歩幅測定装置の一実施形態を示す図である。
【図２】図１に示す歩幅測定装置のビデオカメラにより撮影された画像を示す図である。
【図３】図１に示す歩幅測定装置のコンピュータの機能的構成を示すブロック図である。
【図４】図１に示す歩幅測定装置のコンピュータによる積算データの作成処理を説明するための図であり、（ａ）は足Ｆに対応する画素の抽出を示す図、（ｂ）は積算数データを示す図、（ｃ）は積算データを示す図である。
【図５】図１に示す歩幅測定装置のコンピュータにより作成されたＤＴマップを示す図である。
【図６】図１に示す歩幅測定装置の処理手順を説明するためのフローチャートである。
【図７】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離と測定開始時点からの経過時間との関係を示す図である。
【図８】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離と歩幅との関係を示す図である。
【図９】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離とストライド時間との関係を示す図である。
【図１０】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離と走行速度との関係を示す図である。
【図１１】図１に示す歩幅測定装置の表示部により表示された歩幅とストライド時間との関係を示す図である。
【図１２】歩幅の他の算出処理を説明するための図であり、（ａ）はＤＴマップを示す図、（ｂ）は輝度値変化データを示す図、（ｃ）は２値化データを示す図である。
【図１３】２名の被験者が前後に並んで走行した場合のＤＴマップを示す図である。
【符号の説明】
１０…歩幅測定装置、１２…ビデオカメラ（撮影手段）、１４…コンピュータ（歩幅取得手段）、２２…積算データ作成部（積算データ作成手段）、２４…ＤＴマップ作成部（積算データ群作成手段）、２６…特徴点検出部（特徴点検出手段）、２８…歩幅算出部（歩幅算出手段）、Ｓ…被験者、Ｆ…足。
【発明の属する技術分野】
本発明は、走行又は歩行する被験者の歩幅を測定する歩幅測定装置及び歩幅測定方法に関する。
【０００２】
【従来の技術】
近年、種々の運動において、運動能力を評価する指標の１つとして歩幅が重要視されている。例えば、短距離走では、走者のスタート時の歩幅が特に重要であり、スタート時の歩幅を知り改善することによって記録を向上させることが可能である。このような歩幅を測定し得る装置として、特開平１０−１１１９４０号公報に記載された身体運動解析装置を例示することができる。この公報に記載の身体運動解析装置は、運動している被験者を撮影し、撮影した画像に基づいて被験者の身体特徴点（頭部や胴部の重心点、及び各関節点等）を検出することによって運動解析を行うものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記公報に記載の身体運動解析装置にあっては、身体特徴点を検出するに際して、予め作成・記憶した身体の知識（身体特徴点間の関係等を示すデータ）を必要とするため、個々の被験者毎に精度良く運動解析を行うには非常に手間がかかる。
【０００４】
そこで、本発明は、このような事情に鑑みてなされたものであり、簡易な構成でありながら高精度に歩幅を測定することのできる歩幅測定装置及び歩幅測定方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る歩幅測定装置は、走行又は歩行する被験者の足を含む画像を撮影する撮影手段と、画像における被験者の足の位置の時間変化に基づいて、被験者の一方の足の着地位置と一方の足に続いて前方に出された被験者の他方の足の着地位置とを取得し、一方の足の着地位置と他方の足の着地位置とに基づいて歩幅を取得する歩幅取得手段とを備え、歩幅取得手段は、撮影手段により撮影された画像に基づいて所定時間毎の画像データを取得し、画像データにおける画素データを被験者の進行方向に直角な方向に積算することにより一次元の積算データを作成する積算データ作成手段と、積算データを所定時間毎に配置することにより積算データ群を作成する積算データ群作成手段と、積算データ群において周期的に現れる特徴点を検出する特徴点検出手段と、特徴点のうち連続して現れた２つの特徴点を一方の足の着地位置と他方の足の着地位置とに対応する点として歩幅を算出する歩幅算出手段とを有することを特徴とする。
【０００６】
走行（以下、単に「走行」という場合は歩行を含む）する被験者の足は、空中に浮いている間は被験者の進行方向前方へ移動し、地面等の走行面に着地している間は同じ位置に停滞する。したがって、本発明に係る歩幅測定装置によれば、走行する被験者の足を含む画像を撮影するため、その画像における被験者の足の位置の時間変化に基づいて一方の足の着地位置と一方の足に続いて前方に出された他方の足の着地位置とを取得することができ、これにより歩幅を算出することができる。このように、被験者の足を含む画像から直接的に歩幅を算出するため、簡易な構成によって高精度に歩幅を測定することが可能になる。
【０００８】
また、走行する被験者の足は左右交互に移動と停滞とを繰り返すため、積算データ群には、足の着地位置に対応する特徴点が周期的に現れる。したがって、連続して現れた２つの特徴点を一方の足の着地位置と他方の足の着地位置とに対応する点として高精度に歩幅を算出することができる。
【０００９】
また、上記目的を達成するために、本発明は歩幅測定方法にも係り、本発明に係る歩幅測定方法は、走行又は歩行する被験者の足を含む画像を撮影する撮影工程と、画像における被験者の足の位置の時間変化に基づいて、被験者の一方の足の着地位置と一方の足に続いて前方に出された被験者の他方の足の着地位置とを取得し、一方の足の着地位置と他方の足の着地位置とに基づいて歩幅を取得する歩幅取得工程とを備え、歩幅取得工程は、撮影工程において撮影された画像に基づいて所定時間毎の画像データを取得し、画像データにおける画素データを被験者の進行方向に直角な方向に積算することにより一次元の積算データを作成する積算データ作成工程と、積算データを所定時間毎に配置することにより積算データ群を作成する積算データ群作成工程と、積算データ群において周期的に現れる特徴点を検出する特徴点検出工程と、特徴点のうち連続して現れた２つの特徴点を一方の足の着地位置と他方の足の着地位置とに対応する点として歩幅を算出する歩幅算出工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明に係る歩幅測定装置の好適な実施形態について、図面を参照して詳細に説明する。
【００１２】
歩幅測定装置１０は、図１に示すように、地面（屋内の床面等でもよい）に引かれた２本のラインＬ間をラインＬに沿って走行する被験者Ｓの歩幅を測定する装置であって、ビデオカメラ（撮影手段）１２、コンピュータ（歩幅取得手段）１４及び表示部１６を備えて構成されている。
【００１３】
ビデオカメラ１２は、撮影方向がラインＬと直角になるようにラインＬから所定の距離をとって設置され、画像の水平方向がラインＬと平行になるように調整される。これは、撮影された画像に基づくコンピュータ１４の演算処理を容易にするためである。そして、ビデオカメラ１２は、図２に示すように、２本のラインＬ間を走行する被験者Ｓの足Ｆを含む画像を撮影する。なお、ビデオカメラ１２の撮影方向がラインＬに対して直角以外の所定の角度で設置された場合は、当該所定の角度に基づいて座標変換処理を行えばよい。また、２本のラインＬにより形成される測定コースが長く、ビデオカメラ１２の撮影範囲に収まらない場合は、ラインＬに沿って所定の間隔毎に複数台のビデオカメラ１２を設置すればよい。
【００１４】
コンピュータ１４は、ビデオキャプチャ（図示しない）を介すことによって、ビデオカメラ１２により撮影された画像をフレーム毎の画像データとして取得し、この画像データに基づいて被験者Ｓの歩幅を算出する。なお、画像データをフィールド毎に取得して演算処理を行えば、時間分解能を向上させることができる。表示部１６は、ＬＣＤやＣＲＴ等の表示装置を備えて構成され、コンピュータ１４による演算処理結果等を表示する。
【００１５】
上述のコンピュータ１４の構成について説明する。図３に示すように、コンピュータ１４は、メモリ部１８、画素抽出部２０、積算データ作成部（積算データ作成手段）２２、ＤＴマップ作成部（積算データ群作成手段）２４、特徴点検出部（特徴点検出手段）２６、歩幅算出部（歩幅算出手段）２８、各種データ算出部３０及び個人データ格納部３２を備えて構成されている。
【００１６】
メモリ部１８は、ビデオカメラ１２により撮影された画像に基づいてビデオキャプチャから出力されたフレーム毎の画像データを記憶する。画素抽出部２０は、メモリ部１８からフレーム毎の画像データを取得し、取得した画像データにおいて被験者Ｓの足Ｆに対応する画素を抽出する。具体的には、画素抽出部２０は、前処理として、図２に示す抽出領域Ｄ内の全ての画素を足Ｆに対応する画素とその他の画素とに２値化し、これにより、図４（ａ）に示すように、抽出領域Ｄ内において足Ｆに対応する画素を抽出する。抽出領域Ｄは、２本のラインＬ間において、足Ｆが着地した際に足Ｆの爪先から踵にかけての部分が存在すると想定される領域である。また、前処理は、色相値或いは輝度値等の画素データに基づいて行われ、予め前処理パラメータとして設定された画素データの閾値により２値化される。
【００１７】
積算データ作成部２２は、画素抽出部１８により抽出された足Ｆに対応する画素を垂直方向（被験者Ｓの進行方向に直角な方向）に積算することによって図４（ｂ）に示す積算数データを取得し、この積算数データに基づいて、図４（ｃ）に示す、積算数に比例した輝度値を有する一次元の画素列である積算データ４０を作成する。この積算データ４０において、輝度値を有する画素の集合部４２が被験者Ｓの足Ｆに対応し、集合部４２の左エッジ部４２ａが、前方に出された足Ｆの爪先に対応する。
【００１８】
ＤＴマップ作成部２４は、積算データ作成部２２により作成された積算データ４０を画像データの出力順に垂直方向に配置していくことによって、図５に示すようなＤＴマップ（距離−時間マップ）を作成する。すなわち、このＤＴマップは、フレーム時間毎（すなわち１／３０秒毎）に作成された一次元の積算データ４０を垂直方向に順次配列して形成した二次元の積算データ群であり、縦軸が時間を示し、横軸が距離を示している。図５には、輝度値を有する画素の集合領域４４によって、被験者ＳがＤＴマップの右上方から左下方へ移動していく様子が表されている。なお、同図において、輝度値を有する画素の集合領域４４に濃淡が生じているのは、積算データ作成部２２により作成された積算データ４０が積算数に比例した輝度値を有するからであり、ここでは、集合領域４４において輝度値が高い部分ほど濃く表されている。
【００１９】
特徴点検出部２６は、ＤＴマップにおいて周期的に現れる特徴点Ｐｎ（ｎ＝１，２，…）を検出する。被験者Ｓの足Ｆは、空中に浮いている間は被験者Ｓの進行方向前側へ移動し、地面に着地している間は同じ位置に停滞する。ＤＴマップにはこの様子が顕著に現れる。すなわち、ＤＴマップにおいて輝度値を有する画素の集合領域４４のうち、横方向に延びる領域Ａが一方の足Ｆが空中に浮いている状態を示し、矩形状に集合した領域Ｂが一方の足Ｆが着地している状態を示している。被験者Ｓが走行すると一方の足Ｆと他方の足Ｆとが交互に前方へ出されるため、領域Ａと領域ＢとがＤＴマップに周期的に現れる。
【００２０】
このようなＤＴマップの特徴により、特徴点検出部２６は、例えば積算データ４０における左エッジ部４２ａのフレーム時間当たりの変位量が所定値以下になったか否かを判断することによって、矩形状に集合した領域Ｂの左上方の角部を特徴点Ｐｎとして検出する。この特徴点Ｐｎは、ｎ歩目の足Ｆの爪先が着地した時点における、測定開始位置から爪先までの距離ｄｎ（画素数で示される）と測定開始時点からの経過時間ｔｎとを示している。なお、特徴点Ｐｎとして、領域Ｂの右上方の角部（足Ｆの踵の着地を示す点）や右下方の角部（足Ｆの踵が地面から離れたことを示す点）、或いは左下方の角部（足Ｆの爪先が地面から離れたことを示す点）を検出してもよい。
【００２１】
歩幅算出部２８は、特徴点検出部２６により検出された特徴点Ｐｎ−１とＰｎとに基づいて、距離ｄｎとｄｎ−１との差をとり実空間における距離に変換することによってｎ歩目の歩幅を算出する。なお、画素数で示された距離から実空間における距離への変換は、ビデオカメラ１２による撮影距離や撮影倍率等の条件に基づいて行われる。例えば、２．２［ｃｍ／画素］であれば、画素数で示された距離に２．２［ｃｍ／画素］を乗じることによって実空間における距離を算出する。そして、歩幅算出部２８は、ｎ歩目の歩幅を示すデータを被験者Ｓに対応付けて個人データ格納部３２に保存すると共に、必要に応じて表示部１６に表示させる。
【００２２】
各種データ算出部３０は、特徴点検出部２６により検出された特徴点Ｐｎ−１とＰｎとに基づいて、経過時間ｔｎとｔｎ−１との差をとることによってｎ歩目のストライド時間を算出したり、単位時間をストライド時間で割ることによって単位時間当たりのピッチ数を算出したりする。そして、算出した各種データを被験者Ｓに対応付けて個人データ格納部３２に保存すると共に、必要に応じて表示部１６に表示させる。個人データ格納部３２は、前述のように、歩幅算出部２８及び各種データ算出部３０により算出された各種データを個人毎に記憶・保存する。
【００２３】
次に、歩幅測定装置１０の処理手順について、図６に示すフローチャートに従って説明する。
【００２４】
測定を開始する前に、コンピュータ１４の画素抽出部２０による足Ｆに対応する画素の抽出のために、抽出領域Ｄの設定と、輝度値等の画素データの閾値である前処理パラメータの設定とを行う（Ｓ６０２，Ｓ６０４）。この初期設定を行った後、被験者Ｓが走行を開始すると、ビデオカメラ１２による被験者Ｓの撮影も開始され、これにより測定が開始される（Ｓ６０６）。測定が開始されると、ビデオカメラ１２により撮影された画像が、ビデオキャプチャによってフレーム毎の画像データに変換され、変換されたフレーム毎の画像データがビデオキャプチャからコンピュータ１４のメモリ部１８に順次出力される。
【００２５】
これによりコンピュータ１４において、画素抽出部２０が、メモリ部１８に記憶されたフレーム毎の画像データを順次取り込み、前処理として、抽出領域Ｄ内の全ての画素を前処理パラメータに基づいて足Ｆに対応する画素とその他の画素とに２値化して足Ｆに対応する画素を抽出する（Ｓ６０８）。続いて、積算データ作成部２２が、画素抽出部１８により抽出された足Ｆに対応する画素を垂直方向に積算することによって、その積算数に比例した輝度値を有する一次元の画素列である積算データ４０を作成する（Ｓ６１０）。
【００２６】
積算データ作成部２２により積算データ４０が作成されると、ＤＴマップ作成部２４が、画像データの出力順に積算データ４０を垂直方向に配置していくことによってＤＴマップを作成する（Ｓ６１２）。そして、被験者Ｓが走行を終了すると、ビデオカメラ１２による被験者Ｓの撮影も終了され、これにより測定が終了される（Ｓ６１４）。続いて、特徴点検出部２６が、ＤＴマップ作成部２４により作成されたＤＴマップにおいて周期的に現れる特徴点Ｐｎ（ｎ＝１，２，…）を検出する（Ｓ６１６）。この特徴点Ｐｎの検出は次のように行われる。すなわち、特徴点検出部２６が、例えば積算データ４０における左エッジ部４２ａのフレーム時間当たりの変位量が所定値以下になったか否かを判断することによって、矩形状に集合した領域Ｂの左上方の角部を特徴点Ｐｎとして検出する。
【００２７】
これにより、歩幅算出部２８が、特徴点Ｐｎ−１とＰｎとに基づいて、距離ｄｎとｄｎ−１との差をとり実空間における距離に変換することによってｎ歩目の歩幅を算出し、算出したｎ歩目の歩幅を示すデータを被験者Ｓに対応付けて個人データ格納部３２に保存する（Ｓ６１８）。更に、各種データ算出部３０が、特徴点Ｐｎ−１とＰｎとに基づいて、経過時間ｔｎとｔｎ−１との差をとることによってｎ歩目のストライド時間を算出したり、単位時間をストライド時間で割ることによって単位時間当たりのピッチ数を算出したりし、算出した各種データを被験者Ｓに対応付けて個人データ格納部３２に保存する（Ｓ６２０）。
【００２８】
そして、表示部１６が、図７〜図１１に示すように、歩幅算出部２８及び各種データ算出部３０により算出された各種データを種々の態様で表示する（Ｓ６６２）。図７〜図１１には、被験者Ｓについて２回の測定を行った結果が示されている。なお、上述の歩幅測定装置１０の処理手順においては、特徴点Ｐｎの検出（Ｓ６１６）、歩幅及び各種データの算出・保存（Ｓ６１８，Ｓ６２０）並びに各種データの表示（Ｓ６２２）を測定終了（Ｓ６１４）後に行ったが、測定と同時進行で行うことも可能である。すなわち、特徴点Ｐｎが現れる毎に、１つ前の特徴点Ｐｎ−１とに基づいて歩幅や各種データを算出・表示していくこともできる。このようにすれば、被験者Ｓが走行している最中において即座に、被験者Ｓの歩幅等のデータを知ることが可能になる。
【００２９】
以上説明したように、走行する被験者Ｓの足Ｆは左右交互に移動と停滞とを繰り返すため、歩幅測定装置１０において作成されるＤＴマップには、足Ｆの着地位置に対応する特徴点Ｐｎが周期的に現れる。したがって、走行する被験者Ｓの足Ｆを含む画像を撮影すれば、その画像から直接的に歩幅やストライド時間等の各種データを算出することができるため、簡易な構成によって高精度且つ即座に歩幅やストライド時間等の各種データを測定することが可能になる。
【００３０】
また、歩幅測定装置１０によれば、被験者Ｓの歩幅、ストライド時間、ピッチ数及び走行速度等の各種データを歩数毎に算出することができるため、被験者Ｓのバランス変動やペース配分の変動等を把握し、被験者Ｓの競技力向上等に役立てることが可能になる。更に、コンピュータ１４が個人データ格納部３２を有するため、被験者Ｓ自身の過去のデータ、他人のデータ又は標準データ等と現在測定を行っている被験者Ｓのデータとを比較してその比較結果を表示部１６に表示させることも可能である。
【００３１】
以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記実施形態に限定されない。
【００３２】
例えば、歩幅のみを測定する場合は、次のような算出を行うことが可能である。すなわち、図１２（ａ）に示すＤＴマップ（画像の左側から右側へ被験者Ｓが移動する場合であって、模式的に示したものである）において、その全ての画素の輝度値を垂直方向に積算し、図１２（ｂ）に示す輝度値変化データを取得する。そして、この輝度値変化データを所定の閾値で２値化することによって、図１２（ｃ）に示す２値化データを取得する。この２値化データにおいて連続して現れた右エッジ部（左エッジ部でもよい）の相対距離を算出し、これを実空間における距離に変換することによって、歩幅を算出することができる。
【００３３】
また、２本のラインＬ間をラインＬ方向に並んで走行する複数名の被験者の歩幅を同時に算出することも可能である。これは、後ろを走行する被験者が前を走行する被験者を追い抜かなければ、図１３に示すようなＤＴマップが得られるからである。図１３には、２名の被験者が前後に並んで走行した場合の結果が示されている。
【００３４】
【発明の効果】
以上説明したように、本発明に係る歩幅測定装置は、走行又は歩行する被験者の足を含む画像を撮影する撮影手段と、画像における被験者の足の位置の時間変化に基づいて、被験者の一方の足の着地位置と一方の足に続いて前方に出された被験者の他方の足の着地位置とを取得し、一方の足の着地位置と他方の足の着地位置とに基づいて歩幅を取得する歩幅取得手段とを備えることによって、簡易な構成でありながら高精度に歩幅を測定することができる。
【図面の簡単な説明】
【図１】本発明に係る歩幅測定装置の一実施形態を示す図である。
【図２】図１に示す歩幅測定装置のビデオカメラにより撮影された画像を示す図である。
【図３】図１に示す歩幅測定装置のコンピュータの機能的構成を示すブロック図である。
【図４】図１に示す歩幅測定装置のコンピュータによる積算データの作成処理を説明するための図であり、（ａ）は足Ｆに対応する画素の抽出を示す図、（ｂ）は積算数データを示す図、（ｃ）は積算データを示す図である。
【図５】図１に示す歩幅測定装置のコンピュータにより作成されたＤＴマップを示す図である。
【図６】図１に示す歩幅測定装置の処理手順を説明するためのフローチャートである。
【図７】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離と測定開始時点からの経過時間との関係を示す図である。
【図８】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離と歩幅との関係を示す図である。
【図９】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離とストライド時間との関係を示す図である。
【図１０】図１に示す歩幅測定装置の表示部により表示された、測定開始位置から爪先までの距離と走行速度との関係を示す図である。
【図１１】図１に示す歩幅測定装置の表示部により表示された歩幅とストライド時間との関係を示す図である。
【図１２】歩幅の他の算出処理を説明するための図であり、（ａ）はＤＴマップを示す図、（ｂ）は輝度値変化データを示す図、（ｃ）は２値化データを示す図である。
【図１３】２名の被験者が前後に並んで走行した場合のＤＴマップを示す図である。
【符号の説明】
１０…歩幅測定装置、１２…ビデオカメラ（撮影手段）、１４…コンピュータ（歩幅取得手段）、２２…積算データ作成部（積算データ作成手段）、２４…ＤＴマップ作成部（積算データ群作成手段）、２６…特徴点検出部（特徴点検出手段）、２８…歩幅算出部（歩幅算出手段）、Ｓ…被験者、Ｆ…足。
Claims (2)
- 走行又は歩行する被験者の足を含む画像を撮影する撮影手段と、
前記画像における前記被験者の足の位置の時間変化に基づいて、前記被験者の一方の足の着地位置と前記一方の足に続いて前方に出された前記被験者の他方の足の着地位置とを取得し、前記一方の足の着地位置と前記他方の足の着地位置とに基づいて歩幅を取得する歩幅取得手段とを備え、
前記歩幅取得手段は、
前記撮影手段により撮影された前記画像に基づいて所定時間毎の画像データを取得し、前記画像データにおける画素データを前記被験者の進行方向に直角な方向に積算することにより一次元の積算データを作成する積算データ作成手段と、
前記積算データを前記所定時間毎に配置することにより積算データ群を作成する積算データ群作成手段と、
前記積算データ群において周期的に現れる特徴点を検出する特徴点検出手段と、
前記特徴点のうち連続して現れた２つの前記特徴点を前記一方の足の着地位置と前記他方の足の着地位置とに対応する点として歩幅を算出する歩幅算出手段とを有することを特徴とする歩幅測定装置。 - 走行又は歩行する被験者の足を含む画像を撮影する撮影工程と、
前記画像における前記被験者の足の位置の時間変化に基づいて、前記被験者の一方の足の着地位置と前記一方の足に続いて前方に出された前記被験者の他方の足の着地位置とを取得し、前記一方の足の着地位置と前記他方の足の着地位置とに基づいて歩幅を取得する歩幅取得工程とを備え、
前記歩幅取得工程は、
前記撮影工程において撮影された前記画像に基づいて所定時間毎の画像データを取得し、前記画像データにおける画素データを前記被験者の進行方向に直角な方向に積算することにより一次元の積算データを作成する積算データ作成工程と、
前記積算データを前記所定時間毎に配置することにより積算データ群を作成する積算データ群作成工程と、
前記積算データ群において周期的に現れる特徴点を検出する特徴点検出工程と、
前記特徴点のうち連続して現れた２つの前記特徴点を前記一方の足の着地位置と前記他方の足の着地位置とに対応する点として歩幅を算出する歩幅算出工程とを有することを特徴とする歩幅測定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002336896A JP3947456B2 (ja) | 2002-11-20 | 2002-11-20 | 歩幅測定装置及び歩幅測定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002336896A JP3947456B2 (ja) | 2002-11-20 | 2002-11-20 | 歩幅測定装置及び歩幅測定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004167002A JP2004167002A (ja) | 2004-06-17 |
| JP3947456B2 true JP3947456B2 (ja) | 2007-07-18 |
Family
ID=32700598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002336896A Expired - Fee Related JP3947456B2 (ja) | 2002-11-20 | 2002-11-20 | 歩幅測定装置及び歩幅測定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3947456B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7231834B2 (en) | 2003-07-28 | 2007-06-19 | Hamamatsu Photonics K. K. | Stride measuring apparatus |
| JP4856427B2 (ja) * | 2006-01-13 | 2012-01-18 | 株式会社ジャパーナ | 運動靴又はランニングシューズ選定システム及び提示システム |
| JP5273619B2 (ja) * | 2009-11-13 | 2013-08-28 | 株式会社ユピテル | 走り方解析支援装置およびプログラム |
| JP6361097B2 (ja) * | 2013-08-05 | 2018-07-25 | カシオ計算機株式会社 | 動画処理装置、動画処理方法及びプログラム |
| JP5935012B2 (ja) * | 2014-11-04 | 2016-06-15 | 株式会社ユピテル | 走り方解析支援装置およびプログラム |
| JP6350268B2 (ja) * | 2014-12-22 | 2018-07-04 | 株式会社Ｊｖｃケンウッド | 接地検出装置、接地検出方法およびプログラム |
| CN116465546B (zh) * | 2023-04-20 | 2024-02-13 | 苏州芯思微半导体技术有限公司 | 一种高精度气压传感器的批量标定测量装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
| JP2000115750A (ja) * | 1998-09-30 | 2000-04-21 | Hitachi Ltd | 移動物体監視装置 |
| JP2002063579A (ja) * | 2000-08-17 | 2002-02-28 | Hitachi Plant Eng & Constr Co Ltd | 画像解析装置及びその方法 |
| JP4424869B2 (ja) * | 2001-03-16 | 2010-03-03 | 浜松ホトニクス株式会社 | 歩幅測定装置 |
-
2002
- 2002-11-20 JP JP2002336896A patent/JP3947456B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004167002A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4424869B2 (ja) | 歩幅測定装置 | |
| CN106175778B (zh) | 一种建立步态数据集的方法及步态分析方法 | |
| CN102706319A (zh) | 一种基于图像拍摄的距离标定和测量方法及系统 | |
| CN104665838B (zh) | 体质检测方法及系统 | |
| CN109598242A (zh) | 一种新型的活体检测方法 | |
| CN114307117B (zh) | 基于视频的立定跳远成绩测量方法和装置 | |
| JP6485964B2 (ja) | モーションキャプチャー方法及びモーションキャプチャーシステム | |
| CN111012353A (zh) | 一种基于人脸关键点识别的身高检测方法 | |
| CN109030854B (zh) | 一种基于rgb图像的步速测量方法 | |
| JP3947456B2 (ja) | 歩幅測定装置及び歩幅測定方法 | |
| US9235895B2 (en) | Method for estimating direction of person standing still | |
| JPH10334207A (ja) | 人流計測装置 | |
| JP3844989B2 (ja) | ストローク情報測定装置及びストローク情報測定方法 | |
| CN114569114A (zh) | 一种身高测量方法及装置 | |
| JP4102119B2 (ja) | 歩幅測定装置及び歩幅測定方法 | |
| Wang et al. | Gait analysis and validation using voxel data | |
| JP2804949B2 (ja) | 動画像の処理方法 | |
| Evans et al. | Foot contact timings and step length for sprint training | |
| Barone et al. | A markerless system based on smartphones and webcam for the measure of step length, width and duration on treadmill | |
| KR101649181B1 (ko) | 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법 | |
| JP7430207B2 (ja) | 歩行動画処理装置、方法及びプログラム | |
| Zhou et al. | Kinematics parameter analysis of long jump based on human posture vision | |
| JPWO2003034713A1 (ja) | 泳者撮像装置 | |
| JP2022170183A (ja) | 歩行特徴量検出装置及びプログラム | |
| AKAMINE et al. | Early Results on Sprinting Motion Analysis Using 3D-LiDARs. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070413 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |