JP7430207B2

JP7430207B2 - 歩行動画処理装置、方法及びプログラム

Info

Publication number: JP7430207B2
Application number: JP2022024764A
Authority: JP
Inventors: 匡純熊本; 元喜須藤; 直人高柳; 真澄富崎
Original assignee: Kao Corp
Current assignee: Kao Corp
Priority date: 2022-02-21
Filing date: 2022-02-21
Publication date: 2024-02-09
Anticipated expiration: 2042-02-21
Also published as: JP2023121417A

Description

本発明は、歩行者を正面から撮像した歩行動画を処理する技術に関する。

従来より、歩行者を正面から動画を撮像し、この動画を歩行者の歩容の観察・分析に活用することが行われている（特許文献１参照）。特許文献１に記載のものでは、動画中の歩行者の大きさを安定させて定量的な歩容の観察・分析を可能にするとともに、狭い設置スペースで比較的長時間の歩行動画を撮影可能にするために、無限軌道ベルトを歩行面とするトレッドミルが用いられている。これにより、特許文献１に記載のものでは、歩行者の大きさが安定した歩行動画を取得することができ、この歩行動画に基づいた歩容の観察・分析を行っている。

特開２０１３－６６６９６号公報

しかし、特許文献１に記載のものでは、トレッドミルが必要となるためコストがかかるという問題や、撮影場所がトレッドミルの設置場所に限定されるので利便性が悪いという問題があった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、歩行者の大きさが安定した歩行動画を低コスト且つ容易に取得できる装置、方法及びプログラムを提供することにある。

上記目的を達成するために、本願発明に係る歩行動画処理装置は、所定の歩行通路上を歩行する歩行者を歩行方向前方から前記歩行通路が含まれるように撮像して得られた第１の動画データを取得する動画データ取得手段と、前記第１の動画データから現実空間における歩行者の歩行速度を検出する歩行速度検出手段と、現実空間の三次元座標と第１の動画データのフレーム画像における二次元座標とを変換する座標変換手段と、歩行者に追従する現実空間内における仮想的な枠の三次元座標を前記歩行速度に基づき算出し、当該仮想的な枠の三次元座標を前記座標変換手段により二次元座標に変換し、当該二次元座標に基づき前記第１の動画データの各フレーム画像から仮想的な枠内の画像を抽出し、抽出した画像を所定のサイズに伸縮して第２の動画データを生成する画像抽出手段とを備えたことを特徴とする。

本発明によれば、第１の動画のフレーム画像では歩行にともない大きくなる歩行者の画像が、所定のサイズに伸縮されて第２の動画データとなる。すなわち、トレッドミルを用いることなく、一般的なカメラによる動画データに基づきトレッドミルを用いた場合と同様の歩行動画を取得することができる。

歩行動画処理装置の使用形態を説明する図は歩行動画処理装置の機能ブロック図歩行動画データのフレーム画像の一例基準オブジェクト画像に仮想的な点群をプロットした画像の一例歩行特徴量検出部の機能ブロック図射影変換処理を説明する図動体抽出処理を説明する図端部位置検出処理を説明する図歩行動画データのフレーム画像に仮想的な枠を重畳表示した画像の一例画像抽出処理を説明する図

本発明の一実施の形態に係る歩行動画処理装置について図面を参照して説明する。図１は歩行動画処理装置の使用形態を説明する図、図２は歩行動画処理装置の機能ブロック図である。

本実施の形態に係る歩行動画処理装置１００は、図１に示すように、所定の歩行通路１上を歩行する歩行者１０を正面から撮像するカメラ５０と接続し、カメラ５０により撮像された第１の動画データから歩行者１０の大きさがほぼ一定になるように抽出して第２の動画データを生成する。以降の説明では、第１の動画データを「歩行動画データ」と呼称するものとする。また、第２の動画データは、トレッドミルを用いて撮像した場合と同様の動画データになるので、ここでは「疑似トレッドミル動画データ」と呼称するものとする。また、本実施の形態に係る歩行動画処理装置は、カメラ５０により撮像された歩行動画データに基づき歩行特徴量を検出する。

ここで、本願において歩行特徴量とは、歩行者１０の歩容の評価に用いられ、歩行者１０の歩行を特徴付ける各種パラメータの総称を意味する。歩行特徴量としては、例えば、歩行速度、歩行周期、歩幅、左右の足の接地位置の左右方向の間隔である歩隔などが挙げられる。なお、本願において足とは足首より先の部位を意味し、脚は足を含むものである点に留意されたい。

本実施の形態に係る歩行動画処理装置１００は、歩行動画データに基づき歩行特徴量を検出し、この歩行特徴量を用いて歩行動画データから疑似トレッドミル動画データを生成する。

歩行通路１は、例えば、幅６０ｃｍ、長さ２４０ｃｍ程度の矩形領域からなり、歩行動画処理装置１００による処理対象となる領域である。歩行通路１は、床面に絨毯やシートなどを敷設して他の床面の領域と区画することにより形成することができる。また、歩行通路１は、床面に載置した基準オブジェクトに基づきその領域を設定することができる。正確な歩行特徴量を検出するために、床面は影が映り込まないよう反射率が低く、床面は水平又は水平に限りなく近いことが好ましい。

歩行者１０は、歩行通路１の幅方向略中心線上を歩行通路１の長さ方向に歩行する。歩行者１０は、歩行通路１に対して歩行方向手前に立ち、この立ち位置から歩行を開始する。また、歩行者１０は、歩行通路１上を歩き抜け、歩行通路１の歩行方向前方で歩行を停止する。すなわち、歩行通路１上における歩行者１０の歩行は、歩行開始時及び方向停止時の動作を含まない、安定した歩行状態である。安定した歩容を観測するために、歩行通路１の長手方向の前後には数ｍ程度のスペースがあると好ましい。

カメラ５０は、歩行通路１の歩行者１０の歩行方向前方に静止した状態で設置される。すなわち、カメラ５０は、歩行通路１上を歩行する歩行者１０を正面から撮影する。カメラ５０は、歩行通路１との間に歩行者１０を含む障害物がない条件において、少なくとも撮像した歩行動画データに歩行者１０の全身及び歩行通路１の全体が映り込まれるよう、設置位置、撮影方向、画角などの撮影条件が設定されている。本実施の形態では、カメラ５０は、撮影方向すなわち光軸が、歩行通路１の幅方向中心を通り長手方向に延びる中心線から所定距離だけ上方に移動させた位置を通るように設置されている。また、カメラ５０は、歩行通路１の上面が二次元画像である歩行動画データのフレーム画像２００の横方向となるように設置されている。これにより、図３に示すように、歩行動画データ１７１のフレーム画像２００においては、歩行通路１の長辺２０１を延長した仮想的な線は当該フレーム画像２００の中心点である消失点２０３を通過する線となり、歩行通路１の短辺２０２は当該フレーム画像２００の横方向（Ｘ方向）に延びる線となる。なお、カメラ５０の、画角や歩行通路１との距離は、少なくとも撮像した歩行動画データに歩行者１０の全身及び歩行通路１の全体が映り込まれるのであれば任意である。

歩行動画処理装置１００は、図２に示すように、歩行動画取得部１１０と、座標変換情報生成部１２０と、座標変換部１３０と、歩行特徴量検出部１４０と、画像抽出部１５０と、動画出力部１６０と、記憶部１７０とを備えている。

歩行動画処理装置１００は、主演算装置、主記憶部、補助記憶部、表示装置、入力装置等を備えた従来周知のコンピュータにより構成することができる。歩行動画処理装置１００は、前述の各部として機能させるプログラムをコンピュータにインストールすることにより実装することができる。歩行動画処理装置１００は、専用のハードウェアとして実装することができる。歩行動画処理装置１００は、複数の装置に分散して実装することができる。

歩行動画取得部１１０は、カメラ５０が撮像した画像を歩行動画データ１７１として所定のフレームレート（例えば３０ｆｐｓ）でリアルタイムに取得するとともに、取得した歩行動画データ１７１を記憶部１７０に記憶する。なお、歩行動画取得部１１０は、過去にカメラ５０で撮像した歩行動画データ１７１をネットワークや任意の記憶メディアを介して取得し、これを記憶部１７０に記憶してもよい。

座標変換情報生成部１２０は、後述する座標変換部１３０で用いられる座標変換情報１７２を生成して記憶部１７０に記憶する。座標変換情報１７２は、歩行通路１の上面をＸＹ平面とする現実空間における三次元直交座標と、二次元画像である歩行動画データ１７１のフレーム画像２００の二次元直交座標との対応情報からなり、床面を定量化したものである。この座標変換情報１７２は、歩行動画データ１７１のフレーム画像２００に含まれている歩行通路１の投影領域を特定する通路特定情報としても機能する。本実施の形態では、座標変換情報１７２は、歩行通路１の上面上に所定の間隔で格子状に設定した仮想的な点群の三次元座標と、これら仮想的な点群が歩行動画データ１７１のフレーム画像２００に投影される二次元座標との対応情報からなる。なお、現実空間における三次元直交座標は、図１に示すように、鉛直方向をＺ方向、歩行通路１からカメラ５０に向かう方向をＸ方向、歩行通路１と直交する方向をＹ方向とする。

前述したように、カメラ５０は、撮影方向すなわち光軸が、歩行通路１の幅方向中心を通り長方向に延びる中心線から所定距離だけ上方に移動させた位置を通るように設置されている。また、カメラ５０は、歩行通路１の上面すなわち現実空間の水平面（ＸＹ面）が二次元画像である歩行動画データ１７１のフレーム画像２００の横方向（Ｘ方向）となるように設置されている。したがって、一点透視図法の考え方から、現実空間における仮想的な点群のうち歩行通路１の歩行方向（Ｘ方向）成分が共通な点群に対応する二次元座標は、フレーム画像２００の縦方向（Ｙ方向）成分が共通となる。例えば、歩行通路１が幅６０ｃｍ、長さ２４０ｃｍであり、現実空間において縦横１ｃｍ間隔で仮想点群を設定すると、仮想点群は合計で１４４００個である。ここで、長さ方向が共通の仮想点群は、対応する二次元座標の縦方向（Ｙ方向）成分が共通である。したがって、全仮想点群に対応する二次元座標の縦方向（Ｙ方向）成分の値の数は２４０点となる。一方、全仮想点群に対応する二次元座標の横方向（Ｘ方向）成分の値の数は１４４００点となる。

座標変換情報生成部１２０は、歩行動画データ１７１と同一の撮像条件において撮像され且つ現実空間内の既知の位置に載置された既知の形状の基準オブジェクト２０が含まれるように撮像して得られた基準オブジェクト画像２１０を取得する基準オブジェクト画像取得部１２１を備えている。基準オブジェクト画像２１０としては、まだ歩行者１０による歩行が行われていない歩行動画データ１７１の何れかのフレーム画像２００を用いることができる。本実施の形態では、基準オブジェクト２０は矩形のシート状部材からなる。基準オブジェクト２０の各辺は歩行通路１の各辺と平行となるように配置される。また、記憶部１７０には、基準オブジェクト２０の４点のコーナーの位置情報が基準オブジェクト２０の既知情報１７３として記憶されている。

座標変換情報生成部１２０は、基準オブジェクト画像２１０から当該画像に含まれる基準オブジェクト２０の投影画像から当該基準オブジェクト２０の特徴点を検出し、この特徴点の基準オブジェクト画像２１０における二次元座標を取得する。そして、座標変換情報生成部１２０は、取得した二次元座標と基準オブジェクト２０の特徴点についての既知情報１７３とに基づき座標変換情報１７２を生成する。本実施の形態では、座標変換情報生成部１２０は、まず基準オブジェクト２０の４点のコーナーを特徴点としてその二次元座標をそれぞれ取得し、一点透視図の手法を用いて一度１ｃｍ範囲の４点のコーナーの二次元座標へ縮小した後に、計測対象エリアである歩行通路１まで拡大し、計測範囲に含まれる全ての点の二次元座標を取得する。座標変換情報生成部１２０は、取得した二次元座標と基準オブジェクト２０の特徴点についての既知情報１７３とに基づき座標変換情報１７２を生成する。図４に、座標変換情報１７２の実体である仮想的な点群２０４を基準オブジェクト画像２１０にプロットした様子を示す。

座標変換部１３０は、後述する画像抽出部１５０からの要求に応じて、座標変換情報１７２を参照して、現実空間の三次元座標を歩行動画データ１７１のフレーム画像２００における二次元座標に変換する。

歩行特徴量検出部１４０は、図５に示すように、射影変換部１４１と、動体抽出部１４２と、端部位置検出部１４３と、歩行特徴量算出部１４４とを備えている。

射影変換部１４１は、図６に示すように、歩行動画データ１７１の各フレーム画像２００に対して、歩行通路１の投影領域２０５における画像を、現実空間における歩行通路１の平面形状と一致又は相似するように射影変換して歩行通路１の平面画像２２０を生成することにより射影変換動画データ１７４を生成する。歩行通路１の投影領域２０５は、座標変換情報１７２を参照することにより特定することができる。本実施の形態では、射影変換部１４１は、平面画像２２０のＸ軸方向を歩行通路１の幅方向に一致させ、且つ、平面画像２２０のＹ軸方向を歩行通路１の長さ方向に一致させるよう射影変換処理を行う。

ここで、射影変換部１４１は、歩行通路１の平面画像２２０に対して低解像度化処理を行う低解像度化処理部を機能的に内包することができる。すなわち、射影変換部１４１は、射影変換処理と低解像度化処理を同時に行うことができる。例えば、カメラ５０で撮像した歩行動画データ１７１のフレーム画像２００の幅及び高さが１９２０×１０８０ピクセルであり、当該フレーム画像２００に含まれる歩行通路１の投影領域２０５の幅及び高さが概ね５００×５００ピクセルの範囲程度である場合を考える。また、現実空間において矩形の歩行通路１の幅が６０ｃｍ、歩行方向長さが２４０ｃｍである場合を考える。このとき、歩行通路１の平面形状に関するデータとして、６０×２４０ピクセルの矩形データを設定する。これにより、射影変換動画データ１７４を構成する平面画像２２０の１ピクセルに対応する実空間の大きさは１ｃｍ^２となる。なお、現実空間の大きさと射影変換動画データ１７４の１ピクセルとの対応関係、すなわち射影変換動画データ１７４の解像度は、カメラ５０の解像度に応じて或いは任意に設定可能である。

動体抽出部１４２は、射影変換部１４１により生成された射影変換動画データ１７４の各フレームの平面画像２２０に対して動体抽出処理を行う。動体抽出のアルゴルズムは種々のものを用いることができる。本実施の形態では、２つの異なるフレームを比較することにより平面画像２２０中の動体を抽出する。さらに具体的には、本実施の形態では、処理対象をＮ番目のフレームとすると、Ｎ番目のフレームとＮ－１番目のフレームの加重平均を累積して計算し、当該加重平均とＮ番目のフレームの差分を算出することにより動体抽出処理を行う。また、動体抽出部１４２は、後処理の行程として、減色化処理部を機能的に内包することができ。この減色化処理部は、動体部と非動体部との区別をより明確にするとともに処理負荷を軽減するためである。本実施の形態では、減色化処理として白黒二値化処理を行っている。なお、さらに前処理の行程として、例えばグレースケール化などの減色化処理や、ガウシアンフィルタ適用などのノイズ除去処理を行うようにしてもよい。

図７に動体抽出部１４２による処理例を示す。図７（ａ）は動体抽出処理前の射影変換動画データ１７４の平面画像２２０ａである。図７（ａ）には歩行通路１を歩行する歩行者１０の両脚部（足部を含む）が映っている。この画像における歩行者１０の歩行状態は、右脚（紙面左側の脚）１１が接地しており、左脚（紙面右側の脚）１２が地面を離れて前方（紙面下方）に移動中である。図７（ｂ）は動体抽出処理後の射影変換動画データ１７４の平面画像２２０ｂである。図７（ｂ）に示すように、動体抽出処理後の平面画像２２０ｂは、接地しており動きがない又は動きが小さい右脚１１及び非動体である歩行通路１の表面部分は抽出されず、動きがある左脚１２が抽出されている。図７（ｃ）は、動体抽出処理について理解を容易にするため、図７（ａ）の平面画像２２０ａに、抽出した動体部の輪郭を重畳したものである。

端部位置検出部１４３は、動体抽出後の射影変換動画データ１７４の各フレームの平面画像２２０に対して、当該平面画像２２０に含まれる歩行者１０の投影部について当該画像における歩行方向前方の端部位置を検出し、端部位置データ１７５として記憶部１７０に記憶する。より具体的には、端部位置検出部１４３は、図８に示すように、平面画像２２０においてＹ軸方向（歩行方向）の最大値から最小方向に向かって動体部が存在しているかを行走査し、各Ｘ座標について動体部を最初に検出したＹ軸方向の位置を検出して、端部位置データ１７５として記憶部１７０に記憶する。ここで、動体部が検出されなかったＸ座標についてはＹ軸方向の検出位置として最小値（例えばゼロ）を記録する。

歩行特徴量算出部１４４は、端部位置検出部１４３により検出された端部位置の経時的変化に基づき歩行特徴量を算出する。歩行特徴量算出部１４４の算出する歩行特徴量は、少なくとも、歩行速度及び歩行周期を含む。歩行特徴量算出部１４４は、他の歩行特徴量として、歩幅、歩隔、ケーデンス、歩行角度、歩行比、歩幅左右差（１ＲＬ）、歩隔左右差（２ＲＬ）、歩行周期時間（３ＲＬ）、歩行角度左右差（４ＲＬ）などを算出することができる。

画像抽出部１５０は、歩行者１０に追従する現実空間内における仮想的な枠の三次元座標を前記歩行特徴量算出部１４４により算出された歩行速度に基づき算出し、仮想的な枠の三次元座標を前記座標変換部１３０により二次元座標に変換し、この二次元座標に基づき歩行動画データ１７１の各フレーム画像２００から仮想的な枠内の画像を抽出し、抽出した画像を所定のサイズに伸縮して疑似トレッドミル動画データ１７６を生成し、この疑似トレッドミル動画データ１７６を記憶部１７０に記憶する。仮想的な枠は、現実空間においては、ＹＺ平面に設定され歩行者１０を囲むような矩形の枠であり、歩行者１０の歩行に追従して歩行方向すなわちＸ方向に移動させる。図９に歩行動画データ１７１の各フレーム画像２００に仮想的な枠２３０を重畳表示した一例を示す。

本実施の形態では、仮想的な枠２３０の横幅は計測対象エリアである歩行通路１の幅と一致する。また、仮想的な枠２３０の高さは横幅の所定倍（例えば３倍）とする。画像抽出部１５０は、まず、前記歩行特徴量算出部１４４により算出された歩行速度（ｃｍ／ｓ）を歩行動画データ１７１のフレームレートで除算した値を１フレームあたりＬｃｍ進んだ値として算出する。

次に、画像抽出部１５０は、端部位置検出部１４３において足が検出される３から５フレーム前をスタートフレームとし、前記１フレームあたりに進む距離Ｌを用いてフレームごとに仮想的な枠２３０の底部について歩行方向すなわちＸ方向の三次元座標を算出する。ここで、前述したように、前記座標変換情報１７２は計測対象エリアである歩行通路１の三次元座標も特定することができる。また、前述したように、仮想的な枠２３０の横幅は計測対象エリアである歩行通路１の幅としている。そこで、画像抽出部１５０は、座標変換部１３０を用いることにより、フレームごとに、仮想的な枠２３０の底辺の両端部の三次元座標と、当該三次元座標に対応する歩行動画データ１７１のフレーム画像２００における両端部の二次元座標を取得することができる。さらに、画像抽出部１５０は、当該両端部の二次元座標から歩行動画データ１７１のフレーム画像２００における仮想的な枠２３０の横幅を算出し、さらに当該横幅から歩行動画データ１７１のフレーム画像２００における仮想的な枠２３０の上辺の両端部の二次元座標を算出する。以上より、画像抽出部１５０は、歩行動画データ１７１のフレーム画像２００における仮想的な枠２３０の四隅の二次元座標を取得できる。そして、画像抽出部１５０は、この四隅の二次元座標を用いて、歩行動画データ１７１のフレーム画像２００における仮想的な枠２３０内の画像を抽出する。ここで、抽出した画像のサイズはフレームごとに異なる。そこで、画像抽出部１５０は、図１０に示すように、抽出した画像を一定のサイズに伸縮する。画像抽出部１５０は、以上の処理をフレームごとに歩行動画データ１７１に対して行うことにより、疑似トレッドミル動画データ１７６を生成し、この疑似トレッドミル動画データ１７６を記憶部１７０に記憶する。

動画出力部１６０は、画像抽出部１５０によって生成された疑似トレッドミル動画データ１７６について、任意のフレームを開始フレームとし、前記歩行特徴量算出部１４４により算出された歩行周期に基づき終了フレームを算出し、開始フレームから終了フレームの時間区間を繰り返し出力することができる。このように歩行周期に基づいた時間区間を繰り返し出力することで、表示を続けている間は歩行が連続しているかのように表示できる。なお、フレームと時間との変換処理は疑似トレッドミル動画データのフレームレートを参照すればよい。動画の出力先は、所定の表示装置（図示省略）であってもよいし記憶部１７０であってもよいし、外部の他の装置であってもよい。なお、動画出力部１６０は、疑似トレッドミル動画データ１７６をそのまま出力することもできる。

このような歩行動画処理装置１００によれば、歩行動画データ１７１では歩行にともない大きくなる歩行者１０の画像が、所定のサイズに伸縮されて疑似トレッドミル動画データ１７６となる。すなわち、トレッドミルを用いることなく、一般的なカメラ５０による歩行動画データに基づきトレッドミルを用いた場合と同様の歩行動画を取得することができる。

以上、本発明の一実施の形態について詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

例えば、上記実施の形態では、現実空間の三次元座標と歩行動画データ１７１のフレーム画像２００における二次元座標とを変換する座標変換手段として、基準オブジェクト画像２１０に基づき撮像画像データ両者の対応情報である座標変換情報１７２を生成し、この座標変換情報１７２を用いて座標変換処理を行っていたが、他の手段を用いてもよい。例えば、基準オブジェクト画像２１０に基づき現実空間の三次元座標系から二次元座標系への変換関数を生成し、この変換関数を用いて座標変換処理を行ってもよい。

また、上記実施の形態では、動画出力部１６０は、疑似トレッドミル動画データ１７６について歩行周期に基づく任意の時間区間において繰り返し出力する機能を有しているが、この機能を設けるか否かは任意であり本発明の必須の要素ではない。すなわち、動画出力部１６０は、疑似トレッドミル動画データ１７６をそのまま出力するものであってもよい。なお、この場合には歩行周期の算出処理も任意である。

また、上記実施の形態では、歩行動画データ１７１から現実空間における歩行者１０の歩行速度を検出する手段として、まず射影変換動画データ１７４を生成し、この射影変換動画データ１７４のフレーム画像に含まれる歩行者１０の足位置を検出し、この足位置の経時的変化に基づき歩行速度を算出していたが、他の手段を用いて歩行速度や当該歩行速度に相当するパラメータを算出するようにしてもよい。例えば、歩行者１０の部位であって歩行時に比較的安定した移動速度となる部位を歩行動画データ１７１のフレーム画像から抽出し、当該抽出した部位についての画像サイズの経時的変化に基づき移動速度を算出し、この移動速度を歩行速度に相当するパラメータとしてもよい。このような部位としては、例えば歩行者１０の顔や頭などが挙げられる。また、歩行者１０のこのような部位に既知の大きさの基準オブジェクトを付設し、この基準オブジェクトを歩行動画データ１７１のフレーム画像から抽出するようにしてもよい。このような基準オブジェクトとしては、例えば、歩行者１０が装着するメガネや帽子、歩行者１０の頭部や胴体部に装着した専用のマーカーなどが挙げられる。そして本願発明では、このような歩行速度に相当するパラメータを用いて、仮想的な枠の三次元座標を算出することができる。

同様に、上記実施の形態では、歩行動画データ１７１から現実空間における歩行者１０の歩行周期を検出する手段として、まず射影変換動画データ１７４を生成し、この射影変換動画データ１７４のフレーム画像に含まれる歩行者１０の足位置を検出し、この足位置の経時的変化に基づき歩行周期を算出していたが、他の手段を用いて歩行周期や当該歩行周期に相当するパラメータを算出するようにしてもよい。例えば、疑似トレッドミル動画データ１７６において、歩行者１０の部位であって歩行時に比較的安定した移動速度となる部位の高さ位置（Ｙ座標位置）を検出し、当該高さ位置の経時的変化に基づき歩行周期に相当するパラメータを算出してもよい。このような部位としては、例えば歩行者１０の顔や頭などが挙げられる。また、歩行者１０のこのような部位に既知の形状の基準オブジェクトを付設し、この基準オブジェクトの高さ位置を疑似トレッドミル動画データ１７６のフレーム画像から検出するようにしてもよい。このような基準オブジェクトとしては、例えば、歩行者１０が装着するメガネや帽子、歩行者１０の頭部や胴体部に装着した専用のマーカーなどが挙げられる。

また、上記実施の形態では、歩行動画処理装置１００とカメラ５０とを別装置として構成しているが、歩行動画処理装置１００にカメラ５０を内蔵させるようにしてもよい。

また、上記実施の形態では、カメラ５０で歩行者１０の歩行状態を撮影して歩行動画データを取得した後に歩行動画データの処理を行っているが、カメラ５０で撮影しながらリアルタイムで歩行動画データの処理を行うようにしてもよい。

１…歩行通路
１０…歩行者
５０…カメラ
１００…歩行動画処理装置
１１０…歩行動画取得部
１２０…座標変換情報生成部
１３０…座標変換部
１４０…歩行特徴量検出部
１４１…射影変換部
１４２…動体検出部
１４３…端部位置検出部
１４４…歩行特徴量算出部
１５０…画像抽出部
１６０…動画出力部
１７０…記憶部

Claims

所定の歩行通路上を歩行する歩行者を歩行方向前方から前記歩行者の全身及び前記歩行通路が含まれるように撮像して得られた第１の動画データを取得する動画データ取得手段と、
前記第１の動画データから現実空間における歩行者の歩行速度を検出する歩行速度検出手段と、
現実空間の三次元座標と第１の動画データのフレーム画像における二次元座標とを変換する座標変換手段と、
歩行者に追従する現実空間内における仮想的な枠の三次元座標を前記歩行速度に基づき算出し、当該仮想的な枠の三次元座標を前記座標変換手段により二次元座標に変換し、当該二次元座標に基づき前記第１の動画データの各フレーム画像から仮想的な枠内の画像を抽出し、抽出した画像を所定のサイズに伸縮して第２の動画データを生成する画像抽出手段とを備えた
ことを特徴とする歩行動画処理装置。
前記歩行速度検出手段は、
前記第１の動画データのフレーム画像に対して前記歩行通路の平面形状と一致又は相似するように射影変換して第３の動画データを生成する射影変換手段と、
前記第３の動画データのフレーム画像に含まれる歩行者の足位置を検出し、当該足位置の経時的変化に基づき歩行速度を算出する演算手段とを含む
ことを特徴とする請求項１記載の歩行動画処理装置。
前記第１の動画データと同一の撮像条件において撮像され且つ現実空間内の既知の位置に載置された既知の形状の基準オブジェクトが含まれるように撮像して得られた基準オブジェクト画像を取得する基準オブジェクト画像取得手段を備え、
前記座標変換手段は、前記基準オブジェクトの特徴点の前記基準オブジェクト画像における二次元座標と前記特徴点の現実空間内における三次元座標とに基づき形成される
ことを特徴とする請求項１又は２記載の歩行動画処理装置。
前記第１の動画データから現実空間における歩行者の歩行周期を検出する歩行周期検出手段と、
前記第２の動画データのうち所定の再生開始時刻から前記歩行周期までの時間区間を繰り返し出力する出力手段を備えた
ことを特徴とする請求項１から３の何れか１項に記載の歩行動画処理装置。
コンピュータを用いて歩行動画を処理する方法であって、
所定の歩行通路上を歩行する歩行者を歩行方向前方から前記歩行者の全身及び前記歩行通路が含まれるように撮像して得られた第１の動画データを取得するステップと、
前記第１の動画データから現実空間における歩行者の歩行速度を検出するステップと、
歩行者に追従する現実空間内における仮想的な枠の三次元座標を前記歩行速度に基づき算出し、当該仮想的な枠の三次元座標を第１の動画データのフレーム画像における二次元座標に変換し、当該二次元座標に基づき前記第１の動画データの各フレーム画像から仮想的な枠内の画像を抽出し、抽出した画像を所定のサイズに伸縮して第２の動画データを生成するステップとを備えた
ことを特徴とする歩行動画処理方法。
コンピュータを、請求項１から４の何れか１項に記載の歩行動画処理装置として機能させる
ことを特徴とする歩行動画処理プログラム。