JP3655618B2 - 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム - Google Patents
歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム Download PDFInfo
- Publication number
- JP3655618B2 JP3655618B2 JP2003092910A JP2003092910A JP3655618B2 JP 3655618 B2 JP3655618 B2 JP 3655618B2 JP 2003092910 A JP2003092910 A JP 2003092910A JP 2003092910 A JP2003092910 A JP 2003092910A JP 3655618 B2 JP3655618 B2 JP 3655618B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- detected
- specific part
- walking state
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理を用いて歩行者の歩行状態および年齢を判定する技術に関する。
【０００２】
【従来の技術】
歩行状態の判定のための手法として、圧力センサを用いた手法が提案されている（例えば、非特許文献１参照。）。この手法は大面積に形成された圧力センサを用いて歩行者の足圧を測定し、足圧の分布および歩行の空間的パラメータ（歩幅、重複歩幅、歩隔）と時間的パラメータ（一歩歩幅、重複歩時間、遊脚時間、両足接地時間）を表示し、歩行者の歩行状態を判定する手法である。
一方、歩行状態を判定する手法として、画像を用いることにより、歩行速度や歩幅などの情報を、安価かつ広範囲に得る手法がある（例えば、特許文献１参照。）。
【０００３】
また、歩行者属性の推定のための手法として、全身の形状的特徴から性別を推定する方法（例えば、非特許文献２参照。）や、歩行者の顔の特徴から年齢を推定する方法（例えば、非特許文献３参照。）などがある。非特許文献２における手法は人間のシルエットの形状に服装や髪型の違いといった男女識別情報が表れることに着目し、人物のシルエット画像にモルフォロジー処理を施して、そのパターンスペクトルの違いから男女を識別する手法である。非特許文献３における手法はＣＣＤカメラを用いて人物の顔を撮影し、顔面の各特徴点にウェブレッツ変換処理を施して各点の方向性と周波数を求め、それを予め取得しておいた標準顔面像のものと比較して顔の認識を行う手法である。
【０００４】
【非特許文献１】
大面積圧力センサを用いた歩行パターン計測装置の開発（電子情報通信学会論文誌D-II Vol.J84-D-II No.2 pp.380-389）
【特許文献１】
特開平１１−３３９１３９号公報
【非特許文献２】
モルフォロジー処理によるパターンスペクトルを特微量に用いた男女識別法（電子情報通信学会論文誌 D-II Vol.J80-D-II No.5 pp.1037-1045）
【非特許文献３】
自由歩行下での顔認識（Interaction'99（情報処理学会主催研究会）IA-01 March 1999）
【０００５】
【発明が解決しようとする課題】
圧力センサを用いて歩行状態を判定する手法では、薄いフィルム状のセンサが用いられる。このようなセンサは非常に繊細であり、人間の体重が掛かったり、足で強く蹴りつけられたりするような場面では、耐久性の面で不安が生じる。また、人間が歩けるスペース分の大面積のセンサが必要となるため、価格は高いものになってしまう。
【０００６】
一方、画像を利用する場合、歩行者の足が何らかの障害物により隠蔽されてしまうような場面では、足元の位置や足元の状態を判別することは極めて困難である。したがって、実空間での位置を特定できないため、速度の絶対値を求めることは難しい。このため、画像から速度や歩幅の情報を得る特許文献１の方法は、使用できる場面が著しく限定されてしまう。
【０００７】
また、歩行者属性推定法に関しては、前記のいずれの手法（全身形状の特徴からの性別推定法、顔の特徴からの年齢推定法）においても、安定した状態で全身又は顔の画像がはっきりと撮影されている必要があり、その利用場面が限定されてしまうため、実用性に欠ける。
【０００８】
本発明は、上記実状に鑑みてなされたものであり、高い精度を保ちつつも汎用性の高い歩行状態の判定および歩行者年齢の判定を可能とすることを目的とする。また、何らかの障害物（店舗の棚など）で歩行者の足元が見えない場面における歩行状態の判定を可能にすることを他の目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る歩行者年齢判定装置は、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の速度を検出する速度検出手段と、
歩行速度の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の速度を分類する手段と、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する手段と、
を備えることを特徴とする。
【００１０】
上記目的を達成するため、本発明の第２の観点に係る歩行者年齢判定装置は、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の身長を検出する身長検出手段と、
身長の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の身長を分類する分類手段と、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する手段と、
を備えることを特徴とする。
【００１１】
前記歩行者年齢判定装置は、
歩行運動の基本振動周波数の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記周波数スペクトルの基本振動周波数をいずれかの分類に分類して、その分類に割り当てられている分類により前記検出対象者の歩行状態を判定する手段と、
を備えてもよい。
【００１２】
本発明の第３の観点に係る歩行状態および歩行者年齢判定方法は、
三次元空間を撮影した一連の二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象者の特定部位を検出し、
検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出し、
算出された軌跡の周波数スペクトルを取得し、
取得した周波数スペクトルに基づいて歩行状態を判定し、
前記検出対象者の速度を検出し、
歩行速度の統計的な事例データを格納し、
該事例データに基づいて前記検出対象者の速度を分類し、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する、
ことを特徴とする。
【００１３】
本発明の第４の観点に係る歩行状態および歩行者年齢判定方法は、
三次元空間を撮影した一連の二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象者の特定部位を検出し、
検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出し、
算出された軌跡の周波数スペクトルを取得し、
取得した周波数スペクトルに基づいて歩行状態を判定し、
前記検出対象者の身長を検出し、
身長の統計的な事例データを格納し、
該事例データに基づいて前記検出対象者の身長を分類し、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する、
ことを特徴とする。
【００１４】
本発明の第５の観点に係るプログラムは、
コンピュータを、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の速度を検出する速度検出手段と、
歩行速度の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の速度を分類する手段と、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する手段と、
して機能させることを特徴とする。
また、本発明の第６の観点に係るプログラムは、
コンピュータを、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の身長を検出する身長検出手段と、
身長の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の身長を分類する分類手段と、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する手段と、
して機能させることを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態に係る歩行状態・歩行者属性判定装置および判定方法を説明する。
【００１６】
本実施の形態に係る歩行状態・歩行者属性判定装置１は、図１に示すように、撮像装置（カメラ）１１と、画像バッファ１２と、高さセンサ１３と、速度センサ１４と、入力処理部１５と、コンピュータ１６と、大容量ハードディスク（ＨＤＤ）１７と、周波数解析処理装置（ＦＦＴ）１８と、から構成される。
【００１７】
撮像装置１１は、ディジタルスチルカメラなどから構成され、図２に模式的に示すように、三次元実空間ＲＳの任意の位置に実空間ＲＳを通行する歩行者を撮影するように設置されている。撮像装置１１の設置位置の高さＴと光軸の傾きαとは、事前に求められている。撮像装置１１は、一定期間Δｔおきに、三次元実空間の静止画像を取得して、任意のフォーマットの画像データを出力する。
【００１８】
画像バッファ１２は、撮像装置１１から送られた画像データを一時的に記憶し、入力処理部１５の転送速度に合わせて順次送り出す。
【００１９】
高さセンサ１３は、三次元実空間ＲＳを通行する人間の高さ（背が高い、低いの別）を検出する。高さセンサ１３は、図３に示すように、通路（三次元実空間ＲＳ）の一側の異なる高さ位置に配置され、それぞれ通路の他側に向けて水平に光ビームを照射する発光器１３１，１３２と、通行エリアの他側に配置された受光器１３３と１３４とから構成される。
【００２０】
通行人が高さセンサ１３の設置位置を通過した際、受光器１３３、１３４が発光器１３１、１３２からの光ビームをいずれも受光できなければ、通行者は背の高い人であり；受光器１３４が発光器１３２からの光ビームを受光でき、受光器１３３が発光器１３１からの光を受光できなければ、通行者は背の低い人である。
【００２１】
速度センサ１４は、通行人が高さセンサ１３の発光器１３１、１３２のいずれかが照射する光ビームを横切った（ビームを遮った）時点で、通行人の速度を検出する。即ち、受光器１３３は光ビームを検出できなくなると、速度センサ１４にトリガ信号を発行する。速度センサ１４は、このトリガ信号に応答して、光ビームが照射されている位置の通行人の速度を検出する。
【００２２】
高さセンサ１３と速度センサ１４とは、測定結果を入力処理部１５に供給する。
【００２３】
入力処理部１５は、ＨＤＤ１７に通信ネットワークを介して接続される。入力処理部１５は、図４に模式的に示すように、画像バッファ１２を介して撮像装置１１から連続的に供給される一連の静止画ＩＭの画像データを撮影時刻（又は順番）ｔと対応付けて、ＨＤＤ１７に提供する。
【００２４】
また、入力処理部１５は、高さセンサ１３の２つの受光器１３３，１３４の出力信号から、光ビームを横切った人物の背の高さを、高い、低いの２段階に分ける。更に、速度センサ１４の出力から、光ビームを横切った人物の速度を１〜４の４段階に分ける（なお、このような区分は、図９を参照して後述する分類表での分類に対応する）。次に、測定時刻と対応付けて、例えば、「ｔ＝ｔ３，背＝高い、速度＝３」というように対応付けて、ＨＤＤ１７に送信する。
【００２５】
コンピュータ１６は、制御部１６１と、メモリ１６２と、入力部１６３と、表示部１６４と、を備える。
【００２６】
メモリ１６２は、図５（ａ）に示すように、ＲＯＭ１６２ａとＲＡＭ１６２ｂとを備える。
【００２７】
ＲＯＭ１６２ａは、フラッシュメモリ、ハードディスク装置などから構成され、制御部１６１の動作を規定する動作プログラムを記憶する。また、ＲＯＭ１６２ａは、制御部１６１の動作を制御する制御データや、図５（ｂ）に模式的に示すような、歩行者が歩行を行う際の基本周波数と速度と歩行者の身長とを統計的な値に基づいて分類した分類データを格納されている。
【００２８】
ＲＡＭ１６２ｂは、制御部１６１のワークエリアとして機能する。
【００２９】
図１に示す入力部１６３は、キーボード、マウスなどから構成され、種々の命令やデータを制御部１６１に入力する。
【００３０】
表示部１６４は、ＣＲＴ、液晶表示装置などから構成され、撮像装置１１により取得された二次元画像など、様々な画像を表示する。また、三次元実空間ＲＳ内を歩行する人間の頭頂部の画像上の軌跡や、ＦＦＴ１８により軌跡を周波数解析した結果などを表示する。
【００３１】
制御部１６１は、コンピュータ１６全体の動作を制御するためのものであり、マイクロプロセッサ等から構成され、ＲＯＭ１６２ａに格納された動作プログラムに従ってＲＡＭ１６２ｂをワークエリアとして使用して動作する。制御部１６１は、三次元実空間ＲＳを歩行する歩行者の画像上軌跡を求め、軌跡の周波数スペクトル等から、歩いているのか走っているのかといった歩行者の歩行状態と、大人なのか子供なのかといった歩行者の属性とを判定して出力する。
【００３２】
具体的には、制御部１６１は、１）ＨＤＤ１７に格納されている一連の二次元画像ＩＭを読み出し、２）各二次元画像ＩＭ中の検出対象（人間）の特徴点（頭丁）を検出し、３）検出対象の特徴点の各二次元画像ＩＭ内の位置を判別し、４）各二次元画像ＩＭ中での特徴点の位置をつなぎ合わせて特徴点の一連の二次元画像ＩＭ上の軌跡を求め、５）その軌跡を周波数解析処理装置ＦＦＴ１８に送って周波数解析により周波数スペクトルを求めさせ、６）その周波数スペクトルから支配的な周波数成分を抽出して歩行状態を判定し、７）その歩行状態と歩行者の速度又は身長とから歩行者属性を判定して判定結果を表示部１６４に表示する。制御部１６１が実行する処理の詳細は後述する。
【００３３】
ＨＤＤ１７は、２つの入出力ポートＩＯＰを有し、入力処理部１５から提供される二次元画像ＩＭや高さ・速度データを第１のポートＩＯＰ１で受信して、順次記憶し、一方、コンピュータ１６の要求に従って、記憶している画像データを第２のポートＩＯＰ２から出力する。また、コンピュータ１６で処理された後の軌跡データやその画像データを第２ポートＩＯＰ２を介して受信して記憶する。
【００３４】
周波数解析（Fast Fourier Transform）処理装置ＦＦＴ１８は、制御部１６１によって取得された二次元画像ＩＭ上の歩行者の頭頂部の時間軸上の移動軌跡を受信し、周波数解析処理を行って歩行運動の周波数スペクトルを求める。
【００３５】
次に、上記構成を有する歩行状態・歩行者属性判定装置１の動作を、三次元実空間ＲＳを歩行する歩行者の歩行状態を判定する場合を例に説明する。
【００３６】
この例においては、検出対象を人間とし、その頭頂部を特徴部とする。二次元画像ＩＭ上で、人間の頭頂部を検出する処理として、ここでは、特開２００２−１９７４６３号公報に記載されている技術を使用する。この処理は、入力画像を差分処理によって非背景領域と背景領域とに分別し、非背景領域の中で画像上最も高い点の座標を、検出対象部位としての人間の頭頂部として抽出する方法である。この検出対象部位を抽出するための画像処理プログラムもメモリ１６２に格納されている。
【００３７】
１．準備動作
歩行者状態判定の一連の動作に入る前の準備段階として、事例データを収集して、これを統計的に分析して歩行状態と周波数との対応付け分類表（モデル）を作り、それをメモリ１６２に記憶させる。例えば幼児、大人、老人といった各年代層を含む１００人の歩行者モデルにゆっくり歩き、早歩き、走行を行ってもらい、その際に得られる頭部の移動軌跡から、各々の歩行運動の基本周波数を求める（この歩行運動の基本周波数のことを歩行リズムとも呼ぶ）。次に、歩行者モデルの歩行リズムの平均値を求め、リズムが第１の所定値以上の場合は走行、第２の所定値以下はゆっくり歩き、第１の所定値と第２の所定値の間の場合は早歩き、というように境界（第１と第２の所定値）を決定する。また、その境界分けをもとに、歩行状態を分類するための分類表を作成する。この分類表は図９（ａ）に例示するような形をとり、歩行者の歩行リズムをこの分類表に当てはめることで、周波数が高ければ走行、中くらいならば早歩き、低ければゆっくり歩きと判定する仕様を有する。この分類表を、ＲＯＭ１６２ａに格納する。
【００３８】
また、歩行者の歩行速度に関する事例データを収集し、歩行者モデルの各々の年代における歩行速度の平均値から、速度が速い遅いといった境界を決定し、リズムと速度との関係で歩行者の属性（年齢）を判定するための、図１０（ｂ）に例示するような分類表を作成し、ＲＯＭ１６２ａに格納する。歩行状態と歩行者の歩行速度とをこの分類表に当てはめることにより、例えば歩行速度が「３」で「早歩き」をしていた歩行者は大人であるとの分類が可能である。なお、入力処理部１５が、速度センサ１４の出力から生成する速度を示す情報は、この分類表で使用される速度のいずれかを示す情報である。
【００３９】
また、歩行者の身長に関する事例データを収集し、歩行者モデルの各々の年代における身長の平均値から、身長が高い低いといった境界を決定し、リズムと身長との関係で歩行者の属性（年齢）を判定し、図１０（ｃ）に示すような分類表を作成し、ＲＯＭ１６２ａに格納する。歩行状態と歩行者の身長とをこの分類表に当てはめることにより、例えば身長が高くて走行をしていた歩行者は大人であるとの分類が可能である。なお、入力処理部１５が、高さセンサ１３の出力から生成する速度を示す情報は、この分類表で使用される高さのいずれかを示す情報である。
【００４０】
また、頭頂部を検出するための差分処理の準備として、三次元実空間ＲＳに歩行者が存在しない状態の画像、いわゆる背景画像を取得し、ＨＤＤ１７に記憶させる。
【００４１】
２．二次元画像取得動作
三次元実空間ＲＳの所定の位置に設置された撮像装置１１は、一定時間Δｔ間隔で、三次元空間ＲＳを撮影した二次元画像ＩＭを取得して、出力する。この二次元画像ＩＭは、画像バッファ１２に一旦蓄積された後、入力処理部１５により撮像時刻と対応付けられてＨＤＤ１７に転送される。ＨＤＤ１７は、図４に模式的に示すように、順次転送されてくる二次元画像ＩＭを記憶する。
【００４２】
３．速度・高さ取得動作
二次元画像ＩＭの取得動作と平行して、高さセンサ１３および速度センサ１４により、通行人の背の高さと速度とを示す情報を収集する。この情報は、入力処理部１５により時刻情報と対応付けられてＨＤＤ１７に転送され、ＨＤＤ１７に蓄積される。
【００４３】
４．歩行状態・歩行者属性判定動作
上述の画像取得動作と並行して、或いは、上述の画像取得動作で過去に取得した一連の二次元画像ＩＭについて、コンピュータ１６は、以下の一連の動作を行って、三次元実空間ＲＳを歩行する歩行者の歩行状態と属性（eg.年代）とを求める。この処理は、以下に説明する、特徴点検出動作と状態・属性判定動作とから構成される。
【００４４】
４．１ 特定部位検出動作
この処理は、各二次元画像ＩＭ上で、検出対象物の特徴点である歩行者の頭頂部の位置を求める動作である。この特徴点検出動作を図６を参照して説明する。
【００４５】
コンピュータ１６の制御部１６１は、入力部１６３からの入力指示等に応答して、ＨＤＤ１７に蓄積されている二次元画像ＩＭを撮影時刻の順に読み出し、読み出した各二次元画像ＩＭについて図６のフローチャートに示す処理を実行する。まず、最初の二次元画像ＩＭ（撮影時刻ｔ０）を呼び出し、この二次元画像ＩＭ中で歩行者の頭頂部を検出する（ステップＳ１０１）。
【００４６】
続いて、ステップＳ１０１の処理で得られた画像中に歩行者の画像が存在するか否かを判別する（ステップＳ１０２）。歩行者の存在が確認されなかった場合（ステップＳ１０２：Ｎｏ）、この画像については、これ以上の処理は行わず、メインルーチンにリターンする。
【００４７】
一方、歩行者を検出した場合（ステップＳ１０２：Ｙｅｓ）、歩行者の特徴点（頭頂部）の位置、即ち、人間の画像のうちの最上点の座標（ｘ、ｙ）を検出する（ステップＳ１０３）。
【００４８】
続いて、時間的に隣り合わせとなる２枚の静止画像の間でどの歩行者がどの歩行者と同一人物であるのかを確認する作業（同定作業）を行う（ステップＳ１０４）。ただし、ｔ＝ｔ０は撮影開始時の時刻であり、それ以前の時刻の情報が存在せず、同定作業を必要としないため、素通りしてステップＳ１０５に進む。
【００４９】
ステップＳ１０５においては、二次元画像ＩＭ内に新たな歩行者を検出したか否かを判別する。それ以前の二次元画像ＩＭのないｔ＝ｔ０の二次元画像ＩＭ内では、全ての歩行者が新歩行者である。このため、ステップＳ１０５では、Ｙｅｓと判別され、処理はステップＳ１０６へ進む。
【００５０】
ステップＳ１０６において、制御部１６１は、画像内で新たに検出された歩行者について、その人間を識別するための情報（以下、オブジェクト番号ＯＢｉ：ｉは整数）を割り当てる。例えば、画像内で検出した第１の歩行者にオブジェクト番号ＯＢ１を割り当てる。二次元画像ＩＭ内に歩行者が複数存在する場合は、順次、ＯＢ２、、ＯＢ３、・・・・・・を割り当てる（ステップＳ１０６）。
【００５１】
次に、ｔ＝ｔ０のタイミングで、高さセンサ１３と速度センサ１４によって高さと速度とが測定されて、ＨＤＤ１７に記憶されているか否かを判別し、記憶されていれば、対応するオブジェクトに検出された高さ（背の高さ）と速度（歩行速度）とを割り当てる（ステップＳ１０７）。なお、オブジェクトが２つ以上存在し、高さセンサ１３の光ビームを横切った人物に対応するオブジェクトを判定できないような場合には、オペレータにエラー処理（オブジェクトと高さ・速度情報との対応付け）を要求してもよい。
【００５２】
以上で、ｔ＝ｔ０の二次元画像ＩＭへの処理が終了する。
【００５３】
図７（ａ）に、ｔ＝ｔ０の二次元ＩＭ画像への処理の結果の例を模式的に表す。この例は、二次元画像ＩＭ内に二人の歩行者を検出し、オブジェクト番号ＯＢ１とＯＢ２を割り当て、ＯＢ１の頭頂部の座標が（ｘ０１，ｙ０１）とＯＢ２の頭頂部の座標が（ｘ０２，ｙ０２）であったことを示している。
【００５４】
次に、制御部１６１は、２番目の二次元画像ＩＭ（ｔ＝ｔ１）を選択し、この画像に図６の処理を実行する。まず、この二次元画像ＩＭ内に存在する歩行者の頭頂部を検出する（ステップＳ１０１）。
【００５５】
次に、歩行者が検出されたか否かを判別し（ステップＳ１０２）、歩行者が検出されれば（ステップＳ１０２：Ｙｅｓ）、検出した各歩行者の頭頂部の位置座標（ｘ，ｙ）を検出し（ステップＳ１０３）、検出した歩行者の同定作業を行う（ステップＳ１０４）。即ち、検出した歩行者が従前の二次元画像ＩＭ内にも存在していた歩行者であるか否かを判別する。この処理のため、制御部１６１は、ｔ＝ｔ０の二次元画像ＩＭ上に存在した歩行者の位置と今回検出した歩行者の位置とを比較し、両画像間で最も近い位置に存在する歩行者を同一の歩行者であると判別し、従前と同一のオブジェクト番号ＯＢを割り当てる。
【００５６】
続いて、検出された歩行者のうちで従前の画像に存在しない歩行者がいるか否かを判別する（ステップＳ１０５）。新たな歩行者の存在が確認された場合（ステップＳ１０５：Ｙｅｓ）、処理はステップＳ１０６へ進む。一方、新たな歩行者が検出されなかった場合（ステップＳ１０５：Ｎｏ）は、ステップＳ１０７にジャンプする。
【００５７】
ステップＳ１０６において、制御部１６１は、画像で新たに検出された人間について、新規のオブジェクト番号を割り当てる。例えば、従前の画像内に歩行者が２人存在した場合、新たに検出された３人目の歩行者にオブジェクト番号ＯＢ３を割り当てる。新たに検出された歩行者が複数存在する場合は、順次、ＯＢ４、ＯＢ５、・・・・・・を割り当てる（ステップＳ１０６）。
【００５８】
次に、ｔ＝ｔ１のタイミングで、歩行者の高さと速度とが測定されて、ＨＤＤ１７に記憶されているか否かを判別し、記憶されていれば、対応するオブジェクトに検出された高さ（背の高さ）と速度（歩行速度）とを割り当てる（ステップＳ１０７）。
【００５９】
以上で、ｔ＝ｔ１の二次元画像ＩＭへの処理が終了する。
【００６０】
図７（ｂ）に、ｔ＝ｔ１の二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、図７（ａ）で示した二人の歩行者がｔ＝ｔ０からｔ＝ｔ１にかけてそれぞれ移動し、ＯＢ１の頭頂部の座標が（ｘ１１，ｙ１１）、ＯＢ２の頭頂部の座標が（ｘ１２，ｙ１２）へと変化したことを示している。
【００６１】
以下同様にｔ＝ｔｎ−１まで、制御部１６１が画像を呼び出し、歩行者を検出し、頭頂部の座標を求めて、ＯＢを同定する作業を繰り返す。
【００６２】
図７（ｃ）に、ｔ＝ｔｋの二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、ＯＢ１とＯＢ２のそれぞれの頭頂部の座標が（ｘｋ１，ｙｋ１）と（ｘｋ２，ｙｋ２）に変化し、また、新たな人物ＯＢ３が出現していて、その頭頂部の座標が（ｘｋ３，ｙｋ３）であることを示している。
【００６３】
４．２ 状態・属性判定動作
次に、状態・属性判定動作を、図９のフローチャートを参照して説明する。
【００６４】
まず制御部１６１が、ＨＤＤ１７内に格納されているｔ＝ｔ０におけるＯＢ１の頭頂部の座標を呼び出す（ステップＳ２０１）。次に、その二次元画像ＩＭのｘ軸およびｙ軸に直交する軸を時間軸（ｔ軸）として定めて三次元座標（ｔｘｙ）を形成し、その三次元座標中のｔ＝ｔ０の位置に、ＯＢ１の頭頂部の位置をプロットして表示部１６４上に表示する。続いて、ｔ＝ｔ１におけるＯＢ１の頭頂部の座標を呼び出し、同様にして三次元座標上のｔ＝ｔ１の位置にプロットする。以下、制御部１６１はｔ＝ｔｎ−１まで同じ作業を繰り返し、図８に模式的に示すように、時間軸方向に整列された各時刻（ｔ＝ｔ０〜ｔｎ−１）のｎ個の頭頂部の位置を求める（ステップＳ２０２）。
【００６５】
次に、このようにして得られた三次元時空間（ｔｘｙ）上の軌跡を周波数解析処理装置ＦＦＴ１８に送信する。周波数解析処理装置ＦＦＴ１８は、受信したＯＢ１の三次元時空間画像上の軌跡に対して、高速フーリエ変換（ＦＦＴ）を用いて周波数解析処理を行う（ステップＳ２０３）。時系列データ（ｘ，ｙ）ｔに対して、演算処理を行うことにより、頭頂部の運動軌跡の周波数スペクトルが得られる。
【００６６】
周波数解析処理装置ＦＦＴ１８は、処理の結果を制御部１６１に送信する。制御部１６１は、得られたスペクトル分布から、最もエネルギーの大きい（振幅の大きい）周波数を基本周波成分として抽出する（ステップＳ２０４）。なお、人間の歩行動作には、ある程度の限界があるので、上限を５Ｈｚ程度としてもよい。また、歩行者が蛇行して歩いた場合に、蛇行による周波数成分を除去できるように、例えば、下限周波数を０．５Ｈｚ程度としてもよい。したがって、例えば、０．５ＨｚＺ〜５Ｈｚの範囲内で最も振幅の大きい周波数を抽出する。
【００６７】
次に、抽出した基本周波数、即ち、歩行リズム、を図１０（ａ）に示す分類表に適応して、歩行状態がゆっくり歩きか、早歩きか、走行かを判定する（ステップＳ２０５）。
例えば、基本周波数が０．５〜１．５Ｈｚ程度であれば、「ゆっくり歩き」、基本周波数が１．５〜２．５Ｈｚ程度であれば「早歩き」、基本周波数が２．５〜５Ｈｚ程度であれば、「走行」状態にあると判定する。
【００６８】
次に、処理対象のオブジェクトに割り当てられている速度を読み出し、先に判定した歩行状態（ゆっくり歩き、早歩き、走行）と共に図１０（ｂ）に示す分類表に適応し、そのオブジェクト（歩行者）の属性を判定する（ステップＳ２０６）。例えば、「ゆっくり歩き」で「速度が２」の人であれば、大人であると判定する。
【００６９】
次に、処理対象のオブジェクトに割り当てられている身長を読み出し、先に判定した歩行状態（ゆっくり歩き、早歩き、走行）と共に図１０（ｃ）に示す分類表に適応し、そのオブジェクト（歩行者）の属性を判定する（ステップＳ２０７）。例えば、「ゆっくり歩き」で「身長の低い」人であれば、幼児であると判定する。
【００７０】
以上で、ＯＢ１についての状態・属性判定動作の処理を終了する（ステップＳ２０８）。
【００７１】
上述の処理を、各オブジェクトについて順番に繰り返して、各オブジェクト（通行人）の歩行状態と属性とを求める（ステップＳ２０９）。
【００７２】
上記実施の形態では、歩行者の速度又は身長のどちらかの情報と、歩行周波数の情報とから歩行者属性の判定を行ったが、歩行者の速度と身長と周波数とを全て用いて歩行者属性を判定してもよい。その場合の分類表は、図１１に模式的に示すように三次元の形態をとり、より詳細な属性判定が可能となる。
【００７３】
上記実施例では、歩行者がある位置を通過する際の速度をスピードガンで測定した。しかし、測定方法はこれに限られない。例えば、通路の横方向からの画像を取って、画像内を通過する人物の速度を取得してもよい。或いは、発光器１３１，１３２を高さ方向ではなく水平方向に一定間隔を空けて配置し、発光器１３１，１３２からの照射光が遮られる時間間隔を測定して、これから速度を求めてもよい。
【００７４】
また、上記実施の形態では、上下に設置された光源を用いて身長の高低を判別したが、判別方法はこれに限られない。例えば通路（三次元実空間ＲＳ）の一側に高さ方向に連続した赤外線センサを配置し、通過する歩行者から放出される赤外線を検知して、身長を測定してもよい。
【００７５】
また、上記実施例では速度を４段階、身長を２段階、歩行者の年齢を３段階に分けて分類表を作成したが、分け方はこれに限られず、任意である。例えば、高さセンサ１３の光源を３段階に設置し、歩行者の年齢を幼児・少年・大人・老人の４段階に分けて、より詳細な分類を行うことも可能である。
【００７６】
また上記実施例では、周波数、身長および速度と、歩行状態および属性との関連付けを離散的な分類表として表現し、利用した。しかし、これらを二次元又は三次元の連続空間における統計データとして扱い、確率的に歩行状態および属性を推定することも可能である。このような確率的な取り扱いには、ベイズ推定など様々な方法があるが、ここではその詳細は限定しない。
【００７７】
また上記実施の形態では、オンラインで連続静止画像を取得し、それを解析するという手法を用いた。しかし、まず最初に画像だけを取得し、時間と場所を改めてから解析を行うことも可能である。
【００７８】
また上記実施例では、周波数解析処理装置ＦＦＴ１８を用いて周波数解析を行ったが、外部に専用の装置を設けず、コンピュータ１６内で周波数解析を行ってもよい。
【００７９】
また上述の実施例で述べた、対象の検出、特徴点の検出、追跡方法はこれに限られず、他の様々な方法で置き換えることができる。
【００８０】
本発明の実施の形態に係る装置は、歩行者の属性（大人か、幼児か、老人か）を判定するものである。したがって、遊園地やコンサート、映画などへの来場者の客層を分析するなど、マーケティングにおける情報を得るのに有効である。また、赤外線カメラ等を用いることにより、暗闇の中などの肉眼では判定しづらい状況で歩行者を撮影し、情報を取得できるため、防犯や監視の分野においても有効となり得る。
【００８１】
【発明の効果】
以上説明したように本発明によれば、観察対象エリアの歩行者の歩行状態および年齢を判定することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る歩行状態・歩行者属性判定装置の構成図である。
【図２】歩行状態・歩行者属性判定処理を説明するための図であり、歩行者の画像を取得する処理を説明するための図である。
【図３】歩行者の身長と速度を測定する処理を説明するための図である。
【図４】カメラで取得された画像が撮影時刻順にＨＤＤに格納される様子を模式的に表す図である。
【図５】メモリの構成と、ＲＯＭに格納されるデータの例を示す図である。
【図６】画像中の歩行者の頭頂部（特徴点）を検出する処理の流れ示すフローチャートである。
【図７】歩行者検出処理の結果画像を模式的に示す図である。
【図８】画像処理によって検出された頭頂部の（ｔｘｙ）空間内の軌跡の例を示す図である。
【図９】歩行状態・属性判定の処理の流れを示すフローチャートである。
【図１０】歩行リズム、速度、身長に基づく分類表の例を示す図である。
【図１１】歩行リズムと速度と身長とに基づく分類表の例を示す図である。
【符号の説明】
１１ 撮像装置
１２ 画像バッファ
１３ 高さセンサ
１３１、１３２ 発光器
１３３、１３４ 受光器
１４ 速度センサ
１５ 入力処理部
１６ コンピュータ
１６１ 制御部
１６２ メモリ
１６２ａ ＲＯＭ
１６２ｂ ＲＡＭ
１６３ 入力部
１６４ 表示部
１７ ＨＤＤ
１８ ＦＦＴ
【発明の属する技術分野】
本発明は、画像処理を用いて歩行者の歩行状態および年齢を判定する技術に関する。
【０００２】
【従来の技術】
歩行状態の判定のための手法として、圧力センサを用いた手法が提案されている（例えば、非特許文献１参照。）。この手法は大面積に形成された圧力センサを用いて歩行者の足圧を測定し、足圧の分布および歩行の空間的パラメータ（歩幅、重複歩幅、歩隔）と時間的パラメータ（一歩歩幅、重複歩時間、遊脚時間、両足接地時間）を表示し、歩行者の歩行状態を判定する手法である。
一方、歩行状態を判定する手法として、画像を用いることにより、歩行速度や歩幅などの情報を、安価かつ広範囲に得る手法がある（例えば、特許文献１参照。）。
【０００３】
また、歩行者属性の推定のための手法として、全身の形状的特徴から性別を推定する方法（例えば、非特許文献２参照。）や、歩行者の顔の特徴から年齢を推定する方法（例えば、非特許文献３参照。）などがある。非特許文献２における手法は人間のシルエットの形状に服装や髪型の違いといった男女識別情報が表れることに着目し、人物のシルエット画像にモルフォロジー処理を施して、そのパターンスペクトルの違いから男女を識別する手法である。非特許文献３における手法はＣＣＤカメラを用いて人物の顔を撮影し、顔面の各特徴点にウェブレッツ変換処理を施して各点の方向性と周波数を求め、それを予め取得しておいた標準顔面像のものと比較して顔の認識を行う手法である。
【０００４】
【非特許文献１】
大面積圧力センサを用いた歩行パターン計測装置の開発（電子情報通信学会論文誌D-II Vol.J84-D-II No.2 pp.380-389）
【特許文献１】
特開平１１−３３９１３９号公報
【非特許文献２】
モルフォロジー処理によるパターンスペクトルを特微量に用いた男女識別法（電子情報通信学会論文誌 D-II Vol.J80-D-II No.5 pp.1037-1045）
【非特許文献３】
自由歩行下での顔認識（Interaction'99（情報処理学会主催研究会）IA-01 March 1999）
【０００５】
【発明が解決しようとする課題】
圧力センサを用いて歩行状態を判定する手法では、薄いフィルム状のセンサが用いられる。このようなセンサは非常に繊細であり、人間の体重が掛かったり、足で強く蹴りつけられたりするような場面では、耐久性の面で不安が生じる。また、人間が歩けるスペース分の大面積のセンサが必要となるため、価格は高いものになってしまう。
【０００６】
一方、画像を利用する場合、歩行者の足が何らかの障害物により隠蔽されてしまうような場面では、足元の位置や足元の状態を判別することは極めて困難である。したがって、実空間での位置を特定できないため、速度の絶対値を求めることは難しい。このため、画像から速度や歩幅の情報を得る特許文献１の方法は、使用できる場面が著しく限定されてしまう。
【０００７】
また、歩行者属性推定法に関しては、前記のいずれの手法（全身形状の特徴からの性別推定法、顔の特徴からの年齢推定法）においても、安定した状態で全身又は顔の画像がはっきりと撮影されている必要があり、その利用場面が限定されてしまうため、実用性に欠ける。
【０００８】
本発明は、上記実状に鑑みてなされたものであり、高い精度を保ちつつも汎用性の高い歩行状態の判定および歩行者年齢の判定を可能とすることを目的とする。また、何らかの障害物（店舗の棚など）で歩行者の足元が見えない場面における歩行状態の判定を可能にすることを他の目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る歩行者年齢判定装置は、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の速度を検出する速度検出手段と、
歩行速度の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の速度を分類する手段と、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する手段と、
を備えることを特徴とする。
【００１０】
上記目的を達成するため、本発明の第２の観点に係る歩行者年齢判定装置は、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の身長を検出する身長検出手段と、
身長の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の身長を分類する分類手段と、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する手段と、
を備えることを特徴とする。
【００１１】
前記歩行者年齢判定装置は、
歩行運動の基本振動周波数の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記周波数スペクトルの基本振動周波数をいずれかの分類に分類して、その分類に割り当てられている分類により前記検出対象者の歩行状態を判定する手段と、
を備えてもよい。
【００１２】
本発明の第３の観点に係る歩行状態および歩行者年齢判定方法は、
三次元空間を撮影した一連の二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象者の特定部位を検出し、
検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出し、
算出された軌跡の周波数スペクトルを取得し、
取得した周波数スペクトルに基づいて歩行状態を判定し、
前記検出対象者の速度を検出し、
歩行速度の統計的な事例データを格納し、
該事例データに基づいて前記検出対象者の速度を分類し、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する、
ことを特徴とする。
【００１３】
本発明の第４の観点に係る歩行状態および歩行者年齢判定方法は、
三次元空間を撮影した一連の二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象者の特定部位を検出し、
検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出し、
算出された軌跡の周波数スペクトルを取得し、
取得した周波数スペクトルに基づいて歩行状態を判定し、
前記検出対象者の身長を検出し、
身長の統計的な事例データを格納し、
該事例データに基づいて前記検出対象者の身長を分類し、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する、
ことを特徴とする。
【００１４】
本発明の第５の観点に係るプログラムは、
コンピュータを、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の速度を検出する速度検出手段と、
歩行速度の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の速度を分類する手段と、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する手段と、
して機能させることを特徴とする。
また、本発明の第６の観点に係るプログラムは、
コンピュータを、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の身長を検出する身長検出手段と、
身長の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の身長を分類する分類手段と、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する手段と、
して機能させることを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態に係る歩行状態・歩行者属性判定装置および判定方法を説明する。
【００１６】
本実施の形態に係る歩行状態・歩行者属性判定装置１は、図１に示すように、撮像装置（カメラ）１１と、画像バッファ１２と、高さセンサ１３と、速度センサ１４と、入力処理部１５と、コンピュータ１６と、大容量ハードディスク（ＨＤＤ）１７と、周波数解析処理装置（ＦＦＴ）１８と、から構成される。
【００１７】
撮像装置１１は、ディジタルスチルカメラなどから構成され、図２に模式的に示すように、三次元実空間ＲＳの任意の位置に実空間ＲＳを通行する歩行者を撮影するように設置されている。撮像装置１１の設置位置の高さＴと光軸の傾きαとは、事前に求められている。撮像装置１１は、一定期間Δｔおきに、三次元実空間の静止画像を取得して、任意のフォーマットの画像データを出力する。
【００１８】
画像バッファ１２は、撮像装置１１から送られた画像データを一時的に記憶し、入力処理部１５の転送速度に合わせて順次送り出す。
【００１９】
高さセンサ１３は、三次元実空間ＲＳを通行する人間の高さ（背が高い、低いの別）を検出する。高さセンサ１３は、図３に示すように、通路（三次元実空間ＲＳ）の一側の異なる高さ位置に配置され、それぞれ通路の他側に向けて水平に光ビームを照射する発光器１３１，１３２と、通行エリアの他側に配置された受光器１３３と１３４とから構成される。
【００２０】
通行人が高さセンサ１３の設置位置を通過した際、受光器１３３、１３４が発光器１３１、１３２からの光ビームをいずれも受光できなければ、通行者は背の高い人であり；受光器１３４が発光器１３２からの光ビームを受光でき、受光器１３３が発光器１３１からの光を受光できなければ、通行者は背の低い人である。
【００２１】
速度センサ１４は、通行人が高さセンサ１３の発光器１３１、１３２のいずれかが照射する光ビームを横切った（ビームを遮った）時点で、通行人の速度を検出する。即ち、受光器１３３は光ビームを検出できなくなると、速度センサ１４にトリガ信号を発行する。速度センサ１４は、このトリガ信号に応答して、光ビームが照射されている位置の通行人の速度を検出する。
【００２２】
高さセンサ１３と速度センサ１４とは、測定結果を入力処理部１５に供給する。
【００２３】
入力処理部１５は、ＨＤＤ１７に通信ネットワークを介して接続される。入力処理部１５は、図４に模式的に示すように、画像バッファ１２を介して撮像装置１１から連続的に供給される一連の静止画ＩＭの画像データを撮影時刻（又は順番）ｔと対応付けて、ＨＤＤ１７に提供する。
【００２４】
また、入力処理部１５は、高さセンサ１３の２つの受光器１３３，１３４の出力信号から、光ビームを横切った人物の背の高さを、高い、低いの２段階に分ける。更に、速度センサ１４の出力から、光ビームを横切った人物の速度を１〜４の４段階に分ける（なお、このような区分は、図９を参照して後述する分類表での分類に対応する）。次に、測定時刻と対応付けて、例えば、「ｔ＝ｔ３，背＝高い、速度＝３」というように対応付けて、ＨＤＤ１７に送信する。
【００２５】
コンピュータ１６は、制御部１６１と、メモリ１６２と、入力部１６３と、表示部１６４と、を備える。
【００２６】
メモリ１６２は、図５（ａ）に示すように、ＲＯＭ１６２ａとＲＡＭ１６２ｂとを備える。
【００２７】
ＲＯＭ１６２ａは、フラッシュメモリ、ハードディスク装置などから構成され、制御部１６１の動作を規定する動作プログラムを記憶する。また、ＲＯＭ１６２ａは、制御部１６１の動作を制御する制御データや、図５（ｂ）に模式的に示すような、歩行者が歩行を行う際の基本周波数と速度と歩行者の身長とを統計的な値に基づいて分類した分類データを格納されている。
【００２８】
ＲＡＭ１６２ｂは、制御部１６１のワークエリアとして機能する。
【００２９】
図１に示す入力部１６３は、キーボード、マウスなどから構成され、種々の命令やデータを制御部１６１に入力する。
【００３０】
表示部１６４は、ＣＲＴ、液晶表示装置などから構成され、撮像装置１１により取得された二次元画像など、様々な画像を表示する。また、三次元実空間ＲＳ内を歩行する人間の頭頂部の画像上の軌跡や、ＦＦＴ１８により軌跡を周波数解析した結果などを表示する。
【００３１】
制御部１６１は、コンピュータ１６全体の動作を制御するためのものであり、マイクロプロセッサ等から構成され、ＲＯＭ１６２ａに格納された動作プログラムに従ってＲＡＭ１６２ｂをワークエリアとして使用して動作する。制御部１６１は、三次元実空間ＲＳを歩行する歩行者の画像上軌跡を求め、軌跡の周波数スペクトル等から、歩いているのか走っているのかといった歩行者の歩行状態と、大人なのか子供なのかといった歩行者の属性とを判定して出力する。
【００３２】
具体的には、制御部１６１は、１）ＨＤＤ１７に格納されている一連の二次元画像ＩＭを読み出し、２）各二次元画像ＩＭ中の検出対象（人間）の特徴点（頭丁）を検出し、３）検出対象の特徴点の各二次元画像ＩＭ内の位置を判別し、４）各二次元画像ＩＭ中での特徴点の位置をつなぎ合わせて特徴点の一連の二次元画像ＩＭ上の軌跡を求め、５）その軌跡を周波数解析処理装置ＦＦＴ１８に送って周波数解析により周波数スペクトルを求めさせ、６）その周波数スペクトルから支配的な周波数成分を抽出して歩行状態を判定し、７）その歩行状態と歩行者の速度又は身長とから歩行者属性を判定して判定結果を表示部１６４に表示する。制御部１６１が実行する処理の詳細は後述する。
【００３３】
ＨＤＤ１７は、２つの入出力ポートＩＯＰを有し、入力処理部１５から提供される二次元画像ＩＭや高さ・速度データを第１のポートＩＯＰ１で受信して、順次記憶し、一方、コンピュータ１６の要求に従って、記憶している画像データを第２のポートＩＯＰ２から出力する。また、コンピュータ１６で処理された後の軌跡データやその画像データを第２ポートＩＯＰ２を介して受信して記憶する。
【００３４】
周波数解析（Fast Fourier Transform）処理装置ＦＦＴ１８は、制御部１６１によって取得された二次元画像ＩＭ上の歩行者の頭頂部の時間軸上の移動軌跡を受信し、周波数解析処理を行って歩行運動の周波数スペクトルを求める。
【００３５】
次に、上記構成を有する歩行状態・歩行者属性判定装置１の動作を、三次元実空間ＲＳを歩行する歩行者の歩行状態を判定する場合を例に説明する。
【００３６】
この例においては、検出対象を人間とし、その頭頂部を特徴部とする。二次元画像ＩＭ上で、人間の頭頂部を検出する処理として、ここでは、特開２００２−１９７４６３号公報に記載されている技術を使用する。この処理は、入力画像を差分処理によって非背景領域と背景領域とに分別し、非背景領域の中で画像上最も高い点の座標を、検出対象部位としての人間の頭頂部として抽出する方法である。この検出対象部位を抽出するための画像処理プログラムもメモリ１６２に格納されている。
【００３７】
１．準備動作
歩行者状態判定の一連の動作に入る前の準備段階として、事例データを収集して、これを統計的に分析して歩行状態と周波数との対応付け分類表（モデル）を作り、それをメモリ１６２に記憶させる。例えば幼児、大人、老人といった各年代層を含む１００人の歩行者モデルにゆっくり歩き、早歩き、走行を行ってもらい、その際に得られる頭部の移動軌跡から、各々の歩行運動の基本周波数を求める（この歩行運動の基本周波数のことを歩行リズムとも呼ぶ）。次に、歩行者モデルの歩行リズムの平均値を求め、リズムが第１の所定値以上の場合は走行、第２の所定値以下はゆっくり歩き、第１の所定値と第２の所定値の間の場合は早歩き、というように境界（第１と第２の所定値）を決定する。また、その境界分けをもとに、歩行状態を分類するための分類表を作成する。この分類表は図９（ａ）に例示するような形をとり、歩行者の歩行リズムをこの分類表に当てはめることで、周波数が高ければ走行、中くらいならば早歩き、低ければゆっくり歩きと判定する仕様を有する。この分類表を、ＲＯＭ１６２ａに格納する。
【００３８】
また、歩行者の歩行速度に関する事例データを収集し、歩行者モデルの各々の年代における歩行速度の平均値から、速度が速い遅いといった境界を決定し、リズムと速度との関係で歩行者の属性（年齢）を判定するための、図１０（ｂ）に例示するような分類表を作成し、ＲＯＭ１６２ａに格納する。歩行状態と歩行者の歩行速度とをこの分類表に当てはめることにより、例えば歩行速度が「３」で「早歩き」をしていた歩行者は大人であるとの分類が可能である。なお、入力処理部１５が、速度センサ１４の出力から生成する速度を示す情報は、この分類表で使用される速度のいずれかを示す情報である。
【００３９】
また、歩行者の身長に関する事例データを収集し、歩行者モデルの各々の年代における身長の平均値から、身長が高い低いといった境界を決定し、リズムと身長との関係で歩行者の属性（年齢）を判定し、図１０（ｃ）に示すような分類表を作成し、ＲＯＭ１６２ａに格納する。歩行状態と歩行者の身長とをこの分類表に当てはめることにより、例えば身長が高くて走行をしていた歩行者は大人であるとの分類が可能である。なお、入力処理部１５が、高さセンサ１３の出力から生成する速度を示す情報は、この分類表で使用される高さのいずれかを示す情報である。
【００４０】
また、頭頂部を検出するための差分処理の準備として、三次元実空間ＲＳに歩行者が存在しない状態の画像、いわゆる背景画像を取得し、ＨＤＤ１７に記憶させる。
【００４１】
２．二次元画像取得動作
三次元実空間ＲＳの所定の位置に設置された撮像装置１１は、一定時間Δｔ間隔で、三次元空間ＲＳを撮影した二次元画像ＩＭを取得して、出力する。この二次元画像ＩＭは、画像バッファ１２に一旦蓄積された後、入力処理部１５により撮像時刻と対応付けられてＨＤＤ１７に転送される。ＨＤＤ１７は、図４に模式的に示すように、順次転送されてくる二次元画像ＩＭを記憶する。
【００４２】
３．速度・高さ取得動作
二次元画像ＩＭの取得動作と平行して、高さセンサ１３および速度センサ１４により、通行人の背の高さと速度とを示す情報を収集する。この情報は、入力処理部１５により時刻情報と対応付けられてＨＤＤ１７に転送され、ＨＤＤ１７に蓄積される。
【００４３】
４．歩行状態・歩行者属性判定動作
上述の画像取得動作と並行して、或いは、上述の画像取得動作で過去に取得した一連の二次元画像ＩＭについて、コンピュータ１６は、以下の一連の動作を行って、三次元実空間ＲＳを歩行する歩行者の歩行状態と属性（eg.年代）とを求める。この処理は、以下に説明する、特徴点検出動作と状態・属性判定動作とから構成される。
【００４４】
４．１ 特定部位検出動作
この処理は、各二次元画像ＩＭ上で、検出対象物の特徴点である歩行者の頭頂部の位置を求める動作である。この特徴点検出動作を図６を参照して説明する。
【００４５】
コンピュータ１６の制御部１６１は、入力部１６３からの入力指示等に応答して、ＨＤＤ１７に蓄積されている二次元画像ＩＭを撮影時刻の順に読み出し、読み出した各二次元画像ＩＭについて図６のフローチャートに示す処理を実行する。まず、最初の二次元画像ＩＭ（撮影時刻ｔ０）を呼び出し、この二次元画像ＩＭ中で歩行者の頭頂部を検出する（ステップＳ１０１）。
【００４６】
続いて、ステップＳ１０１の処理で得られた画像中に歩行者の画像が存在するか否かを判別する（ステップＳ１０２）。歩行者の存在が確認されなかった場合（ステップＳ１０２：Ｎｏ）、この画像については、これ以上の処理は行わず、メインルーチンにリターンする。
【００４７】
一方、歩行者を検出した場合（ステップＳ１０２：Ｙｅｓ）、歩行者の特徴点（頭頂部）の位置、即ち、人間の画像のうちの最上点の座標（ｘ、ｙ）を検出する（ステップＳ１０３）。
【００４８】
続いて、時間的に隣り合わせとなる２枚の静止画像の間でどの歩行者がどの歩行者と同一人物であるのかを確認する作業（同定作業）を行う（ステップＳ１０４）。ただし、ｔ＝ｔ０は撮影開始時の時刻であり、それ以前の時刻の情報が存在せず、同定作業を必要としないため、素通りしてステップＳ１０５に進む。
【００４９】
ステップＳ１０５においては、二次元画像ＩＭ内に新たな歩行者を検出したか否かを判別する。それ以前の二次元画像ＩＭのないｔ＝ｔ０の二次元画像ＩＭ内では、全ての歩行者が新歩行者である。このため、ステップＳ１０５では、Ｙｅｓと判別され、処理はステップＳ１０６へ進む。
【００５０】
ステップＳ１０６において、制御部１６１は、画像内で新たに検出された歩行者について、その人間を識別するための情報（以下、オブジェクト番号ＯＢｉ：ｉは整数）を割り当てる。例えば、画像内で検出した第１の歩行者にオブジェクト番号ＯＢ１を割り当てる。二次元画像ＩＭ内に歩行者が複数存在する場合は、順次、ＯＢ２、、ＯＢ３、・・・・・・を割り当てる（ステップＳ１０６）。
【００５１】
次に、ｔ＝ｔ０のタイミングで、高さセンサ１３と速度センサ１４によって高さと速度とが測定されて、ＨＤＤ１７に記憶されているか否かを判別し、記憶されていれば、対応するオブジェクトに検出された高さ（背の高さ）と速度（歩行速度）とを割り当てる（ステップＳ１０７）。なお、オブジェクトが２つ以上存在し、高さセンサ１３の光ビームを横切った人物に対応するオブジェクトを判定できないような場合には、オペレータにエラー処理（オブジェクトと高さ・速度情報との対応付け）を要求してもよい。
【００５２】
以上で、ｔ＝ｔ０の二次元画像ＩＭへの処理が終了する。
【００５３】
図７（ａ）に、ｔ＝ｔ０の二次元ＩＭ画像への処理の結果の例を模式的に表す。この例は、二次元画像ＩＭ内に二人の歩行者を検出し、オブジェクト番号ＯＢ１とＯＢ２を割り当て、ＯＢ１の頭頂部の座標が（ｘ０１，ｙ０１）とＯＢ２の頭頂部の座標が（ｘ０２，ｙ０２）であったことを示している。
【００５４】
次に、制御部１６１は、２番目の二次元画像ＩＭ（ｔ＝ｔ１）を選択し、この画像に図６の処理を実行する。まず、この二次元画像ＩＭ内に存在する歩行者の頭頂部を検出する（ステップＳ１０１）。
【００５５】
次に、歩行者が検出されたか否かを判別し（ステップＳ１０２）、歩行者が検出されれば（ステップＳ１０２：Ｙｅｓ）、検出した各歩行者の頭頂部の位置座標（ｘ，ｙ）を検出し（ステップＳ１０３）、検出した歩行者の同定作業を行う（ステップＳ１０４）。即ち、検出した歩行者が従前の二次元画像ＩＭ内にも存在していた歩行者であるか否かを判別する。この処理のため、制御部１６１は、ｔ＝ｔ０の二次元画像ＩＭ上に存在した歩行者の位置と今回検出した歩行者の位置とを比較し、両画像間で最も近い位置に存在する歩行者を同一の歩行者であると判別し、従前と同一のオブジェクト番号ＯＢを割り当てる。
【００５６】
続いて、検出された歩行者のうちで従前の画像に存在しない歩行者がいるか否かを判別する（ステップＳ１０５）。新たな歩行者の存在が確認された場合（ステップＳ１０５：Ｙｅｓ）、処理はステップＳ１０６へ進む。一方、新たな歩行者が検出されなかった場合（ステップＳ１０５：Ｎｏ）は、ステップＳ１０７にジャンプする。
【００５７】
ステップＳ１０６において、制御部１６１は、画像で新たに検出された人間について、新規のオブジェクト番号を割り当てる。例えば、従前の画像内に歩行者が２人存在した場合、新たに検出された３人目の歩行者にオブジェクト番号ＯＢ３を割り当てる。新たに検出された歩行者が複数存在する場合は、順次、ＯＢ４、ＯＢ５、・・・・・・を割り当てる（ステップＳ１０６）。
【００５８】
次に、ｔ＝ｔ１のタイミングで、歩行者の高さと速度とが測定されて、ＨＤＤ１７に記憶されているか否かを判別し、記憶されていれば、対応するオブジェクトに検出された高さ（背の高さ）と速度（歩行速度）とを割り当てる（ステップＳ１０７）。
【００５９】
以上で、ｔ＝ｔ１の二次元画像ＩＭへの処理が終了する。
【００６０】
図７（ｂ）に、ｔ＝ｔ１の二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、図７（ａ）で示した二人の歩行者がｔ＝ｔ０からｔ＝ｔ１にかけてそれぞれ移動し、ＯＢ１の頭頂部の座標が（ｘ１１，ｙ１１）、ＯＢ２の頭頂部の座標が（ｘ１２，ｙ１２）へと変化したことを示している。
【００６１】
以下同様にｔ＝ｔｎ−１まで、制御部１６１が画像を呼び出し、歩行者を検出し、頭頂部の座標を求めて、ＯＢを同定する作業を繰り返す。
【００６２】
図７（ｃ）に、ｔ＝ｔｋの二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、ＯＢ１とＯＢ２のそれぞれの頭頂部の座標が（ｘｋ１，ｙｋ１）と（ｘｋ２，ｙｋ２）に変化し、また、新たな人物ＯＢ３が出現していて、その頭頂部の座標が（ｘｋ３，ｙｋ３）であることを示している。
【００６３】
４．２ 状態・属性判定動作
次に、状態・属性判定動作を、図９のフローチャートを参照して説明する。
【００６４】
まず制御部１６１が、ＨＤＤ１７内に格納されているｔ＝ｔ０におけるＯＢ１の頭頂部の座標を呼び出す（ステップＳ２０１）。次に、その二次元画像ＩＭのｘ軸およびｙ軸に直交する軸を時間軸（ｔ軸）として定めて三次元座標（ｔｘｙ）を形成し、その三次元座標中のｔ＝ｔ０の位置に、ＯＢ１の頭頂部の位置をプロットして表示部１６４上に表示する。続いて、ｔ＝ｔ１におけるＯＢ１の頭頂部の座標を呼び出し、同様にして三次元座標上のｔ＝ｔ１の位置にプロットする。以下、制御部１６１はｔ＝ｔｎ−１まで同じ作業を繰り返し、図８に模式的に示すように、時間軸方向に整列された各時刻（ｔ＝ｔ０〜ｔｎ−１）のｎ個の頭頂部の位置を求める（ステップＳ２０２）。
【００６５】
次に、このようにして得られた三次元時空間（ｔｘｙ）上の軌跡を周波数解析処理装置ＦＦＴ１８に送信する。周波数解析処理装置ＦＦＴ１８は、受信したＯＢ１の三次元時空間画像上の軌跡に対して、高速フーリエ変換（ＦＦＴ）を用いて周波数解析処理を行う（ステップＳ２０３）。時系列データ（ｘ，ｙ）ｔに対して、演算処理を行うことにより、頭頂部の運動軌跡の周波数スペクトルが得られる。
【００６６】
周波数解析処理装置ＦＦＴ１８は、処理の結果を制御部１６１に送信する。制御部１６１は、得られたスペクトル分布から、最もエネルギーの大きい（振幅の大きい）周波数を基本周波成分として抽出する（ステップＳ２０４）。なお、人間の歩行動作には、ある程度の限界があるので、上限を５Ｈｚ程度としてもよい。また、歩行者が蛇行して歩いた場合に、蛇行による周波数成分を除去できるように、例えば、下限周波数を０．５Ｈｚ程度としてもよい。したがって、例えば、０．５ＨｚＺ〜５Ｈｚの範囲内で最も振幅の大きい周波数を抽出する。
【００６７】
次に、抽出した基本周波数、即ち、歩行リズム、を図１０（ａ）に示す分類表に適応して、歩行状態がゆっくり歩きか、早歩きか、走行かを判定する（ステップＳ２０５）。
例えば、基本周波数が０．５〜１．５Ｈｚ程度であれば、「ゆっくり歩き」、基本周波数が１．５〜２．５Ｈｚ程度であれば「早歩き」、基本周波数が２．５〜５Ｈｚ程度であれば、「走行」状態にあると判定する。
【００６８】
次に、処理対象のオブジェクトに割り当てられている速度を読み出し、先に判定した歩行状態（ゆっくり歩き、早歩き、走行）と共に図１０（ｂ）に示す分類表に適応し、そのオブジェクト（歩行者）の属性を判定する（ステップＳ２０６）。例えば、「ゆっくり歩き」で「速度が２」の人であれば、大人であると判定する。
【００６９】
次に、処理対象のオブジェクトに割り当てられている身長を読み出し、先に判定した歩行状態（ゆっくり歩き、早歩き、走行）と共に図１０（ｃ）に示す分類表に適応し、そのオブジェクト（歩行者）の属性を判定する（ステップＳ２０７）。例えば、「ゆっくり歩き」で「身長の低い」人であれば、幼児であると判定する。
【００７０】
以上で、ＯＢ１についての状態・属性判定動作の処理を終了する（ステップＳ２０８）。
【００７１】
上述の処理を、各オブジェクトについて順番に繰り返して、各オブジェクト（通行人）の歩行状態と属性とを求める（ステップＳ２０９）。
【００７２】
上記実施の形態では、歩行者の速度又は身長のどちらかの情報と、歩行周波数の情報とから歩行者属性の判定を行ったが、歩行者の速度と身長と周波数とを全て用いて歩行者属性を判定してもよい。その場合の分類表は、図１１に模式的に示すように三次元の形態をとり、より詳細な属性判定が可能となる。
【００７３】
上記実施例では、歩行者がある位置を通過する際の速度をスピードガンで測定した。しかし、測定方法はこれに限られない。例えば、通路の横方向からの画像を取って、画像内を通過する人物の速度を取得してもよい。或いは、発光器１３１，１３２を高さ方向ではなく水平方向に一定間隔を空けて配置し、発光器１３１，１３２からの照射光が遮られる時間間隔を測定して、これから速度を求めてもよい。
【００７４】
また、上記実施の形態では、上下に設置された光源を用いて身長の高低を判別したが、判別方法はこれに限られない。例えば通路（三次元実空間ＲＳ）の一側に高さ方向に連続した赤外線センサを配置し、通過する歩行者から放出される赤外線を検知して、身長を測定してもよい。
【００７５】
また、上記実施例では速度を４段階、身長を２段階、歩行者の年齢を３段階に分けて分類表を作成したが、分け方はこれに限られず、任意である。例えば、高さセンサ１３の光源を３段階に設置し、歩行者の年齢を幼児・少年・大人・老人の４段階に分けて、より詳細な分類を行うことも可能である。
【００７６】
また上記実施例では、周波数、身長および速度と、歩行状態および属性との関連付けを離散的な分類表として表現し、利用した。しかし、これらを二次元又は三次元の連続空間における統計データとして扱い、確率的に歩行状態および属性を推定することも可能である。このような確率的な取り扱いには、ベイズ推定など様々な方法があるが、ここではその詳細は限定しない。
【００７７】
また上記実施の形態では、オンラインで連続静止画像を取得し、それを解析するという手法を用いた。しかし、まず最初に画像だけを取得し、時間と場所を改めてから解析を行うことも可能である。
【００７８】
また上記実施例では、周波数解析処理装置ＦＦＴ１８を用いて周波数解析を行ったが、外部に専用の装置を設けず、コンピュータ１６内で周波数解析を行ってもよい。
【００７９】
また上述の実施例で述べた、対象の検出、特徴点の検出、追跡方法はこれに限られず、他の様々な方法で置き換えることができる。
【００８０】
本発明の実施の形態に係る装置は、歩行者の属性（大人か、幼児か、老人か）を判定するものである。したがって、遊園地やコンサート、映画などへの来場者の客層を分析するなど、マーケティングにおける情報を得るのに有効である。また、赤外線カメラ等を用いることにより、暗闇の中などの肉眼では判定しづらい状況で歩行者を撮影し、情報を取得できるため、防犯や監視の分野においても有効となり得る。
【００８１】
【発明の効果】
以上説明したように本発明によれば、観察対象エリアの歩行者の歩行状態および年齢を判定することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る歩行状態・歩行者属性判定装置の構成図である。
【図２】歩行状態・歩行者属性判定処理を説明するための図であり、歩行者の画像を取得する処理を説明するための図である。
【図３】歩行者の身長と速度を測定する処理を説明するための図である。
【図４】カメラで取得された画像が撮影時刻順にＨＤＤに格納される様子を模式的に表す図である。
【図５】メモリの構成と、ＲＯＭに格納されるデータの例を示す図である。
【図６】画像中の歩行者の頭頂部（特徴点）を検出する処理の流れ示すフローチャートである。
【図７】歩行者検出処理の結果画像を模式的に示す図である。
【図８】画像処理によって検出された頭頂部の（ｔｘｙ）空間内の軌跡の例を示す図である。
【図９】歩行状態・属性判定の処理の流れを示すフローチャートである。
【図１０】歩行リズム、速度、身長に基づく分類表の例を示す図である。
【図１１】歩行リズムと速度と身長とに基づく分類表の例を示す図である。
【符号の説明】
１１ 撮像装置
１２ 画像バッファ
１３ 高さセンサ
１３１、１３２ 発光器
１３３、１３４ 受光器
１４ 速度センサ
１５ 入力処理部
１６ コンピュータ
１６１ 制御部
１６２ メモリ
１６２ａ ＲＯＭ
１６２ｂ ＲＡＭ
１６３ 入力部
１６４ 表示部
１７ ＨＤＤ
１８ ＦＦＴ
Claims (7)
- 三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の速度を検出する速度検出手段と、
歩行速度の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の速度を分類する手段と、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する手段と、
を備えることを特徴とする歩行者年齢判定装置。 - 三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の身長を検出する身長検出手段と、
身長の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の身長を分類する分類手段と、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する手段と、
を備えることを特徴とする歩行者年齢判定装置。 - 歩行運動の基本振動周波数の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記周波数スペクトルの基本振動周波数をいずれかの分類に分類して、その分類に割り当てられている分類により前記検出対象者の歩行状態を判定する手段と、
を備えることを特徴とする請求項１又は２に記載の歩行者年齢判定装置。 - 三次元空間を撮影した一連の二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象者の特定部位を検出し、
検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出し、
算出された軌跡の周波数スペクトルを取得し、
取得した周波数スペクトルに基づいて歩行状態を判定し、
前記検出対象者の速度を検出し、
歩行速度の統計的な事例データを格納し、
該事例データに基づいて前記検出対象者の速度を分類し、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する、
ことを特徴とする歩行状態および歩行者年齢判定方法。 - 三次元空間を撮影した一連の二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象者の特定部位を検出し、
検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出し、
算出された軌跡の周波数スペクトルを取得し、
取得した周波数スペクトルに基づいて歩行状態を判定し、
前記検出対象者の身長を検出し、
身長の統計的な事例データを格納し、
該事例データに基づいて前記検出対象者の身長を分類し、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する、
ことを特徴とする歩行状態および歩行者年齢判定方法。 - コンピュータを、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の速度を検出する速度検出手段と、
歩行速度の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の速度を分類する手段と、
前記歩行状態と前記速度の分類とに基づいて前記検出対象者の年齢を判定する手段と、
して機能させることを特徴とするプログラム。 - コンピュータを、
三次元空間を撮影した一連の二次元画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記二次元画像中の検出対象者の特定部位を検出する特定部位検出手段と、
前記特定部位検出手段により検出された特定部位の前記二次元画像内での時間軸上の移動軌跡を算出する軌跡算出手段と、
前記軌跡算出手段により算出された軌跡の周波数スペクトルを得る周波数解析手段と、
前記周波数解析手段により得た周波数スペクトルに基づいて歩行状態を判定する歩行状態判定手段と、
前記検出対象者の身長を検出する身長検出手段と、
身長の統計的な事例データを格納する格納手段と、
該事例データに基づいて前記検出対象者の身長を分類する分類手段と、
前記歩行状態と前記身長の分類とに基づいて前記検出対象者の年齢を判定する手段と、
して機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003092910A JP3655618B2 (ja) | 2003-03-28 | 2003-03-28 | 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003092910A JP3655618B2 (ja) | 2003-03-28 | 2003-03-28 | 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004298285A JP2004298285A (ja) | 2004-10-28 |
| JP3655618B2 true JP3655618B2 (ja) | 2005-06-02 |
Family
ID=33405824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003092910A Expired - Lifetime JP3655618B2 (ja) | 2003-03-28 | 2003-03-28 | 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3655618B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014094070A (ja) * | 2012-11-08 | 2014-05-22 | Kao Corp | 歩行年齢評価方法 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4628911B2 (ja) * | 2005-09-09 | 2011-02-09 | ティーオーエー株式会社 | 身長測定装置 |
| JP4817384B2 (ja) * | 2006-12-06 | 2011-11-16 | 学校法人早稲田大学 | 移動物体検出装置及び移動物体検出装置用プログラム |
| JP4937844B2 (ja) | 2007-06-12 | 2012-05-23 | 富士重工業株式会社 | 歩行者検出装置 |
| WO2013103151A1 (ja) * | 2012-01-04 | 2013-07-11 | 株式会社ニコン | 電子機器、情報生成方法、及び位置推定方法 |
| CN102697507B (zh) * | 2012-06-26 | 2014-04-02 | 中国人民解放军第三军医大学第三附属医院 | 患者康复训练步行状态分析系统及方法 |
| EP2772884A1 (en) * | 2013-02-28 | 2014-09-03 | Koninklijke Philips N.V. | Apparatus and method for detecting subjects on the basis of vital signs |
| CN104257385B (zh) * | 2014-10-16 | 2016-05-11 | 辽宁省颅面复原技术重点实验室 | 视频图像中人体身高的测量方法 |
| JP2016194829A (ja) * | 2015-03-31 | 2016-11-17 | 富士通株式会社 | 表示処理方法、判定処理方法、表示処理プログラム、判定処理プログラム、及び処理装置。 |
| JP6417269B2 (ja) * | 2015-04-27 | 2018-11-07 | 本田技研工業株式会社 | 移動体の移動速度推定装置及び移動体の制御装置 |
| JP6750193B2 (ja) * | 2015-06-15 | 2020-09-02 | 花王株式会社 | 歩行周期の検出方法及び検出装置 |
| JP2017168885A (ja) * | 2016-03-14 | 2017-09-21 | 株式会社 日立産業制御ソリューションズ | 撮像制御装置及びカメラ |
| US10474248B2 (en) | 2018-02-12 | 2019-11-12 | Microvision, Inc. | Smart pulsing in regions of interest in scanned beam 3D sensing systems |
| US10671219B2 (en) | 2018-02-12 | 2020-06-02 | Microvision, Inc. | Scanning time of flight 3D sensing with smart pulsing |
| JP7169213B2 (ja) * | 2019-02-05 | 2022-11-10 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
| CN110070044B (zh) * | 2019-04-23 | 2023-03-10 | 中国民航大学 | 基于深度学习的行人属性识别方法 |
| JP7353127B2 (ja) * | 2019-10-18 | 2023-09-29 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| CN111784742B (zh) * | 2020-06-29 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种行人跨镜头追踪方法及装置 |
| CN112926500B (zh) * | 2021-03-22 | 2022-09-20 | 重庆邮电大学 | 一种结合头部和整体信息的行人检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH056500A (ja) * | 1990-09-19 | 1993-01-14 | Hitachi Ltd | 移動体・施設制御システム |
| JPH07160883A (ja) * | 1993-12-09 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 人物属性検出装置 |
| JPH08249444A (ja) * | 1995-03-09 | 1996-09-27 | Nippon Telegr & Teleph Corp <Ntt> | 物体属性検出方法 |
| JP2003228701A (ja) * | 2002-02-05 | 2003-08-15 | Japan Science & Technology Corp | 跛行診断システム |
-
2003
- 2003-03-28 JP JP2003092910A patent/JP3655618B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014094070A (ja) * | 2012-11-08 | 2014-05-22 | Kao Corp | 歩行年齢評価方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004298285A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3655618B2 (ja) | 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム | |
| JP6296043B2 (ja) | 計測装置，計測方法および計測プログラム | |
| CN105574501B (zh) | 一种人流视频侦测分析系统 | |
| JP5950296B2 (ja) | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム | |
| Liu et al. | Detecting and tracking people in real time with RGB-D camera | |
| KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
| JP4198951B2 (ja) | グループ属性推定方法及びグループ属性推定装置 | |
| US8724845B2 (en) | Content determination program and content determination device | |
| JPWO2017159060A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| JP6779410B2 (ja) | 映像解析装置、映像解析方法、及びプログラム | |
| JP2016057998A (ja) | 物体識別方法 | |
| JP5027741B2 (ja) | 画像監視装置 | |
| CN110298323A (zh) | 基于视频分析的打架检测方法、系统、装置 | |
| JP2009110185A (ja) | 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム | |
| JP3732757B2 (ja) | 画像認識方法および画像認識装置 | |
| CN111078751A (zh) | 一种基于unreal4进行目标统计的方法及其系统 | |
| CN112597903B (zh) | 基于步幅测量的电力人员安全状态智能识别方法及介质 | |
| JP2015230616A (ja) | 画像処理方法および画像処理装置 | |
| WO2020217812A1 (ja) | 被写体の状態を認識する画像処理装置及びその方法 | |
| Nguyen et al. | Extracting silhouette-based characteristics for human gait analysis using one camera | |
| Wang et al. | A novel multi-cue integration system for efficient human fall detection | |
| Sabir et al. | Human gait identification using Kinect sensor | |
| KR102340281B1 (ko) | 라이다 센서를 구비한 터치 인식 방법 및 장치 | |
| JP2010205015A (ja) | グループ行動推定装置およびサービス提供システム | |
| Flores-Barranco et al. | Accidental fall detection based on skeleton joint correlation and activity boundary |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050303 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3655618 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |