JPWO2005050565A1 - 移動物体検出装置及び移動物体検出方法 - Google Patents
移動物体検出装置及び移動物体検出方法 Download PDFInfo
- Publication number
- JPWO2005050565A1 JPWO2005050565A1 JP2005515563A JP2005515563A JPWO2005050565A1 JP WO2005050565 A1 JPWO2005050565 A1 JP WO2005050565A1 JP 2005515563 A JP2005515563 A JP 2005515563A JP 2005515563 A JP2005515563 A JP 2005515563A JP WO2005050565 A1 JPWO2005050565 A1 JP WO2005050565A1
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- time
- unit
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 398
- 238000000605 extraction Methods 0.000 claims abstract description 263
- 239000000284 extract Substances 0.000 claims abstract description 50
- 230000002123 temporal effect Effects 0.000 claims abstract description 42
- 239000012634 fragment Substances 0.000 claims description 298
- 238000004458 analytical method Methods 0.000 claims description 177
- 238000000034 method Methods 0.000 claims description 177
- 239000013598 vector Substances 0.000 claims description 142
- 238000012545 processing Methods 0.000 claims description 132
- 238000006243 chemical reaction Methods 0.000 claims description 110
- 230000008859 change Effects 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 claims description 73
- 238000009434 installation Methods 0.000 claims description 17
- 241001465754 Metazoa Species 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000005311 autocorrelation function Methods 0.000 description 170
- 230000008569 process Effects 0.000 description 84
- 238000010586 diagram Methods 0.000 description 62
- 230000000737 periodic effect Effects 0.000 description 36
- 238000013500 data storage Methods 0.000 description 32
- 238000009825 accumulation Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 14
- 238000005314 correlation function Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003094 perturbing effect Effects 0.000 description 4
- 230000001568 sexual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Abstract
カメラ（１００）からの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成部（１２０）と、生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出部（１４０）と、抽出された脚間情報に含まれる周期性を解析する周期性解析部（１５０）と、解析された周期性から、移動物体の存否を含む移動情報を生成する移動物体検出部（１６０）とを備える。
Description
本発明は、センサ情報処理もしくは画像処理等によって、２本以上の脚により移動する移動物体を検出する移動物体検出装置等に関し、特に、移動物体の存否、存在位置及び移動方向を検出する移動物体検出装置等に関する。
画像処理や、ラインセンサ、圧力センサ等のセンサ情報を用いることによって、人等の移動物体を検出することができる。たとえば、画像処理を用いて人等の移動物体を検出することが行われている。
従来の移動物体検出技術の多くは、静止画もしくは１枚の差分画像を用いている。静止画や１枚の差分画像を用いて移動物体検出を行う場合、照明条件の変化による影の影響を排除することや遮蔽等で起こりうる移動物体の形状特徴変化を設計時に予測することが難しいために、誤検出や未検出を招く場合があるが、それに対し、画像シーケンスを用いる手法では、遮蔽等によって起こる一時的な特徴量の変動に対して、補間および予測機構を用いることができるために、遮蔽や一時的な環境変動に対してロバストな検出が期待できる。
動画像シーケンスを用いた移動物体検出技術としては、以下のようなものがある。移動物体を撮影した画像に対してヒストグラム計算を行うことによって、２次元画像を１次元データに圧縮し、それを時系列に並べて、空間軸および時間軸からなる２次元画像データを得て、その２次元画像から物体の存在時間を求めることによって、滞留時間を検出する（例えば、特開２０００−１１５７５０号公報参照）。この技術によれば、物体のフレーム間での対応付けを必要とせずに移動物体の検出および滞留時間を算出することが可能であるため、一時的な検出誤りによる影響を受けにくい。
また、対象物の形状と時系列的な情報である動作に関する事前知識を利用したものとして、以下のような技術がある。差分処理等によってシルエット抽出を行った画像に対して、楕円等の幾何学的図形を当てはめてパラメータ化を行う。また、事前にパラメータ化を行った時系列モデルを有しており、その時系列モデルと実際の入力に対してパラメータ化した時系列データとをパラメータ間で照合することによって、移動物体の動き解析を行っている（例えば、特開平８−２１４２８９号公報参照）。この技術によれば、周期的な移動動作も含めて解析することが可能である。
しかしながら、上記特許文献１に開示された技術のように、時間軸及び空間軸からなる１次元センサデータ及び２次元画像もしくはセンサデータから物体の存在時間を求める手法では、移動物体特有の特徴を用いていないために、他の移動物体が撮影、検出されている場合であっても、認識対象の移動物体と誤判定してしまう可能性がある。そのために、監視領域には認識対象の移動物体以外の移動物体が存在しないという前提が必要とされる。また、特に屋外で使用する場合には、照明条件の変化によってヒストグラム値が大きくなることがあり、そのために、現実には移動物体が存在していないにも関わらず移動物体が存在すると誤判定される可能性がある。
また、上記特許文献２に開示された技術にように、シルエット画像に対して、楕円等の幾何学的図形を毎フレームごとに当てはめることによってパラメータ化を実施する手法では、オクルージョンが起きた場合や照明条件の変化によっては、シルエット画像が実際の移動物体形状とは異なる形状として得られ、その結果、パラメータ化の精度が不安定になり、幾何学的図形の当てはめが困難になる危険性がある。すなわち、初期検出の精度がパラメータ化の精度に直接影響することになり、パラメータ化の精度が悪い場合、パラメータ間の照合が正確に行えないため、高精度な解析は困難となるという問題がある。
従来の移動物体検出技術の多くは、静止画もしくは１枚の差分画像を用いている。静止画や１枚の差分画像を用いて移動物体検出を行う場合、照明条件の変化による影の影響を排除することや遮蔽等で起こりうる移動物体の形状特徴変化を設計時に予測することが難しいために、誤検出や未検出を招く場合があるが、それに対し、画像シーケンスを用いる手法では、遮蔽等によって起こる一時的な特徴量の変動に対して、補間および予測機構を用いることができるために、遮蔽や一時的な環境変動に対してロバストな検出が期待できる。
動画像シーケンスを用いた移動物体検出技術としては、以下のようなものがある。移動物体を撮影した画像に対してヒストグラム計算を行うことによって、２次元画像を１次元データに圧縮し、それを時系列に並べて、空間軸および時間軸からなる２次元画像データを得て、その２次元画像から物体の存在時間を求めることによって、滞留時間を検出する（例えば、特開２０００−１１５７５０号公報参照）。この技術によれば、物体のフレーム間での対応付けを必要とせずに移動物体の検出および滞留時間を算出することが可能であるため、一時的な検出誤りによる影響を受けにくい。
また、対象物の形状と時系列的な情報である動作に関する事前知識を利用したものとして、以下のような技術がある。差分処理等によってシルエット抽出を行った画像に対して、楕円等の幾何学的図形を当てはめてパラメータ化を行う。また、事前にパラメータ化を行った時系列モデルを有しており、その時系列モデルと実際の入力に対してパラメータ化した時系列データとをパラメータ間で照合することによって、移動物体の動き解析を行っている（例えば、特開平８−２１４２８９号公報参照）。この技術によれば、周期的な移動動作も含めて解析することが可能である。
しかしながら、上記特許文献１に開示された技術のように、時間軸及び空間軸からなる１次元センサデータ及び２次元画像もしくはセンサデータから物体の存在時間を求める手法では、移動物体特有の特徴を用いていないために、他の移動物体が撮影、検出されている場合であっても、認識対象の移動物体と誤判定してしまう可能性がある。そのために、監視領域には認識対象の移動物体以外の移動物体が存在しないという前提が必要とされる。また、特に屋外で使用する場合には、照明条件の変化によってヒストグラム値が大きくなることがあり、そのために、現実には移動物体が存在していないにも関わらず移動物体が存在すると誤判定される可能性がある。
また、上記特許文献２に開示された技術にように、シルエット画像に対して、楕円等の幾何学的図形を毎フレームごとに当てはめることによってパラメータ化を実施する手法では、オクルージョンが起きた場合や照明条件の変化によっては、シルエット画像が実際の移動物体形状とは異なる形状として得られ、その結果、パラメータ化の精度が不安定になり、幾何学的図形の当てはめが困難になる危険性がある。すなわち、初期検出の精度がパラメータ化の精度に直接影響することになり、パラメータ化の精度が悪い場合、パラメータ間の照合が正確に行えないため、高精度な解析は困難となるという問題がある。
そこで、本発明は、上記問題点を解決するものであり、検出対象でない移動物体を検出対象の移動物体と誤検出することなく、かつ、初期検出精度の影響を受けることなく高い精度で移動物体を検出することができる移動物体検出装置及び方法を提供することを目的とする。
上記目的を達成するために、本発明に係る移動物体検出装置は、１次元又は２次元上に配置された対象物検出センサからの出力に基づいて移動物体を検出する装置であって、前記対象物検出センサからの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成手段と、生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出手段と、抽出された脚間情報に含まれる周期性を解析する周期性解析手段と、解析された周期性から、移動物体の存否を含む移動情報を生成する移動情報生成手段とを備えることを特徴とする。これによって、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報に基づいて移動物体の情報が生成されるので、人間等の脚を持つ動物を検出対象とした場合に、脚を持たない移動物体が誤検出されることが回避されるとともに、幾何学的形状の当てはめだけで移動物体を検出する方法に比べ、照明条件等の環境条件や初期検出精度の影響を受けにくく、高い精度で安定した移動物体の検出が実現される。
ここで、脚間情報の例として、例えば、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔であってもよいし、移動物体の歩幅を示す時間間隔又は空間間隔であってもよい。これによって、脚を持つ動物に特有の歩幅等で移動物体の存否が判定されるので、確実に画像中の人物等が検出される。
また、前記脚間情報抽出手段は、前記時系列データを構成する単位時間ごとのデータである１次元データごとに自己相関値が最低値又はピーク値となる空間間隔である相関長を算出することにより、相関長の時間変化を示すデータを前記脚間情報として抽出してもよい。これによって、相関長の時間変化によって歩行等の周期的な動きが抽出されるので、周期性のないノイズ等が除去され、ノイズ等にロバストな周期性の解析が可能となり、歩行等の動きをする人物等が確実に検出される。
また、前記時空間データ生成手段は、２次元画像を時間軸に沿って並べた時空間画像を示す時系列データを生成し、前記移動物体検出装置はさらに、前記時空間画像を時間軸に沿って切断したときの切断面又は切断片における画像である時空間断片を抽出する時空間断片抽出手段を備え、前記脚間情報抽出手段は、前記時空間断片を構成する単位時間ごとのデータを前記１次元データとして、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出してもよい。これによって、移動に伴って周期的な動きをする脚に関する画像を用いて移動物体が検出されるので、２本以上の脚を持つ移動物体が高い精度で検出される。
また、前記移動物体検出装置はさらに、前記時系列データ生成手段が生成した時系列データから、当該時系列データに含まれる移動物体の移動方向を算出する移動方向算出手段を備え、前記時空間断片抽出手段は、前記移動方向に従って、前記時空間画像を切断してもよい。これによって、移動物体の移動方向に沿って脚間情報が抽出されるので、脚間情報の抽出に要する探索範囲が狭められ、より短時間で移動物体が検出され得る。
また、前記時空間データ生成手段は、前記時系列データを構成する各画像を小領域に分割し、各小領域ごとに画像変換して得られるパラメータをＮ個の画像分だけ集めたＮ次元パラメータベクトルを生成し、前記脚間情報抽出手段は、前記Ｎ次元パラメータベクトルに基づいて、前記脚間情報を抽出してもよい。このとき、前記移動物体検出装置はさらに、前記Ｎ次元パラメータベクトルから、一定関係を有するパラメータを時系列に組み合わせることによって、パラメータベクトルの時系列組合せを生成する時系列組合せ生成手段を備え、前記脚間情報抽出手段は、前記時系列組合せに基づいて、前記脚間情報を抽出するのが好ましい。また、前記脚間情報抽出手段は、前記時系列組合せに対して、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出し、算出した相関長の時間変化を示すデータを前記脚間情報として抽出してもよい。これによって、既存の画像変換技術を利用することで、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を容易に抽出することができる。
なお、前記Ｎ次元パラメータベクトルとして、例えば、前記小領域の周波数、窓幅及び回転を示す値である。
また、前記対象物検出センサは、２次元画像を生成するカメラであり、前記時空間データ生成手段は、前記２次元画像を前記カメラの設置パラメータに従って定まるサイズで分割することよって前記小領域を生成し、生成した小領域に対して前記Ｎ次元パラメータベクトルを生成してもよい。これによって、カメラの撮像方向等に依存して画像が分割されるので、例えば、現実の空間において等間隔となるように小領域が分割され、領域の均一化が図られ、移動物体の検出精度が向上される。
また、前記脚間情報抽出手段は、前記時系列データに対して、前記脚間の時間変化を示す幾何学的図形を当てはめることによって、幾何学的図形を特定するパラメータの時系列を生成し、生成したパラメータの時系列に基づいて前記脚間情報を抽出してもよい。ここで、前記幾何学的図形として、例えば、人を含む動物の脚をモデル化した２本以上の直線であり、前記パラメータとして、例えば、前記直線が交差する角度である。そして、脚間情報として、例えば、前記角度の時間変化を示す情報であったり、前記角度の角速度の時間変化を示す情報である。さらに、前記周期性解析手段は、例えば、前記脚間情報を周波数変換し、得られた周波数スペクトルから前記周期性を解析する。これによって、人を含む動物の脚をモデル化した幾何学的図形が当てはめられるので、一般的な幾何学的図形や移動物体全体の幾何学的図形を当てはめる従来の手法に比べ、２本以上の脚を持つ移動物体がより確実に検出される。また、単に脚をモデル化した幾何学的図形を当てはめるのではなく、当てはめた幾何学的図形のパラメータの周期性に着目して移動物体が検出されるので、単に幾何学的形状の当てはめだけで移動物体を検出する従来技術に比べ、照明条件等の環境や初期検出精度の影響を受けにくい。
また、前記対象物検出センサは、画像を生成し、前記時空間データ生成手段は、前記対象物検出センサから生成される画像を時間軸に沿って並べた時系列画像データを前記時系列データとして生成してもよい。ここで、前記時空間データ生成手段は、前記画像に対して、背景差分処理又はフレーム間差分処理を行うことによって、前記時系列画像データを生成してもよいし、前記画像に対して、ハフ変換、フーリエ変換又はウェーブレット変換を行うことによって、前記時系列画像データを生成してもよい。これによって、照明変動やノイズ等の影響を排除したうえで、画像データから歩行等の周期的な動きが抽出されるので、ノイズや環境変動に対してロバストな移動物体の検出が可能となる。
また、前記移動情報生成手段は、前記脚間情報に対して、自己相関のピーク位置を特定し、特定したピーク位置が前記移動物体に特有の移動周期と一致するか否かを判定することによって前記移動物体が存在するか否かを判定し、その判定結果を示す移動情報を生成してもよい。さらに、前記移動情報生成手段は、前記移動物体が存在すると判定した場合に、前記移動体の存在位置と移動方向を特定し、前記移動情報として生成してもよい。これによって、人物等の移動物体の存否だけでなく、その位置と移動方向も生成されるので、例えば、人物監視装置として利用することができる。
なお、本発明は、移動物体検出装置として実現できるだけでなく、移動物体検出方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として実現することもできる。
上記目的を達成するために、本発明に係る移動物体検出装置は、１次元又は２次元上に配置された対象物検出センサからの出力に基づいて移動物体を検出する装置であって、前記対象物検出センサからの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成手段と、生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出手段と、抽出された脚間情報に含まれる周期性を解析する周期性解析手段と、解析された周期性から、移動物体の存否を含む移動情報を生成する移動情報生成手段とを備えることを特徴とする。これによって、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報に基づいて移動物体の情報が生成されるので、人間等の脚を持つ動物を検出対象とした場合に、脚を持たない移動物体が誤検出されることが回避されるとともに、幾何学的形状の当てはめだけで移動物体を検出する方法に比べ、照明条件等の環境条件や初期検出精度の影響を受けにくく、高い精度で安定した移動物体の検出が実現される。
ここで、脚間情報の例として、例えば、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔であってもよいし、移動物体の歩幅を示す時間間隔又は空間間隔であってもよい。これによって、脚を持つ動物に特有の歩幅等で移動物体の存否が判定されるので、確実に画像中の人物等が検出される。
また、前記脚間情報抽出手段は、前記時系列データを構成する単位時間ごとのデータである１次元データごとに自己相関値が最低値又はピーク値となる空間間隔である相関長を算出することにより、相関長の時間変化を示すデータを前記脚間情報として抽出してもよい。これによって、相関長の時間変化によって歩行等の周期的な動きが抽出されるので、周期性のないノイズ等が除去され、ノイズ等にロバストな周期性の解析が可能となり、歩行等の動きをする人物等が確実に検出される。
また、前記時空間データ生成手段は、２次元画像を時間軸に沿って並べた時空間画像を示す時系列データを生成し、前記移動物体検出装置はさらに、前記時空間画像を時間軸に沿って切断したときの切断面又は切断片における画像である時空間断片を抽出する時空間断片抽出手段を備え、前記脚間情報抽出手段は、前記時空間断片を構成する単位時間ごとのデータを前記１次元データとして、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出してもよい。これによって、移動に伴って周期的な動きをする脚に関する画像を用いて移動物体が検出されるので、２本以上の脚を持つ移動物体が高い精度で検出される。
また、前記移動物体検出装置はさらに、前記時系列データ生成手段が生成した時系列データから、当該時系列データに含まれる移動物体の移動方向を算出する移動方向算出手段を備え、前記時空間断片抽出手段は、前記移動方向に従って、前記時空間画像を切断してもよい。これによって、移動物体の移動方向に沿って脚間情報が抽出されるので、脚間情報の抽出に要する探索範囲が狭められ、より短時間で移動物体が検出され得る。
また、前記時空間データ生成手段は、前記時系列データを構成する各画像を小領域に分割し、各小領域ごとに画像変換して得られるパラメータをＮ個の画像分だけ集めたＮ次元パラメータベクトルを生成し、前記脚間情報抽出手段は、前記Ｎ次元パラメータベクトルに基づいて、前記脚間情報を抽出してもよい。このとき、前記移動物体検出装置はさらに、前記Ｎ次元パラメータベクトルから、一定関係を有するパラメータを時系列に組み合わせることによって、パラメータベクトルの時系列組合せを生成する時系列組合せ生成手段を備え、前記脚間情報抽出手段は、前記時系列組合せに基づいて、前記脚間情報を抽出するのが好ましい。また、前記脚間情報抽出手段は、前記時系列組合せに対して、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出し、算出した相関長の時間変化を示すデータを前記脚間情報として抽出してもよい。これによって、既存の画像変換技術を利用することで、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を容易に抽出することができる。
なお、前記Ｎ次元パラメータベクトルとして、例えば、前記小領域の周波数、窓幅及び回転を示す値である。
また、前記対象物検出センサは、２次元画像を生成するカメラであり、前記時空間データ生成手段は、前記２次元画像を前記カメラの設置パラメータに従って定まるサイズで分割することよって前記小領域を生成し、生成した小領域に対して前記Ｎ次元パラメータベクトルを生成してもよい。これによって、カメラの撮像方向等に依存して画像が分割されるので、例えば、現実の空間において等間隔となるように小領域が分割され、領域の均一化が図られ、移動物体の検出精度が向上される。
また、前記脚間情報抽出手段は、前記時系列データに対して、前記脚間の時間変化を示す幾何学的図形を当てはめることによって、幾何学的図形を特定するパラメータの時系列を生成し、生成したパラメータの時系列に基づいて前記脚間情報を抽出してもよい。ここで、前記幾何学的図形として、例えば、人を含む動物の脚をモデル化した２本以上の直線であり、前記パラメータとして、例えば、前記直線が交差する角度である。そして、脚間情報として、例えば、前記角度の時間変化を示す情報であったり、前記角度の角速度の時間変化を示す情報である。さらに、前記周期性解析手段は、例えば、前記脚間情報を周波数変換し、得られた周波数スペクトルから前記周期性を解析する。これによって、人を含む動物の脚をモデル化した幾何学的図形が当てはめられるので、一般的な幾何学的図形や移動物体全体の幾何学的図形を当てはめる従来の手法に比べ、２本以上の脚を持つ移動物体がより確実に検出される。また、単に脚をモデル化した幾何学的図形を当てはめるのではなく、当てはめた幾何学的図形のパラメータの周期性に着目して移動物体が検出されるので、単に幾何学的形状の当てはめだけで移動物体を検出する従来技術に比べ、照明条件等の環境や初期検出精度の影響を受けにくい。
また、前記対象物検出センサは、画像を生成し、前記時空間データ生成手段は、前記対象物検出センサから生成される画像を時間軸に沿って並べた時系列画像データを前記時系列データとして生成してもよい。ここで、前記時空間データ生成手段は、前記画像に対して、背景差分処理又はフレーム間差分処理を行うことによって、前記時系列画像データを生成してもよいし、前記画像に対して、ハフ変換、フーリエ変換又はウェーブレット変換を行うことによって、前記時系列画像データを生成してもよい。これによって、照明変動やノイズ等の影響を排除したうえで、画像データから歩行等の周期的な動きが抽出されるので、ノイズや環境変動に対してロバストな移動物体の検出が可能となる。
また、前記移動情報生成手段は、前記脚間情報に対して、自己相関のピーク位置を特定し、特定したピーク位置が前記移動物体に特有の移動周期と一致するか否かを判定することによって前記移動物体が存在するか否かを判定し、その判定結果を示す移動情報を生成してもよい。さらに、前記移動情報生成手段は、前記移動物体が存在すると判定した場合に、前記移動体の存在位置と移動方向を特定し、前記移動情報として生成してもよい。これによって、人物等の移動物体の存否だけでなく、その位置と移動方向も生成されるので、例えば、人物監視装置として利用することができる。
なお、本発明は、移動物体検出装置として実現できるだけでなく、移動物体検出方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として実現することもできる。
図１は、本発明の実施の形態１における移動物体検出装置の構成を示す図である。
図２は、移動物体検出装置の動作を示すフローチャートである。
図３（ａ）は、時空間データを示す図であり、図３（ｂ）は、時空間断片を示す図である。
図４は、ワールド座標上の断片抽出線を示す図である。
図５（ａ）は、時空間断片を示す図であり、図５（ｂ）は、１次元データを示す図であり、図５（ｃ）は、自己相関関数を示す図である。
図６（ａ）は、相関長の時系列データを示す図であり、図６（ｂ）は、相関長の自己相関関数を示す図である。
図７は、移動物体存在位置を示す図である。
図８は、本発明の実施の形態２における移動物体検出装置の構成を示す図である。
図９は、移動物体検出装置の動作を示すフローチャートである。
図１０は、小領域分割を示す図である。
図１１（ａ）は、小領域の分割を示す図であり、図１１（ｂ）は、小領域の時系列組合せを示す図であり、図１１（ｃ）は、パラメータベクトルの時系列組合せを示す図である。
図１２は、本発明の実施の形態３における移動物体検出装置の構成を示す図である。
図１３は、移動物体検出装置の動作を示すフローチャートである。
図１４（ａ）は、幾何形状の抽出を示す図であり、図１４（ｂ）は、幾何形状保持データを示す図である。
図１５は、小領域分割を示す図である。
図１６は、本発明の実施の形態４における移動物体検出装置の構成を示す図である。
図１７は、移動物体検出装置の動作を示すフローチャートである。
図１８（ａ）は、ラベリングによる物体抽出を示す図であり、図１８（ｂ）は、移動方向算出を示す図である。
図１９（ａ）は、小領域分割を示す図であり、図１９（ｂ）は、移動方向算出を示す図である。
図２０は、移動方向算出部の効果を示す図である。
図２１は、本発明の実施の形態５における移動物体検出装置の構成を示す図である。
図２２は、移動物体検出装置の動作を示すフローチャートである。
図２３は、センサ類の配置例を示す図である。
図２は、移動物体検出装置の動作を示すフローチャートである。
図３（ａ）は、時空間データを示す図であり、図３（ｂ）は、時空間断片を示す図である。
図４は、ワールド座標上の断片抽出線を示す図である。
図５（ａ）は、時空間断片を示す図であり、図５（ｂ）は、１次元データを示す図であり、図５（ｃ）は、自己相関関数を示す図である。
図６（ａ）は、相関長の時系列データを示す図であり、図６（ｂ）は、相関長の自己相関関数を示す図である。
図７は、移動物体存在位置を示す図である。
図８は、本発明の実施の形態２における移動物体検出装置の構成を示す図である。
図９は、移動物体検出装置の動作を示すフローチャートである。
図１０は、小領域分割を示す図である。
図１１（ａ）は、小領域の分割を示す図であり、図１１（ｂ）は、小領域の時系列組合せを示す図であり、図１１（ｃ）は、パラメータベクトルの時系列組合せを示す図である。
図１２は、本発明の実施の形態３における移動物体検出装置の構成を示す図である。
図１３は、移動物体検出装置の動作を示すフローチャートである。
図１４（ａ）は、幾何形状の抽出を示す図であり、図１４（ｂ）は、幾何形状保持データを示す図である。
図１５は、小領域分割を示す図である。
図１６は、本発明の実施の形態４における移動物体検出装置の構成を示す図である。
図１７は、移動物体検出装置の動作を示すフローチャートである。
図１８（ａ）は、ラベリングによる物体抽出を示す図であり、図１８（ｂ）は、移動方向算出を示す図である。
図１９（ａ）は、小領域分割を示す図であり、図１９（ｂ）は、移動方向算出を示す図である。
図２０は、移動方向算出部の効果を示す図である。
図２１は、本発明の実施の形態５における移動物体検出装置の構成を示す図である。
図２２は、移動物体検出装置の動作を示すフローチャートである。
図２３は、センサ類の配置例を示す図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
まず、本発明の実施の形態１における移動物体検出装置について説明する。
図１は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であり、カメラ１００、カメラ画像取得部１１０、時空間データ生成部１２０、時空間断片抽出部１３０、脚間情報抽出部１４０、周期性解析部１５０、移動物体検出部１６０及び映像表示部１７０を備える。
なお、本実施の形態では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出する場合について説明する。また、カメラおよびその設置パラメータを含めた構成としたが、必ずしもカメラおよびその設置パラメータを含む必要はない。また、動画データを用いる場合には、その動画データは、磁気テープ、ハードディスク、ＲＡＭ等の記憶装置に保存されていてもよいし、通信ネットワークで接続された別の装置内に保存されていてもよい。
カメラ１００は、１次元又は２次元上に配置された対象物検出センサの一例であり、移動物体を撮影し、得られた映像をカメラ画像取得部１１０に出力する撮像装置である。カメラ画像取得部１１０は、入力された映像をフレーム毎の画像に変換して時空間データ生成部１２０に送信する。ただし、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよい。
時空間データ生成部１２０は、対象物を示すデータを時間軸に沿って並べた時空間データを生成する処理部及び記憶装置等であり、画像に含まれる所定の周期性を強調するものとして、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、時間的に並んだ画像同士の差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像をフレームの時間順に蓄積することによって、予め決定した時刻Ｎ分の画像を用いて時空間データを生成する。本実施の形態においては、画像をフレームの時間順に並べているので、３次元の時空間画像が生成されることになる。なお、３次元の時空間画像の生成は、必ずしも１フレーム毎に並べられている必要はなく、数フレーム毎に並べられていてもよい。
時空間断片抽出部１３０は、時空間データ生成部１２０によって蓄積された時空間データが示す時空間画像を時間軸に平行に切断することによって、時空間断片を抽出する処理部である。ここで、時空間断片とは、時空間データが示す３次元画像（時空間画像）を時間軸に沿って切断したときの切断面または切断片における画像である。たとえば、時空間画像を構成する各フレームの横軸に平行でかつ時間軸に平行な面で時空間画像を切断したときの切断面における画像であり、このときには、フレームの横軸と時間軸とからなる２次元画像となる。なお、切断片とは、厚みを持った切断面に相当し、切断片における画像は、３次元画像となる。たとえば、人の２本の脚を切断する切断面によって得られる時空間断片は、２本の脚の空間的かつ時間的な移動を示す２次元画像を示す。
脚間情報抽出部１４０は、時空間断片抽出部１３０で抽出された時空間断片から、各時刻における２本以上の脚が生成する脚間に関する情報（以下、「脚間情報」という）を抽出する処理部である。本実施の形態では、脚間情報は、例えば、移動物体の２本の脚の幅（脚間）についての時間変化を示す情報である。
周期性解析部１５０は、脚間情報抽出部１４０が抽出した脚間情報に対して、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、解析結果を示す周期性データを移動物体検出部１６０に出力する。
移動物体検出部１６０は、周期性解析部１５０から出力された周期性データに基づいて、対象となる映像中に２本以上の脚をもつ移動物体が存在するか否かを判定するとともに、存在すると判定した場合にはその移動物体の存在位置と移動方向を特定する処理部であり、その検出結果を移動情報として生成し、映像表示部１７０に出力する。
映像表示部１７０は、移動物体検出部１６０による検出結果を表示するＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
ここで、時空間データ生成部１２０はさらに、画像変換部１２１と、時系列データ蓄積部１２２とから構成される。画像変換部１２１は、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する演算部である。時系列データ蓄積部１２２は、時空間データを生成するために、画像変換部１２１で２値化処理された画像をバッファとして時間順に蓄積するメモリ等である。
時空間断片抽出部１３０は、断片抽出線のパラメータを決定し、時空間データ生成部１２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する処理部であり、移動物体の存在位置および移動方向を検出するために実空間上に表現する座標軸であるワールド座標系において、時空間データを切断する断片抽出線を決定する断片抽出線生成部１３３と、カメラ１００の設置に関するパラメータを用いて、ワールド座標系から画像平面を表現するピクセル座標系への変換を行う座標変換部１３２と、時空間データから時空間断片の抽出を行う時空間データ切断部１３１とから構成される。
なお、脚間情報抽出部１４０は、時空間断片に対して脚の位置情報ではなく、相対的な脚間の間隔を検出することを目的として、時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する。周期性解析部１５０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
また、移動物体検出部１６０は、さらに、周期性解析部１５０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し映像表示部１７０に出力する存在位置特定部１６２とから構成される。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図２のフローチャートを用いて詳細に説明する。
まず、Ｓ２０１にて、画像変換部１２１は、カメラ画像取得部１１０により取得されたカメラ１００の撮影映像を、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。なお、カメラ１００は、複数のカメラ１００により構成されてもよい。
Ｓ２０２にて、時系列データ蓄積部１２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部１２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ２０３にて、時系列データ蓄積部１２２は、画像、若しくは、パラメータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）枚分の画像フレームが蓄積された場合は、Ｓ２０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ２０４に移行する。
Ｓ２０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ２０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ２０５に移行する。
Ｓ２０５にて、時系列データ蓄積部１２２は、画像変換部１２１からＮ＋１枚目の画像が送信された場合は、Ｓ２０５にて、時空間データから１枚目の画像フレームを破棄することによって、常時、Ｎフレーム分の画像を保持した時空間データを生成する。
なお、時空間データの生成方法については、後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ２０６にて、時空間断片抽出部１３０は、断片抽出線のパラメータを決定し、時空間データ生成部１２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する。また、本実施の形態では、時空間断片を分割することなくそのまま処理を行う場合について説明するが、時空間断片を小領域に分割して、分割した領域ごとに下記の処理を行っても構わない。
ここで、図３を用いて、時空間断片の作成方法を説明する。図３（ａ）は時空間データ３１を示し、図３（ｂ）は、断片抽出線３２により決定された時空間断片３３を示す。ここで、断片を生成するための断片抽出線３２は、直線ではなく曲線を用いてもよい。また、一定の厚みを持った線とすることも可能である。なお、断片抽出線３２の決定方法については、後述する。
Ｓ２０７にて、脚間情報抽出部１４０は、Ｓ２０６にて抽出された時空間断片に対して、周期性の解析を行うために自己相関関数の計算を行う。周期性の解析方法および自己相関関数の計算については後述する。また、脚間情報抽出部１４０での処理は、２本以上の脚がなす相対的な情報を検出するものであれば何でもよい。たとえば、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔を前記脚間情報として抽出してもよいし、移動物体の歩幅を示す時間間隔又は空間間隔を前記脚間情報として抽出してもよい。
Ｓ２０８にて、周期性解析部１５０は、断片抽出線３２のパラメータを全て試行した場合は、Ｓ２０９に移行し、断片抽出線３２のパラメータを全て試行していない場合は、Ｓ２０６に移行し、Ｓ２０６からＳ２０８の処理を繰り返す。
Ｓ２０９にて、移動物体検出部１６０は、周期性解析部１５０により計算された時空間断片３３の周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ２１０に移行し、移動物体特有の周期性が無い場合はＳ２０１に移行する。なお、移動物体か否かの判定方法については後述する。
最後に、Ｓ２１０にて、映像表示部１７０は、移動物体検出部１６０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、時空間断片抽出部１３０についてさらに詳細に説明する。
時空間断片抽出部１３０は、移動物体検出の目的によって構成が異なる。目的とは、実空間上での移動物体の存在位置および移動方向を検出するか、もしくは、画像上での移動物体の存在位置および移動方向を検出するかである。ここでは、実空間上での移動物体の存在位置および移動方向を検出することを目的としている。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１３３は、ワールド座標上での直線および曲線を定義する。ここで、断片抽出線生成部１３３は、実空間における移動物体の存在位置および移動方向に基づいて直線および曲線を生成するため、座標軸を実空間上に表現するワールド座標系を用いる。
なお、ワールド座標は、（ＸＷ、ＹＷ、ＺＷ）で示すこととし、徐、辻著、「３次元ビジョン」、９ページ、共立出版、１９９８年発行に詳細が記述されている。ＺＷをワールド座標上における上下方向と仮定してＺＷを一定値とすると、図４に示されるようにワールド座標における断片抽出線４１は、式１と定義することができる。
ここで、θＷは、実空間を表現するワールド座標上において存在する移動物体の移動方向に関するパラメータとなり、切片ｂＷは、ワールド座標上における移動物体の存在位置に関するパラメータとなる。なお、断片抽出線４１は、曲線を用いることも可能である。また、２つのパラメータは、監視領域内を網羅するような組合せを取ることになり、それぞれのパラメータに応じて、時空間断片３３を生成することとする。生成された、時空間断片３３は、後述する脚間情報抽出部１４０および周期性解析部１５０に送信され周期性の解析を行う。なお、他の検出手法と併用する場合には、その検出結果をもとに前記２つのパラメータを決定すればよく、必ずしも網羅的である必要はない。他の検出手法と併用する場合の実施の形態は、実施の形態４で説明する。
座標変換部１３２は、このθＷ及びｂＷのパラメータにより生成された断片抽出線４１を、カメラ１００の設置位置、焦点距離、スケールファクタ等の予め既知のパラメータを用いて、ワールド座標系から画像平面を表現するピクセル座標系への変換を行う。この変換により、断片抽出線４１は２次元画像上の線となる。なお、ワールド座標系を定義しない場合は、座標変換部１３２は不要である。
時空間データ切断部１３１は、時空間断片３３の抽出を行う。時空間断片３３の抽出は、座標変換部１３２で生成されたピクセル座標系における断片抽出線４１を用いて時空間データ生成部１２０で生成された時空間データ３１を切断することによって行う。
脚間情報抽出部１４０は、時空間断片３３から脚間隔に相当する距離を算出し、周期性解析部１５０は、その周期性の解析を行う。その周期性解析が終了したら、断片抽出線４１のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、断片抽出線生成部１３３に出力する。
以下、同様に、時空間断片抽出部１３０は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線４１を作成し時空間断片３３を作成する。
次に、脚間情報抽出部１４０についてさらに詳細に説明する。
脚間情報抽出部１４０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。なお、図５（ａ）の時間は、時空間データ生成部１２０で、予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τｐ）は、自己相関関数Ｃ（τ）がピークになる位置τｐであり、１次元データで相関の高いＯＮピクセルの間隔はτｐに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τｐは、移動物体の脚に着目した場合、歩幅（ある時刻における脚間）を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅（脚間）の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τｐ）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τＬを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτＬを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τＬは、時刻ごとに計算され、時刻ごとに計算された相関長τＬを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τＬの時系列データ６１を図６（ａ）に示す。相関長τＬの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。なお、相関長τＬは、必ずしも時間的に連続して算出する必要はなく、最低一歩につき一時刻分の相関長τＬを計算すればよい。
次に、周期性解析部１５０についてさらに詳細に説明する。
脚間情報抽出部１４０で算出された相関長τＬの時系列データ６１を周期性解析部１５０に入力する。周期性解析部１５０は、図６（ａ）に示されるような相関長τＬの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。なお、ここでは、自己相関関数の代わりにフーリエ変換を用いても構わない。この計算結果を図６（ｂ）に示す。ここで、相関長τＬの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６０に出力する。また、同時に、周期性解析部１５０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１３０の断片抽出線生成部１３３に出力する。
以下、同様に、時空間断片抽出部１３０の断片抽出線生成部１３３は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。なお、断片抽出線パラメータ変更信号は、監視領域を網羅できるように、すべての断片抽出線パラメータを変更してもよいし、移動物体検出部１６０で移動物体検出が行われるまでとしてもよい。また、他の物体検出手法と組み合わせる場合においては、必ずしも網羅的に断片抽出線のパラメータを変更する必要はない。断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるθＷ及びｂＷである。
次に、移動物体検出部１６０についてさらに詳細に説明する。
移動物体検出部１６０は、周期性解析部１５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する存在位置特定部１６２とを備える。
相関長の自己相関関数Ｃｔ（α）は、τＬ（ｔ）をある間隔αだけずらしたτＬ（ｔ＋α）と、τＬ（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αＷの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。
本実施の形態では、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部１６０のピーク検出部１６１は、ピーク位置αＷが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、カメラ画像取得部１１０で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１６１のピーク位置αＷを計算すればよい。
ピーク検出部１６１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、存在位置特定部１６２により、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する。
存在位置特定部１６２は、まず、断片抽出線パラメータであるθＷ及びｂＷのうちθＷから、実空間を示すワールド座標上における移動方向を特定する。ここでは、θＷ及びｂＷが、実空間における移動軌跡を表現することになるため、θＷから、移動方向を検出することが可能である。図７に示されるように、最新フレーム画像７１の２値化画像と断片抽出線７３との接点から移動物体の存在位置７２を決定する。これによって、画像上での存在位置７２を検出可能である。また、検出した存在位置７２をワールド座標上位置に変換することによって、実空間上での存在位置７２を特定することも可能である。
なお、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。ただし、これは、存在位置７２の特定方法を限定するものではない。
また、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。ただし、これは、存在位置７２の特定方法を限定するものではない。
最後に、映像表示部１７０は、移動物体検出部１６０で検出した移動物体の存在位置７２と移動方向を俯瞰図に配置して表示する。なお、カメラ画像上に検出位置および移動方向を表示することも可能である。これによって、周期的な動きをもつ移動物体が存在する時刻、位置、移動方向を同時に検出することが可能である。
以上のように、本実施の形態によれば、複数枚の画像を用い、移動物体が脚を閉じている状態又は移動物体が脚を大きく広げている状態を基に、周期性解析に基づいて移動物体が検出されるので、初期検出が理想的に行えないような場合においても、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本手法は、断片抽出線パラメータの探索方法を限定するものではない。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するもの（動物等）であれば、同様の効果を得ることができる。
（実施の形態２）
次に、本発明の実施の形態２における移動物体検出装置について説明する。
本実施の形態では、入力画像に対して画像変換を行い、変換後のパラメータを時系列パラメータとして蓄積し、その時系列パラメータから周期性を解析することによって移動物体を検出する場合について説明する。また、ビデオテープ等に保存された動画像から移動物体を検出する場合について説明するが、実施の形態１で説明したように、カメラ１００およびその設置パラメータを含めた図１の構成とすることも可能である。
図８は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であるが、入力画像に対して画像変換を行い、変換後のパラメータを時系列パラメータとして、その時系列パラメータから周期性を解析することによって移動物体を検出する点に特徴を有し、動画像取得部８１０、時空間データ生成部８２０、時系列組合せ生成部８３０、脚間情報抽出部８４０、周期性解析部８５０、移動物体検出部８６０及び映像表示部８７０を備える。
なお、実施の形態１では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出する場合について説明したが、本実施の形態では、画像に含まれる所定の周期性を強調するものとして、画像変換部１２１にて、画像変換を行い、画像をパラメータ化した場合について説明する。これにより、ノイズ等にロバストな移動物体検出装置が実現可能である。
動画像取得部８１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部８２０に送信される。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。
時空間データ生成部８２０は、実施の形態１と同様に、画像変換部８２１と時系列データ蓄積部８２２から構成される。画像変換部８２１は、入力された映像を小領域に分割し、小領域毎に画像変換を行い、それぞれの小領域画像をパラメータに変換する。時系列データ蓄積部８２２は、時刻Ｎ分のパラメータベクトルを用いて時空間データを生成するメモリ等である。
なお、本実施の形態においては、画像に含まれる所定の周期性を強調するものとして、画像をウェーブレット変換し、多次元ウェーブレット係数に変換されたデータをフレームの時間順に並べた場合について説明する。ただし、必ずしもフレームごとである必要はなく、時系列的に並んだデータであればよい。
時系列組合せ生成部８３０は、画像変換部８２１で分割した小領域に対してそれぞれウェーブレット変換を行った後のパラメータベクトルから時間順に小領域の組合せを生成する処理部である。
脚間情報抽出部８４０は、時系列組合せ生成部８３０で生成されたそれぞれの小領域に対応するパラメータベクトルの時系列組合せデータに対して、脚間がなす角度や距離に対応する情報を抽出する。
周期性解析部８５０は、時空間データ生成部８２０で生成された時空間データに対して、特に移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、脚を有する移動物体に特有の周期性を検出する。
移動物体検出部８６０は、周期性解析部８５０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部及び記憶装置であり、ピーク検出部８６１、ピーク数蓄積部８６２及び存在位置特定部８６３を備える。
ピーク検出部８６１は、周期性解析部８５０から入力された周期性解析結果からピーク位置を検出し、検出したピーク位置を用いて移動物体の移動周期との類似を検証する処理部である。ピーク数蓄積部８６２は、時刻Ｎ分の画像フレームから算出される多次元ベクトルについてピーク検出を行い、検出したピーク数を蓄積する処理部及び記憶装置であり、存在位置特定部８６３は、移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する処理部である。
映像表示部８７０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図９のフローチャートを用いて詳細に説明する。
まず、Ｓ９０１にて、動画像取得部８１０は、動画像を取得し、時空間データ生成部８２０に出力する。時空間データ生成部８２０の画像変換部８２１は、入力された画像を小領域に分割し、それぞれの領域ごとにウェーブレット変換を行う。ウェーブレット変換については、後述する。
なお、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像に対して小領域に分割しウェーブレット変換を行ってもよい。背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。また、本実施の形態では、画像変換部８２１でウェーブレット変換を用いた場合について説明するが、この他にもハフ変換、２次元フーリエ変換を用いることも可能である。
Ｓ９０２にて、時空間データ生成部８２０の時系列データ蓄積部８２２は、ウェーブレット変換後のパラメータベクトルの時系列を、時空間データとしてバッファに時間順に蓄積する。なお、時空間データ生成部８２０の構成は、実施の形態により異なる。
Ｓ９０３にて、時系列データ蓄積部８２２は、予め決定した時刻Ｎ分のパラメータベクトルを用いて時空間データを生成し、時刻Ｎ枚分の画像フレームが蓄積された場合は、Ｓ９０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ９０４に移行する。
Ｓ９０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ９０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ９０５に移行する。
Ｓ９０５にて、時系列データ蓄積部８２２は、画像変換部８２１からＮ＋１枚目の画像フレームから生成したパラメータベクトルが送信された場合は、Ｓ９０５にて、時空間データの１枚目の画像フレー厶から生成したパラメータベクトルを破棄することによって、常時、Ｎ時刻分のパラメータベクトルを保持した時空間データを生成する。
なお、時空間データの生成方法については後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、一定時間ごとにサンプリングしたデータであってもよい。
Ｓ９０６にて、時系列組合せ生成部８３０は、小領域に対してそれぞれウェーブレット変換を行った後のパラメータベクトルから時間順に小領域の組合せを生成する。なお、時系列組合せ生成部８３０については後述する。
Ｓ９０７にて、脚間情報抽出部８４０は、Ｓ９０６にて抽出したウェーブレット変換後のパラメータベクトルの時系列組合せに対して、周期性の解析を行うために自己相関関数の計算を行う。周期性の解析方法および自己相関関数の計算については後述する。また、周期性解析部８５０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ９０８にて、周期性解析部８５０は、時系列組合せ生成部８３０により計算されたウェーブレット変換後のパラメータベクトルの時系列組合せを全て試行した場合はＳ９０９に移行し、ウェーブレット変換後のパラメータベクトルの時系列組合せを全て試行していない場合はＳ９０６に移行し、Ｓ９０６からＳ９０８の処理を繰り返す。
Ｓ９０９にて、移動物体検出部８６０は、ウェーブレット変換後のパラメータベクトルの時系列組合せに対する周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ９１０に移行し、移動物体特有の周期性が無い場合はＳ９０１に移行する。なお、移動物体か否かの判定方法については実施の形態１と同様であるため、省略する。
最後に、Ｓ９１０にて、映像表示部８７０は、移動物体検出部８６０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、画像変換部８２１での処理についてさらに詳細に説明する。
まず、図１０に示されるように、画像変換部８２１は、動画像取得部８１０より送信された入力画像１００１を小領域１００２に分割する。また、カメラの設置パラメータが既知である場合においては、床を平面と仮定することによって、画像上の位置によって対象物体が撮像される大きさを算出することができる。一般的に、対象物体とカメラとの距離が大きくなるほど、対象物体は、画面上部に撮像されることになるため、図１５に示されるように、遠くに存在する対象物体は画像上部に小さく撮像されることになる。そのため、小領域の区切り方を、画像上部であるほど小さな領域となるように区切ることによって、一つの小領域が占める実空間での領域を均一化することも可能である。
そして、画像変換部８２１は、小領域１００２ごとに、２次元ガボールウェーブレット変換を行う。ガボールウェーブレット変換については、中野宏穀、山本鎮男、吉田靖夫著、「ウェーブレットによる信号処理と画像処理」、３５−４２ページ、共立出版、１９９９年発行に詳細が記述されている。
本実施の形態においては、各小領域１００２の中心座標について、周波数および窓幅に相当する４種類のパラメータと、回転に相当する４種類のパラメータとから構成される１６種類のガボールウェーブレットを用いて、２次元ガボールウェーブレット変換を行う。すなわち、各小領域１００２ごとに１６次元のパラメータベクトルを出力する。ただし、これは、パラメータベクトルの次元数を限定するものではなく、移動時における脚の開き具合を、より高精度に表現するためには、回転に相当するパラメータ数を多く取ることによって実現可能である。このため、パラメータベクトルは、Ｍ次元（Ｍは自然数）パラメータベクトルと記述することもできる。
次に、図１１を用いて、時系列組合せ生成部８３０についてさらに詳細に説明する。
時系列組合せ生成部８３０は、パラメータベクトルの時系列組合せを生成する。本実施の形態では、以下のように行うが、組合せの方法を限定するものではなく、パラメータベクトルに対する閾値処理等で組合せ数を減らすことも可能である。なお、他の検出手法と併用する場合には、その検出結果をもとに前記組合せを決定してもよい。
図１１（ａ）に時刻ｔにおける入力画像１００１を９つの小領域１００２に分割した場合を示し、図１１（ｂ）に９つの小領域１００２の時系列組合せを示し、図１１（ｃ）に各小領域１００２に含まれる１６次元のパラメータベクトルの時系列組合せを示す。図１１（ａ）に示されるように、小領域１００２の時系列組合せは、周辺の小領域１００２との組合せであり、ＳＥ１は、入力画像１００１の周辺部であるため、図１１（ｂ）に示されるように、時刻ｔ＋１での組合せはＳＥ１、ＳＥ２、ＳＥ４、ＳＥ５と組み合わせることになる。同様に、ＳＥ３、ＳＥ７、ＳＥ９は、入力画像１００１の周辺部であるため、時刻ｔ＋１の組合せ候補は４つの小領域１００２が対象となり、ＳＥ２、ＳＥ４、ＳＥ６、ＳＥ８は、図１１（ｂ）に図示していないが、時刻ｔ＋１の組合せ候補は、６つの小領域となる。これに対して、図１１（ｃ）に示されるように、１６次元のパラメータベクトルの時系列組合せは、異なる小領域１００２の同一のパラメータベクトルを組み合わせるため、小領域１００２の時系列がＳＥ１、ＳＥ５、ＳＥ９・・・ＳＥ９であるパラメータベクトルＰＢ０の組合せは、ＳＥ１（ｔ）のＰＢ０（ｔ）、ＳＥ２（ｔ＋１）のＰＢ０（ｔ＋１）、ＳＥ９（ｔ＋２）のＰＢ０（ｔ＋２）、・・・ＳＥ９（ｔ＋Ｎ−１）のＰＢ０（ｔ＋Ｎ−１）となり、ＰＢ１からＰＢＦも同様に組み合わせ、Ｎ次元パラメータベクトルを１６個生成し、１６個のＮ次元パラメータベクトルを脚間情報抽出部８４０に送信する。なお、必ずしも画像全体を小領域に分割する必要はなく、前処理等によって、人物等の移動物体候補領域を決定し、その候補領域のみを小領域に区切ってもよい。この場合、パラメータベクトルの時系列組合せ数を削減することが可能である。
脚間情報抽出部８４０は、その１６個のＮ次元パラメータベクトルから脚間情報の抽出を行い、周期性解析部８５０は、その結果を用いて周期性の解析を行う。つまり、時系列組合せ生成部８３０で生成されたＮ次元パラメータベクトルは、脚間情報抽出部８４０に入力され、実施の形態１と同様に式２を用いて自己相関関数を計算後、自己相関関数Ｃ（τ）＝０となるτＬを相関長として用いて、周期性解析部８５０が周期性の解析を行う。なお、本実施例においては、相関関数Ｃ（τ）＝０となるτＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、移動の周期的変動を捉えられるものであれば、何でもよい。
周期性解析部８５０は、実施の形態１と同様に相関長τＬの時系列データに対して自己相関関数を計算するため、詳しい説明は省略する。ここで、相関長τＬの時系列データに対して自己相関関数を計算した結果である相関長の自己相関関数Ｃｔ（τ）を移動物体検出部８６０に出力する。また、同時に、周期性解析部８５０は、時系列組合せ生成部８３０で生成された１６個のＮ次元パラメータベクトルについて全て計算し終わるまで、計算続行のための信号を時系列組合せ生成部８３０に出力する。
次に、移動物体検出部８６０についてさらに詳細に説明する。
移動物体検出部８６０は、周期性解析部８５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかについて検証するピーク検出部８６１と、１６個のＮ次元パラメータベクトルについてピーク検出を実施し、検出されたピーク数を蓄積するピーク数蓄積部８６２と、蓄積されたピーク数を用いて画像フレーム中の物体を移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する存在位置特定部８６３とを備える。本実施例で、ピーク位置τＷの検出は、実施の形態１に記載した方法と同じであるため、省略する。
ピーク検出部８６１は、相関長の自己相関関数計算結果から移動物体の移動に特有のピークが検出された場合、ピーク数蓄積部８６２に１を加算する。その時、時系列組合せ生成部８３０で生成された、小領域の組合せ情報も同時に保持する。なお、小領域１００２の組合せ情報とは、時系列組合せ生成部８３０が１６×Ｎ次元の時系列ベクトルを生成した時に、１６個のＮ次元パラメータベクトルを算出した小領域を、どのように組み合わせたかを表現する情報である。すなわち、小領域の組合せ情報は、Ｎ次元のベクトルであり、各要素は小領域を表す番号とする。
ピーク数蓄積部８６２に蓄積される値は、本実施の形態では、１６個のＮ次元パラメータベクトルを用いたため、１６個すべてのＮ次元パラメータベクトルにピークが存在した場合に、ピーク数１６となる。そのため、時系列組合せ生成部８３０で生成された１６個のＮ次元パラメータベクトルを一単位として、ピーク数を蓄積することとなる。
ピーク数蓄積部８６２は、蓄積されたピーク数が最大となる小領域の組合せを、存在位置特定部８６３に送信する。
存在位置特定部８６３は、移動物体の存在位置７２と移動方向を特定し、映像表示部８７０に出力する。なお、存在位置７２は、画像上での存在位置を示すこととし、存在位置特定部８６３に送信された小領域１００２の組合せ情報から、最新フレームの入力画像１００１における小領域１００２とする。
また、移動方向は、最新フレームの入力画像１００１をＮフレームとすると、Ｎ−１フレームにおける小領域１００２の中心位置と最新フレームにおける小領域１００２の中心位置とを結んだ線を移動方向とする。これにより、画像上での存在位置と移動方向を表示可能である。また、検出した存在位置をワールド座標上位置に変換することによって、実空間上での存在位置を特定することも可能である。さらに、検出した移動方向を用いて、Ｎ＋１フレームにおける存在位置を予測することも可能である。
映像表示部８７０は、上記情報に従って移動物体の存在位置および移動方向を表示する。
以上のように、本実施の形態によれば、複数枚の画像を用い、ウェーブレット変換等の画像処理と周期性解析に基づいて移動物体検出を行うことによって、初期検出が理想的に行えないような場合においても、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本実施の形態における移動物体検出装置では、画像変換部８２１は、ウェーブレット変換を用いたが、ハフ変換又はフーリエ変換を用いてもよい。この場合でも、同様の効果を得ることは可能である。
（実施の形態３）
次に、本発明の実施の形態３における移動物体検出装置について説明する。
本実施の形態では、入力画像に対して幾何学的図形を当てはめる。ここでは、脚間情報に相当する幾何学的図形に類似した部分画像を抽出し、部分画像をパラメータに変換し、そのパラメータを時間順に並べて時系列パラメータとして蓄積し、その脚間情報を保持した時系列パラメータから周期性を解析することによって移動物体を検出する場合について説明する。また、ビデオテープ等に保存された動画像から移動物体を検出する場合について説明するが、実施の形態１で説明したように、カメラ１００およびその設置パラメータを含めた図１の構成とすることも可能である。
図１２は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１及び２と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出するものであが、入力画像に対して幾何学的図形を当てはめることで幾何学的図形に類似した部分画像を抽出し、部分画像をパラメータに変換し、そのパラメータを時間順に並べて時系列パラメータとし、その時系列パラメータから周期性を解析することによって移動物体を検出する点に特徴を有し、動画像取得部１２１０、時空間データ生成部１２２０、脚間情報抽出部１２３０、周期性解析部１２４０、移動物体検出部１２５０及び映像表示部１２６０を備える。
なお、実施の形態１では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出し、実施の形態２では、画像変換によって画像をパラメータ化したものを時系列データとし、その周期性を解析したが、本実施の形態では、画像に含まれる所定の周期性を強調するものとして、図１２に示されるように、幾何形状変換部１２３１によって画像に幾何形状を当てはめてパラメータ化したものを時系列データとし、その周期性を解析する。これにより、周期性解析がより簡便となるという利点がある。本実施の形態では、脚間情報を得るために、幾何形状当てはめを脚のモデルとして考慮した２本の直線組を用いた場合について説明する。
動画像取得部１２１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部１２２０に送信される。ただし、映像は、必ずしもフレームごとである必要はなく、時系列的に並んだ画像を取得できるものであればよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。
時空間データ生成部１２２０は、図１２に示されるように、画像変換部１２２１と時系列データ蓄積部１２２２とを備える。画像変換部１２２１は、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像に２値化画像への変換を行い、シルエット画像を抽出する。時系列データ蓄積部１２２２は、予め決定した時刻Ｎ分の変換されたパラメータを用いて時空間データを生成する処理部及び記憶装置等である。
脚間情報抽出部１２３０は、入力された時系列データに対して幾何形状を当てはめる幾何形状変換部１２３１と、幾何形状変換部で当てはめる幾何形状を保持する幾何形状保持部１２３２とを備える。幾何形状変換部１２３１は、画像に含まれる所定の周期性を強調する処理部であり、シルエット画像に対して、直線、楕円、長方形などの幾何学的図形を当てはめることによって、シルエット画像を脚間の角度や距離を表現するパラメータに変換する。幾何形状保持部１２３２は、幾何形状変換部１２３１にて、当てはめを行うための幾何形状を保持しているメモリ等である。
なお、本実施の形態においては、画像変換部１２２１で生成されたシルエット画像に対して、脚を表現する２本の直線組を当てはめ、当てはめた直線組が保持する股間角度に変換して時系列データを生成する場合について説明する。なお、幾何学的図形の当てはめは、楕円や長方形でも構わない。また、円柱等の３次元ボリュームを持った形状でも構わない。
周期性解析部１２４０は、脚間情報抽出部１２３０で抽出された脚間情報を保持する時空間データに対して特に移動物体の移動に特有の周期性を検出するための周期性解析を行う処理部であり、移動物体に特有の周期性を検出する。時系列組合せ生成部１２４１は、脚間情報抽出部１２３０で行った幾何学的図形当てはめの結果を時系列的に組み合わせることによって、Ｎ次元股間角度時系列データ（Ｎ次元時系列パラメータベクトル）を生成する処理部である。周波数変換部１２４２は、時系列組合せ生成部１２４１で生成されたＮ次元時系列パラメータベクトルに対してフーリエ変換を行い、各周波数に対して強度を持つベクトルを移動物体検出部１２５０に出力する処理部である。
移動物体検出部１２５０は、周期性解析部１２４０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部であり、ピーク検出部１２５１と存在位置特定部１２５２とを備える。ピーク検出部１２５１は、周期性解析部１２４０から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出する処理部であり、存在位置特定部１２６２は、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し映像表示部１２６０に出力する処理部である。映像表示部１２６０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図１３のフローチャートを用いて詳細に説明する。
まず、Ｓ１３０１にて、画像変換部１２２１は、動画像取得部１２１０により取得された動画像を、入力画像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換することでシルエット画像を抽出する。この時、輪郭抽出やノイズ除去等を行ってシルエット画像を抽出してもよい。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。
Ｓ１３０２にて、時系列データ蓄積部１２２２は、Ｓ１３０１にて得られたシルエット画像を時空間データとしてバッファに時間順に蓄積する。なお、時空間データ生成部１２２０は、実施の形態により異なる構成としても同様の効果を得ることができる。
Ｓ１３０３にて、幾何形状変換部１２３１は、シルエット画像に対して幾何学的図形の当てはめを行う。本実施の形態では、当てはめを行う図形を直線組とした例について説明する。当てはめを行う直線組は、幾何形状保持部１２３２にて２本の直線組とそのパラメータとして、直線の交差する角度である股間角度を保持しており、当てはめを行った結果、その股間角度と画像上での存在位置を時系列組合せ生成部１２４１に出力する。本実施の形態では、２本の直線組を当てはめる場合について説明するが、他の図形を当てはめても構わない。幾何形状変換部１２３１および幾何形状保持部１２３２については後述する。
Ｓ１３０４にて、時系列データ蓄積部１２２２は、予め決定した時刻Ｎ分の股間角度時系列データを用いて時空間データを生成し、時空間データのフレームがＮ枚である場合は、Ｓ１３０７に移行し、Ｎ枚でない場合は、Ｓ１３０５に移行する。
Ｓ１３０５にて、時空間データのフレームがＮ枚未満である場合は、Ｓ１３０１に移行し、時空間データのフレームがＮ枚を超過する場合は、Ｓ１３０６に移行する。
Ｓ１３０６にて、時系列データ蓄積部１２２２は、画像変換部１２２１からＮ＋１枚目の画像から生成したデータが送信された場合は、時空間データから１枚目の画像フレームのデータを破棄することによって、Ｎ時刻分の時系列データを保持した時空間データを生成する。
なお、時空間データの生成方法については後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ１３０７にて、時系列組合せ生成部１２４１は、脚間情報抽出部１２３０で生成されたＮ時刻分の股間角度時系列データから幾何学的図形当てはめの結果を時系列的に組み合わせることによって、Ｎ次元股間角度時系列データを生成する処理部である。なお、時系列組合せ生成部１２４１については後述する。
Ｓ１３０８にて、周波数変換部１２４２は、Ｓ１３０７にて抽出した幾何学的図形当てはめ結果の時系列組合せデータである幾何パラメータベクトルに対して、周期性の解析を行うためにフーリエ変換を行う。周期性の解析方法およびフーリエ変換については後述する。また、周期性解析部１２４０は、実施の形態により異なる構成を用いても同様の効果を得ることができる。
Ｓ１３０９にて、周波数変換部１２４２は、時系列組合せ生成部１２４１で幾何学的図形当てはめ結果の全ての時系列組合せについて周波数解析を終了していない場合には、Ｓ１３０７に移行し、再度、新たな時系列組合せによるパラメータベクトルを決定し、全ての組合せのパラメータベクトルについて、周波数解析が終了した場合には、Ｓ１３１０に移行する。
Ｓ１３１０にて、移動物体検出部１２５０は、周期性解析部１２４０により計算された幾何パラメータベクトルの時系列組合せに対する周期性解析結果から、移動物体特有の周期性の有無を判定することによって、移動物体か否かを判断し、移動物体の存在する位置および移動方向を決定する。移動物体か否かの判定方法については後述する。
最後に、Ｓ１３１１にて、移動物体検出部１２５０で検出した移動物体の存在位置および移動方向に基づいて、その結果を映像表示部１２６０に表示する。
次に、脚間情報抽出部１２３０についてさらに詳細に説明する。
幾何形状変換部１２３１は、図１４（ａ）に示されるように、時系列データ蓄積部１２２２に蓄積されたシルエット画像１４０１に対して、幾何形状１４０２である脚のモデルとして２本の直線組の当てはめを行う。図１４（ｂ）に示されるように、幾何形状保持部１２３２は、複数の大きさと複数の股間角度に対応する直線組を保持しており、股間角度をパラメータとして持っている。なお、股間角度の代わりに脚間間隔をデータとして保持してもよい。
これらの直線組を、シルエット画像１４０１に対して当てはめて、予め定めた閾値以上であれば、当てはめた画像上での座標位置及びその股間角度を時系列組合せ生成部１２４１に送信する。なお、シルエット画像１４０１への直線組の当てはめは、パターンマッチングによって行ったが、一般化ハフ変換によって直線組を表現し、当てはめを行ってもよい。
次に、周期性解析部１２４０についてさらに詳細に説明する。
時系列組合せ生成部１２４１は、当てはめた股間角度の時系列組合せを生成する。本実施の形態では、以下のように行うが、股間角度の時系列組合せの方法を限定するものではない。なお、他の検出手法と併用する場合には、その検出結果をもとに股間角度の時系列組合せを決定してもよい。
時系列組合せ生成部１２４１は、ある時刻ｔにおける、直線組の当てはめ位置（ｘｔ、ｙｔ）から、時刻ｔ＋１における画像領域で（ｘｔ、ｙｔ）の近傍領域内に存在する直線組の当てはめ位置（ｘｔ＋１、ｙｔ＋１）との組合せを生成する。このように近傍領域内に存在する当てはめ位置の組合せを時刻Ｎ分、全ての場合について行うことによって、時系列組合せを生成する。ここで、当てはめられた直線組は、股間角度及び大きさをパラメータとして保持しているため、時系列組合せによって、Ｎ次元の股間角度が時間順に並んだ時系列パラメータを得ることになる。なお、近傍領域の定義は、画像サイズや画像のフレームレートに応じて設定する。生成されたＮ次元時系列パラメータは、周波数変換部１２４２に送信される。
周波数変換部１２４２は、時系列組合せ生成部１２４１で生成されたＮ次元時系列パラメータベクトルに対してフーリエ変換を行う。フーリエ変換を行った後、各周波数に対して強度を持つベクトルが得られ、そのベクトルを移動物体検出部１２５０に出力する。また、同時に、周波数変換部１２４２は、時系列組合せ生成部１２４１で生成された時系列パラメータベクトルについて全て計算し終わるまで、時系列組合せ生成部１２４１に計算続行のための信号を出力する。以下、同様に、時系列組合せ生成部１２４１で生成された全ての時系列パラメータベクトルの計算が終了するまで同様の処理を行う。
次に、移動物体検出部１２５０についてさらに詳細に説明する。
移動物体検出部１２５０は、周波数変換部１２４２から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出するピーク検出部１２５１と、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する存在位置特定部１２５２とを備える。
ピーク検出部１２５１は、入力された時系列パラメータベクトルのうち、移動物体の移動周期に相当する周波数を表現する要素についてのみピーク検出を行う。すなわち、移動周期と同じ周波数にピークが存在する場合は、移動物体、それ以外は移動物体ではないと判定する。ピーク検出部１２５１は、移動物体の移動に特有のピークを検出した場合、存在位置特定部１２５２にピーク検出信号と、その時系列パラメータを生成した当てはめ位置の組合せ（ｘｔ、ｙｔ）から（ｘｔ＋Ｎ、ｙｔ＋Ｎ）を送信する。このように各時刻において幾何学的図形をあてはめてパラメータ化を行い、その時系列パラメータの周期性を判定することによって、一時的に幾何学的図形のあてはめに失敗した場合にもロバストな移動物体検出が可能である。
存在位置特定部１２５２は、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する。存在位置は、画像上での存在位置を示すこととし、ピーク検出部１２５１から送信された情報を用いて、最新のフレームに対応する（ｘｔ＋Ｎ、ｙｔ＋Ｎ）を移動物体の検出位置とする。また、移動方向は、最新フレームをＮフレームとすると、Ｎ−１フレームにおける（ｘｔ＋Ｎ−１、ｙｔ＋Ｎ−１）と最新フレームにおける（ｘｔ＋Ｎ、ｙｔ＋Ｎ）とを結んだ線を移動方向とする。
これにより、画像上での存在位置と移動方向を表示可能である。また、検出した存在位置をワールド座標上位置に変換することによって、実空間上での存在位置を特定することも可能である。さらに、検出した移動方向を用いて、Ｎ＋１フレームにおける存在位置を予測することも可能である
映像表示部１２６０は、上記情報に従って移動物体の存在位置および移動方向を表示する。
以上のように、本実施の形態によれば、入力画像に対して脚間の変化を示す幾何学的図形を当てはめ、当てはめの状態を示す時系列パラメータの周期性を解析することによって移動物体が検出されるので、２本以上の脚を持つ移動物体が確実に検出されるとともに、照明条件等の環境や初期検出精度の影響を受けずに安定して移動物体が検出される。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
（実施の形態４）
次に、本発明の実施の形態４における移動物体検出装置について説明する。
図１６は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１等と同様に、街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であるが、移動物体の移動方向を算出することで、より高速かつ正確に移動物体の周期性を解析する点に特徴を有し、動画像取得部１６１０、時空間データ生成部１６２０、移動方向算出部１６３０、時空間断片抽出部１６４０、脚間情報抽出部１６５０、周期性解析部１６６０、移動物体検出部１６７０及び映像表示部１６８０を備える。
動画像取得部１６１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部１６２０に送信される。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。もちろん、実施の形態１で説明したように、カメラおよびその設置パラメータを含めた構成とすることも可能である。
時空間データ生成部１６２０は、画像に含まれる所定の周期性を強調するものとして、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、時間的に並んだ画像同士の差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像をフレームの時間順に蓄積することによって、予め決定した時刻Ｎ分の画像を用いて時空間データを生成する処理部及び記憶装置である。なお、本実施の形態においては、画像をフレームの時間順に並べたものであるので、３次元の時空間画像が生成されることになる。
移動方向算出部１６３０は、時空間データ生成部１６２０で蓄積された時系列データに対して、移動物体が画像上で移動している方向を算出する処理部である。
時空間断片抽出部１６４０は、蓄積された時空間データを時間軸に平行に切断することによって、時空間断片を抽出する。
脚間情報抽出部１６５０は、時空間断片抽出部１６４０で抽出された時空間断片から、各時刻における２本以上の脚が生成する脚間の情報を抽出する。
周期性解析部１６６０は、時空間データ生成部１６２０で生成された時空間画像に対して、特に、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、移動方向算出部１６３０で検出した移動方向情報を用いて、移動物体に特有の周期性を検出する。
移動物体検出部１６７０は、周期性解析部１６６０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部である。
映像表示部１６８０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を画像上に表示する。
ここで、時空間データ生成部１６２０は、さらに、画像変換部１６２１と、時系列データ蓄積部１６２２とから構成される。画像変換部１６２１は、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する処理部である。時系列データ蓄積部１６２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積するメモリ等である。
また、時空間断片抽出部１６４０は、移動方向算出部１６３０で算出した移動方向に従って断片抽出線のパラメータを決定し、時空間データ生成部１６２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する処理部であり、さらに、移動物体の存在位置および移動方向を検出するために実空間上に表現する座標軸であるワールド座標系において、時空間データを切断する断片抽出線を決定する断片抽出線生成部１６４１と、時空間データから時空間断片の抽出を行う時空間データ切断部１６４２とを備える。
また、脚間情報抽出部１６５０は、抽出された時空間断片に対して脚の位置情報ではなく、相対的な脚間の間隔を検出することを目的として、時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する。周期性解析部１６６０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
また、移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図１７のフローチャートを用いて詳細に説明する。
まず、Ｓ１７０１にて、画像変換部１６２１は、動画像取得部１６１０により取得された映像を、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。
Ｓ１７０２にて、時系列データ蓄積部１６２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部１６２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ１７０３にて、時系列データ蓄積部１６２２は、画像、若しくは、パラメータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）枚分の画像フレームが蓄積された場合は、Ｓ１７０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ１７０４に移行する。
Ｓ１７０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ１７０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ１７０５に移行する。
Ｓ１７０５にて、時系列データ蓄積部１６２２は、画像変換部１６２１からＮ＋１枚目の画像が送信された場合は、Ｓ１７０５にて、時空間データから１枚目の画像フレームを破棄することによって、常時、Ｎフレーム分の画像を保持した時空間データを生成する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ１７０６にて、移動方向算出部１６３０は、物体の移動方向を検出し、断片抽出線の傾き候補を生成する。また、時空間データを小領域に分割して、分割した領域ごとに移動方向を算出することもできる。移動方向の算出方法については、後述する。
Ｓ１７０７にて、時空間断片抽出部１６４０は、断片抽出線のパラメータを決定し、時空間データ生成部１６２０で生成された時空間データから、移動方向算出部１６３０で決定した断片切断線の傾き候補に基づいた断片抽出線を用いて時空間断片を抽出する。
Ｓ１７０８にて、脚間情報抽出部１６５０は、Ｓ１７０７にて抽出した時空間断片に対して、周期性の解析を行うために自己相関関数の計算を行う。
Ｓ１７０９にて、周期性解析部１６６０は、断片抽出線の候補を全て試行した場合は、Ｓ１７１０に移行し、断片抽出線の候補を全て試行していない場合は、Ｓ１７０６に移行し、Ｓ１７０６からＳ１７０９の処理を繰り返す。
Ｓ１７１０にて、移動物体検出部１６７０は、周期性解析部１６６０により計算された時空間断片の周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ１７１１に移行し、移動物体特有の周期性が無い場合はＳ１７０１に移行する。
最後に、Ｓ１７１１にて、映像表示部１６８０は、移動物体検出部１６７０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、移動方向算出部１６３０についてさらに詳細に説明する。
移動方向算出部１６３０における移動方向の算出方法には、対象物体の候補を検出して移動方向を算出する方法と、対象物体の検出は行わずに移動方向を算出する方法とがある。まず、対象物体の候補を検出して、移動方向を算出する方法について説明する。
図１８（ａ）に示されるように、１枚の差分画像から、孤立した物体を抽出するラベリングアルゴリズムを用いて、孤立した物体を一つの検出対象物体の候補であると捉える。ラベリングアルゴリズムによる物体抽出は、画素値１のピクセルを連結し、異なった連結部には異なったラベルをつけることによって行う。本実施例では、以下のように行った。
まず、時刻ｔにおける２値化された差分画像に対し、画素値が１であり、かつラベルの付けられていない画素Ｐを検出し、ラベルＬを付与する。画素Ｐと連結している画素全てに対し、同じラベルＬを付与する。この操作をラベル付けされていない画素が存在しなくなるまで続けることによって、物体抽出を行う。もちろん、孤立した物体を抽出できるものであれば、他のラベリング手法を用いても構わない。しかしながらこの場合、検出対象物体に関する形状情報を用いたものではないため、状況によっては、実際には２個の物体が一つと検出されたり、実際には１個の物体が２個に分かれて抽出されたりする事がありうる。そのような場合においても、後述する周期性判定によって、ラベリングが正確でない場合であっても、誤検出を減らすことが可能である。
続いて、図８（ｂ）に示されるように時刻ｔ＋１における２値化された差分画像に対し、時刻ｔにおいてラベリングした移動物体候補を画像上で摂動させながらマッチングすることによって、最もマッチング値が高い位置までの動きベクトルを算出する。この動きベクトル算出処理を一定時刻行い、ラベルごとの平均動きベクトルを求めることによって、対象物体候補の移動方向を算出する。
次に、対象物体の検出を行わずに移動方向を算出する方法について説明する。ここでは、図１９（ａ）に示されるように小領域に区切って算出する方法について説明する。なお、図１５のようにカメラのパラメータ等を考慮して小領域に区切っても構わない。
まず、時刻ｔにおける二値化された差分画像に対し、各小領域ごとにある一定数以上の画素値１のピクセルが存在する場合、その小領域を摂動させることによって、時刻ｔ＋１における二値化された差分画像とのマッチングを行う。この時、現在の位置から摂動させた結果、最大のマッチング値を持った位置までの動きベクトルを算出する。これにより、図１９（ｂ）のように、それぞれの小領域において、動きベクトルが算出されることになる。この動きベクトル算出処理を一定時刻行い、各小領域ごとの平均動きベクトルを求める。そして、各小領域ごとに算出した平均動きベクトルを投票し、ある一定値以上の投票が得られた場合に、対象物体候補の移動方向とする。
なお、本実施の形態では、上記のような移動方向算出方法について述べたが、移動ベクトルを算出することができれば、他の物体検出手法を用いても構わない。
次に、時空間断片抽出部１６４０についてさらに詳細に説明する。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１６４１は、画像上での直線および曲線を定義する。ここでは、画像上に直線を引くことで、断片抽出線３２を求める場合について説明する。
断片抽出線３２は、
で定義することができ、
ここで、傾きａは、画像上における移動物体の移動方向に関するパラメータとなり、ｂは、画像上での切片である。
ここで、傾きａは、移動方向算出部１６３０により算出された対象物体候補の移動方向により求めることができる。時空間断片抽出部１６４０は、この傾きａに応じて、切片ｂの値を変更することによって断片抽出線３２を生成し、時空間断片３３を抽出することができる。生成された、時空間断片３３は、脚間情報抽出部１６５０に送信されて脚間情報が抽出され、さらに周波数解析部１６６０に送られて周期性の解析が行われる。図２０に、移動方向算出部１６３０の効果の一例を示す。このように、移動方向を算出することによって、断片抽出線３２の数を大幅に減らすことが可能となり、計算量を削減できる。
時空間データ切断部１６４２は、時空間断片３３の抽出を行う。時空間断片３３の抽出は、断片抽出線３２を用いて時空間データ生成部１６２０で生成された時空間データ３１を切断することによって行う。
時空間断片３３は、脚間情報抽出部１６５０に送信されて脚間情報が抽出され、さらに周波数解析部１６６０に送られて周期性の解析が行われる。周波数解析部１６６０は、時空間断片３３の周期性の解析を行い、その周期性解析が終了したら、断片抽出線３２のパラメータ変更を示す信号である断片抽出線３２パラメータ変更信号を、断片抽出線生成部１６４１に出力する。以下、同様に、時空間断片抽出部１６４０は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線３２を作成し時空間断片３３を作成する。
次に、脚間情報抽出部１６５０についてさらに詳細に説明する。
脚間情報抽出部１６５０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。
なお、図５（ａ）の時間は、時空間データ生成部１６２０が予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、前述の式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τＰ）は、自己相関関数Ｃ（τ）がピークになる位置τＰであり、１次元データで相関の高いＯＮピクセルの間隔はτＰに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τＰは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τＰ）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τＬを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτＬを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τＬは、時刻ごとに計算され、時刻ごとに計算された相関長τＬを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τＬの時系列データ６１を図６（ａ）に示す。相関長τＬの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。ここで、相関長τＬは、必ずしも時間的に連続して算出する必要はなく、最低一歩につき一時刻分の相関長τＬを計算すればよい。
次に、周期性解析部１６６０についてさらに詳細に説明する。
脚間情報抽出部１６５０で算出された相関長τＬの時系列データ６１は、周期性解析部１６６０に入力される。周期性解析部１６６０は、図６（ａ）に示されるような相関長τＬの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τＬの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６７０に出力する。また、同時に、周期性解析部１６６０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１６４０の断片抽出線生成部１６４１に出力する。
以下、同様に、時空間断片抽出部１６４０の断片抽出線生成部１６４１は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。ここで、断片抽出線パラメータ変更信号は、移動方向算出部で算出した移動物体候補の移動方向に基づいて、すべてのパラメータ候補についてパラメータ変更してもよいし、移動物体検出部１６７０で移動物体検出が行われるまでとしてもよい。また、断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるｂである。
次に、移動物体検出部１６７０についてさらに詳細に説明する。
移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
相関長の自己相関関数Ｃｔ（α）は、τＬ（ｔ）をある間隔αだけずらしたτＬ（ｔ＋α）と、τＬ（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αＷの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。
ここでは、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部１６７０のピーク検出部１６７１は、ピーク位置αＷが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、動画像取得部１６１０で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１６７１のピーク位置αＷを計算すればよい。
ピーク検出部１６７１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、存在位置特定部１６７２により、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する。
存在位置特定部１６７２は、まず、ピーク検出部１６７１でピークが検出されたときの断片抽出線パラメータａとｂから、移動方向および存在位置を特定する。なお、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。また、これは、存在位置の特定方法を限定するものではない。
映像表示部１６８０は、移動物体検出部１６７０で検出した移動物体の存在位置と移動方向を画像上に配置する。これによって、周期的な動きをもつ移動物体が存在する時刻、位置、移動方向を同時に検出することが可能である。
以上のように、本実施の形態によれば、移動物体の移動方向が算出され、その移動方向に沿って脚間情報が抽出され、移動物体が検出されるので、脚間情報の抽出に要する探索範囲が狭められ、より短時間で移動物体が検出される。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本手法は、断片抽出線パラメータの探索方法を限定するものではない。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
また、本手法における移動方向算出部１６３０は、実施の形態２においても用いることが可能であり、時系列組合せ生成部８３０での組合せ数を減らすことができるため、計算量削減および、より正確な周期性判定を行うことができる。
（実施の形態５）
次に、本発明の実施の形態５における移動物体検出装置について説明する。
図２１は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１等と同様に住宅及び街頭や駐車場、店舗内などに存在する特定の移動物体を検出する装置であるが、ラインセンサ等からのセンサ情報を用いて移動物体を検出する点に特徴を有し、センサデータ取得部２１１０、時空間データ生成部２１２０、脚間情報抽出部２１３０、周期性解析部２１４０、移動物体検出部２１５０及び映像表示部２１６０を備える。
センサデータ取得部２１１０は、ラインセンサ、フォトディテクタ、圧力センサ等から、時刻ごとに得られたデータを時空間データ生成部２１２０に送信する。ここでセンサデータは、時系列的に並んだデータであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。
時空間データ生成部２１２０は、時系列センサデータに含まれる所定の周期性を強調するものとして、ノイズ除去および、閾値によりセンサデータを２値化し、変換後のセンサデータを時間順に蓄積することによって、予め決定した時刻Ｎ分のセンサデータを用いて時空間データを生成する処理部及び記憶装置である。
脚間情報抽出部２１３０は、時空間データ生成部２１２０で生成された時空間データに対して、時刻ごとの脚間距離を算出する処理部である。
周期性解析部２１４０は、特に、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、移動物体に特有の周期性を検出する。
移動物体検出部２１５０は、周期性解析部２１４０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部である。
映像表示部２１６０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を画像上に表示したり、移動物体の存在を報知したりする。
ここで、時空間データ生成部２１２０は、時系列データ蓄積部２１２１を備える。この時系列データ蓄積部２１２１は、検出されたデータから時空間データを生成するために、バッファとして時間順に蓄積するメモリ等である。
また、脚間情報抽出部２１３０は、時空間断片に対して時刻ｔごとに自己相関関数を計算する。周期性解析部２１４０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
さらに、移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定し、ピークを検出した時に映像表示部２１６０に出力するピーク検出部２１５１を備える。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図２２のフローチャートを用いて詳細に説明する。
まず、Ｓ２２０１にて、時系列データ蓄積部２１２１は、センサから得られたデータから時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部２１２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ２２０２にて、時系列データ蓄積部２１２１は、センサデータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）分のセンサデータが蓄積された場合は、Ｓ２２０５に移行し、時刻Ｎ分のセンサデータが蓄積されていない場合は、Ｓ２２０３に移行する。
Ｓ２２０３にて、蓄積されたセンサデータが時刻Ｎ未満である場合は、Ｓ２２０１に移行し、時刻Ｎを超過する場合は、Ｓ２２０４に移行する。
Ｓ２２０４にて、時系列データ蓄積部２１２１は、センサデータ取得部２１１０からＮ＋１番目のセンサデータが送信された場合は、Ｓ２２０４にて、時空間データから１番目のセンサデータを破棄することによって、常時、時刻Ｎ分のデータを保持した時空間データを生成する。ここでは、必ずしも時刻１ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、データは、必ずしも時刻１ごとである必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ２２０５にて、脚間情報抽出部２１３０は、Ｓ２２０４にて抽出した時空間断片に対して、脚間情報を抽出するために時刻ごとに自己相関関数の計算を行う。
Ｓ２２０６にて、周期性解析部２１４０は、Ｓ２２０５にて検出した脚間情報の時間変化から周期性を解析し、移動物体検出部２１５０は、周期性解析部２１４０により計算された時系列蓄積データの周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ２２０５に移行し、移動物体特有の周期性が無い場合はＳ２２０１に移行する。
最後に、Ｓ２２０７にて、映像表示部２１６０は、移動物体検出部２１５０で検出した移動物体の情報を表示する。ここで、移動物体が所定の移動物体である場合においては、警報を発するなどの手段を用いることもできる。また、カメラと組み合わせることにより、対象を撮像することができる。
次に、センサデータ取得部２１１０についてさらに詳細に説明する。
本実施の形態では、１次元上にレーザ発振器を並べて、フォトディテクタでセンシングする場合について説明するが、他にも、ラインカメラ、ラインセンサ等、１次元データを得られるセンサおよび発信機を用いることができる。また、２次元上に配置する圧力センサ等を利用する場合は、画像と同様に扱うことが可能であるため、前述の実施の形態に含めることができる。
図２３（ａ）〜（ｃ）にレーザ発振器２３１ａ〜２３１ｂとフォトディテクタ２３２ａ〜２３２ｂの配置例を示す。本実施の形態では、レーザ発振器２３１ａ〜２３１ｂおよびフォトディテクタ２３２ａ〜２３２ｂは、対象を検出したい領域に１次元上に並べて配置される。レーザ２３１ａ〜ｂとフォトディテクタ２３２ａ〜ｂは、図２３（ａ）のように対向するように配置してもよいし、図２３（ｂ）及び（ｃ）のように検出対象物に対して同じ側に配置してもよい。さらに、図２３（ｃ）に示されるように、ハーフミラー２３３ａ〜２３３ｂでレーザを反射させてもよい。また、人物の検出を目的とする場合であれば、センサおよび発信機は地上１０ｃｍ程度の所に配置するのが望ましい。
以上のように設置されたセンサから取得したデータを、閾値により２値化し、時系列データ蓄積部で時刻Ｎ分蓄積すると、図５に示されるような理想的な時空間データを得ることができる。これにより、時空間断片抽出が不要となり、計算時間を大幅に削減可能である。
脚間情報抽出部２１３０は、各時刻における脚間距離を算出し、周期性解析部２１４０は、時空間データの周期性の解析を行う。この脚間情報抽出部２１３０は、センサから得られたデータを蓄積した時空間データに対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。そのため、必ずしも時空間データ生成部２１２０を設ける必要はなく、ある一定時刻分のデータをまとめて処理するものであればよい。
なお、図５（ａ）の時間は、時空間データ生成部２１２０が予め決定した時刻Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、前述の式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τＰ）は、自己相関関数Ｃ（τ）がピークになる位置τＰであり、１次元データで相関の高いＯＮピクセルの間隔はτＰに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τＰは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τＰ）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τＬを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτＬを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τＬは、時刻ごとに計算され、時刻ごとに計算された相関長τＬを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τＬの時系列データ６１を図６（ａ）に示す。相関長τＬの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。
次に、周期性解析部２１４０についてさらに詳細に説明する。
脚間情報抽出部２１３０で算出された相関長τＬの時系列データ６１は、周期性解析部２１４０に入力される。周期性解析部２１４０は、図６（ａ）に示されるような相関長τＬの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τＬの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部２１５０に出力する。
次に、移動物体検出部２１５０についてさらに詳細に説明する。
移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部２１５１を備える。
なお、相関長の自己相関関数Ｃｔ（α）は、τＬ（ｔ）をある間隔αだけずらしたτＬ（ｔ＋α）と、τＬ（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αＷの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定した周期付近のピークを探索する方法を用いても構わない。
本実施の形態では、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部２１５０のピーク検出部２１５１は、ピーク位置αＷが一歩の移動に必要な時間である場合に、移動物体であると判定する。一歩の移動に必要な時間は、センサデータ取得部２１１０で１秒間に取得できるデータ量によって異なるが、本実施の形態では、１秒間に３０時刻分入力された場合で、２０から３０を一歩の移動に必要な時間とし、ピーク位置αが２０から３０の間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このピーク位置は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定する時間を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、１秒間に３０時刻分のデータが入力された場合について述べたが、一定時間ごとにサンプリングしたデータを用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部２１５１のピーク位置αＷを計算すればよい。
ピーク検出部２１５１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、対象物体を検出した事を映像表示部２１６０に出力する。これによって、周期的な動きをもつ移動物体を他の移動物体と区別して検出することが可能であり、高速に処理可能で、かつ誤検出を減らすことができる。
以上のように、本実施の形態によれば、時系列データを用い、移動物体が脚を閉じている状態又は移動物体が脚を大きく広げている状態を基に、周期性解析に基づいて移動物体が検出されるので、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
産業上の利用の可能性
本発明は、２本以上の脚を持つ人物等の移動物体を検出する装置等として、例えば、街頭や施設内に設置する監視装置等として、特に、移動物体の現在位置、移動方向が既知でない場合においても、画像中の検出位置を限定することなく、移動物体検出を行うことが可能な移動物体検出装置等として利用することができる。
（実施の形態１）
まず、本発明の実施の形態１における移動物体検出装置について説明する。
図１は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であり、カメラ１００、カメラ画像取得部１１０、時空間データ生成部１２０、時空間断片抽出部１３０、脚間情報抽出部１４０、周期性解析部１５０、移動物体検出部１６０及び映像表示部１７０を備える。
なお、本実施の形態では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出する場合について説明する。また、カメラおよびその設置パラメータを含めた構成としたが、必ずしもカメラおよびその設置パラメータを含む必要はない。また、動画データを用いる場合には、その動画データは、磁気テープ、ハードディスク、ＲＡＭ等の記憶装置に保存されていてもよいし、通信ネットワークで接続された別の装置内に保存されていてもよい。
カメラ１００は、１次元又は２次元上に配置された対象物検出センサの一例であり、移動物体を撮影し、得られた映像をカメラ画像取得部１１０に出力する撮像装置である。カメラ画像取得部１１０は、入力された映像をフレーム毎の画像に変換して時空間データ生成部１２０に送信する。ただし、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよい。
時空間データ生成部１２０は、対象物を示すデータを時間軸に沿って並べた時空間データを生成する処理部及び記憶装置等であり、画像に含まれる所定の周期性を強調するものとして、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、時間的に並んだ画像同士の差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像をフレームの時間順に蓄積することによって、予め決定した時刻Ｎ分の画像を用いて時空間データを生成する。本実施の形態においては、画像をフレームの時間順に並べているので、３次元の時空間画像が生成されることになる。なお、３次元の時空間画像の生成は、必ずしも１フレーム毎に並べられている必要はなく、数フレーム毎に並べられていてもよい。
時空間断片抽出部１３０は、時空間データ生成部１２０によって蓄積された時空間データが示す時空間画像を時間軸に平行に切断することによって、時空間断片を抽出する処理部である。ここで、時空間断片とは、時空間データが示す３次元画像（時空間画像）を時間軸に沿って切断したときの切断面または切断片における画像である。たとえば、時空間画像を構成する各フレームの横軸に平行でかつ時間軸に平行な面で時空間画像を切断したときの切断面における画像であり、このときには、フレームの横軸と時間軸とからなる２次元画像となる。なお、切断片とは、厚みを持った切断面に相当し、切断片における画像は、３次元画像となる。たとえば、人の２本の脚を切断する切断面によって得られる時空間断片は、２本の脚の空間的かつ時間的な移動を示す２次元画像を示す。
脚間情報抽出部１４０は、時空間断片抽出部１３０で抽出された時空間断片から、各時刻における２本以上の脚が生成する脚間に関する情報（以下、「脚間情報」という）を抽出する処理部である。本実施の形態では、脚間情報は、例えば、移動物体の２本の脚の幅（脚間）についての時間変化を示す情報である。
周期性解析部１５０は、脚間情報抽出部１４０が抽出した脚間情報に対して、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、解析結果を示す周期性データを移動物体検出部１６０に出力する。
移動物体検出部１６０は、周期性解析部１５０から出力された周期性データに基づいて、対象となる映像中に２本以上の脚をもつ移動物体が存在するか否かを判定するとともに、存在すると判定した場合にはその移動物体の存在位置と移動方向を特定する処理部であり、その検出結果を移動情報として生成し、映像表示部１７０に出力する。
映像表示部１７０は、移動物体検出部１６０による検出結果を表示するＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
ここで、時空間データ生成部１２０はさらに、画像変換部１２１と、時系列データ蓄積部１２２とから構成される。画像変換部１２１は、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する演算部である。時系列データ蓄積部１２２は、時空間データを生成するために、画像変換部１２１で２値化処理された画像をバッファとして時間順に蓄積するメモリ等である。
時空間断片抽出部１３０は、断片抽出線のパラメータを決定し、時空間データ生成部１２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する処理部であり、移動物体の存在位置および移動方向を検出するために実空間上に表現する座標軸であるワールド座標系において、時空間データを切断する断片抽出線を決定する断片抽出線生成部１３３と、カメラ１００の設置に関するパラメータを用いて、ワールド座標系から画像平面を表現するピクセル座標系への変換を行う座標変換部１３２と、時空間データから時空間断片の抽出を行う時空間データ切断部１３１とから構成される。
なお、脚間情報抽出部１４０は、時空間断片に対して脚の位置情報ではなく、相対的な脚間の間隔を検出することを目的として、時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する。周期性解析部１５０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
また、移動物体検出部１６０は、さらに、周期性解析部１５０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し映像表示部１７０に出力する存在位置特定部１６２とから構成される。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図２のフローチャートを用いて詳細に説明する。
まず、Ｓ２０１にて、画像変換部１２１は、カメラ画像取得部１１０により取得されたカメラ１００の撮影映像を、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。なお、カメラ１００は、複数のカメラ１００により構成されてもよい。
Ｓ２０２にて、時系列データ蓄積部１２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部１２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ２０３にて、時系列データ蓄積部１２２は、画像、若しくは、パラメータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）枚分の画像フレームが蓄積された場合は、Ｓ２０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ２０４に移行する。
Ｓ２０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ２０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ２０５に移行する。
Ｓ２０５にて、時系列データ蓄積部１２２は、画像変換部１２１からＮ＋１枚目の画像が送信された場合は、Ｓ２０５にて、時空間データから１枚目の画像フレームを破棄することによって、常時、Ｎフレーム分の画像を保持した時空間データを生成する。
なお、時空間データの生成方法については、後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ２０６にて、時空間断片抽出部１３０は、断片抽出線のパラメータを決定し、時空間データ生成部１２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する。また、本実施の形態では、時空間断片を分割することなくそのまま処理を行う場合について説明するが、時空間断片を小領域に分割して、分割した領域ごとに下記の処理を行っても構わない。
ここで、図３を用いて、時空間断片の作成方法を説明する。図３（ａ）は時空間データ３１を示し、図３（ｂ）は、断片抽出線３２により決定された時空間断片３３を示す。ここで、断片を生成するための断片抽出線３２は、直線ではなく曲線を用いてもよい。また、一定の厚みを持った線とすることも可能である。なお、断片抽出線３２の決定方法については、後述する。
Ｓ２０７にて、脚間情報抽出部１４０は、Ｓ２０６にて抽出された時空間断片に対して、周期性の解析を行うために自己相関関数の計算を行う。周期性の解析方法および自己相関関数の計算については後述する。また、脚間情報抽出部１４０での処理は、２本以上の脚がなす相対的な情報を検出するものであれば何でもよい。たとえば、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔を前記脚間情報として抽出してもよいし、移動物体の歩幅を示す時間間隔又は空間間隔を前記脚間情報として抽出してもよい。
Ｓ２０８にて、周期性解析部１５０は、断片抽出線３２のパラメータを全て試行した場合は、Ｓ２０９に移行し、断片抽出線３２のパラメータを全て試行していない場合は、Ｓ２０６に移行し、Ｓ２０６からＳ２０８の処理を繰り返す。
Ｓ２０９にて、移動物体検出部１６０は、周期性解析部１５０により計算された時空間断片３３の周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ２１０に移行し、移動物体特有の周期性が無い場合はＳ２０１に移行する。なお、移動物体か否かの判定方法については後述する。
最後に、Ｓ２１０にて、映像表示部１７０は、移動物体検出部１６０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、時空間断片抽出部１３０についてさらに詳細に説明する。
時空間断片抽出部１３０は、移動物体検出の目的によって構成が異なる。目的とは、実空間上での移動物体の存在位置および移動方向を検出するか、もしくは、画像上での移動物体の存在位置および移動方向を検出するかである。ここでは、実空間上での移動物体の存在位置および移動方向を検出することを目的としている。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１３３は、ワールド座標上での直線および曲線を定義する。ここで、断片抽出線生成部１３３は、実空間における移動物体の存在位置および移動方向に基づいて直線および曲線を生成するため、座標軸を実空間上に表現するワールド座標系を用いる。
なお、ワールド座標は、（ＸＷ、ＹＷ、ＺＷ）で示すこととし、徐、辻著、「３次元ビジョン」、９ページ、共立出版、１９９８年発行に詳細が記述されている。ＺＷをワールド座標上における上下方向と仮定してＺＷを一定値とすると、図４に示されるようにワールド座標における断片抽出線４１は、式１と定義することができる。
座標変換部１３２は、このθＷ及びｂＷのパラメータにより生成された断片抽出線４１を、カメラ１００の設置位置、焦点距離、スケールファクタ等の予め既知のパラメータを用いて、ワールド座標系から画像平面を表現するピクセル座標系への変換を行う。この変換により、断片抽出線４１は２次元画像上の線となる。なお、ワールド座標系を定義しない場合は、座標変換部１３２は不要である。
時空間データ切断部１３１は、時空間断片３３の抽出を行う。時空間断片３３の抽出は、座標変換部１３２で生成されたピクセル座標系における断片抽出線４１を用いて時空間データ生成部１２０で生成された時空間データ３１を切断することによって行う。
脚間情報抽出部１４０は、時空間断片３３から脚間隔に相当する距離を算出し、周期性解析部１５０は、その周期性の解析を行う。その周期性解析が終了したら、断片抽出線４１のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、断片抽出線生成部１３３に出力する。
以下、同様に、時空間断片抽出部１３０は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線４１を作成し時空間断片３３を作成する。
次に、脚間情報抽出部１４０についてさらに詳細に説明する。
脚間情報抽出部１４０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。なお、図５（ａ）の時間は、時空間データ生成部１２０で、予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、式２と定義することができる。
本実施の形態では、自己相関関数Ｃ（τｐ）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τＬを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτＬを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τＬは、時刻ごとに計算され、時刻ごとに計算された相関長τＬを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τＬの時系列データ６１を図６（ａ）に示す。相関長τＬの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。なお、相関長τＬは、必ずしも時間的に連続して算出する必要はなく、最低一歩につき一時刻分の相関長τＬを計算すればよい。
次に、周期性解析部１５０についてさらに詳細に説明する。
脚間情報抽出部１４０で算出された相関長τＬの時系列データ６１を周期性解析部１５０に入力する。周期性解析部１５０は、図６（ａ）に示されるような相関長τＬの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。なお、ここでは、自己相関関数の代わりにフーリエ変換を用いても構わない。この計算結果を図６（ｂ）に示す。ここで、相関長τＬの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６０に出力する。また、同時に、周期性解析部１５０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１３０の断片抽出線生成部１３３に出力する。
以下、同様に、時空間断片抽出部１３０の断片抽出線生成部１３３は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。なお、断片抽出線パラメータ変更信号は、監視領域を網羅できるように、すべての断片抽出線パラメータを変更してもよいし、移動物体検出部１６０で移動物体検出が行われるまでとしてもよい。また、他の物体検出手法と組み合わせる場合においては、必ずしも網羅的に断片抽出線のパラメータを変更する必要はない。断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるθＷ及びｂＷである。
次に、移動物体検出部１６０についてさらに詳細に説明する。
移動物体検出部１６０は、周期性解析部１５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する存在位置特定部１６２とを備える。
相関長の自己相関関数Ｃｔ（α）は、τＬ（ｔ）をある間隔αだけずらしたτＬ（ｔ＋α）と、τＬ（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αＷの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。
本実施の形態では、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部１６０のピーク検出部１６１は、ピーク位置αＷが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、カメラ画像取得部１１０で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１６１のピーク位置αＷを計算すればよい。
ピーク検出部１６１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、存在位置特定部１６２により、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する。
存在位置特定部１６２は、まず、断片抽出線パラメータであるθＷ及びｂＷのうちθＷから、実空間を示すワールド座標上における移動方向を特定する。ここでは、θＷ及びｂＷが、実空間における移動軌跡を表現することになるため、θＷから、移動方向を検出することが可能である。図７に示されるように、最新フレーム画像７１の２値化画像と断片抽出線７３との接点から移動物体の存在位置７２を決定する。これによって、画像上での存在位置７２を検出可能である。また、検出した存在位置７２をワールド座標上位置に変換することによって、実空間上での存在位置７２を特定することも可能である。
なお、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。ただし、これは、存在位置７２の特定方法を限定するものではない。
また、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。ただし、これは、存在位置７２の特定方法を限定するものではない。
最後に、映像表示部１７０は、移動物体検出部１６０で検出した移動物体の存在位置７２と移動方向を俯瞰図に配置して表示する。なお、カメラ画像上に検出位置および移動方向を表示することも可能である。これによって、周期的な動きをもつ移動物体が存在する時刻、位置、移動方向を同時に検出することが可能である。
以上のように、本実施の形態によれば、複数枚の画像を用い、移動物体が脚を閉じている状態又は移動物体が脚を大きく広げている状態を基に、周期性解析に基づいて移動物体が検出されるので、初期検出が理想的に行えないような場合においても、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本手法は、断片抽出線パラメータの探索方法を限定するものではない。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するもの（動物等）であれば、同様の効果を得ることができる。
（実施の形態２）
次に、本発明の実施の形態２における移動物体検出装置について説明する。
本実施の形態では、入力画像に対して画像変換を行い、変換後のパラメータを時系列パラメータとして蓄積し、その時系列パラメータから周期性を解析することによって移動物体を検出する場合について説明する。また、ビデオテープ等に保存された動画像から移動物体を検出する場合について説明するが、実施の形態１で説明したように、カメラ１００およびその設置パラメータを含めた図１の構成とすることも可能である。
図８は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であるが、入力画像に対して画像変換を行い、変換後のパラメータを時系列パラメータとして、その時系列パラメータから周期性を解析することによって移動物体を検出する点に特徴を有し、動画像取得部８１０、時空間データ生成部８２０、時系列組合せ生成部８３０、脚間情報抽出部８４０、周期性解析部８５０、移動物体検出部８６０及び映像表示部８７０を備える。
なお、実施の形態１では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出する場合について説明したが、本実施の形態では、画像に含まれる所定の周期性を強調するものとして、画像変換部１２１にて、画像変換を行い、画像をパラメータ化した場合について説明する。これにより、ノイズ等にロバストな移動物体検出装置が実現可能である。
動画像取得部８１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部８２０に送信される。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。
時空間データ生成部８２０は、実施の形態１と同様に、画像変換部８２１と時系列データ蓄積部８２２から構成される。画像変換部８２１は、入力された映像を小領域に分割し、小領域毎に画像変換を行い、それぞれの小領域画像をパラメータに変換する。時系列データ蓄積部８２２は、時刻Ｎ分のパラメータベクトルを用いて時空間データを生成するメモリ等である。
なお、本実施の形態においては、画像に含まれる所定の周期性を強調するものとして、画像をウェーブレット変換し、多次元ウェーブレット係数に変換されたデータをフレームの時間順に並べた場合について説明する。ただし、必ずしもフレームごとである必要はなく、時系列的に並んだデータであればよい。
時系列組合せ生成部８３０は、画像変換部８２１で分割した小領域に対してそれぞれウェーブレット変換を行った後のパラメータベクトルから時間順に小領域の組合せを生成する処理部である。
脚間情報抽出部８４０は、時系列組合せ生成部８３０で生成されたそれぞれの小領域に対応するパラメータベクトルの時系列組合せデータに対して、脚間がなす角度や距離に対応する情報を抽出する。
周期性解析部８５０は、時空間データ生成部８２０で生成された時空間データに対して、特に移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、脚を有する移動物体に特有の周期性を検出する。
移動物体検出部８６０は、周期性解析部８５０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部及び記憶装置であり、ピーク検出部８６１、ピーク数蓄積部８６２及び存在位置特定部８６３を備える。
ピーク検出部８６１は、周期性解析部８５０から入力された周期性解析結果からピーク位置を検出し、検出したピーク位置を用いて移動物体の移動周期との類似を検証する処理部である。ピーク数蓄積部８６２は、時刻Ｎ分の画像フレームから算出される多次元ベクトルについてピーク検出を行い、検出したピーク数を蓄積する処理部及び記憶装置であり、存在位置特定部８６３は、移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する処理部である。
映像表示部８７０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図９のフローチャートを用いて詳細に説明する。
まず、Ｓ９０１にて、動画像取得部８１０は、動画像を取得し、時空間データ生成部８２０に出力する。時空間データ生成部８２０の画像変換部８２１は、入力された画像を小領域に分割し、それぞれの領域ごとにウェーブレット変換を行う。ウェーブレット変換については、後述する。
なお、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像に対して小領域に分割しウェーブレット変換を行ってもよい。背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。また、本実施の形態では、画像変換部８２１でウェーブレット変換を用いた場合について説明するが、この他にもハフ変換、２次元フーリエ変換を用いることも可能である。
Ｓ９０２にて、時空間データ生成部８２０の時系列データ蓄積部８２２は、ウェーブレット変換後のパラメータベクトルの時系列を、時空間データとしてバッファに時間順に蓄積する。なお、時空間データ生成部８２０の構成は、実施の形態により異なる。
Ｓ９０３にて、時系列データ蓄積部８２２は、予め決定した時刻Ｎ分のパラメータベクトルを用いて時空間データを生成し、時刻Ｎ枚分の画像フレームが蓄積された場合は、Ｓ９０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ９０４に移行する。
Ｓ９０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ９０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ９０５に移行する。
Ｓ９０５にて、時系列データ蓄積部８２２は、画像変換部８２１からＮ＋１枚目の画像フレームから生成したパラメータベクトルが送信された場合は、Ｓ９０５にて、時空間データの１枚目の画像フレー厶から生成したパラメータベクトルを破棄することによって、常時、Ｎ時刻分のパラメータベクトルを保持した時空間データを生成する。
なお、時空間データの生成方法については後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、一定時間ごとにサンプリングしたデータであってもよい。
Ｓ９０６にて、時系列組合せ生成部８３０は、小領域に対してそれぞれウェーブレット変換を行った後のパラメータベクトルから時間順に小領域の組合せを生成する。なお、時系列組合せ生成部８３０については後述する。
Ｓ９０７にて、脚間情報抽出部８４０は、Ｓ９０６にて抽出したウェーブレット変換後のパラメータベクトルの時系列組合せに対して、周期性の解析を行うために自己相関関数の計算を行う。周期性の解析方法および自己相関関数の計算については後述する。また、周期性解析部８５０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ９０８にて、周期性解析部８５０は、時系列組合せ生成部８３０により計算されたウェーブレット変換後のパラメータベクトルの時系列組合せを全て試行した場合はＳ９０９に移行し、ウェーブレット変換後のパラメータベクトルの時系列組合せを全て試行していない場合はＳ９０６に移行し、Ｓ９０６からＳ９０８の処理を繰り返す。
Ｓ９０９にて、移動物体検出部８６０は、ウェーブレット変換後のパラメータベクトルの時系列組合せに対する周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ９１０に移行し、移動物体特有の周期性が無い場合はＳ９０１に移行する。なお、移動物体か否かの判定方法については実施の形態１と同様であるため、省略する。
最後に、Ｓ９１０にて、映像表示部８７０は、移動物体検出部８６０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、画像変換部８２１での処理についてさらに詳細に説明する。
まず、図１０に示されるように、画像変換部８２１は、動画像取得部８１０より送信された入力画像１００１を小領域１００２に分割する。また、カメラの設置パラメータが既知である場合においては、床を平面と仮定することによって、画像上の位置によって対象物体が撮像される大きさを算出することができる。一般的に、対象物体とカメラとの距離が大きくなるほど、対象物体は、画面上部に撮像されることになるため、図１５に示されるように、遠くに存在する対象物体は画像上部に小さく撮像されることになる。そのため、小領域の区切り方を、画像上部であるほど小さな領域となるように区切ることによって、一つの小領域が占める実空間での領域を均一化することも可能である。
そして、画像変換部８２１は、小領域１００２ごとに、２次元ガボールウェーブレット変換を行う。ガボールウェーブレット変換については、中野宏穀、山本鎮男、吉田靖夫著、「ウェーブレットによる信号処理と画像処理」、３５−４２ページ、共立出版、１９９９年発行に詳細が記述されている。
本実施の形態においては、各小領域１００２の中心座標について、周波数および窓幅に相当する４種類のパラメータと、回転に相当する４種類のパラメータとから構成される１６種類のガボールウェーブレットを用いて、２次元ガボールウェーブレット変換を行う。すなわち、各小領域１００２ごとに１６次元のパラメータベクトルを出力する。ただし、これは、パラメータベクトルの次元数を限定するものではなく、移動時における脚の開き具合を、より高精度に表現するためには、回転に相当するパラメータ数を多く取ることによって実現可能である。このため、パラメータベクトルは、Ｍ次元（Ｍは自然数）パラメータベクトルと記述することもできる。
次に、図１１を用いて、時系列組合せ生成部８３０についてさらに詳細に説明する。
時系列組合せ生成部８３０は、パラメータベクトルの時系列組合せを生成する。本実施の形態では、以下のように行うが、組合せの方法を限定するものではなく、パラメータベクトルに対する閾値処理等で組合せ数を減らすことも可能である。なお、他の検出手法と併用する場合には、その検出結果をもとに前記組合せを決定してもよい。
図１１（ａ）に時刻ｔにおける入力画像１００１を９つの小領域１００２に分割した場合を示し、図１１（ｂ）に９つの小領域１００２の時系列組合せを示し、図１１（ｃ）に各小領域１００２に含まれる１６次元のパラメータベクトルの時系列組合せを示す。図１１（ａ）に示されるように、小領域１００２の時系列組合せは、周辺の小領域１００２との組合せであり、ＳＥ１は、入力画像１００１の周辺部であるため、図１１（ｂ）に示されるように、時刻ｔ＋１での組合せはＳＥ１、ＳＥ２、ＳＥ４、ＳＥ５と組み合わせることになる。同様に、ＳＥ３、ＳＥ７、ＳＥ９は、入力画像１００１の周辺部であるため、時刻ｔ＋１の組合せ候補は４つの小領域１００２が対象となり、ＳＥ２、ＳＥ４、ＳＥ６、ＳＥ８は、図１１（ｂ）に図示していないが、時刻ｔ＋１の組合せ候補は、６つの小領域となる。これに対して、図１１（ｃ）に示されるように、１６次元のパラメータベクトルの時系列組合せは、異なる小領域１００２の同一のパラメータベクトルを組み合わせるため、小領域１００２の時系列がＳＥ１、ＳＥ５、ＳＥ９・・・ＳＥ９であるパラメータベクトルＰＢ０の組合せは、ＳＥ１（ｔ）のＰＢ０（ｔ）、ＳＥ２（ｔ＋１）のＰＢ０（ｔ＋１）、ＳＥ９（ｔ＋２）のＰＢ０（ｔ＋２）、・・・ＳＥ９（ｔ＋Ｎ−１）のＰＢ０（ｔ＋Ｎ−１）となり、ＰＢ１からＰＢＦも同様に組み合わせ、Ｎ次元パラメータベクトルを１６個生成し、１６個のＮ次元パラメータベクトルを脚間情報抽出部８４０に送信する。なお、必ずしも画像全体を小領域に分割する必要はなく、前処理等によって、人物等の移動物体候補領域を決定し、その候補領域のみを小領域に区切ってもよい。この場合、パラメータベクトルの時系列組合せ数を削減することが可能である。
脚間情報抽出部８４０は、その１６個のＮ次元パラメータベクトルから脚間情報の抽出を行い、周期性解析部８５０は、その結果を用いて周期性の解析を行う。つまり、時系列組合せ生成部８３０で生成されたＮ次元パラメータベクトルは、脚間情報抽出部８４０に入力され、実施の形態１と同様に式２を用いて自己相関関数を計算後、自己相関関数Ｃ（τ）＝０となるτＬを相関長として用いて、周期性解析部８５０が周期性の解析を行う。なお、本実施例においては、相関関数Ｃ（τ）＝０となるτＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、移動の周期的変動を捉えられるものであれば、何でもよい。
周期性解析部８５０は、実施の形態１と同様に相関長τＬの時系列データに対して自己相関関数を計算するため、詳しい説明は省略する。ここで、相関長τＬの時系列データに対して自己相関関数を計算した結果である相関長の自己相関関数Ｃｔ（τ）を移動物体検出部８６０に出力する。また、同時に、周期性解析部８５０は、時系列組合せ生成部８３０で生成された１６個のＮ次元パラメータベクトルについて全て計算し終わるまで、計算続行のための信号を時系列組合せ生成部８３０に出力する。
次に、移動物体検出部８６０についてさらに詳細に説明する。
移動物体検出部８６０は、周期性解析部８５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかについて検証するピーク検出部８６１と、１６個のＮ次元パラメータベクトルについてピーク検出を実施し、検出されたピーク数を蓄積するピーク数蓄積部８６２と、蓄積されたピーク数を用いて画像フレーム中の物体を移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する存在位置特定部８６３とを備える。本実施例で、ピーク位置τＷの検出は、実施の形態１に記載した方法と同じであるため、省略する。
ピーク検出部８６１は、相関長の自己相関関数計算結果から移動物体の移動に特有のピークが検出された場合、ピーク数蓄積部８６２に１を加算する。その時、時系列組合せ生成部８３０で生成された、小領域の組合せ情報も同時に保持する。なお、小領域１００２の組合せ情報とは、時系列組合せ生成部８３０が１６×Ｎ次元の時系列ベクトルを生成した時に、１６個のＮ次元パラメータベクトルを算出した小領域を、どのように組み合わせたかを表現する情報である。すなわち、小領域の組合せ情報は、Ｎ次元のベクトルであり、各要素は小領域を表す番号とする。
ピーク数蓄積部８６２に蓄積される値は、本実施の形態では、１６個のＮ次元パラメータベクトルを用いたため、１６個すべてのＮ次元パラメータベクトルにピークが存在した場合に、ピーク数１６となる。そのため、時系列組合せ生成部８３０で生成された１６個のＮ次元パラメータベクトルを一単位として、ピーク数を蓄積することとなる。
ピーク数蓄積部８６２は、蓄積されたピーク数が最大となる小領域の組合せを、存在位置特定部８６３に送信する。
存在位置特定部８６３は、移動物体の存在位置７２と移動方向を特定し、映像表示部８７０に出力する。なお、存在位置７２は、画像上での存在位置を示すこととし、存在位置特定部８６３に送信された小領域１００２の組合せ情報から、最新フレームの入力画像１００１における小領域１００２とする。
また、移動方向は、最新フレームの入力画像１００１をＮフレームとすると、Ｎ−１フレームにおける小領域１００２の中心位置と最新フレームにおける小領域１００２の中心位置とを結んだ線を移動方向とする。これにより、画像上での存在位置と移動方向を表示可能である。また、検出した存在位置をワールド座標上位置に変換することによって、実空間上での存在位置を特定することも可能である。さらに、検出した移動方向を用いて、Ｎ＋１フレームにおける存在位置を予測することも可能である。
映像表示部８７０は、上記情報に従って移動物体の存在位置および移動方向を表示する。
以上のように、本実施の形態によれば、複数枚の画像を用い、ウェーブレット変換等の画像処理と周期性解析に基づいて移動物体検出を行うことによって、初期検出が理想的に行えないような場合においても、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本実施の形態における移動物体検出装置では、画像変換部８２１は、ウェーブレット変換を用いたが、ハフ変換又はフーリエ変換を用いてもよい。この場合でも、同様の効果を得ることは可能である。
（実施の形態３）
次に、本発明の実施の形態３における移動物体検出装置について説明する。
本実施の形態では、入力画像に対して幾何学的図形を当てはめる。ここでは、脚間情報に相当する幾何学的図形に類似した部分画像を抽出し、部分画像をパラメータに変換し、そのパラメータを時間順に並べて時系列パラメータとして蓄積し、その脚間情報を保持した時系列パラメータから周期性を解析することによって移動物体を検出する場合について説明する。また、ビデオテープ等に保存された動画像から移動物体を検出する場合について説明するが、実施の形態１で説明したように、カメラ１００およびその設置パラメータを含めた図１の構成とすることも可能である。
図１２は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１及び２と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出するものであが、入力画像に対して幾何学的図形を当てはめることで幾何学的図形に類似した部分画像を抽出し、部分画像をパラメータに変換し、そのパラメータを時間順に並べて時系列パラメータとし、その時系列パラメータから周期性を解析することによって移動物体を検出する点に特徴を有し、動画像取得部１２１０、時空間データ生成部１２２０、脚間情報抽出部１２３０、周期性解析部１２４０、移動物体検出部１２５０及び映像表示部１２６０を備える。
なお、実施の形態１では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出し、実施の形態２では、画像変換によって画像をパラメータ化したものを時系列データとし、その周期性を解析したが、本実施の形態では、画像に含まれる所定の周期性を強調するものとして、図１２に示されるように、幾何形状変換部１２３１によって画像に幾何形状を当てはめてパラメータ化したものを時系列データとし、その周期性を解析する。これにより、周期性解析がより簡便となるという利点がある。本実施の形態では、脚間情報を得るために、幾何形状当てはめを脚のモデルとして考慮した２本の直線組を用いた場合について説明する。
動画像取得部１２１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部１２２０に送信される。ただし、映像は、必ずしもフレームごとである必要はなく、時系列的に並んだ画像を取得できるものであればよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。
時空間データ生成部１２２０は、図１２に示されるように、画像変換部１２２１と時系列データ蓄積部１２２２とを備える。画像変換部１２２１は、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像に２値化画像への変換を行い、シルエット画像を抽出する。時系列データ蓄積部１２２２は、予め決定した時刻Ｎ分の変換されたパラメータを用いて時空間データを生成する処理部及び記憶装置等である。
脚間情報抽出部１２３０は、入力された時系列データに対して幾何形状を当てはめる幾何形状変換部１２３１と、幾何形状変換部で当てはめる幾何形状を保持する幾何形状保持部１２３２とを備える。幾何形状変換部１２３１は、画像に含まれる所定の周期性を強調する処理部であり、シルエット画像に対して、直線、楕円、長方形などの幾何学的図形を当てはめることによって、シルエット画像を脚間の角度や距離を表現するパラメータに変換する。幾何形状保持部１２３２は、幾何形状変換部１２３１にて、当てはめを行うための幾何形状を保持しているメモリ等である。
なお、本実施の形態においては、画像変換部１２２１で生成されたシルエット画像に対して、脚を表現する２本の直線組を当てはめ、当てはめた直線組が保持する股間角度に変換して時系列データを生成する場合について説明する。なお、幾何学的図形の当てはめは、楕円や長方形でも構わない。また、円柱等の３次元ボリュームを持った形状でも構わない。
周期性解析部１２４０は、脚間情報抽出部１２３０で抽出された脚間情報を保持する時空間データに対して特に移動物体の移動に特有の周期性を検出するための周期性解析を行う処理部であり、移動物体に特有の周期性を検出する。時系列組合せ生成部１２４１は、脚間情報抽出部１２３０で行った幾何学的図形当てはめの結果を時系列的に組み合わせることによって、Ｎ次元股間角度時系列データ（Ｎ次元時系列パラメータベクトル）を生成する処理部である。周波数変換部１２４２は、時系列組合せ生成部１２４１で生成されたＮ次元時系列パラメータベクトルに対してフーリエ変換を行い、各周波数に対して強度を持つベクトルを移動物体検出部１２５０に出力する処理部である。
移動物体検出部１２５０は、周期性解析部１２４０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部であり、ピーク検出部１２５１と存在位置特定部１２５２とを備える。ピーク検出部１２５１は、周期性解析部１２４０から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出する処理部であり、存在位置特定部１２６２は、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し映像表示部１２６０に出力する処理部である。映像表示部１２６０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図１３のフローチャートを用いて詳細に説明する。
まず、Ｓ１３０１にて、画像変換部１２２１は、動画像取得部１２１０により取得された動画像を、入力画像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換することでシルエット画像を抽出する。この時、輪郭抽出やノイズ除去等を行ってシルエット画像を抽出してもよい。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。
Ｓ１３０２にて、時系列データ蓄積部１２２２は、Ｓ１３０１にて得られたシルエット画像を時空間データとしてバッファに時間順に蓄積する。なお、時空間データ生成部１２２０は、実施の形態により異なる構成としても同様の効果を得ることができる。
Ｓ１３０３にて、幾何形状変換部１２３１は、シルエット画像に対して幾何学的図形の当てはめを行う。本実施の形態では、当てはめを行う図形を直線組とした例について説明する。当てはめを行う直線組は、幾何形状保持部１２３２にて２本の直線組とそのパラメータとして、直線の交差する角度である股間角度を保持しており、当てはめを行った結果、その股間角度と画像上での存在位置を時系列組合せ生成部１２４１に出力する。本実施の形態では、２本の直線組を当てはめる場合について説明するが、他の図形を当てはめても構わない。幾何形状変換部１２３１および幾何形状保持部１２３２については後述する。
Ｓ１３０４にて、時系列データ蓄積部１２２２は、予め決定した時刻Ｎ分の股間角度時系列データを用いて時空間データを生成し、時空間データのフレームがＮ枚である場合は、Ｓ１３０７に移行し、Ｎ枚でない場合は、Ｓ１３０５に移行する。
Ｓ１３０５にて、時空間データのフレームがＮ枚未満である場合は、Ｓ１３０１に移行し、時空間データのフレームがＮ枚を超過する場合は、Ｓ１３０６に移行する。
Ｓ１３０６にて、時系列データ蓄積部１２２２は、画像変換部１２２１からＮ＋１枚目の画像から生成したデータが送信された場合は、時空間データから１枚目の画像フレームのデータを破棄することによって、Ｎ時刻分の時系列データを保持した時空間データを生成する。
なお、時空間データの生成方法については後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ１３０７にて、時系列組合せ生成部１２４１は、脚間情報抽出部１２３０で生成されたＮ時刻分の股間角度時系列データから幾何学的図形当てはめの結果を時系列的に組み合わせることによって、Ｎ次元股間角度時系列データを生成する処理部である。なお、時系列組合せ生成部１２４１については後述する。
Ｓ１３０８にて、周波数変換部１２４２は、Ｓ１３０７にて抽出した幾何学的図形当てはめ結果の時系列組合せデータである幾何パラメータベクトルに対して、周期性の解析を行うためにフーリエ変換を行う。周期性の解析方法およびフーリエ変換については後述する。また、周期性解析部１２４０は、実施の形態により異なる構成を用いても同様の効果を得ることができる。
Ｓ１３０９にて、周波数変換部１２４２は、時系列組合せ生成部１２４１で幾何学的図形当てはめ結果の全ての時系列組合せについて周波数解析を終了していない場合には、Ｓ１３０７に移行し、再度、新たな時系列組合せによるパラメータベクトルを決定し、全ての組合せのパラメータベクトルについて、周波数解析が終了した場合には、Ｓ１３１０に移行する。
Ｓ１３１０にて、移動物体検出部１２５０は、周期性解析部１２４０により計算された幾何パラメータベクトルの時系列組合せに対する周期性解析結果から、移動物体特有の周期性の有無を判定することによって、移動物体か否かを判断し、移動物体の存在する位置および移動方向を決定する。移動物体か否かの判定方法については後述する。
最後に、Ｓ１３１１にて、移動物体検出部１２５０で検出した移動物体の存在位置および移動方向に基づいて、その結果を映像表示部１２６０に表示する。
次に、脚間情報抽出部１２３０についてさらに詳細に説明する。
幾何形状変換部１２３１は、図１４（ａ）に示されるように、時系列データ蓄積部１２２２に蓄積されたシルエット画像１４０１に対して、幾何形状１４０２である脚のモデルとして２本の直線組の当てはめを行う。図１４（ｂ）に示されるように、幾何形状保持部１２３２は、複数の大きさと複数の股間角度に対応する直線組を保持しており、股間角度をパラメータとして持っている。なお、股間角度の代わりに脚間間隔をデータとして保持してもよい。
これらの直線組を、シルエット画像１４０１に対して当てはめて、予め定めた閾値以上であれば、当てはめた画像上での座標位置及びその股間角度を時系列組合せ生成部１２４１に送信する。なお、シルエット画像１４０１への直線組の当てはめは、パターンマッチングによって行ったが、一般化ハフ変換によって直線組を表現し、当てはめを行ってもよい。
次に、周期性解析部１２４０についてさらに詳細に説明する。
時系列組合せ生成部１２４１は、当てはめた股間角度の時系列組合せを生成する。本実施の形態では、以下のように行うが、股間角度の時系列組合せの方法を限定するものではない。なお、他の検出手法と併用する場合には、その検出結果をもとに股間角度の時系列組合せを決定してもよい。
時系列組合せ生成部１２４１は、ある時刻ｔにおける、直線組の当てはめ位置（ｘｔ、ｙｔ）から、時刻ｔ＋１における画像領域で（ｘｔ、ｙｔ）の近傍領域内に存在する直線組の当てはめ位置（ｘｔ＋１、ｙｔ＋１）との組合せを生成する。このように近傍領域内に存在する当てはめ位置の組合せを時刻Ｎ分、全ての場合について行うことによって、時系列組合せを生成する。ここで、当てはめられた直線組は、股間角度及び大きさをパラメータとして保持しているため、時系列組合せによって、Ｎ次元の股間角度が時間順に並んだ時系列パラメータを得ることになる。なお、近傍領域の定義は、画像サイズや画像のフレームレートに応じて設定する。生成されたＮ次元時系列パラメータは、周波数変換部１２４２に送信される。
周波数変換部１２４２は、時系列組合せ生成部１２４１で生成されたＮ次元時系列パラメータベクトルに対してフーリエ変換を行う。フーリエ変換を行った後、各周波数に対して強度を持つベクトルが得られ、そのベクトルを移動物体検出部１２５０に出力する。また、同時に、周波数変換部１２４２は、時系列組合せ生成部１２４１で生成された時系列パラメータベクトルについて全て計算し終わるまで、時系列組合せ生成部１２４１に計算続行のための信号を出力する。以下、同様に、時系列組合せ生成部１２４１で生成された全ての時系列パラメータベクトルの計算が終了するまで同様の処理を行う。
次に、移動物体検出部１２５０についてさらに詳細に説明する。
移動物体検出部１２５０は、周波数変換部１２４２から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出するピーク検出部１２５１と、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する存在位置特定部１２５２とを備える。
ピーク検出部１２５１は、入力された時系列パラメータベクトルのうち、移動物体の移動周期に相当する周波数を表現する要素についてのみピーク検出を行う。すなわち、移動周期と同じ周波数にピークが存在する場合は、移動物体、それ以外は移動物体ではないと判定する。ピーク検出部１２５１は、移動物体の移動に特有のピークを検出した場合、存在位置特定部１２５２にピーク検出信号と、その時系列パラメータを生成した当てはめ位置の組合せ（ｘｔ、ｙｔ）から（ｘｔ＋Ｎ、ｙｔ＋Ｎ）を送信する。このように各時刻において幾何学的図形をあてはめてパラメータ化を行い、その時系列パラメータの周期性を判定することによって、一時的に幾何学的図形のあてはめに失敗した場合にもロバストな移動物体検出が可能である。
存在位置特定部１２５２は、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する。存在位置は、画像上での存在位置を示すこととし、ピーク検出部１２５１から送信された情報を用いて、最新のフレームに対応する（ｘｔ＋Ｎ、ｙｔ＋Ｎ）を移動物体の検出位置とする。また、移動方向は、最新フレームをＮフレームとすると、Ｎ−１フレームにおける（ｘｔ＋Ｎ−１、ｙｔ＋Ｎ−１）と最新フレームにおける（ｘｔ＋Ｎ、ｙｔ＋Ｎ）とを結んだ線を移動方向とする。
これにより、画像上での存在位置と移動方向を表示可能である。また、検出した存在位置をワールド座標上位置に変換することによって、実空間上での存在位置を特定することも可能である。さらに、検出した移動方向を用いて、Ｎ＋１フレームにおける存在位置を予測することも可能である
映像表示部１２６０は、上記情報に従って移動物体の存在位置および移動方向を表示する。
以上のように、本実施の形態によれば、入力画像に対して脚間の変化を示す幾何学的図形を当てはめ、当てはめの状態を示す時系列パラメータの周期性を解析することによって移動物体が検出されるので、２本以上の脚を持つ移動物体が確実に検出されるとともに、照明条件等の環境や初期検出精度の影響を受けずに安定して移動物体が検出される。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
（実施の形態４）
次に、本発明の実施の形態４における移動物体検出装置について説明する。
図１６は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１等と同様に、街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であるが、移動物体の移動方向を算出することで、より高速かつ正確に移動物体の周期性を解析する点に特徴を有し、動画像取得部１６１０、時空間データ生成部１６２０、移動方向算出部１６３０、時空間断片抽出部１６４０、脚間情報抽出部１６５０、周期性解析部１６６０、移動物体検出部１６７０及び映像表示部１６８０を備える。
動画像取得部１６１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部１６２０に送信される。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。もちろん、実施の形態１で説明したように、カメラおよびその設置パラメータを含めた構成とすることも可能である。
時空間データ生成部１６２０は、画像に含まれる所定の周期性を強調するものとして、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、時間的に並んだ画像同士の差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像をフレームの時間順に蓄積することによって、予め決定した時刻Ｎ分の画像を用いて時空間データを生成する処理部及び記憶装置である。なお、本実施の形態においては、画像をフレームの時間順に並べたものであるので、３次元の時空間画像が生成されることになる。
移動方向算出部１６３０は、時空間データ生成部１６２０で蓄積された時系列データに対して、移動物体が画像上で移動している方向を算出する処理部である。
時空間断片抽出部１６４０は、蓄積された時空間データを時間軸に平行に切断することによって、時空間断片を抽出する。
脚間情報抽出部１６５０は、時空間断片抽出部１６４０で抽出された時空間断片から、各時刻における２本以上の脚が生成する脚間の情報を抽出する。
周期性解析部１６６０は、時空間データ生成部１６２０で生成された時空間画像に対して、特に、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、移動方向算出部１６３０で検出した移動方向情報を用いて、移動物体に特有の周期性を検出する。
移動物体検出部１６７０は、周期性解析部１６６０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部である。
映像表示部１６８０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を画像上に表示する。
ここで、時空間データ生成部１６２０は、さらに、画像変換部１６２１と、時系列データ蓄積部１６２２とから構成される。画像変換部１６２１は、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する処理部である。時系列データ蓄積部１６２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積するメモリ等である。
また、時空間断片抽出部１６４０は、移動方向算出部１６３０で算出した移動方向に従って断片抽出線のパラメータを決定し、時空間データ生成部１６２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する処理部であり、さらに、移動物体の存在位置および移動方向を検出するために実空間上に表現する座標軸であるワールド座標系において、時空間データを切断する断片抽出線を決定する断片抽出線生成部１６４１と、時空間データから時空間断片の抽出を行う時空間データ切断部１６４２とを備える。
また、脚間情報抽出部１６５０は、抽出された時空間断片に対して脚の位置情報ではなく、相対的な脚間の間隔を検出することを目的として、時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する。周期性解析部１６６０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
また、移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図１７のフローチャートを用いて詳細に説明する。
まず、Ｓ１７０１にて、画像変換部１６２１は、動画像取得部１６１０により取得された映像を、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。
Ｓ１７０２にて、時系列データ蓄積部１６２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部１６２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ１７０３にて、時系列データ蓄積部１６２２は、画像、若しくは、パラメータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）枚分の画像フレームが蓄積された場合は、Ｓ１７０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ１７０４に移行する。
Ｓ１７０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ１７０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ１７０５に移行する。
Ｓ１７０５にて、時系列データ蓄積部１６２２は、画像変換部１６２１からＮ＋１枚目の画像が送信された場合は、Ｓ１７０５にて、時空間データから１枚目の画像フレームを破棄することによって、常時、Ｎフレーム分の画像を保持した時空間データを生成する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ１７０６にて、移動方向算出部１６３０は、物体の移動方向を検出し、断片抽出線の傾き候補を生成する。また、時空間データを小領域に分割して、分割した領域ごとに移動方向を算出することもできる。移動方向の算出方法については、後述する。
Ｓ１７０７にて、時空間断片抽出部１６４０は、断片抽出線のパラメータを決定し、時空間データ生成部１６２０で生成された時空間データから、移動方向算出部１６３０で決定した断片切断線の傾き候補に基づいた断片抽出線を用いて時空間断片を抽出する。
Ｓ１７０８にて、脚間情報抽出部１６５０は、Ｓ１７０７にて抽出した時空間断片に対して、周期性の解析を行うために自己相関関数の計算を行う。
Ｓ１７０９にて、周期性解析部１６６０は、断片抽出線の候補を全て試行した場合は、Ｓ１７１０に移行し、断片抽出線の候補を全て試行していない場合は、Ｓ１７０６に移行し、Ｓ１７０６からＳ１７０９の処理を繰り返す。
Ｓ１７１０にて、移動物体検出部１６７０は、周期性解析部１６６０により計算された時空間断片の周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ１７１１に移行し、移動物体特有の周期性が無い場合はＳ１７０１に移行する。
最後に、Ｓ１７１１にて、映像表示部１６８０は、移動物体検出部１６７０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、移動方向算出部１６３０についてさらに詳細に説明する。
移動方向算出部１６３０における移動方向の算出方法には、対象物体の候補を検出して移動方向を算出する方法と、対象物体の検出は行わずに移動方向を算出する方法とがある。まず、対象物体の候補を検出して、移動方向を算出する方法について説明する。
図１８（ａ）に示されるように、１枚の差分画像から、孤立した物体を抽出するラベリングアルゴリズムを用いて、孤立した物体を一つの検出対象物体の候補であると捉える。ラベリングアルゴリズムによる物体抽出は、画素値１のピクセルを連結し、異なった連結部には異なったラベルをつけることによって行う。本実施例では、以下のように行った。
まず、時刻ｔにおける２値化された差分画像に対し、画素値が１であり、かつラベルの付けられていない画素Ｐを検出し、ラベルＬを付与する。画素Ｐと連結している画素全てに対し、同じラベルＬを付与する。この操作をラベル付けされていない画素が存在しなくなるまで続けることによって、物体抽出を行う。もちろん、孤立した物体を抽出できるものであれば、他のラベリング手法を用いても構わない。しかしながらこの場合、検出対象物体に関する形状情報を用いたものではないため、状況によっては、実際には２個の物体が一つと検出されたり、実際には１個の物体が２個に分かれて抽出されたりする事がありうる。そのような場合においても、後述する周期性判定によって、ラベリングが正確でない場合であっても、誤検出を減らすことが可能である。
続いて、図８（ｂ）に示されるように時刻ｔ＋１における２値化された差分画像に対し、時刻ｔにおいてラベリングした移動物体候補を画像上で摂動させながらマッチングすることによって、最もマッチング値が高い位置までの動きベクトルを算出する。この動きベクトル算出処理を一定時刻行い、ラベルごとの平均動きベクトルを求めることによって、対象物体候補の移動方向を算出する。
次に、対象物体の検出を行わずに移動方向を算出する方法について説明する。ここでは、図１９（ａ）に示されるように小領域に区切って算出する方法について説明する。なお、図１５のようにカメラのパラメータ等を考慮して小領域に区切っても構わない。
まず、時刻ｔにおける二値化された差分画像に対し、各小領域ごとにある一定数以上の画素値１のピクセルが存在する場合、その小領域を摂動させることによって、時刻ｔ＋１における二値化された差分画像とのマッチングを行う。この時、現在の位置から摂動させた結果、最大のマッチング値を持った位置までの動きベクトルを算出する。これにより、図１９（ｂ）のように、それぞれの小領域において、動きベクトルが算出されることになる。この動きベクトル算出処理を一定時刻行い、各小領域ごとの平均動きベクトルを求める。そして、各小領域ごとに算出した平均動きベクトルを投票し、ある一定値以上の投票が得られた場合に、対象物体候補の移動方向とする。
なお、本実施の形態では、上記のような移動方向算出方法について述べたが、移動ベクトルを算出することができれば、他の物体検出手法を用いても構わない。
次に、時空間断片抽出部１６４０についてさらに詳細に説明する。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１６４１は、画像上での直線および曲線を定義する。ここでは、画像上に直線を引くことで、断片抽出線３２を求める場合について説明する。
断片抽出線３２は、
ここで、傾きａは、画像上における移動物体の移動方向に関するパラメータとなり、ｂは、画像上での切片である。
ここで、傾きａは、移動方向算出部１６３０により算出された対象物体候補の移動方向により求めることができる。時空間断片抽出部１６４０は、この傾きａに応じて、切片ｂの値を変更することによって断片抽出線３２を生成し、時空間断片３３を抽出することができる。生成された、時空間断片３３は、脚間情報抽出部１６５０に送信されて脚間情報が抽出され、さらに周波数解析部１６６０に送られて周期性の解析が行われる。図２０に、移動方向算出部１６３０の効果の一例を示す。このように、移動方向を算出することによって、断片抽出線３２の数を大幅に減らすことが可能となり、計算量を削減できる。
時空間データ切断部１６４２は、時空間断片３３の抽出を行う。時空間断片３３の抽出は、断片抽出線３２を用いて時空間データ生成部１６２０で生成された時空間データ３１を切断することによって行う。
時空間断片３３は、脚間情報抽出部１６５０に送信されて脚間情報が抽出され、さらに周波数解析部１６６０に送られて周期性の解析が行われる。周波数解析部１６６０は、時空間断片３３の周期性の解析を行い、その周期性解析が終了したら、断片抽出線３２のパラメータ変更を示す信号である断片抽出線３２パラメータ変更信号を、断片抽出線生成部１６４１に出力する。以下、同様に、時空間断片抽出部１６４０は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線３２を作成し時空間断片３３を作成する。
次に、脚間情報抽出部１６５０についてさらに詳細に説明する。
脚間情報抽出部１６５０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。
なお、図５（ａ）の時間は、時空間データ生成部１６２０が予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、前述の式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τＰ）は、自己相関関数Ｃ（τ）がピークになる位置τＰであり、１次元データで相関の高いＯＮピクセルの間隔はτＰに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τＰは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τＰ）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τＬを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτＬを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τＬは、時刻ごとに計算され、時刻ごとに計算された相関長τＬを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τＬの時系列データ６１を図６（ａ）に示す。相関長τＬの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。ここで、相関長τＬは、必ずしも時間的に連続して算出する必要はなく、最低一歩につき一時刻分の相関長τＬを計算すればよい。
次に、周期性解析部１６６０についてさらに詳細に説明する。
脚間情報抽出部１６５０で算出された相関長τＬの時系列データ６１は、周期性解析部１６６０に入力される。周期性解析部１６６０は、図６（ａ）に示されるような相関長τＬの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τＬの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６７０に出力する。また、同時に、周期性解析部１６６０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１６４０の断片抽出線生成部１６４１に出力する。
以下、同様に、時空間断片抽出部１６４０の断片抽出線生成部１６４１は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。ここで、断片抽出線パラメータ変更信号は、移動方向算出部で算出した移動物体候補の移動方向に基づいて、すべてのパラメータ候補についてパラメータ変更してもよいし、移動物体検出部１６７０で移動物体検出が行われるまでとしてもよい。また、断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるｂである。
次に、移動物体検出部１６７０についてさらに詳細に説明する。
移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
相関長の自己相関関数Ｃｔ（α）は、τＬ（ｔ）をある間隔αだけずらしたτＬ（ｔ＋α）と、τＬ（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αＷの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。
ここでは、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部１６７０のピーク検出部１６７１は、ピーク位置αＷが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、動画像取得部１６１０で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１６７１のピーク位置αＷを計算すればよい。
ピーク検出部１６７１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、存在位置特定部１６７２により、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する。
存在位置特定部１６７２は、まず、ピーク検出部１６７１でピークが検出されたときの断片抽出線パラメータａとｂから、移動方向および存在位置を特定する。なお、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。また、これは、存在位置の特定方法を限定するものではない。
映像表示部１６８０は、移動物体検出部１６７０で検出した移動物体の存在位置と移動方向を画像上に配置する。これによって、周期的な動きをもつ移動物体が存在する時刻、位置、移動方向を同時に検出することが可能である。
以上のように、本実施の形態によれば、移動物体の移動方向が算出され、その移動方向に沿って脚間情報が抽出され、移動物体が検出されるので、脚間情報の抽出に要する探索範囲が狭められ、より短時間で移動物体が検出される。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本手法は、断片抽出線パラメータの探索方法を限定するものではない。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
また、本手法における移動方向算出部１６３０は、実施の形態２においても用いることが可能であり、時系列組合せ生成部８３０での組合せ数を減らすことができるため、計算量削減および、より正確な周期性判定を行うことができる。
（実施の形態５）
次に、本発明の実施の形態５における移動物体検出装置について説明する。
図２１は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１等と同様に住宅及び街頭や駐車場、店舗内などに存在する特定の移動物体を検出する装置であるが、ラインセンサ等からのセンサ情報を用いて移動物体を検出する点に特徴を有し、センサデータ取得部２１１０、時空間データ生成部２１２０、脚間情報抽出部２１３０、周期性解析部２１４０、移動物体検出部２１５０及び映像表示部２１６０を備える。
センサデータ取得部２１１０は、ラインセンサ、フォトディテクタ、圧力センサ等から、時刻ごとに得られたデータを時空間データ生成部２１２０に送信する。ここでセンサデータは、時系列的に並んだデータであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。
時空間データ生成部２１２０は、時系列センサデータに含まれる所定の周期性を強調するものとして、ノイズ除去および、閾値によりセンサデータを２値化し、変換後のセンサデータを時間順に蓄積することによって、予め決定した時刻Ｎ分のセンサデータを用いて時空間データを生成する処理部及び記憶装置である。
脚間情報抽出部２１３０は、時空間データ生成部２１２０で生成された時空間データに対して、時刻ごとの脚間距離を算出する処理部である。
周期性解析部２１４０は、特に、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、移動物体に特有の周期性を検出する。
移動物体検出部２１５０は、周期性解析部２１４０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部である。
映像表示部２１６０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を画像上に表示したり、移動物体の存在を報知したりする。
ここで、時空間データ生成部２１２０は、時系列データ蓄積部２１２１を備える。この時系列データ蓄積部２１２１は、検出されたデータから時空間データを生成するために、バッファとして時間順に蓄積するメモリ等である。
また、脚間情報抽出部２１３０は、時空間断片に対して時刻ｔごとに自己相関関数を計算する。周期性解析部２１４０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
さらに、移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定し、ピークを検出した時に映像表示部２１６０に出力するピーク検出部２１５１を備える。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図２２のフローチャートを用いて詳細に説明する。
まず、Ｓ２２０１にて、時系列データ蓄積部２１２１は、センサから得られたデータから時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部２１２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ２２０２にて、時系列データ蓄積部２１２１は、センサデータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）分のセンサデータが蓄積された場合は、Ｓ２２０５に移行し、時刻Ｎ分のセンサデータが蓄積されていない場合は、Ｓ２２０３に移行する。
Ｓ２２０３にて、蓄積されたセンサデータが時刻Ｎ未満である場合は、Ｓ２２０１に移行し、時刻Ｎを超過する場合は、Ｓ２２０４に移行する。
Ｓ２２０４にて、時系列データ蓄積部２１２１は、センサデータ取得部２１１０からＮ＋１番目のセンサデータが送信された場合は、Ｓ２２０４にて、時空間データから１番目のセンサデータを破棄することによって、常時、時刻Ｎ分のデータを保持した時空間データを生成する。ここでは、必ずしも時刻１ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、データは、必ずしも時刻１ごとである必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ２２０５にて、脚間情報抽出部２１３０は、Ｓ２２０４にて抽出した時空間断片に対して、脚間情報を抽出するために時刻ごとに自己相関関数の計算を行う。
Ｓ２２０６にて、周期性解析部２１４０は、Ｓ２２０５にて検出した脚間情報の時間変化から周期性を解析し、移動物体検出部２１５０は、周期性解析部２１４０により計算された時系列蓄積データの周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ２２０５に移行し、移動物体特有の周期性が無い場合はＳ２２０１に移行する。
最後に、Ｓ２２０７にて、映像表示部２１６０は、移動物体検出部２１５０で検出した移動物体の情報を表示する。ここで、移動物体が所定の移動物体である場合においては、警報を発するなどの手段を用いることもできる。また、カメラと組み合わせることにより、対象を撮像することができる。
次に、センサデータ取得部２１１０についてさらに詳細に説明する。
本実施の形態では、１次元上にレーザ発振器を並べて、フォトディテクタでセンシングする場合について説明するが、他にも、ラインカメラ、ラインセンサ等、１次元データを得られるセンサおよび発信機を用いることができる。また、２次元上に配置する圧力センサ等を利用する場合は、画像と同様に扱うことが可能であるため、前述の実施の形態に含めることができる。
図２３（ａ）〜（ｃ）にレーザ発振器２３１ａ〜２３１ｂとフォトディテクタ２３２ａ〜２３２ｂの配置例を示す。本実施の形態では、レーザ発振器２３１ａ〜２３１ｂおよびフォトディテクタ２３２ａ〜２３２ｂは、対象を検出したい領域に１次元上に並べて配置される。レーザ２３１ａ〜ｂとフォトディテクタ２３２ａ〜ｂは、図２３（ａ）のように対向するように配置してもよいし、図２３（ｂ）及び（ｃ）のように検出対象物に対して同じ側に配置してもよい。さらに、図２３（ｃ）に示されるように、ハーフミラー２３３ａ〜２３３ｂでレーザを反射させてもよい。また、人物の検出を目的とする場合であれば、センサおよび発信機は地上１０ｃｍ程度の所に配置するのが望ましい。
以上のように設置されたセンサから取得したデータを、閾値により２値化し、時系列データ蓄積部で時刻Ｎ分蓄積すると、図５に示されるような理想的な時空間データを得ることができる。これにより、時空間断片抽出が不要となり、計算時間を大幅に削減可能である。
脚間情報抽出部２１３０は、各時刻における脚間距離を算出し、周期性解析部２１４０は、時空間データの周期性の解析を行う。この脚間情報抽出部２１３０は、センサから得られたデータを蓄積した時空間データに対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。そのため、必ずしも時空間データ生成部２１２０を設ける必要はなく、ある一定時刻分のデータをまとめて処理するものであればよい。
なお、図５（ａ）の時間は、時空間データ生成部２１２０が予め決定した時刻Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、前述の式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τＰ）は、自己相関関数Ｃ（τ）がピークになる位置τＰであり、１次元データで相関の高いＯＮピクセルの間隔はτＰに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τＰは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τＰ）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τＬを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτＬを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τＬを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τＬは、時刻ごとに計算され、時刻ごとに計算された相関長τＬを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τＬの時系列データ６１を図６（ａ）に示す。相関長τＬの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。
次に、周期性解析部２１４０についてさらに詳細に説明する。
脚間情報抽出部２１３０で算出された相関長τＬの時系列データ６１は、周期性解析部２１４０に入力される。周期性解析部２１４０は、図６（ａ）に示されるような相関長τＬの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τＬの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部２１５０に出力する。
次に、移動物体検出部２１５０についてさらに詳細に説明する。
移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αＷを検出し、検出したピーク位置αＷが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部２１５１を備える。
なお、相関長の自己相関関数Ｃｔ（α）は、τＬ（ｔ）をある間隔αだけずらしたτＬ（ｔ＋α）と、τＬ（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αＷの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定した周期付近のピークを探索する方法を用いても構わない。
本実施の形態では、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部２１５０のピーク検出部２１５１は、ピーク位置αＷが一歩の移動に必要な時間である場合に、移動物体であると判定する。一歩の移動に必要な時間は、センサデータ取得部２１１０で１秒間に取得できるデータ量によって異なるが、本実施の形態では、１秒間に３０時刻分入力された場合で、２０から３０を一歩の移動に必要な時間とし、ピーク位置αが２０から３０の間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このピーク位置は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定する時間を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、１秒間に３０時刻分のデータが入力された場合について述べたが、一定時間ごとにサンプリングしたデータを用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部２１５１のピーク位置αＷを計算すればよい。
ピーク検出部２１５１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、対象物体を検出した事を映像表示部２１６０に出力する。これによって、周期的な動きをもつ移動物体を他の移動物体と区別して検出することが可能であり、高速に処理可能で、かつ誤検出を減らすことができる。
以上のように、本実施の形態によれば、時系列データを用い、移動物体が脚を閉じている状態又は移動物体が脚を大きく広げている状態を基に、周期性解析に基づいて移動物体が検出されるので、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
産業上の利用の可能性
本発明は、２本以上の脚を持つ人物等の移動物体を検出する装置等として、例えば、街頭や施設内に設置する監視装置等として、特に、移動物体の現在位置、移動方向が既知でない場合においても、画像中の検出位置を限定することなく、移動物体検出を行うことが可能な移動物体検出装置等として利用することができる。
本発明は、センサ情報処理もしくは画像処理等によって、２本以上の脚により移動する移動物体を検出する移動物体検出装置等に関し、特に、移動物体の存否、存在位置及び移動方向を検出する移動物体検出装置等に関する。
画像処理や、ラインセンサ、圧力センサ等のセンサ情報を用いることによって、人等の移動物体を検出することができる。たとえば、画像処理を用いて人等の移動物体を検出することが行われている。
従来の移動物体検出技術の多くは、静止画もしくは１枚の差分画像を用いている。静止画や１枚の差分画像を用いて移動物体検出を行う場合、照明条件の変化による影の影響を排除することや遮蔽等で起こりうる移動物体の形状特徴変化を設計時に予測することが難しいために、誤検出や未検出を招く場合があるが、それに対し、画像シーケンスを用いる手法では、遮蔽等によって起こる一時的な特徴量の変動に対して、補間および予測機構を用いることができるために、遮蔽や一時的な環境変動に対してロバストな検出が期待できる。
動画像シーケンスを用いた移動物体検出技術としては、以下のようなものがある。移動物体を撮影した画像に対してヒストグラム計算を行うことによって、２次元画像を１次元データに圧縮し、それを時系列に並べて、空間軸および時間軸からなる２次元画像データを得て、その２次元画像から物体の存在時間を求めることによって、滞留時間を検出する（例えば、特開２０００−１１５７５０号公報参照）。この技術によれば、物体のフレーム間での対応付けを必要とせずに移動物体の検出および滞留時間を算出することが可能であるため、一時的な検出誤りによる影響を受けにくい。
また、対象物の形状と時系列的な情報である動作に関する事前知識を利用したものとして、以下のような技術がある。差分処理等によってシルエット抽出を行った画像に対して、楕円等の幾何学的図形を当てはめてパラメータ化を行う。また、事前にパラメータ化を行った時系列モデルを有しており、その時系列モデルと実際の入力に対してパラメータ化した時系列データとをパラメータ間で照合することによって、移動物体の動き解析を行っている（例えば、特開平８−２１４２８９号公報参照）。この技術によれば、周期的な移動動作も含めて解析することが可能である。
しかしながら、上記特許文献１に開示された技術のように、時間軸及び空間軸からなる１次元センサデータ及び２次元画像もしくはセンサデータから物体の存在時間を求める手法では、移動物体特有の特徴を用いていないために、他の移動物体が撮影、検出されている場合であっても、認識対象の移動物体と誤判定してしまう可能性がある。そのために、監視領域には認識対象の移動物体以外の移動物体が存在しないという前提が必要とされる。また、特に屋外で使用する場合には、照明条件の変化によってヒストグラム値が大きくなることがあり、そのために、現実には移動物体が存在していないにも関わらず移動物体が存在すると誤判定される可能性がある。
また、上記特許文献２に開示された技術にように、シルエット画像に対して、楕円等の幾何学的図形を毎フレームごとに当てはめることによってパラメータ化を実施する手法では、オクルージョンが起きた場合や照明条件の変化によっては、シルエット画像が実際の移動物体形状とは異なる形状として得られ、その結果、パラメータ化の精度が不安定になり、幾何学的図形の当てはめが困難になる危険性がある。すなわち、初期検出の精度がパラメータ化の精度に直接影響することになり、パラメータ化の精度が悪い場合、パラメータ間の照合が正確に行えないため、高精度な解析は困難となるという問題がある。
そこで、本発明は、上記問題点を解決するものであり、検出対象でない移動物体を検出対象の移動物体と誤検出することなく、かつ、初期検出精度の影響を受けることなく高い精度で移動物体を検出することができる移動物体検出装置及び方法を提供することを目的とする。
上記目的を達成するために、本発明に係る移動物体検出装置は、１次元又は２次元上に配置された対象物検出センサからの出力に基づいて移動物体を検出する装置であって、前記対象物検出センサからの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成手段と、生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出手段と、抽出された脚間情報に含まれる周期性を解析する周期性解析手段と、解析された周期性から、移動物体の存否を含む移動情報を生成する移動情報生成手段とを備えることを特徴とする。これによって、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報に基づいて移動物体の情報が生成されるので、人間等の脚を持つ動物を検出対象とした場合に、脚を持たない移動物体が誤検出されることが回避されるとともに、幾何学的形状の当てはめだけで移動物体を検出する方法に比べ、照明条件等の環境条件や初期検出精度の影響を受けにくく、高い精度で安定した移動物体の検出が実現される。
ここで、脚間情報の例として、例えば、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔であってもよいし、移動物体の歩幅を示す時間間隔又は空間間隔であってもよい。これによって、脚を持つ動物に特有の歩幅等で移動物体の存否が判定されるので、確実に画像中の人物等が検出される。
また、前記脚間情報抽出手段は、前記時系列データを構成する単位時間ごとのデータである１次元データごとに自己相関値が最低値又はピーク値となる空間間隔である相関長を算出することにより、相関長の時間変化を示すデータを前記脚間情報として抽出してもよい。これによって、相関長の時間変化によって歩行等の周期的な動きが抽出されるので、周期性のないノイズ等が除去され、ノイズ等にロバストな周期性の解析が可能となり、歩行等の動きをする人物等が確実に検出される。
また、前記時空間データ生成手段は、２次元画像を時間軸に沿って並べた時空間画像を示す時系列データを生成し、前記移動物体検出装置はさらに、前記時空間画像を時間軸に沿って切断したときの切断面又は切断片における画像である時空間断片を抽出する時空間断片抽出手段を備え、前記脚間情報抽出手段は、前記時空間断片を構成する単位時間ごとのデータを前記１次元データとして、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出してもよい。これによって、移動に伴って周期的な動きをする脚に関する画像を用いて移動物体が検出されるので、２本以上の脚を持つ移動物体が高い精度で検出される。
また、前記移動物体検出装置はさらに、前記時系列データ生成手段が生成した時系列データから、当該時系列データに含まれる移動物体の移動方向を算出する移動方向算出手段を備え、前記時空間断片抽出手段は、前記移動方向に従って、前記時空間画像を切断してもよい。これによって、移動物体の移動方向に沿って脚間情報が抽出されるので、脚間情報の抽出に要する探索範囲が狭められ、より短時間で移動物体が検出され得る。
また、前記時空間データ生成手段は、前記時系列データを構成する各画像を小領域に分割し、各小領域ごとに画像変換して得られるパラメータをＮ個の画像分だけ集めたＮ次元パラメータベクトルを生成し、前記脚間情報抽出手段は、前記Ｎ次元パラメータベクトルに基づいて、前記脚間情報を抽出してもよい。このとき、前記移動物体検出装置はさらに、前記Ｎ次元パラメータベクトルから、一定関係を有するパラメータを時系列に組み合わせることによって、パラメータベクトルの時系列組合せを生成する時系列組合せ生成手段を備え、前記脚間情報抽出手段は、前記時系列組合せに基づいて、前記脚間情報を抽出するのが好ましい。また、前記脚間情報抽出手段は、前記時系列組合せに対して、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出し、算出した相関長の時間変化を示すデータを前記脚間情報として抽出してもよい。これによって、既存の画像変換技術を利用することで、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を容易に抽出することができる。
なお、前記Ｎ次元パラメータベクトルとして、例えば、前記小領域の周波数、窓幅及び回転を示す値である。
また、前記対象物検出センサは、２次元画像を生成するカメラであり、前記時空間データ生成手段は、前記２次元画像を前記カメラの設置パラメータに従って定まるサイズで分割することよって前記小領域を生成し、生成した小領域に対して前記Ｎ次元パラメータベクトルを生成してもよい。これによって、カメラの撮像方向等に依存して画像が分割されるので、例えば、現実の空間において等間隔となるように小領域が分割され、領域の均一化が図られ、移動物体の検出精度が向上される。
また、前記脚間情報抽出手段は、前記時系列データに対して、前記脚間の時間変化を示す幾何学的図形を当てはめることによって、幾何学的図形を特定するパラメータの時系列を生成し、生成したパラメータの時系列に基づいて前記脚間情報を抽出してもよい。ここで、前記幾何学的図形として、例えば、人を含む動物の脚をモデル化した２本以上の直線であり、前記パラメータとして、例えば、前記直線が交差する角度である。そして、脚間情報として、例えば、前記角度の時間変化を示す情報であったり、前記角度の角速度の時間変化を示す情報である。さらに、前記周期性解析手段は、例えば、前記脚間情報を周波数変換し、得られた周波数スペクトルから前記周期性を解析する。これによって、人を含む動物の脚をモデル化した幾何学的図形が当てはめられるので、一般的な幾何学的図形や移動物体全体の幾何学的図形を当てはめる従来の手法に比べ、２本以上の脚を持つ移動物体がより確実に検出される。また、単に脚をモデル化した幾何学的図形を当てはめるのではなく、当てはめた幾何学的図形のパラメータの周期性に着目して移動物体が検出されるので、単に幾何学的形状の当てはめだけで移動物体を検出する従来技術に比べ、照明条件等の環境や初期検出精度の影響を受けにくい。
また、前記対象物検出センサは、画像を生成し、前記時空間データ生成手段は、前記対象物検出センサから生成される画像を時間軸に沿って並べた時系列画像データを前記時系列データとして生成してもよい。ここで、前記時空間データ生成手段は、前記画像に対して、背景差分処理又はフレーム間差分処理を行うことによって、前記時系列画像データを生成してもよいし、前記画像に対して、ハフ変換、フーリエ変換又はウェーブレット変換を行うことによって、前記時系列画像データを生成してもよい。これによって、照明変動やノイズ等の影響を排除したうえで、画像データから歩行等の周期的な動きが抽出されるので、ノイズや環境変動に対してロバストな移動物体の検出が可能となる。
また、前記移動情報生成手段は、前記脚間情報に対して、自己相関のピーク位置を特定し、特定したピーク位置が前記移動物体に特有の移動周期と一致するか否かを判定することによって前記移動物体が存在するか否かを判定し、その判定結果を示す移動情報を生成してもよい。さらに、前記移動情報生成手段は、前記移動物体が存在すると判定した場合に、前記移動体の存在位置と移動方向を特定し、前記移動情報として生成してもよい。これによって、人物等の移動物体の存否だけでなく、その位置と移動方向も生成されるので、例えば、人物監視装置として利用することができる。
なお、本発明は、移動物体検出装置として実現できるだけでなく、移動物体検出方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として実現することもできる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
まず、本発明の実施の形態１における移動物体検出装置について説明する。
まず、本発明の実施の形態１における移動物体検出装置について説明する。
図１は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であり、カメラ１００、カメラ画像取得部１１０、時空間データ生成部１２０、時空間断片抽出部１３０、脚間情報抽出部１４０、周期性解析部１５０、移動物体検出部１６０及び映像表示部１７０を備える。
なお、本実施の形態では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出する場合について説明する。また、カメラおよびその設置パラメータを含めた構成としたが、必ずしもカメラおよびその設置パラメータを含む必要はない。また、動画データを用いる場合には、その動画データは、磁気テープ、ハードディスク、ＲＡＭ等の記憶装置に保存されていてもよいし、通信ネットワークで接続された別の装置内に保存されていてもよい。
カメラ１００は、１次元又は２次元上に配置された対象物検出センサの一例であり、移動物体を撮影し、得られた映像をカメラ画像取得部１１０に出力する撮像装置である。カメラ画像取得部１１０は、入力された映像をフレーム毎の画像に変換して時空間データ生成部１２０に送信する。ただし、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよい。
時空間データ生成部１２０は、対象物を示すデータを時間軸に沿って並べた時空間データを生成する処理部及び記憶装置等であり、画像に含まれる所定の周期性を強調するものとして、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、時間的に並んだ画像同士の差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像をフレームの時間順に蓄積することによって、予め決定した時刻Ｎ分の画像を用いて時空間データを生成する。本実施の形態においては、画像をフレームの時間順に並べているので、３次元の時空間画像が生成されることになる。なお、３次元の時空間画像の生成は、必ずしも１フレーム毎に並べられている必要はなく、数フレーム毎に並べられていてもよい。
時空間断片抽出部１３０は、時空間データ生成部１２０によって蓄積された時空間データが示す時空間画像を時間軸に平行に切断することによって、時空間断片を抽出する処理部である。ここで、時空間断片とは、時空間データが示す３次元画像（時空間画像）を時間軸に沿って切断したときの切断面または切断片における画像である。たとえば、時空間画像を構成する各フレームの横軸に平行でかつ時間軸に平行な面で時空間画像を切断したときの切断面における画像であり、このときには、フレームの横軸と時間軸とからなる２次元画像となる。なお、切断片とは、厚みを持った切断面に相当し、切断片における画像は、３次元画像となる。たとえば、人の２本の脚を切断する切断面によって得られる時空間断片は、２本の脚の空間的かつ時間的な移動を示す２次元画像を示す。
脚間情報抽出部１４０は、時空間断片抽出部１３０で抽出された時空間断片から、各時刻における２本以上の脚が生成する脚間に関する情報（以下、「脚間情報」という）を抽出する処理部である。本実施の形態では、脚間情報は、例えば、移動物体の２本の脚の幅（脚間）についての時間変化を示す情報である。
周期性解析部１５０は、脚間情報抽出部１４０が抽出した脚間情報に対して、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、解析結果を示す周期性データを移動物体検出部１６０に出力する。
移動物体検出部１６０は、周期性解析部１５０から出力された周期性データに基づいて、対象となる映像中に２本以上の脚をもつ移動物体が存在するか否かを判定するとともに、存在すると判定した場合にはその移動物体の存在位置と移動方向を特定する処理部であり、その検出結果を移動情報として生成し、映像表示部１７０に出力する。
映像表示部１７０は、移動物体検出部１６０による検出結果を表示するＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
ここで、時空間データ生成部１２０はさらに、画像変換部１２１と、時系列データ蓄積部１２２とから構成される。画像変換部１２１は、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する演算部である。時系列データ蓄積部１２２は、時空間データを生成するために、画像変換部１２１で２値化処理された画像をバッファとして時間順に蓄積するメモリ等である。
時空間断片抽出部１３０は、断片抽出線のパラメータを決定し、時空間データ生成部１２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する処理部であり、移動物体の存在位置および移動方向を検出するために実空間上に表現する座標軸であるワールド座標系において、時空間データを切断する断片抽出線を決定する断片抽出線生成部１３３と、カメラ１００の設置に関するパラメータを用いて、ワールド座標系から画像平面を表現するピクセル座標系への変換を行う座標変換部１３２と、時空間データから時空間断片の抽出を行う時空間データ切断部１３１とから構成される。
なお、脚間情報抽出部１４０は、時空間断片に対して脚の位置情報ではなく、相対的な脚間の間隔を検出することを目的として、時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する。周期性解析部１５０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
また、移動物体検出部１６０は、さらに、周期性解析部１５０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し映像表示部１７０に出力する存在位置特定部１６２とから構成される。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図２のフローチャートを用いて詳細に説明する。
まず、Ｓ２０１にて、画像変換部１２１は、カメラ画像取得部１１０により取得されたカメラ１００の撮影映像を、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。なお、カメラ１００は、複数のカメラ１００により構成されてもよい。
Ｓ２０２にて、時系列データ蓄積部１２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部１２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ２０３にて、時系列データ蓄積部１２２は、画像、若しくは、パラメータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）枚分の画像フレームが蓄積された場合は、Ｓ２０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ２０４に移行する。
Ｓ２０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ２０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ２０５に移行する。
Ｓ２０５にて、時系列データ蓄積部１２２は、画像変換部１２１からＮ＋１枚目の画像が送信された場合は、Ｓ２０５にて、時空間データから１枚目の画像フレームを破棄することによって、常時、Ｎフレーム分の画像を保持した時空間データを生成する。
なお、時空間データの生成方法については、後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ２０６にて、時空間断片抽出部１３０は、断片抽出線のパラメータを決定し、時空間データ生成部１２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する。また、本実施の形態では、時空間断片を分割することなくそのまま処理を行う場合について説明するが、時空間断片を小領域に分割して、分割した領域ごとに下記の処理を行っても構わない。
ここで、図３を用いて、時空間断片の作成方法を説明する。図３（ａ）は時空間データ３１を示し、図３（ｂ）は、断片抽出線３２により決定された時空間断片３３を示す。ここで、断片を生成するための断片抽出線３２は、直線ではなく曲線を用いてもよい。また、一定の厚みを持った線とすることも可能である。なお、断片抽出線３２の決定方法については、後述する。
Ｓ２０７にて、脚間情報抽出部１４０は、Ｓ２０６にて抽出された時空間断片に対して、周期性の解析を行うために自己相関関数の計算を行う。周期性の解析方法および自己相関関数の計算については後述する。また、脚間情報抽出部１４０での処理は、２本以上の脚がなす相対的な情報を検出するものであれば何でもよい。たとえば、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔を前記脚間情報として抽出してもよいし、移動物体の歩幅を示す時間間隔又は空間間隔を前記脚間情報として抽出してもよい。
Ｓ２０８にて、周期性解析部１５０は、断片抽出線３２のパラメータを全て試行した場合は、Ｓ２０９に移行し、断片抽出線３２のパラメータを全て試行していない場合は、Ｓ２０６に移行し、Ｓ２０６からＳ２０８の処理を繰り返す。
Ｓ２０９にて、移動物体検出部１６０は、周期性解析部１５０により計算された時空間断片３３の周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ２１０に移行し、移動物体特有の周期性が無い場合はＳ２０１に移行する。なお、移動物体か否かの判定方法については後述する。
最後に、Ｓ２１０にて、映像表示部１７０は、移動物体検出部１６０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、時空間断片抽出部１３０についてさらに詳細に説明する。
時空間断片抽出部１３０は、移動物体検出の目的によって構成が異なる。目的とは、実空間上での移動物体の存在位置および移動方向を検出するか、もしくは、画像上での移動物体の存在位置および移動方向を検出するかである。ここでは、実空間上での移動物体の存在位置および移動方向を検出することを目的としている。
時空間断片抽出部１３０は、移動物体検出の目的によって構成が異なる。目的とは、実空間上での移動物体の存在位置および移動方向を検出するか、もしくは、画像上での移動物体の存在位置および移動方向を検出するかである。ここでは、実空間上での移動物体の存在位置および移動方向を検出することを目的としている。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１３３は、ワールド座標上での直線および曲線を定義する。ここで、断片抽出線生成部１３３は、実空間における移動物体の存在位置および移動方向に基づいて直線および曲線を生成するため、座標軸を実空間上に表現するワールド座標系を用いる。
なお、ワールド座標は、（ＸW、ＹW、ＺW）で示すこととし、徐、辻著、「３次元ビジョン」、９ページ、共立出版、１９９８年発行に詳細が記述されている。ＺWをワールド座標上における上下方向と仮定してＺWを一定値とすると、図４に示されるようにワールド座標における断片抽出線４１は、式１と定義することができる。
ここで、θWは、実空間を表現するワールド座標上において存在する移動物体の移動方向に関するパラメータとなり、切片ｂWは、ワールド座標上における移動物体の存在位置に関するパラメータとなる。なお、断片抽出線４１は、曲線を用いることも可能である。また、２つのパラメータは、監視領域内を網羅するような組合せを取ることになり、それぞれのパラメータに応じて、時空間断片３３を生成することとする。生成された、時空間断片３３は、後述する脚間情報抽出部１４０および周期性解析部１５０に送信され周期性の解析を行う。なお、他の検出手法と併用する場合には、その検出結果をもとに前記２つのパラメータを決定すればよく、必ずしも網羅的である必要はない。他の検出手法と併用する場合の実施の形態は、実施の形態４で説明する。
座標変換部１３２は、このθW及びｂWのパラメータにより生成された断片抽出線４１を、カメラ１００の設置位置、焦点距離、スケールファクタ等の予め既知のパラメータを用いて、ワールド座標系から画像平面を表現するピクセル座標系への変換を行う。この変換により、断片抽出線４１は２次元画像上の線となる。なお、ワールド座標系を定義しない場合は、座標変換部１３２は不要である。
時空間データ切断部１３１は、時空間断片３３の抽出を行う。時空間断片３３の抽出は、座標変換部１３２で生成されたピクセル座標系における断片抽出線４１を用いて時空間データ生成部１２０で生成された時空間データ３１を切断することによって行う。
脚間情報抽出部１４０は、時空間断片３３から脚間隔に相当する距離を算出し、周期性解析部１５０は、その周期性の解析を行う。その周期性解析が終了したら、断片抽出線４１のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、断片抽出線生成部１３３に出力する。
以下、同様に、時空間断片抽出部１３０は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線４１を作成し時空間断片３３を作成する。
次に、脚間情報抽出部１４０についてさらに詳細に説明する。
脚間情報抽出部１４０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。なお、図５（ａ）の時間は、時空間データ生成部１２０で、予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、式２と定義することができる。
脚間情報抽出部１４０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。なお、図５（ａ）の時間は、時空間データ生成部１２０で、予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τp）は、自己相関関数Ｃ（τ）がピークになる位置τpであり、１次元データで相関の高いＯＮピクセルの間隔はτpに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τpは、移動物体の脚に着目した場合、歩幅（ある時刻における脚間）を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅（脚間）の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τp）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τLを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτLを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τLを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τLは、時刻ごとに計算され、時刻ごとに計算された相関長τLを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τLの時系列データ６１を図６（ａ）に示す。相関長τLの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。なお、相関長τLは、必ずしも時間的に連続して算出する必要はなく、最低一歩につき一時刻分の相関長τLを計算すればよい。
次に、周期性解析部１５０についてさらに詳細に説明する。
脚間情報抽出部１４０で算出された相関長τLの時系列データ６１を周期性解析部１５０に入力する。周期性解析部１５０は、図６（ａ）に示されるような相関長τLの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。なお、ここでは、自己相関関数の代わりにフーリエ変換を用いても構わない。この計算結果を図６（ｂ）に示す。ここで、相関長τLの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６０に出力する。また、同時に、周期性解析部１５０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１３０の断片抽出線生成部１３３に出力する。
脚間情報抽出部１４０で算出された相関長τLの時系列データ６１を周期性解析部１５０に入力する。周期性解析部１５０は、図６（ａ）に示されるような相関長τLの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。なお、ここでは、自己相関関数の代わりにフーリエ変換を用いても構わない。この計算結果を図６（ｂ）に示す。ここで、相関長τLの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６０に出力する。また、同時に、周期性解析部１５０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１３０の断片抽出線生成部１３３に出力する。
以下、同様に、時空間断片抽出部１３０の断片抽出線生成部１３３は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。なお、断片抽出線パラメータ変更信号は、監視領域を網羅できるように、すべての断片抽出線パラメータを変更してもよいし、移動物体検出部１６０で移動物体検出が行われるまでとしてもよい。また、他の物体検出手法と組み合わせる場合においては、必ずしも網羅的に断片抽出線のパラメータを変更する必要はない。断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるθW及びｂWである。
次に、移動物体検出部１６０についてさらに詳細に説明する。
移動物体検出部１６０は、周期性解析部１５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する存在位置特定部１６２とを備える。
移動物体検出部１６０は、周期性解析部１５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する存在位置特定部１６２とを備える。
相関長の自己相関関数Ｃｔ（α）は、τL（ｔ）をある間隔αだけずらしたτL（ｔ＋α）と、τL（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αWの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。
本実施の形態では、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部１６０のピーク検出部１６１は、ピーク位置αWが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、カメラ画像取得部１１０で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１６１のピーク位置αWを計算すればよい。
ピーク検出部１６１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、存在位置特定部１６２により、移動物体の存在位置と移動方向を特定し、映像表示部１７０に出力する。
存在位置特定部１６２は、まず、断片抽出線パラメータであるθW及びｂWのうちθWから、実空間を示すワールド座標上における移動方向を特定する。ここでは、θW及びｂWが、実空間における移動軌跡を表現することになるため、θWから、移動方向を検出することが可能である。図７に示されるように、最新フレーム画像７１の２値化画像と断片抽出線７３との接点から移動物体の存在位置７２を決定する。これによって、画像上での存在位置７２を検出可能である。また、検出した存在位置７２をワールド座標上位置に変換することによって、実空間上での存在位置７２を特定することも可能である。
なお、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。ただし、これは、存在位置７２の特定方法を限定するものではない。
また、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。ただし、これは、存在位置７２の特定方法を限定するものではない。
最後に、映像表示部１７０は、移動物体検出部１６０で検出した移動物体の存在位置７２と移動方向を俯瞰図に配置して表示する。なお、カメラ画像上に検出位置および移動方向を表示することも可能である。これによって、周期的な動きをもつ移動物体が存在する時刻、位置、移動方向を同時に検出することが可能である。
以上のように、本実施の形態によれば、複数枚の画像を用い、移動物体が脚を閉じている状態又は移動物体が脚を大きく広げている状態を基に、周期性解析に基づいて移動物体が検出されるので、初期検出が理想的に行えないような場合においても、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本手法は、断片抽出線パラメータの探索方法を限定するものではない。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するもの（動物等）であれば、同様の効果を得ることができる。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するもの（動物等）であれば、同様の効果を得ることができる。
（実施の形態２）
次に、本発明の実施の形態２における移動物体検出装置について説明する。
次に、本発明の実施の形態２における移動物体検出装置について説明する。
本実施の形態では、入力画像に対して画像変換を行い、変換後のパラメータを時系列パラメータとして蓄積し、その時系列パラメータから周期性を解析することによって移動物体を検出する場合について説明する。また、ビデオテープ等に保存された動画像から移動物体を検出する場合について説明するが、実施の形態１で説明したように、カメラ１００およびその設置パラメータを含めた図１の構成とすることも可能である。
図８は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であるが、入力画像に対して画像変換を行い、変換後のパラメータを時系列パラメータとして、その時系列パラメータから周期性を解析することによって移動物体を検出する点に特徴を有し、動画像取得部８１０、時空間データ生成部８２０、時系列組合せ生成部８３０、脚間情報抽出部８４０、周期性解析部８５０、移動物体検出部８６０及び映像表示部８７０を備える。
なお、実施の形態１では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出する場合について説明したが、本実施の形態では、画像に含まれる所定の周期性を強調するものとして、画像変換部１２１にて、画像変換を行い、画像をパラメータ化した場合について説明する。これにより、ノイズ等にロバストな移動物体検出装置が実現可能である。
動画像取得部８１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部８２０に送信される。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。
時空間データ生成部８２０は、実施の形態１と同様に、画像変換部８２１と時系列データ蓄積部８２２から構成される。画像変換部８２１は、入力された映像を小領域に分割し、小領域毎に画像変換を行い、それぞれの小領域画像をパラメータに変換する。時系列データ蓄積部８２２は、時刻Ｎ分のパラメータベクトルを用いて時空間データを生成するメモリ等である。
なお、本実施の形態においては、画像に含まれる所定の周期性を強調するものとして、画像をウェーブレット変換し、多次元ウェーブレット係数に変換されたデータをフレームの時間順に並べた場合について説明する。ただし、必ずしもフレームごとである必要はなく、時系列的に並んだデータであればよい。
時系列組合せ生成部８３０は、画像変換部８２１で分割した小領域に対してそれぞれウェーブレット変換を行った後のパラメータベクトルから時間順に小領域の組合せを生成する処理部である。
脚間情報抽出部８４０は、時系列組合せ生成部８３０で生成されたそれぞれの小領域に対応するパラメータベクトルの時系列組合せデータに対して、脚間がなす角度や距離に対応する情報を抽出する。
周期性解析部８５０は、時空間データ生成部８２０で生成された時空間データに対して、特に移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、脚を有する移動物体に特有の周期性を検出する。
移動物体検出部８６０は、周期性解析部８５０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部及び記憶装置であり、ピーク検出部８６１、ピーク数蓄積部８６２及び存在位置特定部８６３を備える。
ピーク検出部８６１は、周期性解析部８５０から入力された周期性解析結果からピーク位置を検出し、検出したピーク位置を用いて移動物体の移動周期との類似を検証する処理部である。ピーク数蓄積部８６２は、時刻Ｎ分の画像フレームから算出される多次元ベクトルについてピーク検出を行い、検出したピーク数を蓄積する処理部及び記憶装置であり、存在位置特定部８６３は、移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する処理部である。
映像表示部８７０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図９のフローチャートを用いて詳細に説明する。
まず、Ｓ９０１にて、動画像取得部８１０は、動画像を取得し、時空間データ生成部８２０に出力する。時空間データ生成部８２０の画像変換部８２１は、入力された画像を小領域に分割し、それぞれの領域ごとにウェーブレット変換を行う。ウェーブレット変換については、後述する。
なお、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像に対して小領域に分割しウェーブレット変換を行ってもよい。背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。また、本実施の形態では、画像変換部８２１でウェーブレット変換を用いた場合について説明するが、この他にもハフ変換、２次元フーリエ変換を用いることも可能である。
Ｓ９０２にて、時空間データ生成部８２０の時系列データ蓄積部８２２は、ウェーブレット変換後のパラメータベクトルの時系列を、時空間データとしてバッファに時間順に蓄積する。なお、時空間データ生成部８２０の構成は、実施の形態により異なる。
Ｓ９０３にて、時系列データ蓄積部８２２は、予め決定した時刻Ｎ分のパラメータベクトルを用いて時空間データを生成し、時刻Ｎ枚分の画像フレームが蓄積された場合は、Ｓ９０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ９０４に移行する。
Ｓ９０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ９０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ９０５に移行する。
Ｓ９０５にて、時系列データ蓄積部８２２は、画像変換部８２１からＮ＋１枚目の画像フレームから生成したパラメータベクトルが送信された場合は、Ｓ９０５にて、時空間データの１枚目の画像フレームから生成したパラメータベクトルを破棄することによって、常時、Ｎ時刻分のパラメータベクトルを保持した時空間データを生成する。
なお、時空間データの生成方法については後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、一定時間ごとにサンプリングしたデータであってもよい。
Ｓ９０６にて、時系列組合せ生成部８３０は、小領域に対してそれぞれウェーブレット変換を行った後のパラメータベクトルから時間順に小領域の組合せを生成する。なお、時系列組合せ生成部８３０については後述する。
Ｓ９０７にて、脚間情報抽出部８４０は、Ｓ９０６にて抽出したウェーブレット変換後のパラメータベクトルの時系列組合せに対して、周期性の解析を行うために自己相関関数の計算を行う。周期性の解析方法および自己相関関数の計算については後述する。また、周期性解析部８５０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ９０８にて、周期性解析部８５０は、時系列組合せ生成部８３０により計算されたウェーブレット変換後のパラメータベクトルの時系列組合せを全て試行した場合はＳ９０９に移行し、ウェーブレット変換後のパラメータベクトルの時系列組合せを全て試行していない場合はＳ９０６に移行し、Ｓ９０６からＳ９０８の処理を繰り返す。
Ｓ９０９にて、移動物体検出部８６０は、ウェーブレット変換後のパラメータベクトルの時系列組合せに対する周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ９１０に移行し、移動物体特有の周期性が無い場合はＳ９０１に移行する。なお、移動物体か否かの判定方法については実施の形態１と同様であるため、省略する。
最後に、Ｓ９１０にて、映像表示部８７０は、移動物体検出部８６０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、画像変換部８２１での処理についてさらに詳細に説明する。
まず、図１０に示されるように、画像変換部８２１は、動画像取得部８１０より送信された入力画像１００１を小領域１００２に分割する。また、カメラの設置パラメータが既知である場合においては、床を平面と仮定することによって、画像上の位置によって対象物体が撮像される大きさを算出することができる。一般的に、対象物体とカメラとの距離が大きくなるほど、対象物体は、画面上部に撮像されることになるため、図１５に示されるように、遠くに存在する対象物体は画像上部に小さく撮像されることになる。そのため、小領域の区切り方を、画像上部であるほど小さな領域となるように区切ることによって、一つの小領域が占める実空間での領域を均一化することも可能である。
まず、図１０に示されるように、画像変換部８２１は、動画像取得部８１０より送信された入力画像１００１を小領域１００２に分割する。また、カメラの設置パラメータが既知である場合においては、床を平面と仮定することによって、画像上の位置によって対象物体が撮像される大きさを算出することができる。一般的に、対象物体とカメラとの距離が大きくなるほど、対象物体は、画面上部に撮像されることになるため、図１５に示されるように、遠くに存在する対象物体は画像上部に小さく撮像されることになる。そのため、小領域の区切り方を、画像上部であるほど小さな領域となるように区切ることによって、一つの小領域が占める実空間での領域を均一化することも可能である。
そして、画像変換部８２１は、小領域１００２ごとに、２次元ガボールウェーブレット変換を行う。ガボールウェーブレット変換については、中野宏穀、山本鎮男、吉田靖夫著、「ウェーブレットによる信号処理と画像処理」、３５−４２ページ、共立出版、１９９９年発行に詳細が記述されている。
本実施の形態においては、各小領域１００２の中心座標について、周波数および窓幅に相当する４種類のパラメータと、回転に相当する４種類のパラメータとから構成される１６種類のガボールウェーブレットを用いて、２次元ガボールウェーブレット変換を行う。すなわち、各小領域１００２ごとに１６次元のパラメータベクトルを出力する。ただし、これは、パラメータベクトルの次元数を限定するものではなく、移動時における脚の開き具合を、より高精度に表現するためには、回転に相当するパラメータ数を多く取ることによって実現可能である。このため、パラメータベクトルは、Ｍ次元（Ｍは自然数）パラメータベクトルと記述することもできる。
次に、図１１を用いて、時系列組合せ生成部８３０についてさらに詳細に説明する。
時系列組合せ生成部８３０は、パラメータベクトルの時系列組合せを生成する。本実施の形態では、以下のように行うが、組合せの方法を限定するものではなく、パラメータベクトルに対する閾値処理等で組合せ数を減らすことも可能である。なお、他の検出手法と併用する場合には、その検出結果をもとに前記組合せを決定してもよい。
時系列組合せ生成部８３０は、パラメータベクトルの時系列組合せを生成する。本実施の形態では、以下のように行うが、組合せの方法を限定するものではなく、パラメータベクトルに対する閾値処理等で組合せ数を減らすことも可能である。なお、他の検出手法と併用する場合には、その検出結果をもとに前記組合せを決定してもよい。
図１１（ａ）に時刻ｔにおける入力画像１００１を９つの小領域１００２に分割した場合を示し、図１１（ｂ）に９つの小領域１００２の時系列組合せを示し、図１１（ｃ）に各小領域１００２に含まれる１６次元のパラメータベクトルの時系列組合せを示す。図１１（ａ）に示されるように、小領域１００２の時系列組合せは、周辺の小領域１００２との組合せであり、ＳＥ１は、入力画像１００１の周辺部であるため、図１１（ｂ）に示されるように、時刻ｔ＋１での組合せはＳＥ１、ＳＥ２、ＳＥ４、ＳＥ５と組み合わせることになる。同様に、ＳＥ３、ＳＥ７、ＳＥ９は、入力画像１００１の周辺部であるため、時刻ｔ＋１の組合せ候補は４つの小領域１００２が対象となり、ＳＥ２、ＳＥ４、ＳＥ６、ＳＥ８は、図１１（ｂ）に図示していないが、時刻ｔ＋１の組合せ候補は、６つの小領域となる。これに対して、図１１（ｃ）に示されるように、１６次元のパラメータベクトルの時系列組合せは、異なる小領域１００２の同一のパラメータベクトルを組み合わせるため、小領域１００２の時系列がＳＥ１、ＳＥ５、ＳＥ９・・・ＳＥ９であるパラメータベクトルＰＢ０の組合せは、ＳＥ１（ｔ）のＰＢ０（ｔ）、ＳＥ２（ｔ＋１）のＰＢ０（ｔ＋１）、ＳＥ９（ｔ＋２）のＰＢ０（ｔ＋２）、・・・ＳＥ９（ｔ＋Ｎ−１）のＰＢ０（ｔ＋Ｎ−１）となり、ＰＢ１からＰＢＦも同様に組み合わせ、Ｎ次元パラメータベクトルを１６個生成し、１６個のＮ次元パラメータベクトルを脚間情報抽出部８４０に送信する。なお、必ずしも画像全体を小領域に分割する必要はなく、前処理等によって、人物等の移動物体候補領域を決定し、その候補領域のみを小領域に区切ってもよい。この場合、パラメータベクトルの時系列組合せ数を削減することが可能である。
脚間情報抽出部８４０は、その１６個のＮ次元パラメータベクトルから脚間情報の抽出を行い、周期性解析部８５０は、その結果を用いて周期性の解析を行う。つまり、時系列組合せ生成部８３０で生成されたＮ次元パラメータベクトルは、脚間情報抽出部８４０に入力され、実施の形態１と同様に式２を用いて自己相関関数を計算後、自己相関関数Ｃ（τ）＝０となるτLを相関長として用いて、周期性解析部８５０が周期性の解析を行う。なお、本実施例においては、相関関数Ｃ（τ）＝０となるτLを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、移動の周期的変動を捉えられるものであれば、何でもよい。
周期性解析部８５０は、実施の形態１と同様に相関長τLの時系列データに対して自己相関関数を計算するため、詳しい説明は省略する。ここで、相関長τLの時系列データに対して自己相関関数を計算した結果である相関長の自己相関関数Ｃｔ（τ）を移動物体検出部８６０に出力する。また、同時に、周期性解析部８５０は、時系列組合せ生成部８３０で生成された１６個のＮ次元パラメータベクトルについて全て計算し終わるまで、計算続行のための信号を時系列組合せ生成部８３０に出力する。
次に、移動物体検出部８６０についてさらに詳細に説明する。
移動物体検出部８６０は、周期性解析部８５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかについて検証するピーク検出部８６１と、１６個のＮ次元パラメータベクトルについてピーク検出を実施し、検出されたピーク数を蓄積するピーク数蓄積部８６２と、蓄積されたピーク数を用いて画像フレーム中の物体を移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する存在位置特定部８６３とを備える。本実施例で、ピーク位置τWの検出は、実施の形態１に記載した方法と同じであるため、省略する。
移動物体検出部８６０は、周期性解析部８５０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかについて検証するピーク検出部８６１と、１６個のＮ次元パラメータベクトルについてピーク検出を実施し、検出されたピーク数を蓄積するピーク数蓄積部８６２と、蓄積されたピーク数を用いて画像フレーム中の物体を移動物体と判定した場合に移動物体の存在位置と移動方向を特定し映像表示部８７０に出力する存在位置特定部８６３とを備える。本実施例で、ピーク位置τWの検出は、実施の形態１に記載した方法と同じであるため、省略する。
ピーク検出部８６１は、相関長の自己相関関数計算結果から移動物体の移動に特有のピークが検出された場合、ピーク数蓄積部８６２に１を加算する。その時、時系列組合せ生成部８３０で生成された、小領域の組合せ情報も同時に保持する。なお、小領域１００２の組合せ情報とは、時系列組合せ生成部８３０が１６×Ｎ次元の時系列ベクトルを生成した時に、１６個のＮ次元パラメータベクトルを算出した小領域を、どのように組み合わせたかを表現する情報である。すなわち、小領域の組合せ情報は、Ｎ次元のベクトルであり、各要素は小領域を表す番号とする。
ピーク数蓄積部８６２に蓄積される値は、本実施の形態では、１６個のＮ次元パラメータベクトルを用いたため、１６個すべてのＮ次元パラメータベクトルにピークが存在した場合に、ピーク数１６となる。そのため、時系列組合せ生成部８３０で生成された１６個のＮ次元パラメータベクトルを一単位として、ピーク数を蓄積することとなる。
ピーク数蓄積部８６２は、蓄積されたピーク数が最大となる小領域の組合せを、存在位置特定部８６３に送信する。
存在位置特定部８６３は、移動物体の存在位置７２と移動方向を特定し、映像表示部８７０に出力する。なお、存在位置７２は、画像上での存在位置を示すこととし、存在位置特定部８６３に送信された小領域１００２の組合せ情報から、最新フレームの入力画像１００１における小領域１００２とする。
また、移動方向は、最新フレームの入力画像１００１をＮフレームとすると、Ｎ−１フレームにおける小領域１００２の中心位置と最新フレームにおける小領域１００２の中心位置とを結んだ線を移動方向とする。これにより、画像上での存在位置と移動方向を表示可能である。また、検出した存在位置をワールド座標上位置に変換することによって、実空間上での存在位置を特定することも可能である。さらに、検出した移動方向を用いて、Ｎ＋１フレームにおける存在位置を予測することも可能である。
映像表示部８７０は、上記情報に従って移動物体の存在位置および移動方向を表示する。
以上のように、本実施の形態によれば、複数枚の画像を用い、ウェーブレット変換等の画像処理と周期性解析に基づいて移動物体検出を行うことによって、初期検出が理想的に行えないような場合においても、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本実施の形態における移動物体検出装置では、画像変換部８２１は、ウェーブレット変換を用いたが、ハフ変換又はフーリエ変換を用いてもよい。この場合でも、同様の効果を得ることは可能である。
（実施の形態３）
次に、本発明の実施の形態３における移動物体検出装置について説明する。
次に、本発明の実施の形態３における移動物体検出装置について説明する。
本実施の形態では、入力画像に対して幾何学的図形を当てはめる。ここでは、脚間情報に相当する幾何学的図形に類似した部分画像を抽出し、部分画像をパラメータに変換し、そのパラメータを時間順に並べて時系列パラメータとして蓄積し、その脚間情報を保持した時系列パラメータから周期性を解析することによって移動物体を検出する場合について説明する。また、ビデオテープ等に保存された動画像から移動物体を検出する場合について説明するが、実施の形態１で説明したように、カメラ１００およびその設置パラメータを含めた図１の構成とすることも可能である。
図１２は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１及び２と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出するものであが、入力画像に対して幾何学的図形を当てはめることで幾何学的図形に類似した部分画像を抽出し、部分画像をパラメータに変換し、そのパラメータを時間順に並べて時系列パラメータとし、その時系列パラメータから周期性を解析することによって移動物体を検出する点に特徴を有し、動画像取得部１２１０、時空間データ生成部１２２０、脚間情報抽出部１２３０、周期性解析部１２４０、移動物体検出部１２５０及び映像表示部１２６０を備える。
なお、実施の形態１では、時系列データを画像として蓄積し、その時系列画像から周期性を解析することによって移動物体を検出し、実施の形態２では、画像変換によって画像をパラメータ化したものを時系列データとし、その周期性を解析したが、本実施の形態では、画像に含まれる所定の周期性を強調するものとして、図１２に示されるように、幾何形状変換部１２３１によって画像に幾何形状を当てはめてパラメータ化したものを時系列データとし、その周期性を解析する。これにより、周期性解析がより簡便となるという利点がある。本実施の形態では、脚間情報を得るために、幾何形状当てはめを脚のモデルとして考慮した２本の直線組を用いた場合について説明する。
動画像取得部１２１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部１２２０に送信される。ただし、映像は、必ずしもフレームごとである必要はなく、時系列的に並んだ画像を取得できるものであればよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。
時空間データ生成部１２２０は、図１２に示されるように、画像変換部１２２１と時系列データ蓄積部１２２２とを備える。画像変換部１２２１は、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像に２値化画像への変換を行い、シルエット画像を抽出する。時系列データ蓄積部１２２２は、予め決定した時刻Ｎ分の変換されたパラメータを用いて時空間データを生成する処理部及び記憶装置等である。
脚間情報抽出部１２３０は、入力された時系列データに対して幾何形状を当てはめる幾何形状変換部１２３１と、幾何形状変換部で当てはめる幾何形状を保持する幾何形状保持部１２３２とを備える。幾何形状変換部１２３１は、画像に含まれる所定の周期性を強調する処理部であり、シルエット画像に対して、直線、楕円、長方形などの幾何学的図形を当てはめることによって、シルエット画像を脚間の角度や距離を表現するパラメータに変換する。幾何形状保持部１２３２は、幾何形状変換部１２３１にて、当てはめを行うための幾何形状を保持しているメモリ等である。
なお、本実施の形態においては、画像変換部１２２１で生成されたシルエット画像に対して、脚を表現する２本の直線組を当てはめ、当てはめた直線組が保持する股間角度に変換して時系列データを生成する場合について説明する。なお、幾何学的図形の当てはめは、楕円や長方形でも構わない。また、円柱等の３次元ボリュームを持った形状でも構わない。
周期性解析部１２４０は、脚間情報抽出部１２３０で抽出された脚間情報を保持する時空間データに対して特に移動物体の移動に特有の周期性を検出するための周期性解析を行う処理部であり、移動物体に特有の周期性を検出する。時系列組合せ生成部１２４１は、脚間情報抽出部１２３０で行った幾何学的図形当てはめの結果を時系列的に組み合わせることによって、Ｎ次元股間角度時系列データ（Ｎ次元時系列パラメータベクトル）を生成する処理部である。周波数変換部１２４２は、時系列組合せ生成部１２４１で生成されたＮ次元時系列パラメータベクトルに対してフーリエ変換を行い、各周波数に対して強度を持つベクトルを移動物体検出部１２５０に出力する処理部である。
移動物体検出部１２５０は、周期性解析部１２４０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部であり、ピーク検出部１２５１と存在位置特定部１２５２とを備える。ピーク検出部１２５１は、周期性解析部１２４０から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出する処理部であり、存在位置特定部１２５２は、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し映像表示部１２６０に出力する処理部である。映像表示部１２６０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を俯瞰図に配置して表示する。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図１３のフローチャートを用いて詳細に説明する。
まず、Ｓ１３０１にて、画像変換部１２２１は、動画像取得部１２１０により取得された動画像を、入力画像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換することでシルエット画像を抽出する。この時、輪郭抽出やノイズ除去等を行ってシルエット画像を抽出してもよい。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。
Ｓ１３０２にて、時系列データ蓄積部１２２２は、Ｓ１３０１にて得られたシルエット画像を時空間データとしてバッファに時間順に蓄積する。なお、時空間データ生成部１２２０は、実施の形態により異なる構成としても同様の効果を得ることができる。
Ｓ１３０３にて、幾何形状変換部１２３１は、シルエット画像に対して幾何学的図形の当てはめを行う。本実施の形態では、当てはめを行う図形を直線組とした例について説明する。当てはめを行う直線組は、幾何形状保持部１２３２にて２本の直線組とそのパラメータとして、直線の交差する角度である股間角度を保持しており、当てはめを行った結果、その股間角度と画像上での存在位置を時系列組合せ生成部１２４１に出力する。本実施の形態では、２本の直線組を当てはめる場合について説明するが、他の図形を当てはめても構わない。幾何形状変換部１２３１および幾何形状保持部１２３２については後述する。
Ｓ１３０４にて、時系列データ蓄積部１２２２は、予め決定した時刻Ｎ分の股間角度時系列データを用いて時空間データを生成し、時空間データのフレームがＮ枚である場合は、Ｓ１３０７に移行し、Ｎ枚でない場合は、Ｓ１３０５に移行する。
Ｓ１３０５にて、時空間データのフレームがＮ枚未満である場合は、Ｓ１３０１に移行し、時空間データのフレームがＮ枚を超過する場合は、Ｓ１３０６に移行する。
Ｓ１３０６にて、時系列データ蓄積部１２２２は、画像変換部１２２１からＮ＋１枚目の画像から生成したデータが送信された場合は、時空間データから１枚目の画像フレームのデータを破棄することによって、Ｎ時刻分の時系列データを保持した時空間データを生成する。
なお、時空間データの生成方法については後述する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ１３０７にて、時系列組合せ生成部１２４１は、脚間情報抽出部１２３０で生成されたＮ時刻分の股間角度時系列データから幾何学的図形当てはめの結果を時系列的に組み合わせることによって、Ｎ次元股間角度時系列データを生成する処理部である。なお、時系列組合せ生成部１２４１については後述する。
Ｓ１３０８にて、周波数変換部１２４２は、Ｓ１３０７にて抽出した幾何学的図形当てはめ結果の時系列組合せデータである幾何パラメータベクトルに対して、周期性の解析を行うためにフーリエ変換を行う。周期性の解析方法およびフーリエ変換については後述する。また、周期性解析部１２４０は、実施の形態により異なる構成を用いても同様の効果を得ることができる。
Ｓ１３０９にて、周波数変換部１２４２は、時系列組合せ生成部１２４１で幾何学的図形当てはめ結果の全ての時系列組合せについて周波数解析を終了していない場合には、Ｓ１３０７に移行し、再度、新たな時系列組合せによるパラメータベクトルを決定し、全ての組合せのパラメータベクトルについて、周波数解析が終了した場合には、Ｓ１３１０に移行する。
Ｓ１３１０にて、移動物体検出部１２５０は、周期性解析部１２４０により計算された幾何パラメータベクトルの時系列組合せに対する周期性解析結果から、移動物体特有の周期性の有無を判定することによって、移動物体か否かを判断し、移動物体の存在する位置および移動方向を決定する。移動物体か否かの判定方法については後述する。
最後に、Ｓ１３１１にて、移動物体検出部１２５０で検出した移動物体の存在位置および移動方向に基づいて、その結果を映像表示部１２６０に表示する。
次に、脚間情報抽出部１２３０についてさらに詳細に説明する。
幾何形状変換部１２３１は、図１４（ａ）に示されるように、時系列データ蓄積部１２２２に蓄積されたシルエット画像１４０１に対して、幾何形状１４０２である脚のモデルとして２本の直線組の当てはめを行う。図１４（ｂ）に示されるように、幾何形状保持部１２３２は、複数の大きさと複数の股間角度に対応する直線組を保持しており、股間角度をパラメータとして持っている。なお、股間角度の代わりに脚間間隔をデータとして保持してもよい。
幾何形状変換部１２３１は、図１４（ａ）に示されるように、時系列データ蓄積部１２２２に蓄積されたシルエット画像１４０１に対して、幾何形状１４０２である脚のモデルとして２本の直線組の当てはめを行う。図１４（ｂ）に示されるように、幾何形状保持部１２３２は、複数の大きさと複数の股間角度に対応する直線組を保持しており、股間角度をパラメータとして持っている。なお、股間角度の代わりに脚間間隔をデータとして保持してもよい。
これらの直線組を、シルエット画像１４０１に対して当てはめて、予め定めた閾値以上であれば、当てはめた画像上での座標位置及びその股間角度を時系列組合せ生成部１２４１に送信する。なお、シルエット画像１４０１への直線組の当てはめは、パターンマッチングによって行ったが、一般化ハフ変換によって直線組を表現し、当てはめを行ってもよい。
次に、周期性解析部１２４０についてさらに詳細に説明する。
時系列組合せ生成部１２４１は、当てはめた股間角度の時系列組合せを生成する。本実施の形態では、以下のように行うが、股間角度の時系列組合せの方法を限定するものではない。なお、他の検出手法と併用する場合には、その検出結果をもとに股間角度の時系列組合せを決定してもよい。
時系列組合せ生成部１２４１は、当てはめた股間角度の時系列組合せを生成する。本実施の形態では、以下のように行うが、股間角度の時系列組合せの方法を限定するものではない。なお、他の検出手法と併用する場合には、その検出結果をもとに股間角度の時系列組合せを決定してもよい。
時系列組合せ生成部１２４１は、ある時刻ｔにおける、直線組の当てはめ位置（ｘｔ、ｙｔ）から、時刻ｔ＋１における画像領域で（ｘｔ、ｙｔ）の近傍領域内に存在する直線組の当てはめ位置（ｘｔ＋１、ｙｔ＋１）との組合せを生成する。このように近傍領域内に存在する当てはめ位置の組合せを時刻Ｎ分、全ての場合について行うことによって、時系列組合せを生成する。ここで、当てはめられた直線組は、股間角度及び大きさをパラメータとして保持しているため、時系列組合せによって、Ｎ次元の股間角度が時間順に並んだ時系列パラメータを得ることになる。なお、近傍領域の定義は、画像サイズや画像のフレームレートに応じて設定する。生成されたＮ次元時系列パラメータは、周波数変換部１２４２に送信される。
周波数変換部１２４２は、時系列組合せ生成部１２４１で生成されたＮ次元時系列パラメータベクトルに対してフーリエ変換を行う。フーリエ変換を行った後、各周波数に対して強度を持つベクトルが得られ、そのベクトルを移動物体検出部１２５０に出力する。また、同時に、周波数変換部１２４２は、時系列組合せ生成部１２４１で生成された時系列パラメータベクトルについて全て計算し終わるまで、時系列組合せ生成部１２４１に計算続行のための信号を出力する。以下、同様に、時系列組合せ生成部１２４１で生成された全ての時系列パラメータベクトルの計算が終了するまで同様の処理を行う。
次に、移動物体検出部１２５０についてさらに詳細に説明する。
移動物体検出部１２５０は、周波数変換部１２４２から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出するピーク検出部１２５１と、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する存在位置特定部１２５２とを備える。
移動物体検出部１２５０は、周波数変換部１２４２から入力された各周波数に対して強度を持つフーリエ変換後の時系列パラメータベクトルについて、移動物体の移動周期にマッチした周波数においてピークを検出するピーク検出部１２５１と、ピークを検出した時に移動物体であると判定し、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する存在位置特定部１２５２とを備える。
ピーク検出部１２５１は、入力された時系列パラメータベクトルのうち、移動物体の移動周期に相当する周波数を表現する要素についてのみピーク検出を行う。すなわち、移動周期と同じ周波数にピークが存在する場合は、移動物体、それ以外は移動物体ではないと判定する。ピーク検出部１２５１は、移動物体の移動に特有のピークを検出した場合、存在位置特定部１２５２にピーク検出信号と、その時系列パラメータを生成した当てはめ位置の組合せ（ｘｔ、ｙｔ）から（ｘｔ＋Ｎ、ｙｔ＋Ｎ）を送信する。このように各時刻において幾何学的図形をあてはめてパラメータ化を行い、その時系列パラメータの周期性を判定することによって、一時的に幾何学的図形のあてはめに失敗した場合にもロバストな移動物体検出が可能である。
存在位置特定部１２５２は、移動物体の存在位置と移動方向を特定し、映像表示部１２６０に出力する。存在位置は、画像上での存在位置を示すこととし、ピーク検出部１２５１から送信された情報を用いて、最新のフレームに対応する（ｘｔ＋Ｎ、ｙｔ＋Ｎ）を移動物体の検出位置とする。また、移動方向は、最新フレームをＮフレームとすると、Ｎ−１フレームにおける（ｘｔ＋Ｎ−１、ｙｔ＋Ｎ−１）と最新フレームにおける（ｘｔ＋Ｎ、ｙｔ＋Ｎ）とを結んだ線を移動方向とする。
これにより、画像上での存在位置と移動方向を表示可能である。また、検出した存在位置をワールド座標上位置に変換することによって、実空間上での存在位置を特定することも可能である。さらに、検出した移動方向を用いて、Ｎ＋１フレームにおける存在位置を予測することも可能である。
映像表示部１２６０は、上記情報に従って移動物体の存在位置および移動方向を表示する。
以上のように、本実施の形態によれば、入力画像に対して脚間の変化を示す幾何学的図形を当てはめ、当てはめの状態を示す時系列パラメータの周期性を解析することによって移動物体が検出されるので、２本以上の脚を持つ移動物体が確実に検出されるとともに、照明条件等の環境や初期検出精度の影響を受けずに安定して移動物体が検出される。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
（実施の形態４）
次に、本発明の実施の形態４における移動物体検出装置について説明する。
次に、本発明の実施の形態４における移動物体検出装置について説明する。
図１６は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１等と同様に、街頭や駐車場、店舗内などを撮影した映像中に存在する移動物体を検出する装置であるが、移動物体の移動方向を算出することで、より高速かつ正確に移動物体の周期性を解析する点に特徴を有し、動画像取得部１６１０、時空間データ生成部１６２０、移動方向算出部１６３０、時空間断片抽出部１６４０、脚間情報抽出部１６５０、周期性解析部１６６０、移動物体検出部１６７０及び映像表示部１６８０を備える。
動画像取得部１６１０は、ビデオテープ等に録画された映像を動画像としてフレーム毎に取得する信号インターフェース等である。取得された画像はフレームごとに、時空間データ生成部１６２０に送信される。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、時系列的に並んだ画像を取得できるものであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。もちろん、実施の形態１で説明したように、カメラおよびその設置パラメータを含めた構成とすることも可能である。
時空間データ生成部１６２０は、画像に含まれる所定の周期性を強調するものとして、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、時間的に並んだ画像同士の差分処理、若しくは、背景差分処理を行い、閾値により画像を２値化画像に変換し、変換後の画像をフレームの時間順に蓄積することによって、予め決定した時刻Ｎ分の画像を用いて時空間データを生成する処理部及び記憶装置である。なお、本実施の形態においては、画像をフレームの時間順に並べたものであるので、３次元の時空間画像が生成されることになる。
移動方向算出部１６３０は、時空間データ生成部１６２０で蓄積された時系列データに対して、移動物体が画像上で移動している方向を算出する処理部である。
時空間断片抽出部１６４０は、蓄積された時空間データを時間軸に平行に切断することによって、時空間断片を抽出する。
脚間情報抽出部１６５０は、時空間断片抽出部１６４０で抽出された時空間断片から、各時刻における２本以上の脚が生成する脚間の情報を抽出する。
周期性解析部１６６０は、時空間データ生成部１６２０で生成された時空間画像に対して、特に、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、移動方向算出部１６３０で検出した移動方向情報を用いて、移動物体に特有の周期性を検出する。
移動物体検出部１６７０は、周期性解析部１６６０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部である。
映像表示部１６８０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を画像上に表示する。
ここで、時空間データ生成部１６２０は、さらに、画像変換部１６２１と、時系列データ蓄積部１６２２とから構成される。画像変換部１６２１は、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する処理部である。時系列データ蓄積部１６２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積するメモリ等である。
また、時空間断片抽出部１６４０は、移動方向算出部１６３０で算出した移動方向に従って断片抽出線のパラメータを決定し、時空間データ生成部１６２０で生成された時空間データから、決定した断片抽出線を用いて時空間断片を抽出する処理部であり、さらに、移動物体の存在位置および移動方向を検出するために実空間上に表現する座標軸であるワールド座標系において、時空間データを切断する断片抽出線を決定する断片抽出線生成部１６４１と、時空間データから時空間断片の抽出を行う時空間データ切断部１６４２とを備える。
また、脚間情報抽出部１６５０は、抽出された時空間断片に対して脚の位置情報ではなく、相対的な脚間の間隔を検出することを目的として、時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する。周期性解析部１６６０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
また、移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図１７のフローチャートを用いて詳細に説明する。
まず、Ｓ１７０１にて、画像変換部１６２１は、動画像取得部１６１０により取得された映像を、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、移動物体の存在しない背景となる画像を事前に準備しておく。
Ｓ１７０２にて、時系列データ蓄積部１６２２は、２値化処理された画像を、時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部１６２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ１７０３にて、時系列データ蓄積部１６２２は、画像、若しくは、パラメータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）枚分の画像フレームが蓄積された場合は、Ｓ１７０６に移行し、時刻Ｎ枚分の画像フレームが蓄積されていない場合は、Ｓ１７０４に移行する。
Ｓ１７０４にて、画像フレームが時刻Ｎ枚未満である場合は、Ｓ１７０１に移行し、時刻Ｎ枚を超過する場合は、Ｓ１７０５に移行する。
Ｓ１７０５にて、時系列データ蓄積部１６２２は、画像変換部１６２１からＮ＋１枚目の画像が送信された場合は、Ｓ１７０５にて、時空間データから１枚目の画像フレームを破棄することによって、常時、Ｎフレーム分の画像を保持した時空間データを生成する。ここでは、必ずしも１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、動画データを用いる場合には、磁気テープ、ハードディスク、ＲＡＭに保存されたものであってもよく、ネットワーク上に保存されたデータ保持手段であってもよい。ここで、映像は、必ずしもフレーム毎である必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ１７０６にて、移動方向算出部１６３０は、物体の移動方向を検出し、断片抽出線の傾き候補を生成する。また、時空間データを小領域に分割して、分割した領域ごとに移動方向を算出することもできる。移動方向の算出方法については、後述する。
Ｓ１７０７にて、時空間断片抽出部１６４０は、断片抽出線のパラメータを決定し、時空間データ生成部１６２０で生成された時空間データから、移動方向算出部１６３０で決定した断片切断線の傾き候補に基づいた断片抽出線を用いて時空間断片を抽出する。
Ｓ１７０８にて、脚間情報抽出部１６５０は、Ｓ１７０７にて抽出した時空間断片に対して、周期性の解析を行うために自己相関関数の計算を行う。
Ｓ１７０９にて、周期性解析部１６６０は、断片抽出線の候補を全て試行した場合は、Ｓ１７１０に移行し、断片抽出線の候補を全て試行していない場合は、Ｓ１７０６に移行し、Ｓ１７０６からＳ１７０９の処理を繰り返す。
Ｓ１７１０にて、移動物体検出部１６７０は、周期性解析部１６６０により計算された時空間断片の周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ１７１１に移行し、移動物体特有の周期性が無い場合はＳ１７０１に移行する。
最後に、Ｓ１７１１にて、映像表示部１６８０は、移動物体検出部１６７０で検出した移動物体の存在位置および移動方向に基づいて、その結果を表示する。
次に、移動方向算出部１６３０についてさらに詳細に説明する。
移動方向算出部１６３０における移動方向の算出方法には、対象物体の候補を検出して移動方向を算出する方法と、対象物体の検出は行わずに移動方向を算出する方法とがある。まず、対象物体の候補を検出して、移動方向を算出する方法について説明する。
移動方向算出部１６３０における移動方向の算出方法には、対象物体の候補を検出して移動方向を算出する方法と、対象物体の検出は行わずに移動方向を算出する方法とがある。まず、対象物体の候補を検出して、移動方向を算出する方法について説明する。
図１８（ａ）に示されるように、１枚の差分画像から、孤立した物体を抽出するラベリングアルゴリズムを用いて、孤立した物体を一つの検出対象物体の候補であると捉える。ラベリングアルゴリズムによる物体抽出は、画素値１のピクセルを連結し、異なった連結部には異なったラベルをつけることによって行う。本実施例では、以下のように行った。
まず、時刻ｔにおける２値化された差分画像に対し、画素値が１であり、かつラベルの付けられていない画素Ｐを検出し、ラベルＬを付与する。画素Ｐと連結している画素全てに対し、同じラベルＬを付与する。この操作をラベル付けされていない画素が存在しなくなるまで続けることによって、物体抽出を行う。もちろん、孤立した物体を抽出できるものであれば、他のラベリング手法を用いても構わない。しかしながらこの場合、検出対象物体に関する形状情報を用いたものではないため、状況によっては、実際には２個の物体が一つと検出されたり、実際には１個の物体が２個に分かれて抽出されたりする事がありうる。そのような場合においても、後述する周期性判定によって、ラベリングが正確でない場合であっても、誤検出を減らすことが可能である。
続いて、図８（ｂ）に示されるように時刻ｔ＋１における２値化された差分画像に対し、時刻ｔにおいてラベリングした移動物体候補を画像上で摂動させながらマッチングすることによって、最もマッチング値が高い位置までの動きベクトルを算出する。この動きベクトル算出処理を一定時刻行い、ラベルごとの平均動きベクトルを求めることによって、対象物体候補の移動方向を算出する。
次に、対象物体の検出を行わずに移動方向を算出する方法について説明する。ここでは、図１９（ａ）に示されるように小領域に区切って算出する方法について説明する。なお、図１５のようにカメラのパラメータ等を考慮して小領域に区切っても構わない。
まず、時刻ｔにおける二値化された差分画像に対し、各小領域ごとにある一定数以上の画素値１のピクセルが存在する場合、その小領域を摂動させることによって、時刻ｔ＋１における二値化された差分画像とのマッチングを行う。この時、現在の位置から摂動させた結果、最大のマッチング値を持った位置までの動きベクトルを算出する。これにより、図１９（ｂ）のように、それぞれの小領域において、動きベクトルが算出されることになる。この動きベクトル算出処理を一定時刻行い、各小領域ごとの平均動きベクトルを求める。そして、各小領域ごとに算出した平均動きベクトルを投票し、ある一定値以上の投票が得られた場合に、対象物体候補の移動方向とする。
なお、本実施の形態では、上記のような移動方向算出方法について述べたが、移動ベクトルを算出することができれば、他の物体検出手法を用いても構わない。
次に、時空間断片抽出部１６４０についてさらに詳細に説明する。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１６４１は、画像上での直線および曲線を定義する。ここでは、画像上に直線を引くことで、断片抽出線３２を求める場合について説明する。
以下、断片抽出線３２として直線が生成された場合について説明する。まず、断片抽出線生成部１６４１は、画像上での直線および曲線を定義する。ここでは、画像上に直線を引くことで、断片抽出線３２を求める場合について説明する。
断片抽出線３２は、
で定義することができ、
ここで、傾きａは、画像上における移動物体の移動方向に関するパラメータとなり、ｂは、画像上での切片である。
ここで、傾きａは、移動方向算出部１６３０により算出された対象物体候補の移動方向により求めることができる。時空間断片抽出部１６４０は、この傾きａに応じて、切片ｂの値を変更することによって断片抽出線３２を生成し、時空間断片３３を抽出することができる。生成された、時空間断片３３は、脚間情報抽出部１６５０に送信されて脚間情報が抽出され、さらに周波数解析部１６６０に送られて周期性の解析が行われる。図２０に、移動方向算出部１６３０の効果の一例を示す。このように、移動方向を算出することによって、断片抽出線３２の数を大幅に減らすことが可能となり、計算量を削減できる。
時空間データ切断部１６４２は、時空間断片３３の抽出を行う。時空間断片３３の抽出は、断片抽出線３２を用いて時空間データ生成部１６２０で生成された時空間データ３１を切断することによって行う。
時空間断片３３は、脚間情報抽出部１６５０に送信されて脚間情報が抽出され、さらに周波数解析部１６６０に送られて周期性の解析が行われる。周波数解析部１６６０は、時空間断片３３の周期性の解析を行い、その周期性解析が終了したら、断片抽出線３２のパラメータ変更を示す信号である断片抽出線３２パラメータ変更信号を、断片抽出線生成部１６４１に出力する。以下、同様に、時空間断片抽出部１６４０は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線３２を作成し時空間断片３３を作成する。
次に、脚間情報抽出部１６５０についてさらに詳細に説明する。
脚間情報抽出部１６５０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。
脚間情報抽出部１６５０は、図５（ａ）に示されるような時空間断片５１に対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。
なお、図５（ａ）の時間は、時空間データ生成部１６２０が予め決定したフレーム数Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、前述の式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τp）は、自己相関関数Ｃ（τ）がピークになる位置τpであり、１次元データで相関の高いＯＮピクセルの間隔はτpに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τpは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τp）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τLを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτLを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τLを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τLは、時刻ごとに計算され、時刻ごとに計算された相関長τLを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τLの時系列データ６１を図６（ａ）に示す。相関長τLの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。ここで、相関長τLは、必ずしも時間的に連続して算出する必要はなく、最低一歩につき一時刻分の相関長τLを計算すればよい。
次に、周期性解析部１６６０についてさらに詳細に説明する。
脚間情報抽出部１６５０で算出された相関長τLの時系列データ６１は、周期性解析部１６６０に入力される。周期性解析部１６６０は、図６（ａ）に示されるような相関長τLの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τLの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６７０に出力する。また、同時に、周期性解析部１６６０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１６４０の断片抽出線生成部１６４１に出力する。
脚間情報抽出部１６５０で算出された相関長τLの時系列データ６１は、周期性解析部１６６０に入力される。周期性解析部１６６０は、図６（ａ）に示されるような相関長τLの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τLの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部１６７０に出力する。また、同時に、周期性解析部１６６０は、時空間断片を抽出するためパラメータ変更を示す信号である断片抽出線パラメータ変更信号を、時空間断片抽出部１６４０の断片抽出線生成部１６４１に出力する。
以下、同様に、時空間断片抽出部１６４０の断片抽出線生成部１６４１は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。ここで、断片抽出線パラメータ変更信号は、移動方向算出部で算出した移動物体候補の移動方向に基づいて、すべてのパラメータ候補についてパラメータ変更してもよいし、移動物体検出部１６７０で移動物体検出が行われるまでとしてもよい。また、断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるｂである。
次に、移動物体検出部１６７０についてさらに詳細に説明する。
移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
移動物体検出部１６７０は、周期性解析部１６６０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１６７１と、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する存在位置特定部１６７２とを備える。
相関長の自己相関関数Ｃｔ（α）は、τL（ｔ）をある間隔αだけずらしたτL（ｔ＋α）と、τL（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αWの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。
ここでは、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部１６７０のピーク検出部１６７１は、ピーク位置αWが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、動画像取得部１６１０で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１６７１のピーク位置αWを計算すればよい。
ピーク検出部１６７１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、存在位置特定部１６７２により、移動物体の存在位置と移動方向を特定し、映像表示部１６８０に出力する。
存在位置特定部１６７２は、まず、ピーク検出部１６７１でピークが検出されたときの断片抽出線パラメータａとｂから、移動方向および存在位置を特定する。なお、複数の移動物体が監視領域内に存在する可能性が高い場合においては、前述したように、時空間断片を小領域に分割して処理することによって、移動物体同士の重なり等の影響を受けにくく、精度良い移動物体検出を実現することができる。また、これは、存在位置の特定方法を限定するものではない。
映像表示部１６８０は、移動物体検出部１６７０で検出した移動物体の存在位置と移動方向を画像上に配置する。これによって、周期的な動きをもつ移動物体が存在する時刻、位置、移動方向を同時に検出することが可能である。
以上のように、本実施の形態によれば、移動物体の移動方向が算出され、その移動方向に沿って脚間情報が抽出され、移動物体が検出されるので、脚間情報の抽出に要する探索範囲が狭められ、より短時間で移動物体が検出される。また、移動物体の存在位置検出と同時に移動方向を検出することが可能である。
なお、本手法は、断片抽出線パラメータの探索方法を限定するものではない。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
また、本手法における移動方向算出部１６３０は、実施の形態２においても用いることが可能であり、時系列組合せ生成部８３０での組合せ数を減らすことができるため、計算量削減および、より正確な周期性判定を行うことができる。
（実施の形態５）
次に、本発明の実施の形態５における移動物体検出装置について説明する。
次に、本発明の実施の形態５における移動物体検出装置について説明する。
図２１は、本実施の形態における移動物体検出装置の構成を示す図である。この移動物体検出装置は、実施の形態１等と同様に住宅及び街頭や駐車場、店舗内などに存在する特定の移動物体を検出する装置であるが、ラインセンサ等からのセンサ情報を用いて移動物体を検出する点に特徴を有し、センサデータ取得部２１１０、時空間データ生成部２１２０、脚間情報抽出部２１３０、周期性解析部２１４０、移動物体検出部２１５０及び映像表示部２１６０を備える。
センサデータ取得部２１１０は、ラインセンサ、フォトディテクタ、圧力センサ等から、時刻ごとに得られたデータを時空間データ生成部２１２０に送信する。ここでセンサデータは、時系列的に並んだデータであればよく、例えば、一定時間間隔でサンプリングされたものであってもよい。
時空間データ生成部２１２０は、時系列センサデータに含まれる所定の周期性を強調するものとして、ノイズ除去および、閾値によりセンサデータを２値化し、変換後のセンサデータを時間順に蓄積することによって、予め決定した時刻Ｎ分のセンサデータを用いて時空間データを生成する処理部及び記憶装置である。
脚間情報抽出部２１３０は、時空間データ生成部２１２０で生成された時空間データに対して、時刻ごとの脚間距離を算出する処理部である。
周期性解析部２１４０は、特に、移動物体の移動に表れる周期性を検出するための周期性解析を行う処理部であり、移動物体に特有の周期性を検出する。
移動物体検出部２１５０は、周期性解析部２１４０で算出した周期性データが入力され、その周期性データから、移動物体か否かを判定する処理部である。
映像表示部２１６０は、移動物体の検出結果を示すＬＣＤ等であり、移動物体の存在位置と移動方向を画像上に表示したり、移動物体の存在を報知したりする。
ここで、時空間データ生成部２１２０は、時系列データ蓄積部２１２１を備える。この時系列データ蓄積部２１２１は、検出されたデータから時空間データを生成するために、バッファとして時間順に蓄積するメモリ等である。
また、脚間情報抽出部２１３０は、時空間断片に対して時刻ｔごとに自己相関関数を計算する。周期性解析部２１４０は、算出された各相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する。
さらに、移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定し、ピークを検出した時に映像表示部２１６０に出力するピーク検出部２１５１を備える。
次に、以上のように構成された本実施の形態における移動物体検出装置の動作について、図２２のフローチャートを用いて詳細に説明する。
まず、Ｓ２２０１にて、時系列データ蓄積部２１２１は、センサから得られたデータから時空間データを生成するために、バッファとして時間順に蓄積する。なお、時空間データ生成部２１２０の構成は、実施の形態により異なる構成をとることも可能である。
Ｓ２２０２にて、時系列データ蓄積部２１２１は、センサデータを用いて時空間データを生成し、時刻Ｎ（Ｎは自然数）分のセンサデータが蓄積された場合は、Ｓ２２０５に移行し、時刻Ｎ分のセンサデータが蓄積されていない場合は、Ｓ２２０３に移行する。
Ｓ２２０３にて、蓄積されたセンサデータが時刻Ｎ未満である場合は、Ｓ２２０１に移行し、時刻Ｎを超過する場合は、Ｓ２２０４に移行する。
Ｓ２２０４にて、時系列データ蓄積部２１２１は、センサデータ取得部２１１０からＮ＋１番目のセンサデータが送信された場合は、Ｓ２２０４にて、時空間データから１番目のセンサデータを破棄することによって、常時、時刻Ｎ分のデータを保持した時空間データを生成する。ここでは、必ずしも時刻１ずつ入力および破棄する必要はなく、時刻Ｎ分の時間的に並んだデータを取得する手法であれば何でもよい。また、データは、必ずしも時刻１ごとである必要はなく、一定時刻でサンプリングされたものであってもよい。
Ｓ２２０５にて、脚間情報抽出部２１３０は、Ｓ２２０４にて抽出した時空間断片に対して、脚間情報を抽出するために時刻ごとに自己相関関数の計算を行う。
Ｓ２２０６にて、周期性解析部２１４０は、Ｓ２２０５にて検出した脚間情報の時間変化から周期性を解析し、移動物体検出部２１５０は、周期性解析部２１４０により計算された時系列蓄積データの周期性解析結果から、移動物体特有の周期性の有無を判定し、移動物体特有の周期性が有る場合はＳ２２０５に移行し、移動物体特有の周期性が無い場合はＳ２２０１に移行する。
最後に、Ｓ２２０７にて、映像表示部２１６０は、移動物体検出部２１５０で検出した移動物体の情報を表示する。ここで、移動物体が所定の移動物体である場合においては、警報を発するなどの手段を用いることもできる。また、カメラと組み合わせることにより、対象を撮像することができる。
次に、センサデータ取得部２１１０についてさらに詳細に説明する。
本実施の形態では、１次元上にレーザ発振器を並べて、フォトディテクタでセンシングする場合について説明するが、他にも、ラインカメラ、ラインセンサ等、１次元データを得られるセンサおよび発信機を用いることができる。また、２次元上に配置する圧力センサ等を利用する場合は、画像と同様に扱うことが可能であるため、前述の実施の形態に含めることができる。
本実施の形態では、１次元上にレーザ発振器を並べて、フォトディテクタでセンシングする場合について説明するが、他にも、ラインカメラ、ラインセンサ等、１次元データを得られるセンサおよび発信機を用いることができる。また、２次元上に配置する圧力センサ等を利用する場合は、画像と同様に扱うことが可能であるため、前述の実施の形態に含めることができる。
図２３（ａ）〜（ｃ）にレーザ発振器２３１ａ〜２３１ｂとフォトディテクタ２３２ａ〜２３２ｂの配置例を示す。本実施の形態では、レーザ発振器２３１ａ〜２３１ｂおよびフォトディテクタ２３２ａ〜２３２ｂは、対象を検出したい領域に１次元上に並べて配置される。レーザ２３１ａ〜ｂとフォトディテクタ２３２ａ〜ｂは、図２３（ａ）のように対向するように配置してもよいし、図２３（ｂ）及び（ｃ）のように検出対象物に対して同じ側に配置してもよい。さらに、図２３（ｃ）に示されるように、ハーフミラー２３３ａ〜２３３ｂでレーザを反射させてもよい。また、人物の検出を目的とする場合であれば、センサおよび発信機は地上１０ｃｍ程度の所に配置するのが望ましい。
以上のように設置されたセンサから取得したデータを、閾値により２値化し、時系列データ蓄積部で時刻Ｎ分蓄積すると、図５に示されるような理想的な時空間データを得ることができる。これにより、時空間断片抽出が不要となり、計算時間を大幅に削減可能である。
脚間情報抽出部２１３０は、各時刻における脚間距離を算出し、周期性解析部２１４０は、時空間データの周期性の解析を行う。この脚間情報抽出部２１３０は、センサから得られたデータを蓄積した時空間データに対して、図５（ｂ）に示される例のように時刻ｔごとに１次元データ５２を作成して、それぞれの１次元データ５２に対して自己相関関数５３を計算する。そのため、必ずしも時空間データ生成部２１２０を設ける必要はなく、ある一定時刻分のデータをまとめて処理するものであればよい。
なお、図５（ａ）の時間は、時空間データ生成部２１２０が予め決定した時刻Ｎである。図５（ｂ）の長さは、図５（ａ）に示される時空間断片５１の幅Ｘである。自己相関関数５３の計算は、前述の式２と定義することができる。
ここで、ｆ（ｘ）は１次元データ５２であり、Ｃ（τ）は、自己相関関数５３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図５（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τp）は、自己相関関数Ｃ（τ）がピークになる位置τpであり、１次元データで相関の高いＯＮピクセルの間隔はτpに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τpは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。
本実施の形態では、自己相関関数Ｃ（τp）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τLを用いて、周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτLを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τLを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。
相関長τLは、時刻ごとに計算され、時刻ごとに計算された相関長τLを時間順に並べることによって、相関長の時系列データ６１を得る。相関長τLの時系列データ６１を図６（ａ）に示す。相関長τLの時系列データ６１は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。
次に、周期性解析部２１４０についてさらに詳細に説明する。
脚間情報抽出部２１３０で算出された相関長τLの時系列データ６１は、周期性解析部２１４０に入力される。周期性解析部２１４０は、図６（ａ）に示されるような相関長τLの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τLの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部２１５０に出力する。
脚間情報抽出部２１３０で算出された相関長τLの時系列データ６１は、周期性解析部２１４０に入力される。周期性解析部２１４０は、図６（ａ）に示されるような相関長τLの時系列データ６１に対して自己相関関数６２を計算する。計算式は、前述の式２と同様である。この計算結果を図６（ｂ）に示す。ここで、相関長τLの時系列データ６１に対して自己相関関数６２を計算した結果であるＣｔ（α）を移動物体検出部２１５０に出力する。
次に、移動物体検出部２１５０についてさらに詳細に説明する。
移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部２１５１を備える。
移動物体検出部２１５０は、周期性解析部２１４０から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置αWを検出し、検出したピーク位置αWが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部２１５１を備える。
なお、相関長の自己相関関数Ｃｔ（α）は、τL（ｔ）をある間隔αだけずらしたτL（ｔ＋α）と、τL（ｔ）とがどれだけ似ているかを示す尺度となる。本実施の形態では、ピーク位置αWの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定した周期付近のピークを探索する方法を用いても構わない。
本実施の形態では、移動１歩分の移動周期を検出する場合について説明する。移動物体検出部２１５０のピーク検出部２１５１は、ピーク位置αWが一歩の移動に必要な時間である場合に、移動物体であると判定する。一歩の移動に必要な時間は、センサデータ取得部２１１０で１秒間に取得できるデータ量によって異なるが、本実施の形態では、１秒間に３０時刻分入力された場合で、２０から３０を一歩の移動に必要な時間とし、ピーク位置αが２０から３０の間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このピーク位置は、設計者によって自在に決定可能である。
なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定する時間を歩数倍することによって対応可能である。また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。
また、本実施の形態では、１秒間に３０時刻分のデータが入力された場合について述べたが、一定時間ごとにサンプリングしたデータを用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部２１５１のピーク位置αWを計算すればよい。
ピーク検出部２１５１は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、対象物体を検出した事を映像表示部２１６０に出力する。これによって、周期的な動きをもつ移動物体を他の移動物体と区別して検出することが可能であり、高速に処理可能で、かつ誤検出を減らすことができる。
以上のように、本実施の形態によれば、時系列データを用い、移動物体が脚を閉じている状態又は移動物体が脚を大きく広げている状態を基に、周期性解析に基づいて移動物体が検出されるので、他の移動物体を誤認識することなく、安定した移動物体の検出を行うことができる。
また、本実施の形態では、人物等の移動物体が検出対象であったが、２本以上の脚により移動するものであれば、同様の効果を得ることができる。
本発明は、２本以上の脚を持つ人物等の移動物体を検出する装置等として、例えば、街頭や施設内に設置する監視装置等として、特に、移動物体の現在位置、移動方向が既知でない場合においても、画像中の検出位置を限定することなく、移動物体検出を行うことが可能な移動物体検出装置等として利用することができる。
Claims (23)
- １次元又は２次元上に配置された対象物検出センサからの出力に基づいて移動物体を検出する装置であって、
前記対象物検出センサからの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成手段と、
生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出手段と、
抽出された脚間情報に含まれる周期性を解析する周期性解析手段と、
解析された周期性から、移動物体の存否を含む移動情報を生成する移動情報生成手段と
を備えることを特徴とする移動物体検出装置。 - 前記脚間情報抽出手段は、移動物体が脚を閉じた状態又は開いた状態の時間間隔又は空間間隔を前記脚間情報として抽出する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記脚間情報抽出手段は、移動物体の歩幅を示す時間間隔又は空間間隔を前記脚間情報として抽出する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記脚間情報抽出手段は、前記時系列データを構成する単位時間ごとのデータである１次元データごとに自己相関値が最低値又はピーク値となる空間間隔である相関長を算出することにより、相関長の時間変化を示すデータを前記脚間情報として抽出する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記時空間データ生成手段は、２次元画像を時間軸に沿って並べた時空間画像を示す時系列データを生成し、
前記移動物体検出装置はさらに、前記時空間画像を時間軸に沿って切断したときの切断面又は切断片における画像である時空間断片を抽出する時空間断片抽出手段を備え、
前記脚間情報抽出手段は、前記時空間断片を構成する単位時間ごとのデータを前記１次元データとして、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出する
ことを特徴とする請求の範囲４記載の移動物体検出装置。 - 前記移動物体検出装置はさらに、前記時系列データ生成手段が生成した時系列データから、当該時系列データに含まれる移動物体の移動方向を算出する移動方向算出手段を備え、
前記時空間断片抽出手段は、前記移動方向に従って、前記時空間画像を切断する
ことを特徴とする請求の範囲５記載の移動物体検出装置。 - 前記時空間データ生成手段は、前記時系列データを構成する各画像を小領域に分割し、各小領域ごとに画像変換して得られるパラメータをＮ個の画像分だけ集めたＮ次元パラメータベクトルを生成し、
前記脚間情報抽出手段は、前記Ｎ次元パラメータベクトルに基づいて、前記脚間情報を抽出する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記移動物体検出装置はさらに、前記Ｎ次元パラメータベクトルから、一定関係を有するパラメータを時系列に組み合わせることによって、パラメータベクトルの時系列組合せを生成する時系列組合せ生成手段を備え、
前記脚間情報抽出手段は、前記時系列組合せに基づいて、前記脚間情報を抽出する
ことを特徴とする請求の範囲７記載の移動物体検出装置。 - 前記脚間情報抽出手段は、前記時系列組合せに対して、自己相関値が最低値又はピーク値となる空間間隔である相関長を算出し、算出した相関長の時間変化を示すデータを前記脚間情報として抽出する
ことを特徴とする請求の範囲８記載の移動物体検出装置。 - 前記Ｎ次元パラメータベクトルは、前記小領域の周波数、窓幅及び回転を示す
ことを特徴とする請求の範囲７記載の移動物体検出装置。 - 前記対象物検出センサは、２次元画像を生成するカメラであり、
前記時空間データ生成手段は、前記２次元画像を前記カメラの設置パラメータに従って定まるサイズで分割することよって前記小領域を生成し、生成した小領域に対して前記Ｎ次元パラメータベクトルを生成する
ことを特徴とする請求の範囲７記載の移動物体検出装置。 - 前記脚間情報抽出手段は、前記時系列データに対して、前記脚間の時間変化を示す幾何学的図形を当てはめることによって、幾何学的図形を特定するパラメータの時系列を生成し、生成したパラメータの時系列に基づいて前記脚間情報を抽出する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記幾何学的図形は、人を含む動物の脚をモデル化した２本以上の直線であり、前記パラメータは、前記直線が交差する角度である
ことを特徴とする請求の範囲１２記載の移動物体検出装置。 - 前記脚間情報抽出手段は、前記角度の時間変化を示す情報を前記脚間情報として抽出する
ことを特徴とする請求の範囲１３記載の移動物体検出装置。 - 前記脚間情報抽出手段は、前記角度の角速度の時間変化を示す情報を前記脚間情報として抽出する
ことを特徴とする請求の範囲１３記載の移動物体検出装置。 - 前記周期性解析手段は、前記脚間情報を周波数変換し、得られた周波数スペクトルから前記周期性を解析する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記対象物検出センサは、画像を生成し、
前記時空間データ生成手段は、前記対象物検出センサから生成される画像を時間軸に沿って並べた時系列画像データを前記時系列データとして生成する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記時空間データ生成手段は、前記画像に対して、背景差分処理又はフレーム間差分処理を行うことによって、前記時系列画像データを生成する
ことを特徴とする請求の範囲１７記載の移動物体検出装置。 - 前記時空間データ生成手段は、前記画像に対して、ハフ変換、フーリエ変換又はウェーブレット変換を行うことによって、前記時系列画像データを生成する
ことを特徴とする請求の範囲１７記載の移動物体検出装置。 - 前記移動情報生成手段は、前記脚間情報に対して、自己相関のピーク位置を特定し、特定したピーク位置が前記移動物体に特有の移動周期と一致するか否かを判定することによって前記移動物体が存在するか否かを判定し、その判定結果を示す移動情報を生成する
ことを特徴とする請求の範囲１記載の移動物体検出装置。 - 前記移動情報生成手段は、さらに、前記移動物体が存在すると判定した場合に、前記移動体の存在位置と移動方向を特定し、前記移動情報として生成する
ことを特徴とする請求の範囲２０記載の移動物体検出装置。 - １次元又は２次元上に配置された対象物検出センサからの出力に基づいて移動物体を検出する方法であって、
前記対象物検出センサからの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成ステップと、
生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出ステップと、
抽出された脚間情報に含まれる周期性を解析する周期性解析ステップと、
解析された周期性から、移動物体の存否を含む移動情報を生成する移動情報生成ステップと
を含むことを特徴とする移動物体検出方法。 - １次元又は２次元上に配置された対象物検出センサからの出力に基づいて移動物体を検出する装置のためのプログラムであって、
前記対象物検出センサからの出力に基づいて、移動物体を示すデータを時間軸に沿って並べた時系列データを生成する時空間データ生成ステップと、
生成された時系列データに基づいて、２本以上の脚を持つ移動物体の移動により発生する脚間の時間変化に関する情報である脚間情報を抽出する脚間情報抽出ステップと、
抽出された脚間情報に含まれる周期性を解析する周期性解析ステップと、
解析された周期性から、移動物体の存否を含む移動情報を生成する移動情報生成ステップと
をコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003390557 | 2003-11-20 | ||
| JP2003390557 | 2003-11-20 | ||
| JP2004232989 | 2004-08-10 | ||
| JP2004232989 | 2004-08-10 | ||
| PCT/JP2004/015750 WO2005050565A1 (ja) | 2003-11-20 | 2004-10-18 | 移動物体検出装置及び移動物体検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP3815689B2 JP3815689B2 (ja) | 2006-08-30 |
| JPWO2005050565A1 true JPWO2005050565A1 (ja) | 2007-08-23 |
Family
ID=34622181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005515563A Expired - Fee Related JP3815689B2 (ja) | 2003-11-20 | 2004-10-18 | 移動物体検出装置及び移動物体検出方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7702019B2 (ja) |
| JP (1) | JP3815689B2 (ja) |
| WO (1) | WO2005050565A1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5032846B2 (ja) * | 2004-08-31 | 2012-09-26 | パナソニック株式会社 | 監視装置および監視記録装置、それらの方法 |
| JP4315991B2 (ja) * | 2007-04-20 | 2009-08-19 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム |
| JP2010134700A (ja) * | 2008-12-04 | 2010-06-17 | Toshiba Corp | 画像評価装置および画像評価方法 |
| JP2010176380A (ja) | 2009-01-29 | 2010-08-12 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP5397245B2 (ja) * | 2010-01-29 | 2014-01-22 | 沖電気工業株式会社 | 情報処理装置および情報処理方法 |
| FR2956229B1 (fr) * | 2010-02-10 | 2016-02-19 | Movea Sa | Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive |
| WO2012172629A1 (ja) | 2011-06-13 | 2012-12-20 | トヨタ自動車株式会社 | 歩行者動作予測装置 |
| JP5548667B2 (ja) * | 2011-11-24 | 2014-07-16 | 富士重工業株式会社 | 車外環境認識装置 |
| JP6018492B2 (ja) * | 2011-12-15 | 2016-11-02 | キヤノン株式会社 | 画質評価装置及びその制御方法、プログラム |
| US9064176B2 (en) | 2012-01-31 | 2015-06-23 | Industry-University Cooperation Foundation Hanyang University | Apparatus for measuring traffic using image analysis and method thereof |
| JP5903305B2 (ja) * | 2012-03-26 | 2016-04-13 | 東芝デジタルメディアエンジニアリング株式会社 | 画像処理装置及び画像処理方法 |
| EP2711929A1 (en) * | 2012-09-19 | 2014-03-26 | Nokia Corporation | An Image Enhancement apparatus and method |
| CN103236162A (zh) * | 2013-04-11 | 2013-08-07 | 江苏大学 | 一种基于视频分析的信号交叉口通行能力分析方法 |
| JP6028665B2 (ja) * | 2013-04-12 | 2016-11-16 | 三菱電機株式会社 | 画像対応付け装置および画像対応付け方法 |
| JP6183703B2 (ja) | 2013-09-17 | 2017-08-23 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出システム |
| US9311802B1 (en) | 2014-10-16 | 2016-04-12 | Elwha Llc | Systems and methods for avoiding collisions with mobile hazards |
| US9582976B2 (en) | 2014-10-16 | 2017-02-28 | Elwha Llc | Systems and methods for detecting and reporting hazards on a pathway |
| US10089640B2 (en) * | 2015-02-26 | 2018-10-02 | Conduent Business Services, Llc | Methods and systems for interpretable user behavior profiling in off-street parking |
| KR101679741B1 (ko) * | 2015-05-06 | 2016-11-28 | 고려대학교 산학협력단 | 외곽 공간 특징 정보 추출 방법 |
| JP6591349B2 (ja) * | 2016-06-07 | 2019-10-16 | リズム時計工業株式会社 | 動体検知システム及び動体検知方法 |
| EP3364343A1 (en) * | 2017-02-17 | 2018-08-22 | Cogisen SRL | Method for image processing for object detection |
| US10102452B2 (en) * | 2017-03-14 | 2018-10-16 | Clarius Mobile Health Corp. | Systems and methods for identifying an imaged needle in an ultrasound image |
| DE102018203645A1 (de) * | 2018-03-12 | 2019-09-12 | Robert Bosch Gmbh | Verfahren und Kamerasystem zur Überwachung eines Kommissionier- oder Verpackungsvorgangs |
| JP7198196B2 (ja) * | 2019-12-26 | 2022-12-28 | 株式会社日立ハイテク | 計測装置及び計測方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0750825A (ja) | 1993-05-24 | 1995-02-21 | Hideo Mori | 人間動物監視システム |
| US5687249A (en) * | 1993-09-06 | 1997-11-11 | Nippon Telephone And Telegraph | Method and apparatus for extracting features of moving objects |
| JP3512219B2 (ja) | 1993-11-17 | 2004-03-29 | 松下電器産業株式会社 | データ処理装置とそれを用いた人数計数装置 |
| JP3780017B2 (ja) * | 1994-12-06 | 2006-05-31 | オリンパス株式会社 | 時系列画像解析装置及びその解析方法 |
| JP2914298B2 (ja) | 1996-05-13 | 1999-06-28 | 日本電気株式会社 | 運動検出装置 |
| JP3363039B2 (ja) * | 1996-08-29 | 2003-01-07 | ケイディーディーアイ株式会社 | 動画像内の移動物体検出装置 |
| JP2000115750A (ja) | 1998-09-30 | 2000-04-21 | Hitachi Ltd | 移動物体監視装置 |
| JP2001109891A (ja) * | 1999-10-08 | 2001-04-20 | Toshiba Corp | 物体領域抽出方法 |
| JP2001202379A (ja) * | 2000-01-21 | 2001-07-27 | Kobe University | 仮想空間における仮想人物動作データブラウジング装置 |
| US7639840B2 (en) * | 2004-07-28 | 2009-12-29 | Sarnoff Corporation | Method and apparatus for improved video surveillance through classification of detected objects |
-
2004
- 2004-10-18 JP JP2005515563A patent/JP3815689B2/ja not_active Expired - Fee Related
- 2004-10-18 WO PCT/JP2004/015750 patent/WO2005050565A1/ja active Application Filing
-
2006
- 2006-03-01 US US11/364,284 patent/US7702019B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US7702019B2 (en) | 2010-04-20 |
| WO2005050565A1 (ja) | 2005-06-02 |
| JP3815689B2 (ja) | 2006-08-30 |
| US20060262857A1 (en) | 2006-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3815689B2 (ja) | 移動物体検出装置及び移動物体検出方法 | |
| JP7167397B2 (ja) | 点群データを処理するための方法及び装置 | |
| KR102560308B1 (ko) | 외관 탐색을 위한 시스템 및 방법 | |
| JP3775683B2 (ja) | 人物検出装置および人物検出方法 | |
| KR101283262B1 (ko) | 영상 처리 방법 및 장치 | |
| KR101764845B1 (ko) | 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법 | |
| Karasulu | Review and evaluation of well-known methods for moving object detection and tracking in videos | |
| Devasena et al. | Video surveillance systems-a survey | |
| KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| EP2995079A1 (en) | System and method for object and event identification using multiple cameras | |
| KR101515166B1 (ko) | 객체인식 기반의 주차장 이벤트 검지 시스템 | |
| Dhaya | CCTV surveillance for unprecedented violence and traffic monitoring | |
| KR101548639B1 (ko) | 감시 카메라 시스템의 객체 추적장치 및 그 방법 | |
| Park et al. | Hand detection and tracking using depth and color information | |
| Liang et al. | Three dimensional motion trail model for gesture recognition | |
| US11315257B2 (en) | Method for real time surface tracking in unstructured environments | |
| Parvizi et al. | Multiple object tracking based on adaptive depth segmentation | |
| KR101931220B1 (ko) | 인체 부위 측정 장치 및 방법 | |
| Walia et al. | Human detection in video and images—a state-of-the-art survey | |
| Budzan | Fusion of visual and range images for object extraction | |
| Hassan et al. | Crowd counting using deep learning based head detection | |
| Parvizi et al. | Real-time 3d head tracking based on time-of-flight depth sensor | |
| Li | Object detection and instance segmentation of cables | |
| Al-Berry et al. | Weighted directional 3d stationary wavelet-based action classification | |
| Ahad et al. | A simple approach for low-resolution activity recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3815689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |