JP4825350B2

JP4825350B2 - Passing object counting device and counting method

Info

Publication number: JP4825350B2
Application number: JP2000372859A
Authority: JP
Inventors: 充出岡; 朋史西浦; 真人中島; 安弘竹村; 一弘味村
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 2000-12-07
Filing date: 2000-12-07
Publication date: 2011-11-30
Anticipated expiration: 2020-12-07
Also published as: JP2002175513A

Abstract

PROBLEM TO BE SOLVED: To provide a device and a method for counting passing bodies which can perform fast processing and sequential processing by decreasing a computation quantity. SOLUTION: The passing body counting device is equipped with image pickup devices 11 and 12 which pickup images of a passing body 5 passing a reference line 1 on a plane 2 along the plane 2 and are provided opposite the plane 2, a comparing operation part 20 which compares the images of the passing body 5 picked up by the image pickup devices 11 and 12 with each other to obtain in time series depth information of the depth of the passing body 5 in a depth direction crossing the plane 2 at multiple positions on the passing body 5 along the reference line 1 and speed information of a traveling direction perpendicular to the reference line 1 and parallel to the plane 2 at at least one of the positions, and an integral operation 21 which temporally integrates the value obtained by adding a value weighted with the speed information to the obtained depth information by directions of the speed along the reference value 1.

Description

【０００１】
【発明の属する技術分野】
本発明は、通過物体計数装置及び計数方法に関し、特にステレオ画像から通過物体を計数する通過物体計数装置及び計数方法に関するものである。
【０００２】
【従来の技術】
２台の撮像装置により得られた通過物体のステレオ画像から、計数線上での高さ情報と速度情報を算出し、３次元情報を得る。次に得られた３次元情報を一定の高さで輪切りにして、その高さについて通過物体を時間方向に一定時間並べた時の平面的な時空間画像を作成する。そして作成した平面的な時空間画像を用いて、前記一定の高さにおいて一定以上の幅×時間の面積を持つ物体であるかどうかで、通過物体を計数していた。
【０００３】
【発明が解決しようとする課題】
以上のような従来の通過物体計数装置によれば、次のような問題があった。一定時間の平面的な時空間画像で、一定の高さにおいて一定以上の幅×時間の面積を持つ物体であるかどうかで計数を行う方法では、計算に時間がかかり、また逐次処理ができなかった。
【０００４】
そこで本発明は、計算量を減らし高速処理でき、逐次処理が可能な通過物体計数装置及び計数方法を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第１の態様の通過物体計数装置は、例えば図１に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５の奥行情報と速度情報とから通過物体５を計数する通過物体計数装置１０において；前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１（図２）と；前記時間積分によって得られた値と予め設定された閾値とに基づいて基準線１を通過した通過物体５を計数する通過計数演算部２２、２３（図２）とを備える。
【０００６】
このように構成すると、積分演算部２１と、通過計数演算部２２、２３とを備えるので、取得された奥行情報に速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分した値を取得することができ、通過計数演算部２２、２３を備えるので、時間積分によって得られた値と予め設定された閾値とに基づいて基準線１を通過した通過物体５を計数することができる。なお速度の向きは、同じ速度の方向について、正の向きと負の向きとがある。
【０００７】
前記目的を達成するために、第２の態様の通過物体計数装置は、例えば図１に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５を撮像する、平面２に対向して設けられた複数の撮像装置１１、１２と；複数の撮像装置１１、１２によって撮像された通過物体５の画像同士を比較して、通過物体５上の基準線１に沿った複数の部位に関して、通過物体５の平面２に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線１に垂直で平面２に平行な進行方向の速度情報を、時系列的に取得する比較演算部２０（図２）と；前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１（図２）とを備える。なお同じ進行方向について、進行の向きは正の向きと負の向きとがある。
【０００８】
このように構成すると、複数の撮像装置１１、１２と、比較演算部２０とを備えるので、奥行情報と速度情報を時系列的に取得することができ、積分演算部２１を備えるので、取得された奥行情報に速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分した値を取得することができる。積分演算部２１で計算されるのは結局通過物体５の体積である。
【０００９】
前記目的を達成するために、第３の態様の通過物体計数装置は、例えば図１に示すように、平面２に沿って平面２上の基準線１を通過する通過物体５を撮像する、平面２に対向して設けられた第１の撮像装置１１と；第１の撮像装置１１と並列に、且つ平面２に対向して設けられ、基準線１を通過する通過物体５を、第１の撮像装置１１の撮像時点より所定の時間だけ遅らせて撮像する第２の撮像装置１２と；第１の撮像装置１１によって撮像された前記通過物体５の画像Ａと前記所定の時間だけ遅らせて第２の撮像装置１２によって撮像された前記通過物体の画像Ｂとを比較して、通過物体５上の基準線１に沿った複数の部位に関して、通過物体５の平面２に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線１に垂直で平面２に平行な進行方向の速度情報を、時系列的に取得する比較演算部２０（図２）と；前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１（図２）とを備える。
【００１０】
通過物体５が移動する面は、例えば図１２に示すように、水平な平面に限らず斜面や階段のように傾斜した面２’であってもよい。但し、必要に応じて例えば図１２（ａ）のような場合には、傾斜角度により奥行情報と速度情報を補正する。
【００１１】
また通過物体５の進行方向に交差する基準線１は、通過物体５の進行方向に垂直な線とするのがよい。また第１と第２の撮像装置は、並列に、基準線１と平行な方向に並べるのがよい。奥行方向は、典型的には平面に垂直な方向、又は鉛直方向である。
【００１２】
このように構成すると、第１の撮像装置１１によって撮像された通過物体５の画像Ａと所定の時間だけ遅らせて第２の撮像装置１２によって撮像された通過物体５の画像Ｂとを比較して、通過物体５上の基準線１に沿った複数の部位に関して、通過物体５の平面２に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線１に垂直で平面２に平行な進行方向の速度情報を、時系列的に取得する比較演算部２０と、前記取得された奥行情報に前記速度情報で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１とを備えるので、画像Ａと画像Ｂから通過物体５の位置情報と速度情報を得ることができる。
【００１３】
また第４の態様は、第２の態様または第３の態様の通過物体計数装置１０において、積分演算部２１で時間積分して得られた値が予め設定された閾値を越えたときに、通過物体５が１だけ通過したものとして計数する差算通過計数演算部２２を備えるとよい。
【００１４】
このように構成すると、通過物体５の計数は、通過物体の通過個数（自然数）に対する時間で把握することになる。又は一定時間に通過する個数で把握する。
【００１５】
また第５の態様は、第２の態様または第３の態様の通過物体計数装置１０において、積分演算部２１で時間積分して得られた値を予め設定された閾値で除算した値を通過物体５が通過した数として計数する除算通過計数演算部２３を備えるとよい。
【００１６】
このように構成すると、通過物体５の計数は、時刻で区切ってその間に通過した通過物体の個数を小数点まで求めることになる。
【００１７】
予め設定された閾値とは、典型的には通過物体１個分の体積値である。この体積値は通過物体、場所、時刻、季節等の条件によって、適切な値を定めるとよい。例えば、通過物体が人であり、場所が遊園地であれば子供が中心であり、子供対大人の平均的人数比率を考慮して定めるが体積値は小さめになる。ラッシュアワーの駅であれば、大人の男性が中心であり、冬季であればオーバーコートを着ているので、体積は大きく定める。これを場合毎に統計的に求めておくとよい。
【００１８】
前記目的を達成するために、第６の態様の通過物体計数方法は、例えば図４に示すように、平面に沿って該平面上の基準線を通過する通過物体を前記平面に対向する方向から撮像して、複数の画像を取得する撮像工程Ｓ１と；撮像工程Ｓ１で取得された複数の画像同士を比較して、前記通過物体上の前記基準線に沿った複数の部位に関して、前記通過物体の前記平面に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度情報を、時系列的に取得する比較演算工程Ｓ９、Ｓ１２と；前記取得された奥行情報に前記速度情報で重み付けした値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算工程Ｓ１３とを備える。
【００１９】
前記目的を達成するために、第７の態様の通過物体計数方法は、例えば図５に示すように、平面に沿って該平面上の基準線を通過する通過物体を、前記平面に対向した第１の位置から、第１の時点に撮像して画像Ａを取得する第１の撮像工程Ｓ３２と；前記基準線を通過する前記通過物体を、前記第１の時点から所定の時間だけ経過した第２の時点に、前記第１の位置と並列で、且つ前記平面に対向した第２の位置から撮像して画像Ｂを取得する第２の撮像工程Ｓ３３と；前記画像Ａと前記画像Ｂとを比較して、前記通過物体上の前記基準線に沿った複数の部位に関して、前記通過物体の前記平面に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、前記基準線に垂直で前記平面に平行な進行方向の速度情報を、時系列的に取得する比較演算工程Ｓ３８、Ｓ３９と；前記取得された奥行情報に前記速度情報で重み付けした値を前記基準線に沿って速度の向き別に加算した値を時間積分する積分演算工程Ｓ４０とを備える。
【００２０】
このように構成すると、画像Ａと画像Ｂとを比較して、通過物体の平面に交差する奥行方向の情報と基準線に交差し（典型的には垂直に交差し）平面に平行な進行方向の速度を演算する比較演算工程Ｓ３８、Ｓ３９を備えるので、通過物体５の位置情報と速度情報を得ることができる。
【００２１】
また第８の態様は、第６の態様または第７の態様の通過物体計数方法において、平均的な前記通過物体の１個分の体積を閾値として予め設定する工程Ｓ０と；前記積分演算部で時間積分して得られた値が前記閾値を越えたときに、前記通過物体が１だけ通過したものとして計数する通過計数演算工程Ｓ１５を備えるとよい。
【００２２】
また第９の態様は、第６の態様または第７の態様の通過物体計数方法において、平均的な前記通過物体の１個分の体積を閾値として予め設定する工程Ｓ０と；前記積分演算部で時間積分して得られた値を前記閾値で除算した値を前記通過物体が通過した数として計数する除算通過計数演算工程Ｓ２０を備えるとよい。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２４】
図１は、本発明による実施の形態である通過物体計数装置１０（以下適宜「計数装置１０」という）の模式的斜視図である。図中通過物体５が平面である水平な通路２上を進行方向に移動している。ＸＹ軸を通路２内に置くように、直交座標系ＸＹＺがとられており、通路２はＹ軸と平行に延設されている。また通路２の延設方向と垂直即ちＸ軸と平行に基準線である計数線１がとられている。通過物体５の進行方向は、典型的には通路２の延設方向即ちＹ軸と平行である。通過物体５は、本実施の形態では人物である。また本実施の形態では、計数線１は通路２の延設方向と垂直としているが、特に垂直としなくてもよい。垂直でない場合は、Ｘ軸との角度で視差と速度を補正すればよい。計数線１は、この線を通過した通過物体５を計数するための基準線であり、仮想的な線であってもよく、実際に物理的に通路２に描く必要はない。
【００２５】
一方、図中通路２の計数線１の鉛直方向上方には、通過物体である人物５が通過するのに十分な高さに、通路２の計数線１を通過する通過物体５を撮像するための第１の撮像装置１１と第２の撮像装置１２が設置されている。第１の撮像装置１１と第２の撮像装置１２は、適切な間隔をあけて並列に、計数線１と平行で且つ光軸がＺ軸と平行になるように設置してある。ここでいう人物５が通過するのに十分な高さとは、例えば３０００ｍｍ程度である。また、適切な間隔とは、例えば５０ｍｍ程度である。
【００２６】
図２を参照して、通過物体計数装置１０の構成の一例を説明する。計数装置１０は、第１の撮像装置としての第１のＣＣＤカメラ１１、第２の撮像装置としての第２のＣＣＤカメラ１２、演算装置としてのパソコン１３を含んで構成される。
【００２７】
そして第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、パソコン１３に接続されており、パソコン１３は第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２によってそれぞれ撮像された画像を取得出来るように構成されている。
【００２８】
パソコン１３は、制御部１４を備えており、計数装置１０全体を制御している。制御部１４には、撮像装置用インターフェイス１５が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２は、撮像装置用インターフェイス１５を介して制御部１４に接続され、制御されている。
【００２９】
また制御部１４内には、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２により取得したステレオ画像から、通過物体５の奥行情報である通過物体５の高さと、通過物体５の速度情報である通過物体５の速度を時系列的に取得する比較演算部２０、取得した通過物体５の高さに速度で重み付けした値を基準線１に沿って速度の向き別に加算した値を時間積分する積分演算部２１、積分演算部２１で時間積分して得られた値である体積値が、予め設定された閾値を越えたときに通過物体５が１だけ通過したものとして計数する差算通過計数演算部２２、体積値を予め設定された閾値で除算した値を通過物体の通過した数として計数する除算通過計数演算部２３が備えられている。比較演算部２０は、高さを基準線１に沿って速度の向き別に加算した値に速度で重み付けするようにしてもよい。
【００３０】
また、本実施の形態では、差算通過計数演算部２２と除算通過計数演算部２３を共に備えるとしたが、どちらか一方を備えればよい。この時、差算通過計数演算部２２を備えた場合は、例えば、任意の自然数だけ通過物体５が通過した時間を得ることができ、除算通過計数演算部２３を備えた場合は、例えばある時刻で区切った任意の時間間隔における通過物体５の通過した数を小数（例えば１０．６）として逐次得ることができるので、目的や用途に合わせて差算通過計数演算部２２と除算通過計数演算部２３のいずれかを選択するとよい。
【００３１】
制御部１４には、記憶部１８が接続されており、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像された画像や算出された情報等のデータが記憶できる。
【００３２】
また制御部１４には、計数装置１０を操作するための情報を入力する入力装置１６、計数装置１０で処理された結果を出力する出力装置１７が接続されている。入力装置１６は例えばキーボードやマウスであり、出力装置１７は例えばディスプレイやプリンタである。本図では、入力装置１６、出力装置１７はパソコン１３に外付けするものとして図示されているが、内蔵されていてもよい。
【００３３】
さらに図３に示すように、比較演算部２０内には、ＣＣＤカメラにより撮像された画像を処理する画像処理部２５、第１のＣＣＤカメラにより撮像された画像と、第２のＣＣＤカメラにより撮像された画像から対応点を求める対応点探索部２６、通過物体５の奥行情報である高さを算出する奥行情報算出部２７、通過物体５の速度情報である速度を算出する速度情報算出部２８が備えられている。画像を処理するとは、例えば第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２からの撮像信号から画像Ａとしての第１の画像、第２の画像、画像Ｂとしての第３の画像を取得することをいう。
【００３４】
図４のフローを参照して、第１の実施の形態としての計数装置１０の作用の一例を説明する。ここで、第１のＣＣＤカメラ１１で撮像された画像を左画像、第２のＣＣＤカメラで撮像された画像を右画像として説明する。まず計数装置１０の使用者はパソコン１３に閾値を設定する（ステップ０（図中「Ｓ０」と表示。
以下同じ））。
【００３５】
次にパソコン１３の制御部１４は、第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２で撮像された左画像、右画像を、撮像装置インターフェイス１５を介してステレオ画像として取得する（ステップ１）。
【００３６】
制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部１９によって、ある時間ｔに撮像された第１の画像であるｔフレームの左画像を取得し（ステップ２）、同時に第２の画像であるｔフレームの右画像を取得する（ステップ３）。また時点ｔよりΔｔ経過した時点ｔ＋Δｔに撮像された第３の画像であるｔ＋Δｔフレームの右画像を取得する（ステップ３）。
【００３７】
実際には同時並列的に一定間隔で撮像を行い、第１の画像、第２の画像として時点ｔの画像を、第３の画像として１フレーム以上ずらした時点ｔ＋Δｔの画像を採用するようにすればよい。このときΔｔは、計数装置１０の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。即ち１フレームだけずらしたフレームを採用する。この時、Δｔを１／３０秒とすると、例えば８０ｍ／ｍｉｎで歩く人を撮像した場合、フレームＮ＋１は、フレームＮと比べて撮像された人が約４．４ｃｍ進行方向に移動した画像となる。
【００３８】
次に、ｔフレームの右画像のエッジ抽出を行い（ステップ５）、細線化する（ステップ６）。そして、ｔフレームの右画像の計数線１上のエッジ点を用いてｔフレームの左画像の第１の対応点探索を行なう（ステップ７）。また、エッジ抽出、細線化、対応点探索については、図６を参照してあとで詳しく説明する。
【００３９】
第１の対応点探索により得られた対応点から奥行情報を算出する（ステップ８）。ここで、背景除去によってあらかじめ非背景部分を規定しておき、その部分に対して、エッジ点における値を反映させるための線形補間を行なう（ステップ９）。ここで線形補間とは、例えば１つのエッジ点と、それに隣接するエッジ点の３次元座標を用いて、両エッジ点を直線で結ぶことにより、両エッジ点の間の点の３次元座標を得るようにするものである。
【００４０】
また同時に、ｔフレームの右画像の計数線１上のエッジ点を用いてｔ＋Δｔフレームの右画像の第２の対応点探索を行ない（ステップ１０）、第２の対応点探索により得られた対応点から速度情報を算出する（ステップ１１）。そして、同様に線形補間を行なう（ステップ１２）。また、奥行情報及び速度情報を算出する方法は、図７、図８を参照してあとで説明する。
【００４１】
そして、算出された奥行情報に速度情報を乗じたものを時間方向に加え体積値を加算する（ステップ１３）。体積値を算出する方法は、図９、図１０を参照してあとで説明する。ここで奥行情報に速度情報を乗じて重み付けするのは、通過速度の速い通過物体は、通過速度と通過フレーム数は反比例するので、単に時空間像で計算すると体積値が小さくなるためである。また、通過物体の体積を算出するので、体積の無い通過物体の影を誤って計数してしまうことがない。
【００４２】
これにより得られた体積値と予め設定された閾値とを比較して（ステップ１５）、体積値が閾値より大きい場合は（ステップ１５がＹ）、通過物体５である人物が１人通過したと判断して計数し（ステップ１６）、体積値から閾値を差し引く（ステップＳ１８）。このとき、前述で算出した速度情報を、通過した通過物体５の進行の向きとして反映させる（ステップ１７）。体積値が閾値より小さい場合は（ステップ１５がＮ）、次のフレームを取得し、さらに体積値を加算する。また予め設定された閾値とは、典型的には通過物体の最小体積値である。
【００４３】
以上では、計数に差算通過計数演算部２２を用いた場合を説明したが、除算通過計数演算部２３を用いた場合は（図中破線で示す）、まず同様に算出された奥行情報に速度情報を乗じたものを時間方向に加え体積値を加算する（ステップ１３）。そして、これにより得られた体積値で計数するかを判断する（ステップ１９）。この判断は、例えば取得した画像のフレーム数を予め設定しておいて、設定したフレーム数になると自動的に計数する判断をするようにしてもよいし、使用者の判断で逐次計数する判断をするようにしてもよい。
【００４４】
計数する場合は（ステップ１９がＹ）、取得した体積値を予め設定された閾値で除算し（ステップ２０）、これにより得られた値を通過物体５である人物の通過人数として計数する（ステップ２１）。このとき、前述で算出した速度情報を、通過した通過物体５の進行の向きとして反映させる（ステップ１７）。計数しない場合は（ステップ１９がＮ）、次のフレームを取得し、さらに体積値を加算する。
【００４５】
図５のフローを参照して、第２の実施の形態としての計数装置１０の作用の一例を説明する。第１の実施の形態と同様にまず計数装置１０の使用者はパソコン１３に閾値を設定し（ステップ３０）、ステレオ画像を取得する（ステップ３１）。
【００４６】
制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部１９によって、ある時間ｔに撮像された画像Ａとしての第１の画像であるｔフレームの左画像を取得する（ステップ３２）。また時点ｔよりΔｔ経過した時点ｔ＋Δｔに撮像された画像Ｂとしての第３の画像であるｔ＋Δｔフレームの右画像を取得する（ステップ３３）。
【００４７】
実際には、第１のＣＣＤカメラと第２のＣＣＤカメラとは同時並列的に各時点で撮像を行い、第１の画像として時点ｔの画像を、第３の画像として１フレーム以上ずらした時点ｔ＋Δｔの画像を採用するようにしてもよい。このときΔｔは、計数装置１０の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００４８】
次に、ｔフレームの左画像のエッジ抽出を行い（ステップ３４）、細線化する（ステップ３５）。そして、ｔフレームの左画像の計数線１上のエッジ点を用いてｔ＋Δｔフレームの右画像の第３の対応点探索を行なう（ステップ３６）。
【００４９】
次に第３の対応点探索により得られた対応点から、奥行情報を算出する（ステップ３７）。ここで、背景除去によってあらかじめ非背景部分を規定しておき、その部分に対して、エッジ点における値を反映させるための線形補間を行なう（ステップ３８）。同時に速度情報も算出し（ステップ３９）、同様に線形補間も行なう（ステップ４０）。奥行情報及び速度情報を算出する方法は、図７、図８を参照してあとで説明する。そして算出された奥行情報に速度情報を乗じたものを時間方向に加え体積値を加算する（ステップ４１）。以下、第１の実施の形態と同様にして計数する。
【００５０】
図６を参照して、第３対応点探索についてさらに詳細に説明する。ここで、図示の各フレームでの通過物体として人物を、ハッチングにより表現しているが、これは断面を示しているものではなく、単に上方から撮像された人物を表現するものである。
【００５１】
ここでは奥行情報および速度情報を求めるために、２枚の画像の対応点を求める。まず、ｔフレームの左画像と、ｔ＋Δｔフレームの右画像での対応を求める。この際、近傍領域に特徴のない画素に関しては対応関係が明確に定まらない。
そこで、以下のような流れで探索を行う。
【００５２】
まず、ｔフレームの左画像のエッジ抽出を行い細線化した画像を求め、そのエッジ点においてのみ対応点探索を行う。エッジ抽出とは、濃淡で取得された画像から対象とする通過物体のエッジ点の集合である輪郭を抽出し、例えば座標で特定することをいう。また細線化とは、例えばエッジ抽出を行なった画像を、エッジ抽出で得られた通過物体の輪郭のみを細線で示した画像とするものである。
【００５３】
対応点探索を行うには、まずｔフレームの左画像の前記特定された輪郭上の点をエッジ点として選定し、濃淡画像上でそのエッジ点を含む近傍領域にウインドウを設定する。典型的には計数線上にあるエッジ点を選定する。エッジ点は典型的には前記細線と計数線との交点であり、通常は複数、典型的には１０〜２０点存在する。これら複数のエッジ点のうち、例えば最も左にある点をまず選定する。選定したエッジ点が中心になるようにウインドウを設定するとよい。そして前記設定されたウインドウを参照して、ｔ＋Δｔフレームの右画像にウインドウを設定する。
【００５４】
これらのウインドウについて、図１１に示す式１を用いてｔフレームの左画像とｔ＋Δｔフレームの右画像との濃淡値の相関をとる。ここで、Ｉ_Ｌ（ｉ,ｊ）とＩ_Ｒ（ｉ,ｊ）はそれぞれ左右画像上のウインドウ内の濃淡値であり、μ_Ｌ _, μ_Ｒ _, σ_Ｌ _, σ_Ｒはそれぞれ左右ウインドウの濃淡値の平均及び分散である。Ｃは−１から＋１までの範囲内の値をとる。選定された左画像のエッジ点に対して、右画像のウインドウを少しずつ、例えば計数線に平行に移動し、また計数線に直交する方向に移動しながら、各ウインドウでＣ値を計算する。このようにて求めたＣのうち最大値を与える右画像のウインドウを、選定された左画像のウインドウに対応する局所領域とみなす。
【００５５】
即ち、上記のように左右画像のウインドウの相関をとり、左画像で選定したエッジ点を含むウインドウと対応する（Ｃが最大となる）右画像のウインドウを探索する。この探索により得られた右画像のウインドウの中心が、先に選定した左画像のエッジ点に対応する右画像のエッジ点となる。
【００５６】
ウインドウの探索は、例えば計数線と平行方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）に行う。例えば通過物体が人物である場合は、計数線と平行方向は後述のように左右画像間の視差と見るので、既に設定した左画像のウインドウを参照して、例えば高さが１ｍ〜２ｍと算出される視差の幅を探索すればよい。垂直方向は、後述のように人物の移動量と見るので、既に設定した左画像のウインドウを参照して、時間Δｔ間に人物が移動すると予想される移動量の幅を探索すればよい。またＣの値が、探索している方向に上昇傾向ならば、さらにＣの値が最大となり、下降傾向に移るまで同じ探索方向に探索を継続し、下降傾向ならば、探索方向を変えるか、既に探索した範囲でＣの値が最大となるウインドウを選択するようにしてもよい。
【００５７】
このようにウインドウの探索を行えば、明らかに探索不要な部分の左右画像のウインドウの相関をとらなくてよいので、さらに計算量を減らすことができる。以上のようにして左画像に存在する全てのエッジ点について対応点の探索を行い、左右画像の対応するエッジ点を得る。
【００５８】
以上では、第２の実施の形態の第３の対応点探索について説明したが、第１の実施の形態の第１の対応点探索、第２の対応点探索についても同様の対応点探索を行う。
【００５９】
図７を参照して、奥行情報と速度情報の算出についてさらに詳細に説明する。まず前述で得られた左右画像の対応するエッジ点同士を結ぶベクトルを考え、これを水平成分（Ｘ軸方向成分）と垂直成分（Ｙ軸方向成分）に分離する。水平成分は、左右画像間の視差を表す量と見ることができ、この視差を用いて対象とする通過物体までの距離を算出することができる。対して、垂直成分は、注目点の通路に沿う方向の移動量と見ることができ、これを基に対象とする通過物体の速度情報を得ることができる。こうして、エッジ点における奥行情報である３次元高さ、速度情報である速度を対の形で一括して得ることができる。
【００６０】
なお、１つの通過物体について得られた速度は、通常は等しいはずであるので、各エッジ点全てについて速度を求める必要はなく、例えば最も中心に近い点の速度を採用すればよい。または、各エッジ点の速度を求めて、突出した値を有するエッジ点は、探索に誤りがあったものとして再探索を行うか又はその点は不採用とするとよい。あるいは各エッジ点の速度を全て求めて、それらの平均値を計算し、その物体の速度として採用してもよい。
【００６１】
また、後で説明する速度による重み付けには、各点毎の速度を用いてもよいし、平均値で求めた通過物体の速度を各点共通に用いてもよい。
【００６２】
ここで左右画像は、Δｔだけ時間的にずれた画像ではあるが、Δｔが充分に小さい値であれば、左右画像には視差を求めるのに差支えるほどの差は生じない。逆にそのようにΔｔを定めることにしてもよい。即ち視差を求めるのに差支えず、且つ速度情報を得るのに充分な長さとする。例えば、対象とする通過物体が歩行者の場合は１／６０〜１／１０秒程度、特に１／４０〜１／２０秒、さらに好ましくは約１／３０秒とする。
【００６３】
このように第２の実施の形態によれば、第１の実施の形態では３枚の画像を使って高さ、速度を求めたのに対して、２枚の画像の処理のみで済むので、計算量を大幅に減らすことができ、処理の高速化が可能になる。
【００６４】
ここで、図８を参照して、対象とする通過物体の奥行情報としての平面からの高さｚの算出方法について説明する。対象とする通過物体５までの距離ａは、図１１に示す式２を用いて算出することができる。ここで、ｗはＣＣＤカメラ間距離（基線長）、ｆはＣＣＤカメラの結像レンズを単一レンズとしたときそのレンズの焦点距離、dはＣＣＤカメラの結像面上の視差である。ここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。また、ＣＣＤカメラの結像レンズから計数線１までの距離をｈとすると、対象とする通過物体５の高さｚは図１１に示す式３で算出する。
【００６５】
図９、図１０を参照して、前述の方法によって各フレームで算出した通過物体の高さおよび速度を用いて、計数を行う方法を説明する。ある位置ｘの、あるｔフレームにおける物体の高さをｚ（ｘ，ｔ）、同じ位置、同じフレームにおける速度をｖ（ｘ，ｔ）とする。前述の対応点探索により、ｚ（ｘ，ｔ）には高さ約０〜１８５ｃｍに対応させた０〜２５５の値が、ｖ（ｘ，ｔ）には速度約−１２〜１２ｋｍ／ｈに対応させた−５〜５の値が求められている（図９（ａ））。
【００６６】
次に、そのフレームの積ｚｖを、Ｘ軸方向へ加算する。この総和、すなわち図１１に示す式４は、あるフレームの奥行情報に、速度の重みを乗じた値（ある時点において単位時間に通過する体積）を意味している。直感的には、計数線を通過したときの人の時空間における断面積と見ることができるので、ここではこの値を「面積値」と呼ぶことにする（図９（ｂ））。後に速度の向き別に計測する必要があるため、この加算の作業も、ｖ（ｘ，ｔ）の正負すなわち通過する人の進行の向きによって、加算する変数を図１１に示す式５のように区別しておく。
【００６７】
次に、各ラインで算出された面積値を時間方向に加算していく（図１０−（ａ））。この和、すなわち図１１に示す式６は、通過した人の体積を表すことになる。これをここでは「体積値」と呼ぶことにする（図１０−（ｂ））。フレーム間隔を一定に保っている限り、通過速度と通過フレーム数は反比例するので、速度の重みを考慮したこの加算によって、一人一人の通過から算出される体積値がある程度正規化される。即ち、３次元空間における真の体積値が求められる。
【００６８】
図１２を参照して、通過物体５が斜面を移動する場合を説明する。例えば階段や坂道などの傾斜した面２’を通過物体５が移動している場合、平面２は基準線１と第１、第２の撮像装置１１、１２を結ぶ線に垂直な仮想平面２とするのがよい。
【００６９】
対象とする通過物体５が人物の場合は、斜面であっても鉛直方向に立つので、ＣＣＤカメラの光軸は鉛直方向に向ける（図１２（ａ））。この場合は、仮想平面２は水平面となる。この例では、例えば傾斜した面２’と仮想平面２とのなす角をθとすると、仮想平面２からの通過物体５の高さを得るには、斜面２’を移動する通過物体５の時間Δｔの移動量にｔａｎθを乗じた値を、斜面２’を移動する通過物体５の算出された高さから引けばよい。
【００７０】
また対象とする通過物体５が、例えば車の場合は、斜面をそのまま本発明の平面２としてよい。この場合、ＣＣＤカメラの光軸は斜面に垂直な方向に向ける（図１２（ｂ））。
【００７１】
次に、本発明の実施例を使用して、実際に行なわれた計数実験の結果について述べる。実験は、大学の校舎の仮設通路で、晴天の昼間に以下の条件で行なった。
実験１：１分あたり約４０人通過
実験２：１分あたり約８０人通過
実験３：１分あたり約１２０人通過
撮像装置の設定条件は、撮像装置としてＣＣＤカメラを使用し、カメラ高さ２９５ｃｍ、通路幅２００ｃｍ、カメラの基線長（カメラ間距離）４７ｍｍ、焦点距離４．８ｍｍである。また、実際の計数では、前述の除算通過計数演算部２３を用いて、３０ラインの処理が終了した時点で計数人数を算出する。３０ライン分の総体積値をあらかじめ別の入力画像によって決定しておいた１人分の体積値で割った値を通過人数とする。ここでラインとは、フレームの処理単位のことである。
【００７２】
６００フレーム、時間にして２０秒ごとの計数結果として、実験１の結果を図１３、実験２の結果を図１４、実験３の結果を図１５に示す。各図に示す通過人数に付された正負の符号は、互いに逆の向きに人物が進行したことを表すものである。また各図中の計数結果は、自然数として表示しているが、除算通過計数演算部２３を用いる場合であるので、小数点まで表示することもできる。
【００７３】
各実験の精度は、実験１で８７％、実験２で８９％、実験３で９０％であった。ただし、この精度は２０秒ごとで算出したものの平均値であり、計数を長時間にわたって継続して累積したデータで精度を算出すると、各実験とも、９５％を超える高い精度を示した。
【００７４】
図１６は、人がカウンターを持って行うマニュアル計数による計数結果と、本発明を使用して計数した計数結果とを比較したものである。マニュアル計数では、混み合いが少ない場合は正確に計数できるが、混み合いが激しくなるにつれて、精度が極端に落ちている。
【００７５】
それに対して、本発明を使用した計数では、混み合いによらず安定した精度を保っていることがわかる。
【００７６】
以上説明したように本発明の実施の形態によれば、２台のＣＣＤカメラより取得したステレオ画像から通過物体の高さ、速度が取得でき、取得した高さ、速度から通過物体の体積を速度別に取得できるので、従来と比較してより正確に通過物体を逐次計数することができる。
【００７７】
【発明の効果】
以上のように本発明によれば、複数の撮像装置によって撮像された通過物体の画像同士を比較して、通過物体上の基準線に沿った複数の部位に関して、通過物体の平面に交差する奥行方向の奥行情報と前記複数の部位のうち少なくとも１つの部位に関して、基準線に垂直で平面に平行な進行方向の速度情報を、時系列的に取得する比較演算部と、記取得された奥行情報に前記速度情報で重み付けした値を基準線に沿って速度の向き別に加算した値を時間積分する積分演算部とを備えるので、複数の撮像装置によって撮像された通過物体の奥行情報と速度情報を取得し、取得された奥行情報に速度情報で重み付けした値を基準線に沿って速度の向き別に加算した値を時間積分した値を取得でき、計算量を減らし高速処理でき、逐次処理が可能な通過物体計数装置及び計数方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である通過物体計数装置の概要を示す模式的斜視ブロック図である。
【図２】本発明の実施の形態である通過物体計数装置の構成例を示すブロック図である。
【図３】本発明の実施の形態で用いる比較演算部の構成例を示すブロック図である。
【図４】本発明の第１の実施の形態である通過物体計数装置の作用の一例あるいは本発明の実施の形態である通過物体計数方法を示すフローチャートである。
【図５】本発明の第２の実施の形態である通過物体計数装置の作用の一例あるいは本発明の実施の形態である通過物体計数方法を示すフローチャートである。
【図６】本発明の実施の形態で、第１の画像と第３の画像の第３の対応点探索を行う場合の処理例を説明する画像図である。
【図７】図６の場合における、第１の画像と第３の画像の対応点を結ぶベクトルを説明する画像図である。
【図８】本発明の実施の形態で、第１の撮像装置と第２の撮像装置の視差から、通過物体の高さを算出する方法を説明する様式的正面図である。
【図９】本発明の実施の形態で、計数を行う方法を説明する様式的斜視図である。
【図１０】図９の場合における、計数を行う方法を説明する様式的斜視図である。
【図１１】本発明の実施の形態の説明で用いられる計算式を示す図である。
【図１２】傾斜した面を移動する通過物体を計数する方法の例として、仮想平面で計数する場合（ａ）と斜面をそのまま本発明の平面とする場合（ｂ）を説明する図である。
【図１３】本発明の実施の形態による、実験１の計数実験の結果を示す図である。
【図１４】本発明の実施の形態による、実験２の計数実験の結果を示す図である。
【図１５】本発明の実施の形態による、実験３の計数実験の結果を示す図である。
【図１６】マニュアル計数の計数結果と本発明の実施の形態による通過物体計数装置を使用しての計数の計数結果との比較を示す図である。
【符号の説明】
１計数線
２通路
５通過物体
１０通過物体計数装置
１１第１のＣＣＤカメラ
１２第２のＣＣＤカメラ
１３演算装置
１４制御部
１５撮像装置用インターフェイス
１６入力装置
１７出力装置
１８記憶部
２０比較演算部
２１積分演算部
２２差算通過計数演算部
２３除算通過計数演算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a passing object counting device and a counting method, and more particularly to a passing object counting device and a counting method for counting passing objects from a stereo image.
[0002]
[Prior art]
From the stereo image of the passing object obtained by the two imaging devices, height information and velocity information on the counting line are calculated, and three-dimensional information is obtained. Next, the obtained three-dimensional information is cut into circles at a certain height, and a planar spatio-temporal image is created when passing objects are arranged in the time direction for a certain time. Then, using the created planar spatio-temporal image, passing objects are counted depending on whether or not the object has an area of a certain width or more and a time at a certain height.
[0003]
[Problems to be solved by the invention]
The conventional passing object counting apparatus as described above has the following problems. In a method that counts whether or not an object has a certain width and time area at a certain height in a planar spatiotemporal image for a certain time, it takes time to calculate and sequential processing cannot be performed. It was.
[0004]
Accordingly, an object of the present invention is to provide a passing object counting device and a counting method capable of reducing the amount of calculation and performing high-speed processing and sequentially processing.
[0005]
[Means for Solving the Problems]
  To achieve the above objective,Of the first aspectFor example, as shown in FIG. 1, the passing object counting device counts the passing object 5 from the depth information and the velocity information of the passing object 5 passing through the reference line 1 on the plane 2 along the plane 2. 10; an integration operation unit 21 (FIG. 2) for time-integrating a value obtained by adding a value weighted by the speed information to the acquired depth information along the reference line 1 for each speed direction; and obtained by the time integration. Passing count calculation units 22 and 23 (FIG. 2) that count the passing object 5 that has passed the reference line 1 based on the set value and a preset threshold value.
[0006]
If comprised in this way, since the integration calculating part 21 and the passage count calculating parts 22 and 23 are provided, the value which added the value weighted by speed information to the acquired depth information according to the direction of speed along the reference line 1 The time-integrated value can be obtained, and the passage counting calculation units 22 and 23 are provided, so that the passing object 5 that has passed through the reference line 1 based on the value obtained by the time integration and a preset threshold value can be obtained. Can be counted. The direction of speed includes a positive direction and a negative direction for the same speed direction.
[0007]
  To achieve the above purpose,Of the second aspectFor example, as shown in FIG. 1, the passing object counting device captures a passing object 5 passing through a reference line 1 on the plane 2 along the plane 2, and a plurality of imaging devices 11 provided facing the plane 2. , 12; the images of the passing object 5 captured by the plurality of imaging devices 11, 12 are compared with each other, and the plane 2 of the passing object 5 intersects with respect to a plurality of parts along the reference line 1 on the passing object 5. A comparison operation unit 20 that acquires, in time series, velocity information in a traveling direction perpendicular to the reference line 1 and parallel to the plane 2 with respect to depth information in the depth direction and at least one of the plurality of parts. And an integration calculation unit 21 (FIG. 2) for time-integrating a value obtained by adding a value weighted by the speed information to the acquired depth information along the reference line 1 for each speed direction. For the same traveling direction, the traveling direction has a positive direction and a negative direction.
[0008]
If comprised in this way, since it comprises the some imaging devices 11 and 12 and the comparison calculating part 20, depth information and speed information can be acquired in time series, and since the integral calculating part 21 is provided, it is acquired. A value obtained by time-integrating a value obtained by adding a value obtained by weighting the depth information to the speed information along the reference line 1 for each speed direction can be acquired. It is the volume of the passing object 5 that is calculated by the integration calculation unit 21 after all.
[0009]
  To achieve the above purpose,Of the third aspectAs shown in FIG. 1, for example, the passing object counting device captures a passing object 5 that passes through a reference line 1 on the plane 2 along the plane 2, and is a first imaging device provided facing the plane 2. 11; the passing object 5 that is provided in parallel to the first imaging device 11 and opposed to the plane 2 and that passes through the reference line 1 is delayed by a predetermined time from the imaging time of the first imaging device 11. A second imaging device 12 for imaging; an image A of the passing object 5 imaged by the first imaging device 11 and an image of the passing object imaged by the second imaging device 12 delayed by the predetermined time Compared with B, with respect to a plurality of parts along the reference line 1 on the passing object 5, the depth information in the depth direction intersecting the plane 2 of the passing object 5 and at least one part of the plurality of parts, Progression perpendicular to reference line 1 and parallel to plane 2 A comparison operation unit 20 (FIG. 2) that acquires speed information in a direction in time series; a value obtained by adding a value weighted by the speed information to the acquired depth information along the reference line 1 for each speed direction Is integrated with time integration unit 21 (FIG. 2).
[0010]
For example, as shown in FIG. 12, the surface on which the passing object 5 moves is not limited to a horizontal plane, but may be a surface 2 'inclined like a slope or a staircase. However, if necessary, for example, as shown in FIG. 12A, the depth information and the speed information are corrected by the inclination angle.
[0011]
The reference line 1 that intersects the traveling direction of the passing object 5 is preferably a line perpendicular to the traveling direction of the passing object 5. The first and second imaging devices are preferably arranged in parallel in a direction parallel to the reference line 1. The depth direction is typically a direction perpendicular to a plane or a vertical direction.
[0012]
With this configuration, the image A of the passing object 5 captured by the first imaging device 11 is compared with the image B of the passing object 5 captured by the second imaging device 12 after being delayed by a predetermined time. The depth information in the depth direction intersecting the plane 2 of the passing object 5 with respect to a plurality of parts along the reference line 1 on the passing object 5 and at least one of the plurality of parts is perpendicular to the reference line 1. A comparison calculation unit 20 that acquires speed information in a traveling direction parallel to the plane 2 in time series, and a value obtained by weighting the acquired depth information with the speed information is added along the reference line 1 for each speed direction. Since the integration calculation unit 21 for time integration of the obtained values is provided, the position information and speed information of the passing object 5 can be obtained from the images A and B.
[0013]
  AlsoThe fourth aspect is,Second aspectOrThird aspectPassing object counting device 10InIt is preferable to provide a difference passage count calculation unit 22 that counts that the passing object 5 has passed by 1 when a value obtained by time integration by the integration calculation unit 21 exceeds a preset threshold value.
[0014]
If comprised in this way, the count of the passing object 5 will be grasped | ascertained with the time with respect to the passing number (natural number) of a passing object. Or grasp by the number of passing in a certain time.
[0015]
  AlsoThe fifth aspect is,Second aspectOrThird aspectPassing object counting device 10InIt is preferable to provide a division passage count calculation unit 23 that counts a value obtained by dividing the value obtained by time integration by the integration calculation unit 21 by a preset threshold as the number of passing objects 5 passing through.
[0016]
If comprised in this way, the count of the passing object 5 will divide | segment at a time, and will calculate | require the number of passing objects which passed in the meantime to a decimal point.
[0017]
The preset threshold value is typically a volume value for one passing object. The volume value may be determined appropriately depending on conditions such as the passing object, location, time, season, and the like. For example, if the passing object is a person and the place is an amusement park, the child is the center, and the volume value is small although it is determined in consideration of the average ratio of children to adults. If it is a rush hour station, adult men are the center. In winter, an overcoat is worn. This should be obtained statistically for each case.
[0018]
  To achieve the above purpose,Of the sixth aspectIn the passing object counting method, for example, as shown in FIG. 4, an imaging step S <b> 1 for capturing a plurality of images by imaging a passing object passing through a reference line on the plane along a plane from a direction facing the plane. And comparing the plurality of images acquired in the imaging step S1, and regarding the plurality of portions along the reference line on the passing object, the depth information in the depth direction intersecting the plane of the passing object, and the Comparison operation steps S9 and S12 for acquiring, in time series, velocity information in a traveling direction perpendicular to the reference line and parallel to the plane with respect to at least one of the plurality of portions; An integration operation step S13 for time-integrating a value obtained by adding the value weighted by the speed information along the reference line for each speed direction.
[0019]
  To achieve the above purpose,Of the seventh aspectIn the passing object counting method, for example, as shown in FIG. 5, a passing object passing through a reference line on a plane along a plane is imaged from a first position facing the plane at a first time point. A first imaging step S32 for acquiring an image A; the passing object passing through the reference line at a second time point after a predetermined time from the first time point, in parallel with the first position; And a second imaging step S33 in which an image B is obtained by imaging from a second position facing the plane; the image A and the image B are compared, and the reference line on the passing object is compared with the reference line. The depth information in the depth direction intersecting the plane of the passing object and the velocity information in the traveling direction perpendicular to the reference line and parallel to the plane with respect to the plurality of portions along the depth direction intersecting the plane of the passing object Are calculated in a time series. 8, S39 and; and an integral calculation step (S40) integrating the value of the weighted values obtained by adding to the speed of the orientation by along the reference line by the velocity information on the acquired depth information time.
[0020]
When configured in this manner, the image A and the image B are compared, the information on the depth direction intersecting the plane of the passing object and the reference line (typically perpendicularly intersecting) and the traveling direction parallel to the plane Since the comparison calculation steps S38 and S39 for calculating the speed of the moving object 5 are provided, position information and speed information of the passing object 5 can be obtained.
[0021]
  AlsoThe eighth aspect,Sixth aspectOrSeventh aspectPassing object counting methodInA step S0 in which a volume of one average passing object is set as a threshold value in advance; and when the value obtained by time integration by the integration calculation unit exceeds the threshold value, the passing object is 1 It is preferable to provide a passage counting calculation step S15 that counts as only passing.
[0022]
  AlsoThe ninth aspect,Sixth aspectOrSeventh aspectPassing object counting methodInA step S0 in which an average volume of one passing object is set in advance as a threshold; and the passing object has passed a value obtained by dividing the value obtained by time integration by the integration calculation unit by the threshold. A division passage count calculation step S20 for counting as a number may be provided.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. In addition, in each figure, the same code | symbol or a similar code | symbol is attached | subjected to the mutually same or equivalent member, and the overlapping description is abbreviate | omitted.
[0024]
FIG. 1 is a schematic perspective view of a passing object counting device 10 (hereinafter referred to as “counting device 10” as appropriate) according to an embodiment of the present invention. In the figure, the passing object 5 moves in the traveling direction on a horizontal passage 2 which is a plane. An orthogonal coordinate system XYZ is taken so that the XY axis is placed in the passage 2, and the passage 2 extends in parallel with the Y axis. Further, a counting line 1 which is a reference line is taken perpendicular to the extending direction of the passage 2, that is, parallel to the X axis. The traveling direction of the passing object 5 is typically parallel to the extending direction of the passage 2, that is, the Y axis. The passing object 5 is a person in the present embodiment. In the present embodiment, the counting line 1 is perpendicular to the extending direction of the passage 2, but it does not have to be particularly perpendicular. If it is not vertical, the parallax and the speed may be corrected by the angle with the X axis. The counting line 1 is a reference line for counting the passing objects 5 that have passed through this line, and may be a virtual line, and does not need to be physically drawn in the path 2.
[0025]
On the other hand, in order to image the passing object 5 passing through the counting line 1 of the passage 2 above the counting line 1 of the passage 2 in the figure in a vertical direction above the counting line 1 of the passage 2 at a height sufficient to pass the person 5 as a passing object. The first imaging device 11 and the second imaging device 12 are installed. The first imaging device 11 and the second imaging device 12 are installed in parallel at an appropriate interval so that they are parallel to the counting line 1 and the optical axis is parallel to the Z axis. The height sufficient for the person 5 to pass here is, for example, about 3000 mm. Further, the appropriate interval is, for example, about 50 mm.
[0026]
An example of the configuration of the passing object counting device 10 will be described with reference to FIG. The counting device 10 includes a first CCD camera 11 as a first imaging device, a second CCD camera 12 as a second imaging device, and a personal computer 13 as an arithmetic device.
[0027]
The first CCD camera 11 and the second CCD camera 12 are connected to a personal computer 13 so that the personal computer 13 can acquire images captured by the first CCD camera 11 and the second CCD camera 12, respectively. It is configured.
[0028]
The personal computer 13 includes a control unit 14 and controls the counting device 10 as a whole. An imaging device interface 15 is connected to the control unit 14, and the first CCD camera 11 and the second CCD camera 12 are connected to the control unit 14 via the imaging device interface 15 and controlled. Yes.
[0029]
Further, in the control unit 14, from the stereo images acquired by the first CCD camera 11 and the second CCD camera 12, the height of the passing object 5 as depth information of the passing object 5 and the speed information of the passing object 5 are obtained. A comparison operation unit 20 that acquires the speed of a certain passing object 5 in time series, and time-integrates a value obtained by adding the value obtained by weighting the acquired height of the passing object 5 by speed along the reference line 1 according to the speed direction. Integral calculation unit 21, a difference passage count that counts that the passing object 5 has passed by 1 when the volume value obtained by time integration by the integral calculation unit 21 exceeds a preset threshold value The calculating part 22 and the division | segmentation passage count calculating part 23 which counts the value which divided the volume value with the preset threshold value as the number which the passing object passed are provided. The comparison calculation unit 20 may weight the value obtained by adding the height along the reference line 1 according to the direction of the speed by the speed.
[0030]
In the present embodiment, the difference passage count calculation unit 22 and the division passage count calculation unit 23 are both provided, but either one may be provided. At this time, when the difference passage count calculation unit 22 is provided, for example, a time when the passing object 5 has passed by an arbitrary natural number can be obtained. When the division passage count calculation unit 23 is provided, for example, at a certain time Since the passing number of passing objects 5 in an arbitrary time interval divided by (2) can be sequentially obtained as a decimal number (for example, 10.6), a difference passage count calculation unit 22 and a division passage count calculation unit according to the purpose and application. One of 23 may be selected.
[0031]
A storage unit 18 is connected to the control unit 14 and can store data such as images captured by the first CCD camera 11 and the second CCD camera 12 and calculated information.
[0032]
Further, an input device 16 for inputting information for operating the counting device 10 and an output device 17 for outputting a result processed by the counting device 10 are connected to the control unit 14. The input device 16 is, for example, a keyboard or a mouse, and the output device 17 is, for example, a display or a printer. Although the input device 16 and the output device 17 are illustrated as externally attached to the personal computer 13 in this figure, they may be built in.
[0033]
Further, as shown in FIG. 3, an image processing unit 25 that processes an image captured by the CCD camera, an image captured by the first CCD camera, and an image captured by the second CCD camera are included in the comparison operation unit 20. Corresponding point search unit 26 that obtains corresponding points from the captured image, depth information calculation unit 27 that calculates the height that is the depth information of the passing object 5, and speed information calculation unit 28 that calculates the speed that is the speed information of the passing object 5. Is provided. To process the image, for example, the first image as the image A, the second image, and the third image as the image B are acquired from the imaging signals from the first CCD camera 11 and the second CCD camera 12. That means.
[0034]
With reference to the flow of FIG. 4, an example of the effect | action of the counting apparatus 10 as 1st Embodiment is demonstrated. Here, an image captured by the first CCD camera 11 is described as a left image, and an image captured by the second CCD camera is described as a right image. First, the user of the counting device 10 sets a threshold value in the personal computer 13 (step 0 (displayed as “S0” in the figure).
same as below)).
[0035]
Next, the control unit 14 of the personal computer 13 acquires the left image and the right image captured by the first CCD camera 11 and the second CCD camera 12 as a stereo image via the imaging device interface 15 (step 1). .
[0036]
The control unit 14 acquires the left image of the t frame, which is the first image captured at a certain time t, by the image processing unit 19 in the control unit 14 from the acquired stereo image (step 2). The right image of t frame, which is the second image, is acquired (step 3). Further, a right image of the t + Δt frame, which is a third image captured at time t + Δt after Δt has elapsed from time t, is acquired (step 3).
[0037]
In practice, images are taken simultaneously at a fixed interval, and the image at time t is used as the first image and the second image, and the image at time t + Δt shifted by one frame or more is used as the third image. That's fine. At this time, Δt may be appropriately determined according to the setting conditions of the counting device 10, but it is desirable that Δt be the time from when a certain frame N is imaged until the next frame N + 1 is imaged. That is, a frame shifted by one frame is employed. At this time, when Δt is set to 1/30 seconds, for example, when a person walking at 80 m / min is imaged, the frame N + 1 is an image in which the imaged person moves about 4.4 cm in comparison with the frame N. .
[0038]
Next, edge extraction of the right image of t frame is performed (step 5), and it thins (step 6). Then, the first corresponding point search of the left image of the t frame is performed using the edge points on the counting line 1 of the right image of the t frame (step 7). Further, edge extraction, thinning, and corresponding point search will be described in detail later with reference to FIG.
[0039]
Depth information is calculated from the corresponding points obtained by the first corresponding point search (step 8). Here, a non-background portion is defined in advance by background removal, and linear interpolation is performed on the portion to reflect the value at the edge point (step 9). Here, the linear interpolation is, for example, using the three-dimensional coordinates of one edge point and the edge points adjacent to the edge point to connect the two edge points with a straight line, thereby obtaining the three-dimensional coordinates of the point between the two edge points. It is what you want to do.
[0040]
At the same time, the second corresponding point search of the right image of the t + Δt frame is performed using the edge points on the counting line 1 of the right image of the t frame (step 10), and the corresponding points obtained by the second corresponding point search are performed. Speed information is calculated from (step 11). Similarly, linear interpolation is performed (step 12). A method for calculating the depth information and the speed information will be described later with reference to FIGS.
[0041]
Then, the calculated depth information multiplied by the speed information is added in the time direction, and the volume value is added (step 13). A method for calculating the volume value will be described later with reference to FIGS. The reason why the depth information is weighted by multiplying the depth information is that a passing object with a high passing speed is inversely proportional to the passing speed and the number of passing frames. Further, since the volume of the passing object is calculated, the shadow of the passing object having no volume is not erroneously counted.
[0042]
The volume value obtained in this way is compared with a preset threshold value (step 15). If the volume value is larger than the threshold value (step 15 is Y), one person who is the passing object 5 has passed. Judging and counting (step 16), the threshold value is subtracted from the volume value (step S18). At this time, the velocity information calculated above is reflected as the direction of travel of the passing object 5 that has passed (step 17). If the volume value is smaller than the threshold value (step 15 is N), the next frame is acquired and the volume value is added. The preset threshold is typically the minimum volume value of the passing object.
[0043]
In the above, the case where the difference passage count calculation unit 22 is used for counting has been described. However, when the division passage count calculation unit 23 is used (indicated by a broken line in the figure), the speed information is first added to the similarly calculated depth information. The product multiplied by the information is added in the time direction and the volume value is added (step 13). And it is judged whether it counts with the volume value obtained by this (step 19). This determination may be made by, for example, setting the number of frames of the acquired image in advance and automatically counting when the set number of frames is reached, or determining by sequentially counting by the user. You may make it do.
[0044]
When counting (step 19 is Y), the acquired volume value is divided by a preset threshold value (step 20), and the value obtained thereby is counted as the number of passing persons of the passing object 5 (step 20). 21). At this time, the velocity information calculated above is reflected as the direction of travel of the passing object 5 that has passed (step 17). When not counting (N in step 19), the next frame is acquired and the volume value is added.
[0045]
With reference to the flow of FIG. 5, an example of the operation of the counting device 10 as the second embodiment will be described. As in the first embodiment, first, the user of the counting device 10 sets a threshold value in the personal computer 13 (step 30) and acquires a stereo image (step 31).
[0046]
The control unit 14 acquires, from the acquired stereo image, the left image of the t frame that is the first image as the image A captured at a certain time t by the image processing unit 19 in the control unit 14 (step 32). ). Further, a right image of a t + Δt frame, which is a third image as an image B taken at time t + Δt after Δt has elapsed from time t, is acquired (step 33).
[0047]
Actually, the first CCD camera and the second CCD camera pick up images at each time point simultaneously and in parallel, and the time point t as the first image is shifted by one frame or more as the third image. You may make it employ | adopt the image of t + (DELTA) t. At this time, Δt may be appropriately determined according to the setting conditions of the counting device 10, but it is desirable that Δt be the time from when a certain frame N is imaged until the next frame N + 1 is imaged.
[0048]
Next, edge extraction of the left image of t frame is performed (step 34), and it thins (step 35). Then, the third corresponding point search of the right image of the t + Δt frame is performed using the edge points on the counting line 1 of the left image of the t frame (step 36).
[0049]
Next, depth information is calculated from the corresponding points obtained by the third corresponding point search (step 37). Here, a non-background portion is defined in advance by background removal, and linear interpolation is performed on the portion to reflect the value at the edge point (step 38). At the same time, speed information is calculated (step 39), and linear interpolation is also performed (step 40). A method for calculating the depth information and the speed information will be described later with reference to FIGS. Then, the calculated depth information multiplied by speed information is added in the time direction and the volume value is added (step 41). Hereinafter, counting is performed in the same manner as in the first embodiment.
[0050]
The third corresponding point search will be described in more detail with reference to FIG. Here, although a person is expressed by hatching as a passing object in each illustrated frame, this does not indicate a cross section but merely represents a person imaged from above.
[0051]
Here, in order to obtain depth information and speed information, corresponding points of the two images are obtained. First, the correspondence between the left image of t frame and the right image of t + Δt frame is obtained. At this time, the correspondence relationship is not clearly determined for pixels having no feature in the neighboring region.
Therefore, the search is performed according to the following flow.
[0052]
First, edge extraction of the left image of t frame is performed to obtain a thinned image, and corresponding point search is performed only at the edge point. Edge extraction refers to extracting a contour, which is a set of edge points of a target passing object, from an image acquired with shading and specifying the coordinates, for example, with coordinates. Thinning refers to, for example, converting an image obtained by edge extraction into an image in which only the outline of a passing object obtained by edge extraction is indicated by a thin line.
[0053]
In order to perform the corresponding point search, first, a point on the specified outline of the left image of the t frame is selected as an edge point, and a window is set in a neighborhood region including the edge point on the grayscale image. Typically, an edge point on the counting line is selected. An edge point is typically an intersection of the fine line and the count line, and usually there are a plurality of edge points, typically 10 to 20 points. For example, the leftmost point among the plurality of edge points is first selected. The window may be set so that the selected edge point is the center. Then, the window is set to the right image of the t + Δt frame with reference to the set window.
[0054]
With respect to these windows, the correlation between the gray values of the left image of t frame and the right image of t + Δt frame is obtained using Equation 1 shown in FIG. Where I_L(I, j) and I_R(I, j) are the gray values in the windows on the left and right images, and μ_L _, μ_R _, σ_L _, σ_RAre the mean and variance of the gray values in the left and right windows, respectively. C takes a value within a range from −1 to +1. The C value is calculated in each window while moving the window of the right image little by little with respect to the selected edge point of the left image, for example, parallel to the count line and moving in the direction orthogonal to the count line. The window of the right image that gives the maximum value among C obtained in this way is regarded as a local region corresponding to the selected window of the left image.
[0055]
That is, the left and right image windows are correlated as described above, and the right image window corresponding to the window including the edge point selected in the left image (C is maximized) is searched. The center of the window of the right image obtained by this search becomes the edge point of the right image corresponding to the edge point of the left image selected previously.
[0056]
The search for the window is performed, for example, in a direction parallel to the count line (X-axis direction) and a vertical direction (Y-axis direction). For example, when the passing object is a person, the direction parallel to the counting line is regarded as a parallax between the left and right images as will be described later, so the height is calculated to be 1 m to 2 m, for example, with reference to the window of the left image that has already been set. What is necessary is just to search the width | variety of the parallax to be performed. Since the vertical direction is regarded as the movement amount of the person as will be described later, the width of the movement amount that the person is expected to move during the time Δt may be searched with reference to the window of the left image that has already been set. If the value of C is increasing in the direction of search, the value of C is further maximized, and the search is continued in the same search direction until the downward trend is reached. You may make it select the window where the value of C becomes the maximum in the already searched range.
[0057]
If the window search is performed in this way, it is not necessary to correlate the windows of the left and right images of the part that clearly does not need to be searched, so that the amount of calculation can be further reduced. As described above, the corresponding points are searched for all the edge points existing in the left image, and the corresponding edge points of the left and right images are obtained.
[0058]
Although the third corresponding point search of the second embodiment has been described above, the same corresponding point search is performed for the first corresponding point search and the second corresponding point search of the first embodiment. .
[0059]
The calculation of depth information and speed information will be described in more detail with reference to FIG. First, a vector connecting corresponding edge points of the left and right images obtained above is considered, and this is separated into a horizontal component (X-axis direction component) and a vertical component (Y-axis direction component). The horizontal component can be viewed as an amount representing the parallax between the left and right images, and the distance to the target passing object can be calculated using this parallax. On the other hand, the vertical component can be regarded as the amount of movement of the attention point in the direction along the path, and based on this, the speed information of the passing object can be obtained. In this way, the three-dimensional height that is the depth information at the edge point and the speed that is the speed information can be collectively obtained in pairs.
[0060]
Since the speeds obtained for one passing object should normally be equal, it is not necessary to obtain the speeds for all the edge points. For example, the speed of the point closest to the center may be adopted. Alternatively, the speed of each edge point is obtained, and an edge point having a protruding value may be re-searched as a search error, or the point may be rejected. Or you may obtain | require all the speed | velocity | rate of each edge point, calculate those average values, and may employ | adopt as the speed | velocity | rate of the object.
[0061]
Further, for the weighting based on the speed described later, the speed for each point may be used, or the speed of the passing object obtained by the average value may be used in common for each point.
[0062]
Here, the left and right images are images that are shifted in time by Δt. However, if Δt is a sufficiently small value, the left and right images do not have a difference enough to support parallax. Conversely, Δt may be determined as such. That is, the length is sufficient to obtain the speed information without any problem for obtaining the parallax. For example, when the target passing object is a pedestrian, it is set to about 1/60 to 1/10 seconds, particularly 1/40 to 1/20 seconds, and more preferably about 1/30 seconds.
[0063]
As described above, according to the second embodiment, the height and speed are obtained using three images in the first embodiment, but only processing of two images is required. The amount of calculation can be greatly reduced, and the processing speed can be increased.
[0064]
Here, with reference to FIG. 8, the calculation method of the height z from the plane as the depth information of the target passing object will be described. The distance a to the target passing object 5 can be calculated using Expression 2 shown in FIG. Here, w is the distance between the CCD cameras (baseline length), f is the focal length of the CCD camera when the imaging lens of the CCD camera is a single lens, and d is the parallax on the imaging surface of the CCD camera. The focal length here is the focal length of the combination lens when a commonly used combination lens is used. Further, when the distance from the imaging lens of the CCD camera to the counting line 1 is h, the height z of the target passing object 5 is calculated by Expression 3 shown in FIG.
[0065]
With reference to FIG. 9 and FIG. 10, a method of counting using the height and speed of the passing object calculated in each frame by the above-described method will be described. Assume that the height of an object at a certain position x in a certain t frame is z (x, t), and the velocity at the same position and the same frame is v (x, t). According to the corresponding point search described above, z (x, t) corresponds to a value of 0 to 255 corresponding to a height of about 0 to 185 cm, and v (x, t) corresponds to a speed of about −12 to 12 km / h. A value of -5 to 5 is obtained (FIG. 9A).
[0066]
Next, the product zv of the frames is added in the X-axis direction. This sum, that is, Equation 4 shown in FIG. 11, means a value obtained by multiplying the depth information of a certain frame by the weight of the speed (the volume that passes through the unit time at a certain point in time). Intuitively, it can be viewed as a cross-sectional area in a person's space-time when passing through the counting line, so this value will be referred to herein as an “area value” (FIG. 9B). Since it is necessary to measure separately according to the direction of the speed later, this addition work is also performed in accordance with the sign of v (x, t), that is, the variable to be added as shown in Equation 5 shown in FIG. I'll keep it separate.
[0067]
Next, the area values calculated for each line are added in the time direction (FIG. 10- (a)). This sum, that is, Equation 6 shown in FIG. 11, represents the volume of the person who passed. This is referred to herein as “volume value” (FIG. 10- (b)). As long as the frame interval is kept constant, the passing speed and the number of passing frames are inversely proportional. Therefore, the volume value calculated from the passing of each person is normalized to some extent by this addition in consideration of the weight of the speed. That is, the true volume value in the three-dimensional space is obtained.
[0068]
A case where the passing object 5 moves on the slope will be described with reference to FIG. For example, when the passing object 5 is moving on an inclined surface 2 ′ such as a staircase or a slope, the plane 2 is a virtual plane 2 perpendicular to the line connecting the reference line 1 and the first and second imaging devices 11 and 12. It is good to do.
[0069]
If the target passing object 5 is a person, it stands in the vertical direction even if it is a slope, so the optical axis of the CCD camera is directed in the vertical direction (FIG. 12A). In this case, the virtual plane 2 is a horizontal plane. In this example, for example, when the angle formed between the inclined surface 2 ′ and the virtual plane 2 is θ, the time of the passing object 5 moving on the inclined surface 2 ′ is obtained in order to obtain the height of the passing object 5 from the virtual plane 2. A value obtained by multiplying the amount of movement of Δt by tan θ may be subtracted from the calculated height of the passing object 5 moving on the slope 2 ′.
[0070]
If the target passing object 5 is, for example, a car, the slope may be used as it is as the plane 2 of the present invention. In this case, the optical axis of the CCD camera is directed in a direction perpendicular to the inclined surface (FIG. 12B).
[0071]
Next, the results of a counting experiment actually performed using the embodiment of the present invention will be described. The experiment was conducted in a temporary passage in a university building under the following conditions in the daytime in fine weather.
Experiment 1: Passing about 40 people per minute
Experiment 2: Passing about 80 people per minute
Experiment 3: Passing about 120 people per minute
The setting conditions of the image pickup apparatus are a CCD camera as the image pickup apparatus, a camera height of 295 cm, a passage width of 200 cm, a camera base line length (inter-camera distance) of 47 mm, and a focal length of 4.8 mm. Further, in actual counting, the number of counting persons is calculated at the time when the processing of 30 lines is completed using the above-described division passage counting calculation unit 23. A value obtained by dividing the total volume value for 30 lines by the volume value for one person determined in advance by another input image is defined as the number of passing people. Here, a line is a frame processing unit.
[0072]
FIG. 13 shows the results of Experiment 1, FIG. 14 shows the results of Experiment 2, and FIG. 15 shows the results of Experiment 3 as the count results every 20 seconds in 600 frames. The positive and negative signs given to the passing number of people shown in each figure indicate that the person has progressed in opposite directions. The counting results in each figure are displayed as natural numbers. However, since the division passage counting calculation unit 23 is used, it is possible to display up to the decimal point.
[0073]
The accuracy of each experiment was 87% in Experiment 1, 89% in Experiment 2, and 90% in Experiment 3. However, this accuracy is an average value calculated every 20 seconds. When the accuracy was calculated using data obtained by continuously counting for a long time, each experiment showed a high accuracy exceeding 95%.
[0074]
FIG. 16 shows a comparison between a counting result obtained by manual counting performed by a person with a counter and a counting result counted using the present invention. In manual counting, when the crowding is low, the counting can be performed accurately, but the accuracy decreases extremely as the crowding becomes intense.
[0075]
On the other hand, in the counting using the present invention, it can be seen that a stable accuracy is maintained regardless of the congestion.
[0076]
As described above, according to the embodiment of the present invention, the height and speed of the passing object can be acquired from the stereo images acquired from the two CCD cameras, and the volume of the passing object is determined from the acquired height and speed. Since it can be obtained separately, it is possible to sequentially count passing objects more accurately than in the past.
[0077]
【The invention's effect】
As described above, according to the present invention, the depth of the crossing of the plane of the passing object is compared with respect to the plurality of parts along the reference line on the passing object by comparing the images of the passing object captured by the plurality of imaging devices. A comparison operation unit for acquiring speed information in a traveling direction perpendicular to a reference line and parallel to a plane in time series with respect to direction depth information and at least one of the plurality of portions, and the acquired depth information And an integration calculation unit that integrates a value obtained by adding the value weighted by the speed information along the reference line according to the direction of the speed with respect to time, so that the depth information and the speed information of the passing object captured by the plurality of imaging devices are obtained. It is possible to acquire a value obtained by integrating the value obtained by weighting the acquired depth information with speed information along the reference line according to the speed direction, time integration, reducing the amount of calculation, enabling high-speed processing, and enabling sequential processing It is possible to provide an over-object counting device and counting method.
[Brief description of the drawings]
FIG. 1 is a schematic perspective block diagram showing an outline of a passing object counting apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration example of a passing object counting apparatus according to an embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration example of a comparison operation unit used in the embodiment of the present invention.
FIG. 4 is a flowchart showing an example of the operation of the passing object counting apparatus according to the first embodiment of the present invention or the passing object counting method according to the embodiment of the present invention.
FIG. 5 is a flowchart showing an example of the operation of a passing object counting device according to a second embodiment of the present invention or a passing object counting method according to an embodiment of the present invention.
FIG. 6 is an image diagram for explaining a processing example when searching for a third corresponding point between the first image and the third image in the embodiment of the present invention.
FIG. 7 is an image diagram for explaining vectors connecting corresponding points of the first image and the third image in the case of FIG. 6;
FIG. 8 is a stylized front view illustrating a method for calculating the height of a passing object from the parallax between the first imaging device and the second imaging device in the embodiment of the present invention.
FIG. 9 is a stylized perspective view illustrating a method of performing counting in the embodiment of the present invention.
FIG. 10 is a stylized perspective view for explaining a counting method in the case of FIG. 9;
FIG. 11 is a diagram showing a calculation formula used in the description of the embodiment of the present invention.
FIGS. 12A and 12B are diagrams illustrating a case of counting by a virtual plane (a) and a case of using a slope as a plane of the present invention (b) as an example of a method of counting passing objects moving on an inclined surface.
FIG. 13 is a diagram showing a result of a counting experiment of Experiment 1 according to the embodiment of the present invention.
FIG. 14 is a diagram showing a result of a counting experiment of Experiment 2 according to the embodiment of the present invention.
FIG. 15 is a diagram illustrating a result of a counting experiment of Experiment 3 according to the embodiment of the present invention.
FIG. 16 is a diagram showing a comparison between a counting result of manual counting and a counting result of counting using the passing object counting device according to the embodiment of the present invention.
[Explanation of symbols]
1 Count line
2 passage
5 passing objects
10 Passing object counting device
11 First CCD camera
12 Second CCD camera
13 Arithmetic unit
14 Control unit
15 Imaging device interface
16 input devices
17 Output device
18 Storage unit
20 Comparison operation part
21 Integral calculation unit
22 Subtraction passage count calculator
23 Division Passing Count Calculation Unit

Claims

A passing object counting device for counting passing objects from the height and velocity from the plane of passing objects passing through a reference line on the plane along a plane;
An image A of the passing object captured by an imaging device that captures the passing object and is provided opposite to the plane and acquires a stereo image, and is delayed by a predetermined time from the time when the image A was captured. An image processing unit for acquiring an image B of the passing object imaged by the imaging device;
A corresponding point search unit for obtaining corresponding points from the image A and the image B;
A speed information calculation unit that calculates the speed of the passing object using the corresponding points;
A depth information calculation unit that calculates the height of the passing object from the stereo image of the image A or the stereo images of the image A and the image B;
An integration operation unit for time-integrating a value obtained by multiplying the acquired height by the weight of the speed for each direction of speed along the reference line;
A passage counting calculation unit that counts the passing object that has passed through the reference line based on a value obtained by the time integration and a preset threshold;
Passing object counting device.

A first imaging device provided to face the plane, which images a passing object passing through a reference line on the plane along the plane;
A second imaging device provided in parallel with the first imaging device and facing the plane, and imaging the passing object passing through the reference line;
A first image of the passing object imaged by the first imaging device at a first time point, a second image of the passing object imaged by the second imaging device, and the first time point An image processing unit that obtains a third image of the passing object imaged by the second imaging device with a delay of a predetermined time;
A corresponding point search unit for obtaining corresponding points from the first image and the second image and obtaining corresponding points from the second image and the third image;
Using the corresponding points obtained from the first image and the second image , the height of the passing object from the plane is time-sequentially related to a plurality of parts along the reference line on the passing object. A depth information calculation unit to be acquired;
Using the corresponding points obtained from the second image and the third image , the velocity in the traveling direction perpendicular to the reference line and parallel to the plane is time- sequentially related to at least one of the plurality of portions. A speed information calculation unit to be acquired automatically ;
An integration operation unit for time-integrating a value obtained by multiplying the acquired height by the weight of the speed for each direction of speed along the reference line;
Passing object counting device.

A first imaging device provided to face the plane, which images a passing object passing through a reference line on the plane along the plane;
In parallel with the first imaging device, and provided opposite to said plane, a second imaging device for an image shooting the passage object passing through the reference line;
A first image of the passing object imaged by the first imaging device, the first of the said passage object imaged by a predetermined time by delay in the second imaging device from the imaging point of the first image An image acquisition unit for acquiring two images;
A corresponding point search unit for determining corresponding points from the first image and the second image;
Time using the corresponding points, for a plurality of sites along the reference line on the passage body, the height from the first and the plane of the passage body from the quantity representing the parallax between the second image A depth information calculation unit acquired in series;
A speed information calculation unit that acquires, in a time series, a speed in a traveling direction that is perpendicular to the reference line and parallel to the plane with respect to at least one part of the plurality of parts using the corresponding points ;
An integration operation unit for time-integrating a value obtained by multiplying the acquired height by the weight of the speed for each direction of speed along the reference line;
Passing object counting device.

When a value obtained by time integration in the integration calculation unit exceeds a preset threshold value, a difference passage count calculation unit that counts that the passing object has passed by 1 is provided.
The passing object counting device according to claim 2 or 3.

A division passage count calculation unit that counts a value obtained by dividing the value obtained by time integration in the integration calculation unit by a preset threshold as the number of passing objects;
The passing object counting device according to claim 2 or 3.

A first imaging step of obtaining a first image by imaging a passing object passing through a reference line on the plane along a plane from a first position facing the plane at a first time point; ;
The passing object passing through the reference line is opposed to the plane in parallel with the first position at the first time point and a second time point after a predetermined time from the first time point. A second imaging step of imaging from the second position to obtain a second image and a third image;
An image processing step of obtaining the first image, the second image, and the third image;
A corresponding point search step of obtaining corresponding points from the first image and the second image and obtaining corresponding points from the second image and the third image;
Using the corresponding points obtained from the first image and the second image , the height of the passing object from the plane is time-sequentially related to a plurality of parts along the reference line on the passing object. Depth information calculation step to be acquired;
Using the corresponding points obtained from the second image and the third image , the velocity in the traveling direction perpendicular to the reference line and parallel to the plane is time- sequentially related to at least one of the plurality of portions. Speed information calculation step to be acquired automatically ;
An integration operation step of time-integrating a value obtained by multiplying a value obtained by multiplying the acquired height by the weight of the speed for each direction of speed along the reference line;
Passing object counting method.

A first imaging step of obtaining a first image by imaging a passing object passing through a reference line on the plane along a plane from a first position facing the plane at a first time point; ;
The passing object passing through the reference line is imaged from a second position parallel to the first position and facing the plane at a second time point after a lapse of a predetermined time from the first time point. to a second imaging step of obtaining a second image;
An image acquisition step of acquiring the first image and the second image;
A corresponding point search step of obtaining corresponding points from the first image and the second image;
Time using the corresponding points, for a plurality of sites along the reference line on the passage body, the height from the first and the plane of the passage body from the quantity representing the parallax between the second image Depth information calculation step acquired in series;
A velocity information calculation step of acquiring, in a time series, a velocity in a traveling direction that is perpendicular to the reference line and parallel to the plane with respect to at least one portion of the plurality of portions using the corresponding points ;
An integration operation step of time-integrating a value obtained by multiplying a value obtained by multiplying the acquired height by the weight of the speed for each direction of speed along the reference line;
Passing object counting method.

Presetting a volume of one average passing object as a threshold;
When the value obtained by time integration in the integration calculation unit exceeds the threshold value, a passing count calculation step for counting that the passing object has passed by 1 is provided.
The passing object counting method according to claim 6 or 7.

Presetting a volume of one average passing object as a threshold;
A division passage counting calculation step of counting a value obtained by dividing the value obtained by time integration in the integration calculation unit by the threshold as the number of passing objects;
The passing object counting method according to claim 6 or 7.