JP5862410B2 - Number of people counting server, number of people counting device, and number of people counting system - Google Patents
Number of people counting server, number of people counting device, and number of people counting system Download PDFInfo
- Publication number
- JP5862410B2 JP5862410B2 JP2012072877A JP2012072877A JP5862410B2 JP 5862410 B2 JP5862410 B2 JP 5862410B2 JP 2012072877 A JP2012072877 A JP 2012072877A JP 2012072877 A JP2012072877 A JP 2012072877A JP 5862410 B2 JP5862410 B2 JP 5862410B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- trajectory
- face
- approaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像された人物の数を集計する人数集計サーバ、通行人数集計装置、及び通行人数集計システムに関し、特に、顔の位置を示す顔位置情報と、人物全体の位置を示す人物位置情報とを演算する処理装置に接続された人数集計サーバに関する。 The present invention relates to a person counting server, a passing person counting apparatus, and a passing person counting system that count the number of photographed persons, and in particular, face position information indicating a face position and person position information indicating a position of the entire person. The present invention relates to a number counting server connected to a processing device that calculates
従来の歩行者検出システムは、映像センサと、映像センサの出力映像から人の姿や顔を検出して人数や属性を検出、計測するセンサユニットと、センサユニットでの計測結果を集計する集計サーバとを備えて構成されている(非特許文献1参照)。この歩行者検出システムは、映像から人の姿や顔を検出し、顔画像から年齢・性別を計測するように構成されている。また、非特許文献2は、「画像のエッジ情報を用いて歩行者の輪郭形状を表現」することが記載されている。なお、特許文献1は、互いに異なる複数の条件を適用して結果を評価する画像処理技術が記載されている。
A conventional pedestrian detection system includes a video sensor, a sensor unit that detects the figure and face of a person from the output video of the video sensor, detects and measures the number and attributes of the person, and an aggregation server that counts the measurement results of the sensor unit. (Refer nonpatent literature 1). This pedestrian detection system is configured to detect a person's figure and face from an image and measure age and sex from a face image. Non-patent document 2 describes that “the contour shape of a pedestrian is expressed using edge information of an image”. Note that
しかしながら、顔画像に基づいて人物の数を計測する技術は、人の姿や輪郭形状の数を計測する場合よりも高精度である一方、映像中に少なくとも人物の顔が映っている必要がある。このため、この技術を用いて歩行者の通過人数を測定する技術は、例えば、カメラに背を向けて遠ざかって行く方向の通過人数を計測することはできない。したがって、歩行者が双方向に通過する通過人数を計測しようとすると、人の姿や輪郭形状に基づいて歩行者の人数を計測する技術と共に、計測システムを2式用意する必要がある。
しかしながら、顔画像の数を計測する技術と、人の姿や輪郭形状(人物全体)の数に基づいて歩行者の通過人数を計測する技術との双方を用いても、遠ざかる人の数の測定精度を向上させることはできない。
However, while the technique for measuring the number of persons based on face images is more accurate than when measuring the number of human figures and contours, it is necessary that at least a person's face be reflected in the video. . For this reason, the technique of measuring the number of passing pedestrians using this technique cannot measure the number of passing persons in the direction of turning away from the camera, for example. Therefore, if the number of passing pedestrians is to be measured in both directions, it is necessary to prepare two measurement systems together with a technique for measuring the number of pedestrians based on the figure and contour shape of the person.
However, using both the technology to measure the number of facial images and the technology to measure the number of pedestrians passing based on the number of human figures and contours (whole person), the number of people moving away can be measured. Accuracy cannot be improved.
本発明はこのような問題を解決するためになされたものであり、人物全体の数に基づいて通過人数を測定する測定精度を向上することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to improve the measurement accuracy for measuring the number of passing people based on the total number of people.
以上の課題を解決するため、本発明の第1手段は、撮像された人物の顔の位置を示す顔位置情報と、前記撮像された人物の全体の位置を示す人物位置情報との対を複数受信し、前記人物の数を集計する人数集計サーバ(103)であって、前記人物位置情報の軌跡を取捨選択するフィルタ部(232)と、前記フィルタ部で選択された選択人物位置情報の軌跡(人物軌跡)の数を集計する集計部(233)とを備え、前記フィルタ部は、前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部(232b)と、前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部(232a)とを備えることを特徴とする。但し、( )内の符号は例示である。 In order to solve the above problems, the first means of the present invention provides a plurality of pairs of face position information indicating the position of the face of the imaged person and person position information indicating the overall position of the imaged person. A person counting server (103) that receives and counts the number of persons, a filter unit (232) for selecting a path of the person position information, and a path of the selected person position information selected by the filter unit; A totaling unit (233) that counts the number of (person trajectories), and the filter unit is an approaching person selecting unit (selecting an approaching person trajectory approaching the person in the trajectory of the person position information) 232b) and a parameter adjustment unit (232a) that automatically adjusts the filtering parameters so that the number of approaching person trajectories is approximately equal to the number of trajectories of the face position information. However, the symbols in parentheses are examples.
本発明の第2手段は、撮像された人物の顔の移動軌跡を示す顔位置軌跡情報と、前記撮像された人物の全体の移動軌跡を示す人物軌跡情報とを逐次演算する軌跡情報演算部を備える映像処理装置(例えば、処理装置102)と通信可能に接続され、前記人物の数を集計する人数集計サーバであって、前記顔位置軌跡情報と前記人物軌跡情報とが逐次演算された複数の連続情報を受信する受信部と、前記受信した複数の人物軌跡情報の中からフィルタリングパラメータを用いて取捨選択するフィルタ部と、前記フィルタ部で選択された選択人物軌跡情報の数を集計する集計部とを備え、前記フィルタ部は、前記人物軌跡情報の中で前記人物が接近してくる接近人物軌跡を表す接近人物軌跡情報を選択する接近人物選択部と、前記接近人物軌跡情報の数が前記顔位置軌跡情報の数に略等しくなるように、前記フィルタリングパラメータを自動調節するパラメータ調節部とを備えることを特徴とする。 The second means of the present invention includes a trajectory information calculation unit that sequentially calculates face position trajectory information indicating the movement trajectory of the face of the imaged person and person trajectory information indicating the entire movement trajectory of the imaged person. A person count server that is communicably connected to a video processing device (for example, the processing device 102) and that counts the number of persons, and a plurality of face position trajectory information and person trajectory information that are sequentially calculated; A receiving unit that receives continuous information, a filter unit that uses a filtering parameter to select among the plurality of received human trajectory information, and a totaling unit that counts the number of selected human trajectory information selected by the filter unit The filter unit includes an approaching person trajectory information that selects approaching person trajectory information representing an approaching person trajectory approaching the person in the person trajectory information, and the approaching person trajectory information. As the number of substantially equal to the number of the face position locus information, characterized by comprising a parameter adjusting unit for automatically adjusting the filtering parameters.
本発明のさらに第3手段は、撮像装置と接続され、該撮像装置により撮像された人物の顔の位置を示す顔位置情報と前記撮像された人物全体の位置を示す人物位置情報とを逐次演算する処理部と、前記人物追跡位置情報の軌跡を取捨選択するフィルタ部と、前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、前記人物の数を集計する通行人数集計装置であって、前記フィルタ部は、前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部とを備えることを特徴とする。 According to a third aspect of the present invention, the position information indicating the position of the face of the person captured by the image capturing apparatus and the position information indicating the position of the entire captured person are sequentially calculated. A processing unit that performs selection, a filter unit that selectively selects a trajectory of the person tracking position information, and a totaling unit that counts the number of trajectories of the selected person position information selected by the filter unit, and counts the number of persons The filtering unit includes an approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information, and the number of approaching person trajectories is the number of approaching person trajectories. And a parameter adjusting unit that automatically adjusts the filtering parameter so as to be approximately equal to the number of trajectories of the face position information.
ここで、前記フィルタリングパラメータは、前記接近人物軌跡の追跡時間長であり、前記フィルタ部は、前記追跡時間長が閾値以上である前記接近人物軌跡を選択することを特徴とする。 Here, the filtering parameter is a tracking time length of the approaching person locus, and the filter unit selects the approaching person locus whose tracking time length is equal to or greater than a threshold.
また、前記フィルタリングパラメータは、前記人物の移動方向を含み、前記フィルタ部は、前記追跡時間長による前記接近人物軌跡の選択を行う前に、特定方向に移動する前記人物軌跡情報を除外することを特徴とする。 Further, the filtering parameter includes a moving direction of the person, and the filter unit excludes the person trajectory information moving in a specific direction before performing the selection of the approaching person trajectory according to the tracking time length. Features.
さらに、前記追跡時間長の閾値の初期値は、前記人物の数が通常時よりも多いときに通常時の初期値よりも短い値に設定することを特徴とする。 Further, the initial value of the threshold value of the tracking time length is set to a value shorter than the initial value at the normal time when the number of persons is larger than the normal time.
本発明によれば、人物全体の数に基づいて通過人数を測定する測定精度を向上することができる。 ADVANTAGE OF THE INVENTION According to this invention, the measurement precision which measures the number of passing persons based on the number of the whole person can be improved.
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明について概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
Hereinafter, an embodiment of the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings. Each figure is only schematically showing the present invention. Therefore, the present invention is not limited to the illustrated example. Moreover, in each figure, the same code | symbol is attached | subjected about the common component and the same component, and those overlapping description is abbreviate | omitted.
(第1の実施形態)
図1は、本発明の第1の実施形態の通行人数集計システムの構成図である。
図1において、通行人数集計システム100は、撮像装置(カメラ)101と、処理装置102と、人数集計サーバとしての集計サーバ103とを備え、集計サーバ103はデータ記憶装置104を備えている。ここで、処理装置102と集計サーバ103とは、ネットワーク(LAN(Local Area Network)やWAN(Wide Area Network))を介して通信可能に接続されている。
ここで、本実施形態は、処理装置102と集計サーバ103とをネットワークで接続したが、処理装置と集計サーバの機能を一体化して、「通行人数集計装置」として構成することもできる。
(First embodiment)
FIG. 1 is a configuration diagram of a traffic number counting system according to the first embodiment of this invention.
In FIG. 1, the passing number counting system 100 includes an imaging device (camera) 101, a processing device 102, and a
Here, in the present embodiment, the processing apparatus 102 and the
撮像装置101は、人物像を逐次撮像し、映像信号を出力するカメラであり、例えば、パソコンにUSBインタフェースで接続できる市販の小型カメラをそのまま用いることができる。
処理装置102は、撮像装置101が撮像した撮像画像を処理し、顔位置、及び人物位置や性別等の属性を逐次検出し、位置情報や移動方向を出力する。集計サーバ103は、処理装置102が検出した位置情報に基づいて、人物の通過人数を集計する。
The
The processing device 102 processes the captured image captured by the
図2は、本実施形態の撮像装置101が撮像する撮像画像の一例を示す図である。
図2は、扉203の手前を撮像装置101の方向(手前)に向かってくる人物A201と、撮像装置101から遠ざかって行く人物B202との撮像画像を示している。
FIG. 2 is a diagram illustrating an example of a captured image captured by the
FIG. 2 shows a captured image of a
図3は、本実施形態の処理装置102のハードウェア構成図である。
処理装置102は、データの入出力を行う入出力部121と、固定データなどを記憶するROM(Read Only Memory:読取専用メモリ)122と、制御や演算処理を行うCPU(Central Processor Unit)123と、処理データなどを一時記憶する書き換え可能メモリRAM(Random Access Memory)124と、撮像装置101から撮像信号を受信し、集計サーバ103にネットワークを介してデータ(位置情報)を送信する通信部(通信インタフェース)125と、ハードディスクドライブ装置などの外部記憶部126とを備えて構成され、互いにバスラインを介して接続されている。
FIG. 3 is a hardware configuration diagram of the processing apparatus 102 according to the present embodiment.
The processing device 102 includes an input /
図4は、本実施形態の集計サーバ103のハードウェア構成図である。集計サーバ103は、例えば、PCにより構成され、入出力部131と、ROM132と、CPU133と、RAM134と、通信部135と、外部記憶部136と、記録媒体駆動部137とがバスラインで接続され、データ記憶装置104が記録媒体駆動部137と接続されている。
入出力部131は、モニタやキーボード等の入出力機器が接続される。ROM132は、電源投入時に起動するイニシャルブートプログラムが格納されている。
FIG. 4 is a hardware configuration diagram of the
The input /
RAM134は、ワーキングメモリとして使用される。通信部135は、処理装置102からネットワークを介して、人物位置情報と顔位置情報とを含む情報を入力する通信インタフェースである。外部記憶部136は、例えば、ハードディスクドライブ装置である。記録媒体駆動部137は、データ格納用のデータ記憶装置104を駆動するインタフェースである。
The
図5は、本実施形態の処理装置102の機能ブロック図である。
図5に示すように、処理装置102(図3)の制御部としてのCPU123は、ROM122に格納されているプログラムが実行されることにより、映像受信部221、人物位置検出部222a、人物位置比較部223a、人物連続性判定部224a、人物位置データファイル作成部225a、人物位置データ記憶機能226a、顔位置検出部222b、顔位置比較部223b、顔連続性判定部224b、顔位置データファイル作成部225b、顔位置データ記憶機能226b、及び出力部227として機能する。
FIG. 5 is a functional block diagram of the processing apparatus 102 according to the present embodiment.
As shown in FIG. 5, the
映像受信部221は、撮像装置101(図1)から撮像信号(映像信号)を受信する。人物位置検出部222aは、映像受信部221の出力信号を用いて、人物の位置を検出する。人物の検出は、例えば、画像のエッジ情報から歩行者の輪郭形状を用いればよい。人物位置データ記憶機能226aは、人物位置検出部222aが検出した人物位置データを外部記憶部126(図3)にファイルとして記憶する。人物位置比較部223aは、新たに検出された人物がファイルとして記憶されている人物の位置とほぼ同じか否か判定する。人物連続性判定部224aは、人物位置比較部223aがほぼ同じ位置にいる人物であると判定した場合は、追跡継続中であると判定する。一方、人物連続性判定部224aは、ほぼ同じ位置にいなかった人物であって、新たに検出された人物である場合には、新規登場人物であると判定する。人物位置データファイル作成部225aは、追跡継続中の人物の現在位置を追跡位置としてファイルに格納し、新規登場人物の時刻、位置をファイルに格納する。
The
顔位置検出部222b、顔位置比較部223b、顔連続性判定部224b、顔位置データファイル作成部225b、及び顔位置データ記憶機能226bの各機能は、人物位置検出の機能と同様であるので説明を省略する。出力部227は、撮像装置101が撮像した人物の位置を示す人物位置情報、及び顔の位置を示す顔位置情報を出力する。
The functions of the face
図6は、本実施形態の集計サーバ103の主要機能ブロック図である。
図6に示すように、人数集計サーバとしての集計サーバ103は、入力部231と、フィルタ部232と、集計部233とを備えて構成され、フィルタ部232は、パラメータ調節部232aと、接近人物選択部232bとを含んで構成される。なお、( )内の符号については、第2の実施形態において説明する。
FIG. 6 is a main functional block diagram of the
As shown in FIG. 6, the totaling
入力部231は、処理装置102から通信部135を介して、顔、及び人物の位置や軌跡(追跡結果)をファイルとして入力する。フィルタ部232は、人物位置情報を入力し、フィルタリングパラメータ(例えば、追跡時間長の閾値)を自動調節すると共に、近づいてきた人物データについて、自動調節された閾値を用いてフィルタリングを行う。すなわち、接近人物選択部232bは、接近してきた人物データを選択し、パラメータ調節部232aは、接近してきた人物データの数と顔データの数とが近似するように追跡時間長の閾値を自動調節する。
The
集計部233は、フィルタ部232からフィルタリングにより接近してきた人物位置情報を入力し、入力部231からフィルタリングされていない顔位置情報を入力する。そして、集計部233は、接近してきた人物位置情報の数と顔位置情報の数とを集計し、集計した集計データをパラメータ調節部232aに帰還させる。これにより、パラメータ調節部232aは、接近してきた人物データの数と顔データの数とが近似するように追跡時間長の閾値を自動調節することができる。
The totaling
図7は、本実施形態の処理装置102の動作内容を示すフローチャートである。
以下、図5の機能ブロック図と図7のフローチャートとに沿って処理装置102の動作を説明する。
FIG. 7 is a flowchart showing the operation content of the processing apparatus 102 of the present embodiment.
Hereinafter, the operation of the processing apparatus 102 will be described with reference to the functional block diagram of FIG. 5 and the flowchart of FIG.
処理装置102は、ステップS301において、映像受信部221が撮像装置101から映像(画像)を受信しているか否か判断する。新しい画像を逐次受信している間(S301でYes)、ステップS302以降の処理を実行する。一方、映像受信がなければ、このルーチンを停止する(S301でNo)。
In step S <b> 301, the processing apparatus 102 determines whether the
次に、顔位置検出部222bは、ステップS302において顔を検出して、その位置と属性とを判定する。顔の検出は、例えば、顔の輪郭の内部に目、鼻や口があるか否かで検出することができる。
次に、顔位置比較部223bは、ステップS303において、検出された顔がすでに検出されていた顔と同じか否か判定する。例えば、顔位置比較部223bは、顔位置データ記憶機能226bによって記憶されている直前に受け取った映像中のほぼ同じ位置にすでに顔が検出されていたか否かによって判定する。
Next, the face
Next, in step S303, the face
顔連続性判定部224bは、顔位置比較部223bにより、同じ位置にすでに検出されている顔であると判定された場合に、その顔は追跡継続中であると判断して、現在の位置を追跡中の位置として、ステップS304で顔位置データファイル作成部225bを介して外部記憶部126のファイルに記録させ、属性判定結果がもし変わっている場合には必要に応じてファイルの属性を更新する。
顔位置比較部223bによって先に同じ位置になかった顔で新たに検出された顔であるとあると判定された場合は、顔連続性判定部224bは、ステップS304で、その追跡開始時刻、及び追跡開始位置を、顔位置データファイル作成部225bを介してファイルに記憶させる。
When the face
When it is determined by the face
一方、追跡が継続されなかった顔については、顔連続性判定部224bは、ステップS304で追跡開始時刻と追跡開始位置、最後に位置を記憶した追跡終了時刻、及び追跡終了位置を、顔位置データファイル作成部225bを介してファイルに記憶させる。
On the other hand, for the face that has not been tracked, the face
次に、ステップS305において、人物位置検出部222aは、人物の位置を検出する。
さらに、ステップS306において、人物位置比較部223aは、検出された人物がすでに検出されていた人物と同じか否か判定する。具体的には、人物位置比較部223aは、人物位置データ記憶機能226aを介してファイルに記憶させている直前に受け取った映像中のほぼ同じ位置にすでに人物が検出されていたか否かによって判定する。
Next, in step S305, the
Further, in step S306, the person
人物位置比較部223aが同じ位置にすでに検出されている人物であると判定した場合では、人物連続性判定部224aは、その人物は追跡継続中であると判定して、ステップS307において、現在位置を、追跡位置として人物位置データファイル作成部225aを介してファイルに記憶する。
一方、人物位置比較部223aが先に同じ位置にいなかった人物であって新たに検出された人物(新規登場人物)であると判定された場合では、ステップS307において、人物連続性判定部224aは、その時刻、位置を追跡開始時刻、追跡開始位置として人物位置データファイル作成部225aを介してファイルに記憶する。
When the person
On the other hand, if it is determined that the person
次に、人物連続性判定部224aは、追跡が継続されなかったと判定された人物については、ステップS307において、追跡開始時刻と追跡開始位置、及び最後に位置を記憶した時刻を追跡終了時刻とし、その位置を追跡終了位置として、人物位置データファイル作成部225aを介してファイルに記憶する。
Next, in step S307, the person
また、ステップS302で検出された顔のうちで、その位置がステップS305で検出された人物の位置に含まれていないものがあった場合には、人物位置比較部223aは、その未検出人物の位置を推定して、ステップS305での検出結果に追加した上でステップS306での処理を実行することもできる。
If there is a face detected in step S302 whose position is not included in the position of the person detected in step S305, the person
次に、出力部227は、ステップS308で集計サーバ103に顔位置データファイル作成部225bと人物位置データファイル作成部225aで作成された追跡結果が記録されたデータファイルを、集計サーバ103に送信する。
その後、フローはスタート位置に戻り、次の映像信号(画像)を逐次受信する。
Next, the
Thereafter, the flow returns to the start position, and the next video signal (image) is sequentially received.
図8は、本実施形態の集計サーバ103の動作内容を示すフローチャートである。
以下、このフローチャートと図6の機能ブロック図に沿って集計サーバ103の動作を説明する。
FIG. 8 is a flowchart showing the operation content of the
The operation of the
まず、ステップS401において、入力部231は、新しいファイルが処理装置102から通信部135を介して送信されてきたか否かを確認する。
新しいファイルが届いている場合(Yes)には、処理はステップS402に進み、入力部231は、そのファイルに記録されているデータ、すなわち、検出・追跡された各顔、及び各人物の追跡開始時刻、追跡終了時刻、追跡開始時の位置、及び追跡終了時の位置を集計サーバ103内のデータ記憶装置104(図4,6)に格納する。
First, in step S <b> 401, the
If a new file has arrived (Yes), the process proceeds to step S402, and the
つまり、入力部231は、追跡開始時刻、追跡終了時刻、追跡開始時の位置、及び追跡終了時の位置について、顔及び人物の対の情報で逐次受信し、この情報の対をデータ記憶装置104に逐次格納することになる。すなわち、データ記憶装置104は、結果的に、顔及び人物の位置の軌跡を格納していることになる。また、処理装置102は、追跡開始時刻、追跡終了時刻、追跡開始時の位置、及び追跡終了時の位置について集計サーバ103に送信していたが、顔、及び人物の位置、及び時刻の情報を逐次集計サーバ103に送信することもできる。これによっても、データ記憶装置104は、顔、及び人物の位置の軌跡を格納していることになる。
That is, the
次に、ステップS401で新しいファイルが届いており(Yes)、S402で追跡データを格納した場合も、届いていなかった場合(No)も、入力部231は、ステップS403において、データ記憶装置104から利用者が指定した時間帯に追跡を開始した顔、及び各人物の追跡結果データを読み出す。
これ以降の説明では、データ記憶装置104から読み出された顔のデータ数をFとし、人物のデータ数をHとする。
Next, whether the new file has arrived in step S401 (Yes) and the tracking data is stored in S402 or has not arrived (No), the
In the following description, the number of face data read from the
次に、ステップS404において、フィルタ部232の接近人物選択部232bは、読み出された人物それぞれのデータについて、その通行方向を調べる。具体的に、接近人物選択部232bは、各人物のデータについて追跡開始位置と追跡終了位置の関係を調べることによって通行方向を調べる。以下の説明では、この通行方向判定の結果、追跡開始位置が追跡終了位置よりも後方であり、撮像装置101に近づいてきたと判定される人物のデータ数をHnで表し、逆に、遠ざかったと判定される人物の数をHfで表す。
Next, in step S <b> 404, the approaching
次に、ステップS405において、接近人物選択部232bは、フィルタリングパラメータを自動調節し、ステップS406で近づいてきたと判定されるHn個の各人物データについて、フィルタリングを行う。
このフィルタリングは、追跡開始位置と追跡終了位置が画面上で適切な位置にあるか否かや、追跡開始から追跡終了までの時間が適切な時間長であるかどうかを判断することに用いることができる。パラメータ調節部232aは、フィルタリングの結果、絞り込まれた人物のデータ数Hnaが、顔のデータ数Fに比較的近くなるようにフィルタリングパラメータ(例えば、追跡時間長の閾値)を調節する。
Next, in step S405, the approaching
This filtering can be used to determine whether the tracking start position and the tracking end position are at appropriate positions on the screen, and whether the time from the tracking start to the tracking end is an appropriate time length. it can. The
例えば、追跡開始時刻から追跡終了時刻までの時間が適切な時間長であるか否かの判断は、追跡時間長がパラメータ調節部232aにより自動調節された閾値よりも長いか否かによって判断する。このフィルタリングにより、他人により一時的に隠れている場合のように追跡時間が短くなり、その後再検出されたような場合(ダブルカウント)が除外される。
For example, whether or not the time from the tracking start time to the tracking end time is an appropriate time length is determined by whether or not the tracking time length is longer than a threshold automatically adjusted by the
この閾値の決定は、Hn個の人物データのうち、追跡時間長が閾値T以上である人物データの数をHn(T)とすると、図7のステップS305の処理において、閾値Tを初期値T0から大きくしていくことによってHn(T)の値が下がる。また、仮の未検出人物を追加しておくことで、Hn(T0)は必ず顔のデータ数Fよりも大きな値になる。したがって、パラメータ調節部232aは、人物データの数Hn(T)が顔のデータ数Fに近くなる閾値Tを定めることができる。このような、人物データの数Hn(T)と顔のデータ数Fとの比較は集計部233で実行され、その比較情報はフィルタ部232のパラメータ調節部232aに帰還され、閾値Tの調整に用いられる。
The threshold value is determined by setting the threshold value T to the initial value T0 in the process of step S305 in FIG. 7 when the number of personal data items whose tracking time length is equal to or greater than the threshold value T is Hn (T). The value of Hn (T) is lowered by increasing the value from. Further, by adding a temporary undetected person, Hn (T0) is always larger than the number F of face data. Therefore, the
閾値Tの値は、自動調整するだけではなく、予めサンプル映像から調整して、固定値として設定しておくこともできる。また、閾値Tは、1つの値だけに決める必要はなく、例えば、顔検出数の異なる複数のサンプル映像から閾値Tの値を複数求めておき、顔のデータ数Fの大小によって適用する閾値Tの値を選択して用いることも可能である。 The value of the threshold value T is not only automatically adjusted, but can also be adjusted in advance from a sample video and set as a fixed value. Further, the threshold value T need not be determined as a single value. For example, a plurality of threshold values T are obtained from a plurality of sample videos having different face detection numbers, and the threshold value T is applied depending on the size of the face data number F. It is also possible to select and use the value of.
なお、このようなフィルタリングはHf個の各人物データに対して適用することもできる。この場合、フィルタリングで絞り込まれた人物データの数をHfaとする。 Note that such filtering can also be applied to each of Hf person data. In this case, the number of person data narrowed down by filtering is set to Hfa.
次に、ステップS407において、集計部233は、Hna個、Hfa個の通行方向別人物データ、及びF個の顔データを出力する。これらのデータは、個数だけを出力することや、表として出力すること、あるいは必要に応じて、属性別にグラフ表示することもできる。
Next, in step S407, the totaling
以下、フィルタ部232が行うフィルタリングについて、追跡時間長の閾値以外の他の例について説明する。まず、フィルタ部232は、追跡開始位置と追跡終了位置が画面上で適切な位置にあるか否か判断する機能を備えることができる。例えば、通過人数を測定すべき通路に、測定不要の通路やエスカレータが接続されている場合には、人物位置検出部222aや顔位置検出部222bは、位置検出の前に、予め測定不要の通路やエスカレータの領域をマスクする。
Hereinafter, the filtering performed by the
また、フィルタ部232は、扉203(図2)のドア手前を横切る人を排除するために、人物の移動方向(Δx/Δy)が所定値以上の位置情報を排除する機能を備えることができる。
また、通過人数が多い時間帯は、通常時の閾値(例えば、1秒)では、ほとんどの人が排除されてしまう。このため、通常時の閾値よりも小さな値の混雑時の閾値(通常時よりも短い追跡時間長)を設定する。このときは、閾値を固定値とすることもできるが、閾値自動調節の初期値T0を通常時の閾値よりも小さな値に変更することもできる。
Further, the
Further, in a time zone where there are many passing people, most people are excluded at a normal threshold (for example, 1 second). For this reason, a threshold value at the time of congestion that is smaller than the threshold value at the normal time (tracking time length shorter than the normal time) is set. In this case, the threshold value can be set to a fixed value, but the initial value T0 of the automatic threshold adjustment can be changed to a value smaller than the normal threshold value.
以上説明したように、本発明の第1の実施形態によれば、1台の撮像装置(カメラ)の映像を用いて通過人数の計測、及び通過人物の属性判定を同時に行うことができ、さらに通過人数を通過方向別に示すことができる。さらに、近づいてくる人物の顔の数を用いて人物検出の最適化を行うことにより、顔を検出できない後ろ向きの人物や横方向の人物についても、顔の数の検出精度で正確に人物の数データを得ることができる。すなわち、何れの方向を向いている人物でも、顔の数の検出精度で正確に人物の数データを得ることができる。 As described above, according to the first embodiment of the present invention, it is possible to simultaneously measure the number of passing people and determine the attributes of passing people using the video of one imaging device (camera). The number of passing people can be shown by passing direction. Furthermore, by optimizing the person detection using the number of approaching human faces, it is possible to accurately detect the number of persons with a face detection accuracy even for backward-facing persons who cannot detect faces or horizontal persons. Data can be obtained. That is, even if the person is facing in any direction, the number data of the person can be obtained accurately with the accuracy of the number of faces.
なお、本実施形態によれば、追跡時間長の閾値は、結果的に1秒程度に自動調節される。本実施形態の集計サーバ103は、追跡時間長の閾値をより長くすれば、人物の検出精度が上がるが、今度は検出できなくなる事態が発生する。例えば、通常なら2〜3秒で通過する場所で、閾値を10秒に設定すれば、人物を検出することができなくなる。本実施形態の集計サーバ103は、人物の数が顔の数に近くなる値を追跡時間長の閾値とすることにより、このような検出不能な事態を排除しつつ、人物の検出精度を顔の検出精度まで向上させるギリギリの閾値(最適の閾値)まで自動調節している。
According to the present embodiment, the tracking time length threshold is automatically adjusted to about 1 second as a result. If the threshold value of the tracking time length is made longer, the
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
この第2の実施形態は、第1の実施形態の機能に加えて、集計サーバ内で行うフィルタリングの内容を事前に設定できるようにしたことを特徴とするものである。
第2の実施形態の通行人数集計システム100−1の全体構成は、第1の実施形態の全体構成に対して、集計サーバ103が集計サーバ103−1になっている点で相違する。すなわち、集計サーバ103−1のフィルタ部132−1は、パラメータ調節部232a−1と接近人物選択部132b−1とを備えている。なお、これらの集計サーバ103−1、フィルタ部132−1、パラメータ調節部232a−1、接近人物選択部132b−1については、図6の( )内に記載する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
The second embodiment is characterized in that, in addition to the functions of the first embodiment, the contents of filtering performed in the aggregation server can be set in advance.
The overall configuration of the passable person counting system 100-1 of the second embodiment is different from the overall configuration of the first embodiment in that the counting
ここで、第2の実施形態での集計サーバの動作について説明する。なお、処理装置102の動作は第1に実施形態のそれと同じである。 Here, the operation of the aggregation server in the second embodiment will be described. Note that the operation of the processing apparatus 102 is the same as that of the first embodiment.
図9は、本実施形態の集計サーバ103−1の動作内容を示すフローチャートである。
図9のフローチャートに沿って本実施形態の集計サーバ103−1の動作内容を説明する。
FIG. 9 is a flowchart showing the operation content of the aggregation server 103-1 of this embodiment.
The operation content of the aggregation server 103-1 of this embodiment will be described along the flowchart of FIG.
図9でのステップS501からS504までの処理は、第1の実施形態の図8のフローチャートでのステップS401からS404までの処理と同じである。
ステップS505において、フィルタ部232−1は、Hn個の各人物データについてフィルタリングを行う。
このとき、各人物データに対して適用する判断条件を事前に複数個設定しておき、これらの各条件に合致するかどうかを判断することによってフィルタリングを行う。
The processing from step S501 to S504 in FIG. 9 is the same as the processing from step S401 to S404 in the flowchart of FIG. 8 of the first embodiment.
In step S505, the filter unit 232-1 performs filtering on each of the Hn pieces of person data.
At this time, a plurality of determination conditions to be applied to each person data are set in advance, and filtering is performed by determining whether or not these conditions are met.
以下の説明では、Hn個の各人物データに対するフィルタリングにより、これらの条件J1,J2〜JNとそれぞれ合致した人物のデータ数を、Hna(k)(但し、k=1〜N)として表す。 In the following description, the number of data of persons who respectively match these conditions J1, J2 to JN by filtering on Hn pieces of person data is represented as Hna (k) (where k = 1 to N).
次に、ステップS506において、集計部233は、最適なフィルタリング結果を選定する。これは、例えば顔のデータ数F以上で最も少ない人物のデータ数となったフィルタリング結果を採用することによって行うことができる。
選定されたフィルタリング結果の人物データ数をHNaとする。また選定されたフィルタリングをHf個の各人物データについて適用することもできる。この場合、絞り込まれた人物データの数をHFaとする。
Next, in step S506, the
The number of person data of the selected filtering result is HNa. Also, the selected filtering can be applied to each of Hf person data. In this case, the number of person data narrowed down is HFa.
次に、ステップS507において、集計部233は、HNa個、HFa個の通行方向別人物データ、及びF個の顔データを出力する。これらのデータは、個数だけを出力することや、表として出力すること、あるいは必要に応じて、属性別にグラフ表示することもできる。
Next, in step S507, the
以上説明したように、本発明の第2の実施形態の通行人数集計システム100−1は、1台の撮像装置を用いて通過方向別の通過人数の計測を行う際、集計サーバ内で行うフィルタリングの内容を事前に設定することができる。 As described above, the passing number counting system 100-1 according to the second embodiment of the present invention performs filtering in the counting server when measuring the passing number for each passing direction using a single imaging device. Can be set in advance.
また、第1の実施形態、及び第2の実施形態では、通過方向を判定する方法として、各人物の追跡開始位置と追跡終了位置の関係から、撮像装置101に近づいてきたかどうかを判定していたが、撮像装置の設置位置や計測時点での人物の移動方向により、追跡開始位置が追跡終了位置よりも右であれば、右から左へ移動したと判定することもできる。
In the first embodiment and the second embodiment, as a method of determining the passing direction, it is determined whether or not the
100 通行人数集計システム
101 撮像装置
102 処理装置(映像処理装置)
103 集計サーバ(人数集計サーバ)
104 データ記憶装置(記憶部)
121,131 入出力部
122,132 ROM
123,133 CPU(制御部)
124,134 RAM
125,135 通信部
126,136 外部記憶部
137 記録媒体駆動部
201 人物A
202 人物B
203 扉
221 映像受信部
222a 人物位置検出部
223a 人物位置比較部
224a 人物連続性判定部
225a 人物位置データファイル作成部
226a 人物位置データ記憶機能
222b 顔位置検出部
223b 顔位置比較部
224b 顔連続性判定部
225b 顔位置データファイル作成部
226b 顔位置データ記憶機能
227 出力部
231 入力部
232 フィルタ部
232a パラメータ調節部
232b 接近人物選択部
233 集計部
100
103 Counting server (Number of people counting server)
104 Data storage device (storage unit)
121,131 Input / output unit 122,132 ROM
123, 133 CPU (control unit)
124,134 RAM
125, 135
202 Person B
203
Claims (7)
前記人物位置情報の軌跡を取捨選択するフィルタ部と、
前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、
前記フィルタ部は、
前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、
前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする人数集計サーバ。 A number counting server that receives a plurality of pairs of face position information indicating the position of the face of a captured person and person position information indicating the position of the entire captured person and counts the number of persons. ,
A filter unit for selecting a trajectory of the person position information;
A totaling unit that counts the number of trajectories of the selected person position information selected by the filter unit;
The filter unit is
An approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information;
And a parameter adjusting unit that automatically adjusts a filtering parameter so that the number of approaching person trajectories is substantially equal to the number of trajectories of the face position information.
前記顔位置軌跡情報と前記人物軌跡情報とが逐次演算された複数の連続情報を受信する受信部と、
前記受信した複数の人物軌跡情報の中からフィルタリングパラメータを用いて取捨選択するフィルタ部と、
前記フィルタ部で選択された選択人物軌跡情報の数を集計する集計部とを備え、
前記フィルタ部は、
前記人物軌跡情報の中で前記人物が接近してくる接近人物軌跡を表す接近人物軌跡情報を選択する接近人物選択部と、
前記接近人物軌跡情報の数が前記顔位置軌跡情報の数に略等しくなるように、前記フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする人数集計サーバ。 It is possible to communicate with a video processing apparatus including a trajectory information calculation unit that sequentially calculates face position trajectory information indicating the movement trajectory of the imaged person's face and person trajectory information indicating the entire movement trajectory of the imaged person. A number of people counting server connected to count the number of persons,
A receiving unit that receives a plurality of pieces of continuous information in which the face position locus information and the person locus information are sequentially calculated;
A filter unit for selecting using a filtering parameter from the received plurality of person trajectory information;
A totaling unit that counts the number of selected person trajectory information selected by the filter unit;
The filter unit is
An approaching person selecting unit that selects approaching person trajectory information representing an approaching person trajectory approaching the person in the person trajectory information;
And a parameter adjusting unit that automatically adjusts the filtering parameter so that the number of approaching person trajectory information is substantially equal to the number of face position trajectory information.
前記フィルタ部は、前記追跡時間長が閾値以上である前記接近人物軌跡を選択することを特徴とする請求項1又は請求項2に記載の人数集計サーバ。 The filtering parameter is a tracking time length of the approaching person trajectory,
The number-of-persons aggregation server according to claim 1, wherein the filter unit selects the approaching person locus whose tracking time length is equal to or greater than a threshold value.
前記フィルタ部は、特定方向に移動する前記人物軌跡情報を除外してから、前記追跡時間長による前記接近人物軌跡の選択を行うことを特徴とする請求項2に記載の人数集計サーバ。 The filtering parameter is the moving direction of the person and the tracking time length of the approaching person trajectory ,
The filter unit, number aggregation server of claim 2, wherein after excluding the person locus information to move to a specific direction, to make a selection of the approaching person locus by the tracking time length.
前記フィルタ部は、
前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、
前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする通行人数集計装置。 Is connected to the imaging device, a processing unit for sequentially calculating a person position information indicating the position of the entire person is the imaging face position information indicating the position of the face of the person captured by the imaging device, the human object position A traffic number counting device for counting the number of persons, comprising: a filter unit for selecting a locus of position information; and a counting unit for counting the number of tracks of selected person position information selected by the filter unit. ,
The filter unit is
An approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information;
And a parameter adjusting unit that automatically adjusts a filtering parameter so that the number of approaching person tracks is substantially equal to the number of tracks of the face position information.
前記人物位置情報の軌跡を取捨選択するフィルタ部と、
前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、
前記フィルタ部は、
前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、
前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする通行人数集計システム。 An imaging apparatus, a video processing apparatus that sequentially calculates a pair of face position information indicating the position of the face of a person imaged by the imaging apparatus and person position information indicating the position of the entire imaged person, and the video processing A number-of-passenger counting system that includes a plurality of information counting servers that receive a plurality of information pairs calculated by the device and count the number of the persons,
A filter unit to sift the trajectory of the human object position location information,
A totaling unit that counts the number of trajectories of the selected person position information selected by the filter unit;
The filter unit is
An approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information;
And a parameter adjusting unit that automatically adjusts a filtering parameter so that the number of approaching person tracks is substantially equal to the number of tracks of the face position information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012072877A JP5862410B2 (en) | 2012-03-28 | 2012-03-28 | Number of people counting server, number of people counting device, and number of people counting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012072877A JP5862410B2 (en) | 2012-03-28 | 2012-03-28 | Number of people counting server, number of people counting device, and number of people counting system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013206018A JP2013206018A (en) | 2013-10-07 |
JP5862410B2 true JP5862410B2 (en) | 2016-02-16 |
Family
ID=49525051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012072877A Active JP5862410B2 (en) | 2012-03-28 | 2012-03-28 | Number of people counting server, number of people counting device, and number of people counting system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5862410B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017097510A (en) * | 2015-11-20 | 2017-06-01 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
KR101850376B1 (en) * | 2016-01-11 | 2018-04-19 | 박일환 | POS terminal monitoring system and Method for controlling the same |
CN112866773B (en) * | 2020-08-21 | 2023-09-26 | 海信视像科技股份有限公司 | Display equipment and camera tracking method in multi-person scene |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5121508B2 (en) * | 2008-03-03 | 2013-01-16 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
JP2010198566A (en) * | 2009-02-27 | 2010-09-09 | Nec Corp | Device, method and program for measuring number of people |
-
2012
- 2012-03-28 JP JP2012072877A patent/JP5862410B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013206018A (en) | 2013-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5121508B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
US9477881B2 (en) | Passenger counting system, passenger counting method and passenger counting program | |
TWI501195B (en) | Method for object detection and apparatus using the same | |
JP6159179B2 (en) | Image processing apparatus and image processing method | |
JP6481617B2 (en) | Avoidance behavior detection device, avoidance behavior detection method, and program | |
US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
US10147287B2 (en) | Image processing apparatus to set a detection line used to count the passing number of moving objects | |
WO2016104395A1 (en) | Crowd monitoring system | |
JP2010016796A5 (en) | ||
JP5466610B2 (en) | Gaze estimation device | |
EP2966591B1 (en) | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information | |
JP2020503099A5 (en) | ||
JP5862410B2 (en) | Number of people counting server, number of people counting device, and number of people counting system | |
US10691956B2 (en) | Information processing apparatus, information processing system, information processing method, and storage medium having determination areas corresponding to waiting line | |
JP6910208B2 (en) | Information processing equipment, information processing methods and programs | |
CN109993033A (en) | Method, system, server, equipment and the medium of video monitoring | |
EP3796256A1 (en) | Image processing apparatus, image processing method, and computer program | |
US9959635B2 (en) | State determination device, eye closure determination device, state determination method, and storage medium | |
KR101290517B1 (en) | Photographing apparatus for tracking object and method thereof | |
JPWO2018179119A1 (en) | Video analysis device, video analysis method, and program | |
US20230062785A1 (en) | Estimation apparatus, estimation method, and computer program product | |
EP3624443A1 (en) | Surveillance device, surveillance method, computer program, and storage medium | |
JP6554820B2 (en) | Image processing program, image processing apparatus, and image processing method | |
TWI695326B (en) | Object attribute analyzing method and related object attribute analyzing device | |
WO2020166129A1 (en) | State recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5862410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |