JP5862410B2 - Number of people counting server, number of people counting device, and number of people counting system - Google Patents

Number of people counting server, number of people counting device, and number of people counting system Download PDF

Info

Publication number
JP5862410B2
JP5862410B2 JP2012072877A JP2012072877A JP5862410B2 JP 5862410 B2 JP5862410 B2 JP 5862410B2 JP 2012072877 A JP2012072877 A JP 2012072877A JP 2012072877 A JP2012072877 A JP 2012072877A JP 5862410 B2 JP5862410 B2 JP 5862410B2
Authority
JP
Japan
Prior art keywords
person
unit
trajectory
face
approaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012072877A
Other languages
Japanese (ja)
Other versions
JP2013206018A (en
Inventor
塚本 明利
明利 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2012072877A priority Critical patent/JP5862410B2/en
Publication of JP2013206018A publication Critical patent/JP2013206018A/en
Application granted granted Critical
Publication of JP5862410B2 publication Critical patent/JP5862410B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、撮像された人物の数を集計する人数集計サーバ、通行人数集計装置、及び通行人数集計システムに関し、特に、顔の位置を示す顔位置情報と、人物全体の位置を示す人物位置情報とを演算する処理装置に接続された人数集計サーバに関する。   The present invention relates to a person counting server, a passing person counting apparatus, and a passing person counting system that count the number of photographed persons, and in particular, face position information indicating a face position and person position information indicating a position of the entire person. The present invention relates to a number counting server connected to a processing device that calculates

従来の歩行者検出システムは、映像センサと、映像センサの出力映像から人の姿や顔を検出して人数や属性を検出、計測するセンサユニットと、センサユニットでの計測結果を集計する集計サーバとを備えて構成されている(非特許文献1参照)。この歩行者検出システムは、映像から人の姿や顔を検出し、顔画像から年齢・性別を計測するように構成されている。また、非特許文献2は、「画像のエッジ情報を用いて歩行者の輪郭形状を表現」することが記載されている。なお、特許文献1は、互いに異なる複数の条件を適用して結果を評価する画像処理技術が記載されている。   A conventional pedestrian detection system includes a video sensor, a sensor unit that detects the figure and face of a person from the output video of the video sensor, detects and measures the number and attributes of the person, and an aggregation server that counts the measurement results of the sensor unit. (Refer nonpatent literature 1). This pedestrian detection system is configured to detect a person's figure and face from an image and measure age and sex from a face image. Non-patent document 2 describes that “the contour shape of a pedestrian is expressed using edge information of an image”. Note that Patent Document 1 describes an image processing technique for evaluating a result by applying a plurality of different conditions.

塚本 明利,萱野 諭,大熊 好憲「映像認識による広告効果測定支援システム「RESCAT」」OKIテクニカルレビュー 2011年10月/第218号Vol.78 No.1Akitoshi Tsukamoto, Satoshi Sugano, Yoshinori Okuma “Advertising Effect Measurement Support System by Video Recognition“ RESCAT ”” OKI Technical Review October 2011 / No. 218 Vol. 78 No. 1 竹内 大介,丸谷 健介「安全運転支援システムにおける歩行者認識技術の開発」Pnasonic Technical Journal Vol.54 No.4 Jan.2009Daisuke Takeuchi, Kensuke Marutani “Development of Pedestrian Recognition Technology in Safe Driving Support System” Panasonic Technical Journal Vol.54 No.4 Jan.2009

特開2000−222576号公報(段落0030)JP 2000-222576 A (paragraph 0030)

しかしながら、顔画像に基づいて人物の数を計測する技術は、人の姿や輪郭形状の数を計測する場合よりも高精度である一方、映像中に少なくとも人物の顔が映っている必要がある。このため、この技術を用いて歩行者の通過人数を測定する技術は、例えば、カメラに背を向けて遠ざかって行く方向の通過人数を計測することはできない。したがって、歩行者が双方向に通過する通過人数を計測しようとすると、人の姿や輪郭形状に基づいて歩行者の人数を計測する技術と共に、計測システムを2式用意する必要がある。
しかしながら、顔画像の数を計測する技術と、人の姿や輪郭形状(人物全体)の数に基づいて歩行者の通過人数を計測する技術との双方を用いても、遠ざかる人の数の測定精度を向上させることはできない。
However, while the technique for measuring the number of persons based on face images is more accurate than when measuring the number of human figures and contours, it is necessary that at least a person's face be reflected in the video. . For this reason, the technique of measuring the number of passing pedestrians using this technique cannot measure the number of passing persons in the direction of turning away from the camera, for example. Therefore, if the number of passing pedestrians is to be measured in both directions, it is necessary to prepare two measurement systems together with a technique for measuring the number of pedestrians based on the figure and contour shape of the person.
However, using both the technology to measure the number of facial images and the technology to measure the number of pedestrians passing based on the number of human figures and contours (whole person), the number of people moving away can be measured. Accuracy cannot be improved.

本発明はこのような問題を解決するためになされたものであり、人物全体の数に基づいて通過人数を測定する測定精度を向上することを目的とする。   The present invention has been made to solve such a problem, and an object of the present invention is to improve the measurement accuracy for measuring the number of passing people based on the total number of people.

以上の課題を解決するため、本発明の第1手段は、撮像された人物の顔の位置を示す顔位置情報と、前記撮像された人物の全体の位置を示す人物位置情報との対を複数受信し、前記人物の数を集計する人数集計サーバ(103)であって、前記人物位置情報の軌跡を取捨選択するフィルタ部(232)と、前記フィルタ部で選択された選択人物位置情報の軌跡(人物軌跡)の数を集計する集計部(233)とを備え、前記フィルタ部は、前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部(232b)と、前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部(232a)とを備えることを特徴とする。但し、( )内の符号は例示である。   In order to solve the above problems, the first means of the present invention provides a plurality of pairs of face position information indicating the position of the face of the imaged person and person position information indicating the overall position of the imaged person. A person counting server (103) that receives and counts the number of persons, a filter unit (232) for selecting a path of the person position information, and a path of the selected person position information selected by the filter unit; A totaling unit (233) that counts the number of (person trajectories), and the filter unit is an approaching person selecting unit (selecting an approaching person trajectory approaching the person in the trajectory of the person position information) 232b) and a parameter adjustment unit (232a) that automatically adjusts the filtering parameters so that the number of approaching person trajectories is approximately equal to the number of trajectories of the face position information. However, the symbols in parentheses are examples.

本発明の第2手段は、撮像された人物の顔の移動軌跡を示す顔位置軌跡情報と、前記撮像された人物の全体の移動軌跡を示す人物軌跡情報とを逐次演算する軌跡情報演算部を備える映像処理装置(例えば、処理装置102)と通信可能に接続され、前記人物の数を集計する人数集計サーバであって、前記顔位置軌跡情報と前記人物軌跡情報とが逐次演算された複数の連続情報を受信する受信部と、前記受信した複数の人物軌跡情報の中からフィルタリングパラメータを用いて取捨選択するフィルタ部と、前記フィルタ部で選択された選択人物軌跡情報の数を集計する集計部とを備え、前記フィルタ部は、前記人物軌跡情報の中で前記人物が接近してくる接近人物軌跡を表す接近人物軌跡情報を選択する接近人物選択部と、前記接近人物軌跡情報の数が前記顔位置軌跡情報の数に略等しくなるように、前記フィルタリングパラメータを自動調節するパラメータ調節部とを備えることを特徴とする。   The second means of the present invention includes a trajectory information calculation unit that sequentially calculates face position trajectory information indicating the movement trajectory of the face of the imaged person and person trajectory information indicating the entire movement trajectory of the imaged person. A person count server that is communicably connected to a video processing device (for example, the processing device 102) and that counts the number of persons, and a plurality of face position trajectory information and person trajectory information that are sequentially calculated; A receiving unit that receives continuous information, a filter unit that uses a filtering parameter to select among the plurality of received human trajectory information, and a totaling unit that counts the number of selected human trajectory information selected by the filter unit The filter unit includes an approaching person trajectory information that selects approaching person trajectory information representing an approaching person trajectory approaching the person in the person trajectory information, and the approaching person trajectory information. As the number of substantially equal to the number of the face position locus information, characterized by comprising a parameter adjusting unit for automatically adjusting the filtering parameters.

本発明のさらに第3手段は、撮像装置と接続され、該撮像装置により撮像された人物の顔の位置を示す顔位置情報と前記撮像された人物全体の位置を示す人物位置情報とを逐次演算する処理部と、前記人物追跡位置情報の軌跡を取捨選択するフィルタ部と、前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、前記人物の数を集計する通行人数集計装置であって、前記フィルタ部は、前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部とを備えることを特徴とする。   According to a third aspect of the present invention, the position information indicating the position of the face of the person captured by the image capturing apparatus and the position information indicating the position of the entire captured person are sequentially calculated. A processing unit that performs selection, a filter unit that selectively selects a trajectory of the person tracking position information, and a totaling unit that counts the number of trajectories of the selected person position information selected by the filter unit, and counts the number of persons The filtering unit includes an approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information, and the number of approaching person trajectories is the number of approaching person trajectories. And a parameter adjusting unit that automatically adjusts the filtering parameter so as to be approximately equal to the number of trajectories of the face position information.

ここで、前記フィルタリングパラメータは、前記接近人物軌跡の追跡時間長であり、前記フィルタ部は、前記追跡時間長が閾値以上である前記接近人物軌跡を選択することを特徴とする。   Here, the filtering parameter is a tracking time length of the approaching person locus, and the filter unit selects the approaching person locus whose tracking time length is equal to or greater than a threshold.

また、前記フィルタリングパラメータは、前記人物の移動方向を含み、前記フィルタ部は、前記追跡時間長による前記接近人物軌跡の選択を行う前に、特定方向に移動する前記人物軌跡情報を除外することを特徴とする。   Further, the filtering parameter includes a moving direction of the person, and the filter unit excludes the person trajectory information moving in a specific direction before performing the selection of the approaching person trajectory according to the tracking time length. Features.

さらに、前記追跡時間長の閾値の初期値は、前記人物の数が通常時よりも多いときに通常時の初期値よりも短い値に設定することを特徴とする。   Further, the initial value of the threshold value of the tracking time length is set to a value shorter than the initial value at the normal time when the number of persons is larger than the normal time.

本発明によれば、人物全体の数に基づいて通過人数を測定する測定精度を向上することができる。   ADVANTAGE OF THE INVENTION According to this invention, the measurement precision which measures the number of passing persons based on the number of the whole person can be improved.

本発明の第1の実施形態の通行人数集計システムの構成図である。1 is a configuration diagram of a traffic number counting system according to a first embodiment of the present invention. 第1の実施形態の撮像装置が撮像する撮像画像の一例を示す図である。It is a figure which shows an example of the captured image which the imaging device of 1st Embodiment images. 第1の実施形態の処理装置のハードウェア構成図である。It is a hardware block diagram of the processing apparatus of 1st Embodiment. 第1の実施形態の集計サーバのハードウェア構成図である。It is a hardware block diagram of the totaling server of 1st Embodiment. 第1の実施形態の処理装置の機能ブロック図である。It is a functional block diagram of the processing apparatus of 1st Embodiment. 第1の実施形態の集計サーバの主要機能ブロック図である。It is a main functional block diagram of the totaling server of 1st Embodiment. 第1の実施形態の処理装置の動作内容を示すフローチャートである。It is a flowchart which shows the operation | movement content of the processing apparatus of 1st Embodiment. 本実施形態の集計サーバの動作内容を示すフローチャートである。It is a flowchart which shows the operation | movement content of the total server of this embodiment. 本発明の第2の実施形態の集計サーバの動作内容を示すフローチャートである。It is a flowchart which shows the operation | movement content of the total server of the 2nd Embodiment of this invention.

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明について概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
Hereinafter, an embodiment of the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings. Each figure is only schematically showing the present invention. Therefore, the present invention is not limited to the illustrated example. Moreover, in each figure, the same code | symbol is attached | subjected about the common component and the same component, and those overlapping description is abbreviate | omitted.

(第1の実施形態)
図1は、本発明の第1の実施形態の通行人数集計システムの構成図である。
図1において、通行人数集計システム100は、撮像装置(カメラ)101と、処理装置102と、人数集計サーバとしての集計サーバ103とを備え、集計サーバ103はデータ記憶装置104を備えている。ここで、処理装置102と集計サーバ103とは、ネットワーク(LAN(Local Area Network)やWAN(Wide Area Network))を介して通信可能に接続されている。
ここで、本実施形態は、処理装置102と集計サーバ103とをネットワークで接続したが、処理装置と集計サーバの機能を一体化して、「通行人数集計装置」として構成することもできる。
(First embodiment)
FIG. 1 is a configuration diagram of a traffic number counting system according to the first embodiment of this invention.
In FIG. 1, the passing number counting system 100 includes an imaging device (camera) 101, a processing device 102, and a counting server 103 as a number counting server, and the counting server 103 includes a data storage device 104. Here, the processing device 102 and the aggregation server 103 are communicably connected via a network (LAN (Local Area Network) or WAN (Wide Area Network)).
Here, in the present embodiment, the processing apparatus 102 and the aggregation server 103 are connected via a network, but the functions of the processing apparatus and the aggregation server can be integrated to constitute a “passenger count apparatus”.

撮像装置101は、人物像を逐次撮像し、映像信号を出力するカメラであり、例えば、パソコンにUSBインタフェースで接続できる市販の小型カメラをそのまま用いることができる。
処理装置102は、撮像装置101が撮像した撮像画像を処理し、顔位置、及び人物位置や性別等の属性を逐次検出し、位置情報や移動方向を出力する。集計サーバ103は、処理装置102が検出した位置情報に基づいて、人物の通過人数を集計する。
The imaging device 101 is a camera that sequentially captures a human image and outputs a video signal. For example, a commercially available small camera that can be connected to a personal computer with a USB interface can be used as it is.
The processing device 102 processes the captured image captured by the imaging device 101, sequentially detects attributes such as a face position, a person position, and sex, and outputs position information and a moving direction. The counting server 103 counts the number of passing people based on the position information detected by the processing device 102.

図2は、本実施形態の撮像装置101が撮像する撮像画像の一例を示す図である。
図2は、扉203の手前を撮像装置101の方向(手前)に向かってくる人物A201と、撮像装置101から遠ざかって行く人物B202との撮像画像を示している。
FIG. 2 is a diagram illustrating an example of a captured image captured by the imaging apparatus 101 according to the present embodiment.
FIG. 2 shows a captured image of a person A 201 that faces the door 203 toward the imaging apparatus 101 (front) and a person B 202 that moves away from the imaging apparatus 101.

図3は、本実施形態の処理装置102のハードウェア構成図である。
処理装置102は、データの入出力を行う入出力部121と、固定データなどを記憶するROM(Read Only Memory:読取専用メモリ)122と、制御や演算処理を行うCPU(Central Processor Unit)123と、処理データなどを一時記憶する書き換え可能メモリRAM(Random Access Memory)124と、撮像装置101から撮像信号を受信し、集計サーバ103にネットワークを介してデータ(位置情報)を送信する通信部(通信インタフェース)125と、ハードディスクドライブ装置などの外部記憶部126とを備えて構成され、互いにバスラインを介して接続されている。
FIG. 3 is a hardware configuration diagram of the processing apparatus 102 according to the present embodiment.
The processing device 102 includes an input / output unit 121 that inputs and outputs data, a ROM (Read Only Memory) 122 that stores fixed data and the like, and a CPU (Central Processor Unit) 123 that performs control and arithmetic processing. A rewritable memory RAM (Random Access Memory) 124 that temporarily stores processing data and the like, and a communication unit (communication) that receives an imaging signal from the imaging device 101 and transmits data (position information) to the aggregation server 103 via the network Interface) 125 and an external storage unit 126 such as a hard disk drive device, which are connected to each other via a bus line.

図4は、本実施形態の集計サーバ103のハードウェア構成図である。集計サーバ103は、例えば、PCにより構成され、入出力部131と、ROM132と、CPU133と、RAM134と、通信部135と、外部記憶部136と、記録媒体駆動部137とがバスラインで接続され、データ記憶装置104が記録媒体駆動部137と接続されている。
入出力部131は、モニタやキーボード等の入出力機器が接続される。ROM132は、電源投入時に起動するイニシャルブートプログラムが格納されている。
FIG. 4 is a hardware configuration diagram of the aggregation server 103 according to the present embodiment. The aggregation server 103 is constituted by, for example, a PC, and an input / output unit 131, a ROM 132, a CPU 133, a RAM 134, a communication unit 135, an external storage unit 136, and a recording medium driving unit 137 are connected by a bus line. The data storage device 104 is connected to the recording medium driving unit 137.
The input / output unit 131 is connected to input / output devices such as a monitor and a keyboard. The ROM 132 stores an initial boot program that is activated when the power is turned on.

RAM134は、ワーキングメモリとして使用される。通信部135は、処理装置102からネットワークを介して、人物位置情報と顔位置情報とを含む情報を入力する通信インタフェースである。外部記憶部136は、例えば、ハードディスクドライブ装置である。記録媒体駆動部137は、データ格納用のデータ記憶装置104を駆動するインタフェースである。   The RAM 134 is used as a working memory. The communication unit 135 is a communication interface that inputs information including person position information and face position information from the processing apparatus 102 via a network. The external storage unit 136 is, for example, a hard disk drive device. The recording medium drive unit 137 is an interface that drives the data storage device 104 for data storage.

図5は、本実施形態の処理装置102の機能ブロック図である。
図5に示すように、処理装置102(図3)の制御部としてのCPU123は、ROM122に格納されているプログラムが実行されることにより、映像受信部221、人物位置検出部222a、人物位置比較部223a、人物連続性判定部224a、人物位置データファイル作成部225a、人物位置データ記憶機能226a、顔位置検出部222b、顔位置比較部223b、顔連続性判定部224b、顔位置データファイル作成部225b、顔位置データ記憶機能226b、及び出力部227として機能する。
FIG. 5 is a functional block diagram of the processing apparatus 102 according to the present embodiment.
As shown in FIG. 5, the CPU 123 as the control unit of the processing apparatus 102 (FIG. 3) executes a program stored in the ROM 122, thereby causing the video reception unit 221, the person position detection unit 222 a, and the person position comparison. Section 223a, person continuity determination section 224a, person position data file creation section 225a, person position data storage function 226a, face position detection section 222b, face position comparison section 223b, face continuity determination section 224b, face position data file creation section 225b, a face position data storage function 226b, and an output unit 227.

映像受信部221は、撮像装置101(図1)から撮像信号(映像信号)を受信する。人物位置検出部222aは、映像受信部221の出力信号を用いて、人物の位置を検出する。人物の検出は、例えば、画像のエッジ情報から歩行者の輪郭形状を用いればよい。人物位置データ記憶機能226aは、人物位置検出部222aが検出した人物位置データを外部記憶部126(図3)にファイルとして記憶する。人物位置比較部223aは、新たに検出された人物がファイルとして記憶されている人物の位置とほぼ同じか否か判定する。人物連続性判定部224aは、人物位置比較部223aがほぼ同じ位置にいる人物であると判定した場合は、追跡継続中であると判定する。一方、人物連続性判定部224aは、ほぼ同じ位置にいなかった人物であって、新たに検出された人物である場合には、新規登場人物であると判定する。人物位置データファイル作成部225aは、追跡継続中の人物の現在位置を追跡位置としてファイルに格納し、新規登場人物の時刻、位置をファイルに格納する。   The video receiver 221 receives an imaging signal (video signal) from the imaging device 101 (FIG. 1). The person position detection unit 222a detects the position of the person using the output signal of the video reception unit 221. The person may be detected by using, for example, the outline shape of the pedestrian from the edge information of the image. The person position data storage function 226a stores the person position data detected by the person position detection unit 222a as a file in the external storage unit 126 (FIG. 3). The person position comparison unit 223a determines whether or not the newly detected person is substantially the same as the position of the person stored as a file. The person continuity determination unit 224a determines that the tracking is being continued when the person position comparison unit 223a determines that the person is located at substantially the same position. On the other hand, if the person continuity determination unit 224a is a person who has not been in the same position and is a newly detected person, the person continuity determination unit 224a determines that the person is a new character. The person position data file creation unit 225a stores the current position of the person who is being tracked as a tracking position in the file, and stores the time and position of the new character in the file.

顔位置検出部222b、顔位置比較部223b、顔連続性判定部224b、顔位置データファイル作成部225b、及び顔位置データ記憶機能226bの各機能は、人物位置検出の機能と同様であるので説明を省略する。出力部227は、撮像装置101が撮像した人物の位置を示す人物位置情報、及び顔の位置を示す顔位置情報を出力する。   The functions of the face position detection unit 222b, the face position comparison unit 223b, the face continuity determination unit 224b, the face position data file creation unit 225b, and the face position data storage function 226b are the same as those of the person position detection function. Is omitted. The output unit 227 outputs person position information indicating the position of the person imaged by the imaging apparatus 101 and face position information indicating the position of the face.

図6は、本実施形態の集計サーバ103の主要機能ブロック図である。
図6に示すように、人数集計サーバとしての集計サーバ103は、入力部231と、フィルタ部232と、集計部233とを備えて構成され、フィルタ部232は、パラメータ調節部232aと、接近人物選択部232bとを含んで構成される。なお、( )内の符号については、第2の実施形態において説明する。
FIG. 6 is a main functional block diagram of the aggregation server 103 of the present embodiment.
As shown in FIG. 6, the totaling server 103 as the number totaling server is configured to include an input unit 231, a filter unit 232, and a totaling unit 233, and the filter unit 232 includes a parameter adjustment unit 232 a and an approaching person. And a selector 232b. In addition, the code | symbol in () is demonstrated in 2nd Embodiment.

入力部231は、処理装置102から通信部135を介して、顔、及び人物の位置や軌跡(追跡結果)をファイルとして入力する。フィルタ部232は、人物位置情報を入力し、フィルタリングパラメータ(例えば、追跡時間長の閾値)を自動調節すると共に、近づいてきた人物データについて、自動調節された閾値を用いてフィルタリングを行う。すなわち、接近人物選択部232bは、接近してきた人物データを選択し、パラメータ調節部232aは、接近してきた人物データの数と顔データの数とが近似するように追跡時間長の閾値を自動調節する。   The input unit 231 inputs the position of the face and the person and the trajectory (tracking result) from the processing device 102 via the communication unit 135 as a file. The filter unit 232 inputs the person position information, automatically adjusts a filtering parameter (for example, a tracking time length threshold), and filters the approaching person data using the automatically adjusted threshold. That is, the approaching person selection unit 232b selects approaching person data, and the parameter adjustment unit 232a automatically adjusts the threshold of the tracking time length so that the number of approaching person data and the number of face data approximate. To do.

集計部233は、フィルタ部232からフィルタリングにより接近してきた人物位置情報を入力し、入力部231からフィルタリングされていない顔位置情報を入力する。そして、集計部233は、接近してきた人物位置情報の数と顔位置情報の数とを集計し、集計した集計データをパラメータ調節部232aに帰還させる。これにより、パラメータ調節部232aは、接近してきた人物データの数と顔データの数とが近似するように追跡時間長の閾値を自動調節することができる。   The totaling unit 233 inputs the person position information that has approached by filtering from the filter unit 232, and inputs the unfiltered face position information from the input unit 231. Then, the totaling unit 233 totals the number of approaching person position information and the number of face position information, and feeds back the totaled data to the parameter adjustment unit 232a. Thereby, the parameter adjusting unit 232a can automatically adjust the tracking time length threshold so that the number of person data approaching and the number of face data approximate.

図7は、本実施形態の処理装置102の動作内容を示すフローチャートである。
以下、図5の機能ブロック図と図7のフローチャートとに沿って処理装置102の動作を説明する。
FIG. 7 is a flowchart showing the operation content of the processing apparatus 102 of the present embodiment.
Hereinafter, the operation of the processing apparatus 102 will be described with reference to the functional block diagram of FIG. 5 and the flowchart of FIG.

処理装置102は、ステップS301において、映像受信部221が撮像装置101から映像(画像)を受信しているか否か判断する。新しい画像を逐次受信している間(S301でYes)、ステップS302以降の処理を実行する。一方、映像受信がなければ、このルーチンを停止する(S301でNo)。   In step S <b> 301, the processing apparatus 102 determines whether the video reception unit 221 has received a video (image) from the imaging apparatus 101. While new images are being received sequentially (Yes in S301), the processing from step S302 is executed. On the other hand, if there is no video reception, this routine is stopped (No in S301).

次に、顔位置検出部222bは、ステップS302において顔を検出して、その位置と属性とを判定する。顔の検出は、例えば、顔の輪郭の内部に目、鼻や口があるか否かで検出することができる。
次に、顔位置比較部223bは、ステップS303において、検出された顔がすでに検出されていた顔と同じか否か判定する。例えば、顔位置比較部223bは、顔位置データ記憶機能226bによって記憶されている直前に受け取った映像中のほぼ同じ位置にすでに顔が検出されていたか否かによって判定する。
Next, the face position detection unit 222b detects a face in step S302 and determines its position and attribute. The face can be detected based on, for example, whether there are eyes, nose or mouth inside the face outline.
Next, in step S303, the face position comparison unit 223b determines whether or not the detected face is the same as the face that has already been detected. For example, the face position comparison unit 223b determines whether or not a face has already been detected at substantially the same position in the video received immediately before being stored by the face position data storage function 226b.

顔連続性判定部224bは、顔位置比較部223bにより、同じ位置にすでに検出されている顔であると判定された場合に、その顔は追跡継続中であると判断して、現在の位置を追跡中の位置として、ステップS304で顔位置データファイル作成部225bを介して外部記憶部126のファイルに記録させ、属性判定結果がもし変わっている場合には必要に応じてファイルの属性を更新する。
顔位置比較部223bによって先に同じ位置になかった顔で新たに検出された顔であるとあると判定された場合は、顔連続性判定部224bは、ステップS304で、その追跡開始時刻、及び追跡開始位置を、顔位置データファイル作成部225bを介してファイルに記憶させる。
When the face position comparing unit 223b determines that the face is already detected at the same position, the face continuity determining unit 224b determines that the face is being tracked and determines the current position. In step S304, the tracking position is recorded in the file in the external storage unit 126 via the face position data file creation unit 225b. If the attribute determination result has changed, the attribute of the file is updated as necessary. .
When it is determined by the face position comparison unit 223b that the face has not been previously located at the same position as a newly detected face, the face continuity determination unit 224b, in step S304, The tracking start position is stored in a file via the face position data file creation unit 225b.

一方、追跡が継続されなかった顔については、顔連続性判定部224bは、ステップS304で追跡開始時刻と追跡開始位置、最後に位置を記憶した追跡終了時刻、及び追跡終了位置を、顔位置データファイル作成部225bを介してファイルに記憶させる。   On the other hand, for the face that has not been tracked, the face continuity determination unit 224b determines the tracking start time and tracking start position in step S304, the tracking end time at which the position was last stored, and the tracking end position as face position data. It is stored in a file via the file creation unit 225b.

次に、ステップS305において、人物位置検出部222aは、人物の位置を検出する。
さらに、ステップS306において、人物位置比較部223aは、検出された人物がすでに検出されていた人物と同じか否か判定する。具体的には、人物位置比較部223aは、人物位置データ記憶機能226aを介してファイルに記憶させている直前に受け取った映像中のほぼ同じ位置にすでに人物が検出されていたか否かによって判定する。
Next, in step S305, the person position detector 222a detects the position of the person.
Further, in step S306, the person position comparison unit 223a determines whether or not the detected person is the same as the already detected person. Specifically, the person position comparison unit 223a determines whether a person has already been detected at substantially the same position in the video received immediately before being stored in the file via the person position data storage function 226a. .

人物位置比較部223aが同じ位置にすでに検出されている人物であると判定した場合では、人物連続性判定部224aは、その人物は追跡継続中であると判定して、ステップS307において、現在位置を、追跡位置として人物位置データファイル作成部225aを介してファイルに記憶する。
一方、人物位置比較部223aが先に同じ位置にいなかった人物であって新たに検出された人物(新規登場人物)であると判定された場合では、ステップS307において、人物連続性判定部224aは、その時刻、位置を追跡開始時刻、追跡開始位置として人物位置データファイル作成部225aを介してファイルに記憶する。
When the person position comparing unit 223a determines that the person has already been detected at the same position, the person continuity determining unit 224a determines that the person is continuing to be tracked, and the current position is determined in step S307. Is stored as a tracking position in a file via the person position data file creation unit 225a.
On the other hand, if it is determined that the person position comparison unit 223a is a person who was not previously in the same position and is a newly detected person (new character), in step S307, the person continuity determination unit 224a. Stores the time and position as a tracking start time and a tracking start position in a file via the person position data file creation unit 225a.

次に、人物連続性判定部224aは、追跡が継続されなかったと判定された人物については、ステップS307において、追跡開始時刻と追跡開始位置、及び最後に位置を記憶した時刻を追跡終了時刻とし、その位置を追跡終了位置として、人物位置データファイル作成部225aを介してファイルに記憶する。   Next, in step S307, the person continuity determination unit 224a sets the tracking start time, the tracking start position, and the time at which the position was last stored as the tracking end time for the person who is determined not to continue tracking. The position is stored as a tracking end position in a file via the person position data file creation unit 225a.

また、ステップS302で検出された顔のうちで、その位置がステップS305で検出された人物の位置に含まれていないものがあった場合には、人物位置比較部223aは、その未検出人物の位置を推定して、ステップS305での検出結果に追加した上でステップS306での処理を実行することもできる。   If there is a face detected in step S302 whose position is not included in the position of the person detected in step S305, the person position comparison unit 223a determines the position of the undetected person. It is also possible to execute the processing in step S306 after estimating the position and adding the result to the detection result in step S305.

次に、出力部227は、ステップS308で集計サーバ103に顔位置データファイル作成部225bと人物位置データファイル作成部225aで作成された追跡結果が記録されたデータファイルを、集計サーバ103に送信する。
その後、フローはスタート位置に戻り、次の映像信号(画像)を逐次受信する。
Next, the output unit 227 transmits the data file in which the tracking result created by the face position data file creation unit 225b and the person position data file creation unit 225a is recorded to the aggregation server 103 to the aggregation server 103 in step S308. .
Thereafter, the flow returns to the start position, and the next video signal (image) is sequentially received.

図8は、本実施形態の集計サーバ103の動作内容を示すフローチャートである。
以下、このフローチャートと図6の機能ブロック図に沿って集計サーバ103の動作を説明する。
FIG. 8 is a flowchart showing the operation content of the aggregation server 103 of this embodiment.
The operation of the aggregation server 103 will be described below with reference to this flowchart and the functional block diagram of FIG.

まず、ステップS401において、入力部231は、新しいファイルが処理装置102から通信部135を介して送信されてきたか否かを確認する。
新しいファイルが届いている場合(Yes)には、処理はステップS402に進み、入力部231は、そのファイルに記録されているデータ、すなわち、検出・追跡された各顔、及び各人物の追跡開始時刻、追跡終了時刻、追跡開始時の位置、及び追跡終了時の位置を集計サーバ103内のデータ記憶装置104(図4,6)に格納する。
First, in step S <b> 401, the input unit 231 confirms whether a new file has been transmitted from the processing apparatus 102 via the communication unit 135.
If a new file has arrived (Yes), the process proceeds to step S402, and the input unit 231 starts tracking data recorded in the file, that is, each detected and tracked face and each person. The time, the tracking end time, the tracking start position, and the tracking end position are stored in the data storage device 104 (FIGS. 4 and 6) in the aggregation server 103.

つまり、入力部231は、追跡開始時刻、追跡終了時刻、追跡開始時の位置、及び追跡終了時の位置について、顔及び人物の対の情報で逐次受信し、この情報の対をデータ記憶装置104に逐次格納することになる。すなわち、データ記憶装置104は、結果的に、顔及び人物の位置の軌跡を格納していることになる。また、処理装置102は、追跡開始時刻、追跡終了時刻、追跡開始時の位置、及び追跡終了時の位置について集計サーバ103に送信していたが、顔、及び人物の位置、及び時刻の情報を逐次集計サーバ103に送信することもできる。これによっても、データ記憶装置104は、顔、及び人物の位置の軌跡を格納していることになる。   That is, the input unit 231 sequentially receives the tracking start time, the tracking end time, the position at the start of tracking, and the position at the end of tracking as face / person pair information, and the information storage device 104 receives the information pair. Will be stored sequentially. That is, as a result, the data storage device 104 stores the locus of the position of the face and the person. Further, the processing device 102 has transmitted the tracking start time, the tracking end time, the position at the start of tracking, and the position at the end of tracking to the aggregation server 103. It can also be transmitted to the sequential counting server 103. Also by this, the data storage device 104 stores the locus of the face and the position of the person.

次に、ステップS401で新しいファイルが届いており(Yes)、S402で追跡データを格納した場合も、届いていなかった場合(No)も、入力部231は、ステップS403において、データ記憶装置104から利用者が指定した時間帯に追跡を開始した顔、及び各人物の追跡結果データを読み出す。
これ以降の説明では、データ記憶装置104から読み出された顔のデータ数をFとし、人物のデータ数をHとする。
Next, whether the new file has arrived in step S401 (Yes) and the tracking data is stored in S402 or has not arrived (No), the input unit 231 receives the data from the data storage device 104 in step S403. The face that started tracking in the time zone specified by the user and the tracking result data of each person are read out.
In the following description, the number of face data read from the data storage device 104 is F, and the number of person data is H.

次に、ステップS404において、フィルタ部232の接近人物選択部232bは、読み出された人物それぞれのデータについて、その通行方向を調べる。具体的に、接近人物選択部232bは、各人物のデータについて追跡開始位置と追跡終了位置の関係を調べることによって通行方向を調べる。以下の説明では、この通行方向判定の結果、追跡開始位置が追跡終了位置よりも後方であり、撮像装置101に近づいてきたと判定される人物のデータ数をHnで表し、逆に、遠ざかったと判定される人物の数をHfで表す。   Next, in step S <b> 404, the approaching person selection unit 232 b of the filter unit 232 checks the passing direction of each read data of the person. Specifically, the approaching person selection unit 232b examines the direction of travel by examining the relationship between the tracking start position and the tracking end position for each person's data. In the following description, as a result of the determination of the direction of travel, the tracking start position is behind the tracking end position and the number of data of the person determined to have approached the imaging apparatus 101 is represented by Hn. The number of persons to be played is represented by Hf.

次に、ステップS405において、接近人物選択部232bは、フィルタリングパラメータを自動調節し、ステップS406で近づいてきたと判定されるHn個の各人物データについて、フィルタリングを行う。
このフィルタリングは、追跡開始位置と追跡終了位置が画面上で適切な位置にあるか否かや、追跡開始から追跡終了までの時間が適切な時間長であるかどうかを判断することに用いることができる。パラメータ調節部232aは、フィルタリングの結果、絞り込まれた人物のデータ数Hnaが、顔のデータ数Fに比較的近くなるようにフィルタリングパラメータ(例えば、追跡時間長の閾値)を調節する。
Next, in step S405, the approaching person selection unit 232b automatically adjusts the filtering parameter, and performs filtering on each of the Hn pieces of person data determined to have approached in step S406.
This filtering can be used to determine whether the tracking start position and the tracking end position are at appropriate positions on the screen, and whether the time from the tracking start to the tracking end is an appropriate time length. it can. The parameter adjustment unit 232a adjusts the filtering parameter (for example, the threshold of the tracking time length) so that the number of data Hna of the narrowed down person is relatively close to the number of face data F as a result of filtering.

例えば、追跡開始時刻から追跡終了時刻までの時間が適切な時間長であるか否かの判断は、追跡時間長がパラメータ調節部232aにより自動調節された閾値よりも長いか否かによって判断する。このフィルタリングにより、他人により一時的に隠れている場合のように追跡時間が短くなり、その後再検出されたような場合(ダブルカウント)が除外される。   For example, whether or not the time from the tracking start time to the tracking end time is an appropriate time length is determined by whether or not the tracking time length is longer than a threshold automatically adjusted by the parameter adjustment unit 232a. By this filtering, the tracking time is shortened as in the case where it is temporarily hidden by others, and the case where it is detected again (double count) is excluded.

この閾値の決定は、Hn個の人物データのうち、追跡時間長が閾値T以上である人物データの数をHn(T)とすると、図7のステップS305の処理において、閾値Tを初期値T0から大きくしていくことによってHn(T)の値が下がる。また、仮の未検出人物を追加しておくことで、Hn(T0)は必ず顔のデータ数Fよりも大きな値になる。したがって、パラメータ調節部232aは、人物データの数Hn(T)が顔のデータ数Fに近くなる閾値Tを定めることができる。このような、人物データの数Hn(T)と顔のデータ数Fとの比較は集計部233で実行され、その比較情報はフィルタ部232のパラメータ調節部232aに帰還され、閾値Tの調整に用いられる。   The threshold value is determined by setting the threshold value T to the initial value T0 in the process of step S305 in FIG. 7 when the number of personal data items whose tracking time length is equal to or greater than the threshold value T is Hn (T). The value of Hn (T) is lowered by increasing the value from. Further, by adding a temporary undetected person, Hn (T0) is always larger than the number F of face data. Therefore, the parameter adjustment unit 232a can determine the threshold value T at which the number Hn (T) of person data is close to the number F of face data. The comparison between the number Hn (T) of person data and the number F of face data is executed by the totaling unit 233, and the comparison information is fed back to the parameter adjusting unit 232a of the filter unit 232 for adjusting the threshold T. Used.

閾値Tの値は、自動調整するだけではなく、予めサンプル映像から調整して、固定値として設定しておくこともできる。また、閾値Tは、1つの値だけに決める必要はなく、例えば、顔検出数の異なる複数のサンプル映像から閾値Tの値を複数求めておき、顔のデータ数Fの大小によって適用する閾値Tの値を選択して用いることも可能である。   The value of the threshold value T is not only automatically adjusted, but can also be adjusted in advance from a sample video and set as a fixed value. Further, the threshold value T need not be determined as a single value. For example, a plurality of threshold values T are obtained from a plurality of sample videos having different face detection numbers, and the threshold value T is applied depending on the size of the face data number F. It is also possible to select and use the value of.

なお、このようなフィルタリングはHf個の各人物データに対して適用することもできる。この場合、フィルタリングで絞り込まれた人物データの数をHfaとする。   Note that such filtering can also be applied to each of Hf person data. In this case, the number of person data narrowed down by filtering is set to Hfa.

次に、ステップS407において、集計部233は、Hna個、Hfa個の通行方向別人物データ、及びF個の顔データを出力する。これらのデータは、個数だけを出力することや、表として出力すること、あるいは必要に応じて、属性別にグラフ表示することもできる。   Next, in step S407, the totaling unit 233 outputs Hna, Hfa person data by direction of travel, and F face data. These data can be output only as a number, output as a table, or displayed as a graph for each attribute if necessary.

以下、フィルタ部232が行うフィルタリングについて、追跡時間長の閾値以外の他の例について説明する。まず、フィルタ部232は、追跡開始位置と追跡終了位置が画面上で適切な位置にあるか否か判断する機能を備えることができる。例えば、通過人数を測定すべき通路に、測定不要の通路やエスカレータが接続されている場合には、人物位置検出部222aや顔位置検出部222bは、位置検出の前に、予め測定不要の通路やエスカレータの領域をマスクする。   Hereinafter, the filtering performed by the filter unit 232 will be described with reference to another example other than the tracking time length threshold. First, the filter unit 232 may have a function of determining whether the tracking start position and the tracking end position are at appropriate positions on the screen. For example, when a passage and escalator that do not require measurement are connected to a passage where the number of passing people is to be measured, the person position detection unit 222a and the face position detection unit 222b may perform the passage that does not require measurement in advance before the position detection. Or mask the escalator area.

また、フィルタ部232は、扉203(図2)のドア手前を横切る人を排除するために、人物の移動方向(Δx/Δy)が所定値以上の位置情報を排除する機能を備えることができる。
また、通過人数が多い時間帯は、通常時の閾値(例えば、1秒)では、ほとんどの人が排除されてしまう。このため、通常時の閾値よりも小さな値の混雑時の閾値(通常時よりも短い追跡時間長)を設定する。このときは、閾値を固定値とすることもできるが、閾値自動調節の初期値T0を通常時の閾値よりも小さな値に変更することもできる。
Further, the filter unit 232 can have a function of eliminating position information in which the movement direction (Δx / Δy) of the person is equal to or greater than a predetermined value in order to exclude a person who crosses the door 203 (FIG. 2). .
Further, in a time zone where there are many passing people, most people are excluded at a normal threshold (for example, 1 second). For this reason, a threshold value at the time of congestion that is smaller than the threshold value at the normal time (tracking time length shorter than the normal time) is set. In this case, the threshold value can be set to a fixed value, but the initial value T0 of the automatic threshold adjustment can be changed to a value smaller than the normal threshold value.

以上説明したように、本発明の第1の実施形態によれば、1台の撮像装置(カメラ)の映像を用いて通過人数の計測、及び通過人物の属性判定を同時に行うことができ、さらに通過人数を通過方向別に示すことができる。さらに、近づいてくる人物の顔の数を用いて人物検出の最適化を行うことにより、顔を検出できない後ろ向きの人物や横方向の人物についても、顔の数の検出精度で正確に人物の数データを得ることができる。すなわち、何れの方向を向いている人物でも、顔の数の検出精度で正確に人物の数データを得ることができる。   As described above, according to the first embodiment of the present invention, it is possible to simultaneously measure the number of passing people and determine the attributes of passing people using the video of one imaging device (camera). The number of passing people can be shown by passing direction. Furthermore, by optimizing the person detection using the number of approaching human faces, it is possible to accurately detect the number of persons with a face detection accuracy even for backward-facing persons who cannot detect faces or horizontal persons. Data can be obtained. That is, even if the person is facing in any direction, the number data of the person can be obtained accurately with the accuracy of the number of faces.

なお、本実施形態によれば、追跡時間長の閾値は、結果的に1秒程度に自動調節される。本実施形態の集計サーバ103は、追跡時間長の閾値をより長くすれば、人物の検出精度が上がるが、今度は検出できなくなる事態が発生する。例えば、通常なら2〜3秒で通過する場所で、閾値を10秒に設定すれば、人物を検出することができなくなる。本実施形態の集計サーバ103は、人物の数が顔の数に近くなる値を追跡時間長の閾値とすることにより、このような検出不能な事態を排除しつつ、人物の検出精度を顔の検出精度まで向上させるギリギリの閾値(最適の閾値)まで自動調節している。   According to the present embodiment, the tracking time length threshold is automatically adjusted to about 1 second as a result. If the threshold value of the tracking time length is made longer, the tabulation server 103 of the present embodiment increases the human detection accuracy, but this time a situation where it cannot be detected occurs. For example, if a threshold is set to 10 seconds at a place where it normally passes in 2 to 3 seconds, a person cannot be detected. The tabulation server 103 according to the present embodiment uses the value that makes the number of persons close to the number of faces as a threshold for the tracking time length, thereby eliminating such an undetectable situation and improving the detection accuracy of the person. Automatic adjustment is made up to the last threshold (optimum threshold) that improves the detection accuracy.

(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
この第2の実施形態は、第1の実施形態の機能に加えて、集計サーバ内で行うフィルタリングの内容を事前に設定できるようにしたことを特徴とするものである。
第2の実施形態の通行人数集計システム100−1の全体構成は、第1の実施形態の全体構成に対して、集計サーバ103が集計サーバ103−1になっている点で相違する。すなわち、集計サーバ103−1のフィルタ部132−1は、パラメータ調節部232a−1と接近人物選択部132b−1とを備えている。なお、これらの集計サーバ103−1、フィルタ部132−1、パラメータ調節部232a−1、接近人物選択部132b−1については、図6の( )内に記載する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
The second embodiment is characterized in that, in addition to the functions of the first embodiment, the contents of filtering performed in the aggregation server can be set in advance.
The overall configuration of the passable person counting system 100-1 of the second embodiment is different from the overall configuration of the first embodiment in that the counting server 103 is the counting server 103-1. That is, the filter unit 132-1 of the aggregation server 103-1 includes a parameter adjustment unit 232a-1 and an approaching person selection unit 132b-1. The summary server 103-1, the filter unit 132-1, the parameter adjustment unit 232a-1, and the approaching person selection unit 132b-1 are described in parentheses in FIG.

ここで、第2の実施形態での集計サーバの動作について説明する。なお、処理装置102の動作は第1に実施形態のそれと同じである。   Here, the operation of the aggregation server in the second embodiment will be described. Note that the operation of the processing apparatus 102 is the same as that of the first embodiment.

図9は、本実施形態の集計サーバ103−1の動作内容を示すフローチャートである。
図9のフローチャートに沿って本実施形態の集計サーバ103−1の動作内容を説明する。
FIG. 9 is a flowchart showing the operation content of the aggregation server 103-1 of this embodiment.
The operation content of the aggregation server 103-1 of this embodiment will be described along the flowchart of FIG.

図9でのステップS501からS504までの処理は、第1の実施形態の図8のフローチャートでのステップS401からS404までの処理と同じである。
ステップS505において、フィルタ部232−1は、Hn個の各人物データについてフィルタリングを行う。
このとき、各人物データに対して適用する判断条件を事前に複数個設定しておき、これらの各条件に合致するかどうかを判断することによってフィルタリングを行う。
The processing from step S501 to S504 in FIG. 9 is the same as the processing from step S401 to S404 in the flowchart of FIG. 8 of the first embodiment.
In step S505, the filter unit 232-1 performs filtering on each of the Hn pieces of person data.
At this time, a plurality of determination conditions to be applied to each person data are set in advance, and filtering is performed by determining whether or not these conditions are met.

以下の説明では、Hn個の各人物データに対するフィルタリングにより、これらの条件J1,J2〜JNとそれぞれ合致した人物のデータ数を、Hna(k)(但し、k=1〜N)として表す。   In the following description, the number of data of persons who respectively match these conditions J1, J2 to JN by filtering on Hn pieces of person data is represented as Hna (k) (where k = 1 to N).

次に、ステップS506において、集計部233は、最適なフィルタリング結果を選定する。これは、例えば顔のデータ数F以上で最も少ない人物のデータ数となったフィルタリング結果を採用することによって行うことができる。
選定されたフィルタリング結果の人物データ数をHNaとする。また選定されたフィルタリングをHf個の各人物データについて適用することもできる。この場合、絞り込まれた人物データの数をHFaとする。
Next, in step S506, the counting unit 233 selects an optimum filtering result. This can be done, for example, by adopting the filtering result that has the smallest number of person data with the number of face data F or more.
The number of person data of the selected filtering result is HNa. Also, the selected filtering can be applied to each of Hf person data. In this case, the number of person data narrowed down is HFa.

次に、ステップS507において、集計部233は、HNa個、HFa個の通行方向別人物データ、及びF個の顔データを出力する。これらのデータは、個数だけを出力することや、表として出力すること、あるいは必要に応じて、属性別にグラフ表示することもできる。   Next, in step S507, the counting unit 233 outputs HNa pieces, HFa pieces of person data according to the direction of travel, and F pieces of face data. These data can be output only as a number, output as a table, or displayed as a graph for each attribute if necessary.

以上説明したように、本発明の第2の実施形態の通行人数集計システム100−1は、1台の撮像装置を用いて通過方向別の通過人数の計測を行う際、集計サーバ内で行うフィルタリングの内容を事前に設定することができる。   As described above, the passing number counting system 100-1 according to the second embodiment of the present invention performs filtering in the counting server when measuring the passing number for each passing direction using a single imaging device. Can be set in advance.

また、第1の実施形態、及び第2の実施形態では、通過方向を判定する方法として、各人物の追跡開始位置と追跡終了位置の関係から、撮像装置101に近づいてきたかどうかを判定していたが、撮像装置の設置位置や計測時点での人物の移動方向により、追跡開始位置が追跡終了位置よりも右であれば、右から左へ移動したと判定することもできる。   In the first embodiment and the second embodiment, as a method of determining the passing direction, it is determined whether or not the imaging apparatus 101 is approached from the relationship between the tracking start position and the tracking end position of each person. However, if the tracking start position is to the right of the tracking end position based on the installation position of the imaging device and the movement direction of the person at the time of measurement, it can also be determined that the movement has been made from right to left.

100 通行人数集計システム
101 撮像装置
102 処理装置(映像処理装置)
103 集計サーバ(人数集計サーバ)
104 データ記憶装置(記憶部)
121,131 入出力部
122,132 ROM
123,133 CPU(制御部)
124,134 RAM
125,135 通信部
126,136 外部記憶部
137 記録媒体駆動部
201 人物A
202 人物B
203 扉
221 映像受信部
222a 人物位置検出部
223a 人物位置比較部
224a 人物連続性判定部
225a 人物位置データファイル作成部
226a 人物位置データ記憶機能
222b 顔位置検出部
223b 顔位置比較部
224b 顔連続性判定部
225b 顔位置データファイル作成部
226b 顔位置データ記憶機能
227 出力部
231 入力部
232 フィルタ部
232a パラメータ調節部
232b 接近人物選択部
233 集計部
100 Passenger Counting System 101 Imaging Device 102 Processing Device (Video Processing Device)
103 Counting server (Number of people counting server)
104 Data storage device (storage unit)
121,131 Input / output unit 122,132 ROM
123, 133 CPU (control unit)
124,134 RAM
125, 135 Communication unit 126, 136 External storage unit 137 Recording medium drive unit 201 Person A
202 Person B
203 Door 221 Video reception unit 222a Human position detection unit 223a Human position comparison unit 224a Human continuity determination unit 225a Human position data file creation unit 226a Human position data storage function 222b Face position detection unit 223b Face position comparison unit 224b Face continuity determination Unit 225b face position data file creation unit 226b face position data storage function 227 output unit 231 input unit 232 filter unit 232a parameter adjustment unit 232b approaching person selection unit 233 tabulation unit

Claims (7)

撮像された人物の顔の位置を示す顔位置情報と、前記撮像された人物の全体の位置を示す人物位置情報との対を複数受信し、前記人物の数を集計する人数集計サーバであって、
前記人物位置情報の軌跡を取捨選択するフィルタ部と、
前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、
前記フィルタ部は、
前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、
前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする人数集計サーバ。
A number counting server that receives a plurality of pairs of face position information indicating the position of the face of a captured person and person position information indicating the position of the entire captured person and counts the number of persons. ,
A filter unit for selecting a trajectory of the person position information;
A totaling unit that counts the number of trajectories of the selected person position information selected by the filter unit;
The filter unit is
An approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information;
And a parameter adjusting unit that automatically adjusts a filtering parameter so that the number of approaching person trajectories is substantially equal to the number of trajectories of the face position information.
撮像された人物の顔の移動軌跡を示す顔位置軌跡情報と、前記撮像された人物の全体の移動軌跡を示す人物軌跡情報とを逐次演算する軌跡情報演算部を備える映像処理装置と通信可能に接続され、前記人物の数を集計する人数集計サーバであって、
前記顔位置軌跡情報と前記人物軌跡情報とが逐次演算された複数の連続情報を受信する受信部と、
前記受信した複数の人物軌跡情報の中からフィルタリングパラメータを用いて取捨選択するフィルタ部と、
前記フィルタ部で選択された選択人物軌跡情報の数を集計する集計部とを備え、
前記フィルタ部は、
前記人物軌跡情報の中で前記人物が接近してくる接近人物軌跡を表す接近人物軌跡情報を選択する接近人物選択部と、
前記接近人物軌跡情報の数が前記顔位置軌跡情報の数に略等しくなるように、前記フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする人数集計サーバ。
It is possible to communicate with a video processing apparatus including a trajectory information calculation unit that sequentially calculates face position trajectory information indicating the movement trajectory of the imaged person's face and person trajectory information indicating the entire movement trajectory of the imaged person. A number of people counting server connected to count the number of persons,
A receiving unit that receives a plurality of pieces of continuous information in which the face position locus information and the person locus information are sequentially calculated;
A filter unit for selecting using a filtering parameter from the received plurality of person trajectory information;
A totaling unit that counts the number of selected person trajectory information selected by the filter unit;
The filter unit is
An approaching person selecting unit that selects approaching person trajectory information representing an approaching person trajectory approaching the person in the person trajectory information;
And a parameter adjusting unit that automatically adjusts the filtering parameter so that the number of approaching person trajectory information is substantially equal to the number of face position trajectory information.
前記フィルタリングパラメータは、前記接近人物軌跡の追跡時間長であり、
前記フィルタ部は、前記追跡時間長が閾値以上である前記接近人物軌跡を選択することを特徴とする請求項1又は請求項2に記載の人数集計サーバ。
The filtering parameter is a tracking time length of the approaching person trajectory,
The number-of-persons aggregation server according to claim 1, wherein the filter unit selects the approaching person locus whose tracking time length is equal to or greater than a threshold value.
前記フィルタリングパラメータは、前記人物の移動方向、及び前記接近人物軌跡の追跡時間長であり
前記フィルタ部は、特定方向に移動する前記人物軌跡情報を除外してから、前記追跡時間長による前記接近人物軌跡の選択を行うことを特徴とする請求項2に記載の人数集計サーバ。
The filtering parameter is the moving direction of the person and the tracking time length of the approaching person trajectory ,
The filter unit, number aggregation server of claim 2, wherein after excluding the person locus information to move to a specific direction, to make a selection of the approaching person locus by the tracking time length.
前記追跡時間長の閾値の初期値は、前記人物の数が通常時よりも多いときに通常時の初期値よりも短い値に設定することを特徴とする請求項3又は請求項4に記載の人数集計サーバ。   The initial value of the threshold of the tracking time length is set to a value shorter than the initial value at the normal time when the number of the persons is larger than the normal value. Number counting server. 撮像装置と接続され、該撮像装置により撮像された人物の顔の位置を示す顔位置情報と前記撮像された人物全体の位置を示す人物位置情報とを逐次演算する処理部と、前記人物位置情報の軌跡を取捨選択するフィルタ部と、前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、前記人物の数を集計する通行人数集計装置であって、
前記フィルタ部は、
前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、
前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする通行人数集計装置。
Is connected to the imaging device, a processing unit for sequentially calculating a person position information indicating the position of the entire person is the imaging face position information indicating the position of the face of the person captured by the imaging device, the human object position A traffic number counting device for counting the number of persons, comprising: a filter unit for selecting a locus of position information; and a counting unit for counting the number of tracks of selected person position information selected by the filter unit. ,
The filter unit is
An approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information;
And a parameter adjusting unit that automatically adjusts a filtering parameter so that the number of approaching person tracks is substantially equal to the number of tracks of the face position information.
撮像装置と、該撮像装置により撮像された人物の顔の位置を示す顔位置情報と前記撮像された人物全体の位置を示す人物位置情報との対を逐次演算する映像処理装置と、該映像処理装置により演算された情報対を複数受信し、前記人物の数を集計する人数集計サーバとを備える通行人数集計システムであって、
前記人物位置情報の軌跡を取捨選択するフィルタ部と、
前記フィルタ部で選択された選択人物位置情報の軌跡の数を集計する集計部とを備え、
前記フィルタ部は、
前記人物位置情報の軌跡の中で前記人物が接近してくる接近人物軌跡を選択する接近人物選択部と、
前記接近人物軌跡の数が前記顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを自動調節するパラメータ調節部と
を備えることを特徴とする通行人数集計システム。
An imaging apparatus, a video processing apparatus that sequentially calculates a pair of face position information indicating the position of the face of a person imaged by the imaging apparatus and person position information indicating the position of the entire imaged person, and the video processing A number-of-passenger counting system that includes a plurality of information counting servers that receive a plurality of information pairs calculated by the device and count the number of the persons,
A filter unit to sift the trajectory of the human object position location information,
A totaling unit that counts the number of trajectories of the selected person position information selected by the filter unit;
The filter unit is
An approaching person selection unit that selects an approaching person trajectory that the person approaches in the trajectory of the person position information;
And a parameter adjusting unit that automatically adjusts a filtering parameter so that the number of approaching person tracks is substantially equal to the number of tracks of the face position information.
JP2012072877A 2012-03-28 2012-03-28 Number of people counting server, number of people counting device, and number of people counting system Active JP5862410B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012072877A JP5862410B2 (en) 2012-03-28 2012-03-28 Number of people counting server, number of people counting device, and number of people counting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012072877A JP5862410B2 (en) 2012-03-28 2012-03-28 Number of people counting server, number of people counting device, and number of people counting system

Publications (2)

Publication Number Publication Date
JP2013206018A JP2013206018A (en) 2013-10-07
JP5862410B2 true JP5862410B2 (en) 2016-02-16

Family

ID=49525051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012072877A Active JP5862410B2 (en) 2012-03-28 2012-03-28 Number of people counting server, number of people counting device, and number of people counting system

Country Status (1)

Country Link
JP (1) JP5862410B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097510A (en) * 2015-11-20 2017-06-01 ソニー株式会社 Image processing apparatus, image processing method, and program
KR101850376B1 (en) * 2016-01-11 2018-04-19 박일환 POS terminal monitoring system and Method for controlling the same
CN112866773B (en) * 2020-08-21 2023-09-26 海信视像科技股份有限公司 Display equipment and camera tracking method in multi-person scene

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5121508B2 (en) * 2008-03-03 2013-01-16 キヤノン株式会社 Image processing apparatus, image processing method, program, and storage medium
JP2010198566A (en) * 2009-02-27 2010-09-09 Nec Corp Device, method and program for measuring number of people

Also Published As

Publication number Publication date
JP2013206018A (en) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5121508B2 (en) Image processing apparatus, image processing method, program, and storage medium
US9477881B2 (en) Passenger counting system, passenger counting method and passenger counting program
TWI501195B (en) Method for object detection and apparatus using the same
JP6159179B2 (en) Image processing apparatus and image processing method
JP6481617B2 (en) Avoidance behavior detection device, avoidance behavior detection method, and program
US10255673B2 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
US10147287B2 (en) Image processing apparatus to set a detection line used to count the passing number of moving objects
WO2016104395A1 (en) Crowd monitoring system
JP2010016796A5 (en)
JP5466610B2 (en) Gaze estimation device
EP2966591B1 (en) Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information
JP2020503099A5 (en)
JP5862410B2 (en) Number of people counting server, number of people counting device, and number of people counting system
US10691956B2 (en) Information processing apparatus, information processing system, information processing method, and storage medium having determination areas corresponding to waiting line
JP6910208B2 (en) Information processing equipment, information processing methods and programs
CN109993033A (en) Method, system, server, equipment and the medium of video monitoring
EP3796256A1 (en) Image processing apparatus, image processing method, and computer program
US9959635B2 (en) State determination device, eye closure determination device, state determination method, and storage medium
KR101290517B1 (en) Photographing apparatus for tracking object and method thereof
JPWO2018179119A1 (en) Video analysis device, video analysis method, and program
US20230062785A1 (en) Estimation apparatus, estimation method, and computer program product
EP3624443A1 (en) Surveillance device, surveillance method, computer program, and storage medium
JP6554820B2 (en) Image processing program, image processing apparatus, and image processing method
TWI695326B (en) Object attribute analyzing method and related object attribute analyzing device
WO2020166129A1 (en) State recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5862410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150