KR100907096B1

KR100907096B1 - Method and apparatus for estimating traffic

Info

Publication number: KR100907096B1
Application number: KR1020070115555A
Authority: KR
Inventors: 김회율; 이광국; 김병수; 송수한; 김재준; 윤자영
Original assignee: 한양대학교 산학협력단
Priority date: 2007-11-13
Filing date: 2007-11-13
Publication date: 2009-07-09
Also published as: KR20090049332A

Abstract

A traffic estimation method and apparatus are disclosed. The traffic estimation method includes storing configuration information about one or more virtual gates; Separating a foreground region for the moving object using each frame of video data input from the video sensor; And calculating a corresponding traffic amount value by counting the number of pixels of the foreground area overlapping the virtual door. According to the present invention, there is an advantage in that the image generating apparatus already installed can be used universally, and the measurement results are not distorted due to overlap between the viewpoints and / or humans.

Traffic volume, video analysis, video data, video surveillance

Description

Traffic estimation method and apparatus {Method and apparatus for estimating traffic}

본 발명은 영상 감시에 관한 것으로, 특히 입력된 비디오 데이터를 이용하여 통행량을 측정하는 방법 및 장치에 관한 것이다.The present invention relates to video surveillance, and more particularly, to a method and apparatus for measuring a traffic volume using input video data.

우체국, 공항 등의 공공 장소, 백화점, 복합 시설물 등과 같이 유동 인원이 많은 장소에서는 CCTV 등을 이용한 영상 감시가 일반적으로 행해지고 있다. 또한, 영상 생성 장치는 보안과 안전 관리의 목적을 달성하기 위해 다양한 위치에 개별적으로 설치되어 동작하며, 영상 생성 장치에 의해 생성된 비디오 데이터는 작업자의 모니터링을 위해 중앙 감시 센터로 제공된다. Video surveillance using CCTV is generally performed in public places such as post offices, airports, department stores, and complex facilities. In addition, the image generating device is individually installed and operated in various locations to achieve the purpose of security and safety management, the video data generated by the image generating device is provided to the central monitoring center for the operator's monitoring.

근래에, 영상 생성 장치에 의해 획득된 비디오 데이터를 보안과 안전 관리의 목적 외에 통행량 측정의 용도로도 활용하기 위한 다양한 시도가 행해지고 있다. 이러한 종래 기술들로는 사람 검출자(detector) 또는 사람 모델링을 이용하는 방식, 경계 검출자(edge detector)를 기반으로 하는 방식 등이 있다.In recent years, various attempts have been made to utilize the video data acquired by the image generating apparatus for the purpose of traffic measurement in addition to the purpose of security and safety management. Such conventional techniques include a method using a human detector or human modeling, a method based on an edge detector, and the like.

사람 검출자 또는 사람 모델링을 이용하는 종래 기술에 따를때, 사람을 인식 하고 추적할 수 있어 사람 수를 비교적 정확하게 추정할 수 있는 장점은 있으나, 카메라의 시점(viewpoint)에 의존적이며 사람들간에 겹쳐짐(occlusion)이 발생했을 때 인식 성공률이 저하되며, 실시간 동작이 어려운 단점이 있다.According to the prior art using a person detector or a person modeling, there is an advantage in that the number of people can be estimated relatively accurately due to the recognition and tracking of a person, but it is dependent on the camera's viewpoint and occlusion between people. ), The recognition success rate decreases, and real-time operation is difficult.

이에 비해, 경계 검출자를 기반으로 통행량을 측정하는 방식은 사람의 머리 모양이나 어깨의 윤곽 등을 검출함으로써 여러 사람이 동시에 등장하는 영상에서도 정확한 인식이 가능하다는 장점이 있다. 그러나, 계산의 복잡도가 높아 실시간 동작이 어려운 단점이 있다.On the other hand, the method of measuring the traffic volume based on the boundary detector has an advantage that accurate recognition can be performed even in an image in which several people appear at the same time by detecting the shape of a person's head or shoulder. However, there is a disadvantage in that real-time operation is difficult due to the complexity of the calculation.

상술한 바와 같이, 비디오 데이터를 이용한 종래의 통행량 추정 방법은 관찰 시점(viewpoint) 및/또는 사람간의 겹쳐짐(occlusion)에 따라 측정 결과가 왜곡될 수 있고, 계산의 복잡을 야기한다는 문제가 있었다.As described above, the conventional traffic estimation method using the video data has a problem that the measurement result may be distorted depending on the viewpoint and / or occlusion between people and causes a complicated calculation.

이러한 종래 기술을 극복하기 위하여, 천정 시점(top-point) 카메라를 이용한 사람 인식 방법이 제시되었다. 이 방법은 천정 시점의 영상을 이용함으로써 입력 영상에서 사람끼리의 겹쳐짐이 발생되지 않아 정확하게 이동하는 사람의 숫자를 측정할 수 있는 장점을 가진다. 그러나, 이 방법은 카메라를 천정에 설치하여야 하므로 복합 시설물과 같은 넓은 공간에 쉽게 활용될 수 없는 한계를 가지며, 이미 설치된 CCTV 시스템과는 별도의 영상 생성 장치(예를 들어, 카메라 등)를 부수적으로 설치하여야 하는 문제점이 있었다.In order to overcome this prior art, a person recognition method using a top-point camera has been proposed. This method has an advantage of measuring the number of people moving accurately because the overlapping of people does not occur in the input image by using the image of the ceiling view. However, this method has a limitation that it cannot be easily used in a large space such as a complex facility because the camera must be installed on the ceiling, and additionally a video generating device (for example, a camera, etc.) separate from an already installed CCTV system is additionally used. There was a problem to install.

본 발명은 영상 생성 장치에 의해 생성된 비디오 데이터를 다양한 목적으로 이용할 수 있도록 하는 통행량 추정 방법 및 장치를 제공하기 위한 것이다.The present invention is to provide a method and apparatus for estimating traffic volume that makes it possible to use video data generated by an image generating apparatus for various purposes.

본 발명은 이미 설치된 영상 생성 장치를 범용적으로 이용하여 통행량 추정이 가능한 통행량 추정 방법 및 장치를 제공하기 위한 것이다.The present invention is to provide a method and apparatus for estimating traffic volume by using the image generating apparatus already installed in general.

본 발명은 관찰 시점(viewpoint) 및/또는 사람간의 겹쳐짐(occlusion)에 관계없이 측정 결과가 왜곡되지 않는 통행량 추정 방법 및 장치를 제공하기 위한 것이다.The present invention is to provide a method and apparatus for estimating traffic volume in which the measurement result is not distorted regardless of the viewpoint and / or occlusion between humans.

본 발명은 비디오 데이터를 이용하여 통행량 추정을 수행함에 있어 계산의 복잡도를 최소화할 수 있는 통행량 추정 방법 및 장치를 제공하기 위한 것이다. The present invention is to provide a traffic estimation method and apparatus that can minimize the complexity of the calculation in performing traffic estimation using video data.

본 발명은 영상 감시를 하는 관리자가 효율적으로 이동체(예를 들어, 사람, 차량, 동물 등)의 수나 붐비는 정도, 통행량 등을 예측할 수 있도록 하는 통행량 추정 방법 및 장치를 제공하기 위한 것이다. An object of the present invention is to provide a traffic estimation method and apparatus for allowing an administrator for video surveillance to efficiently predict the number of moving objects (for example, people, vehicles, animals, etc.), the degree of crowding, the amount of traffic, and the like.

본 발명은 효율적인 이동로 설계, 시설물 배치 및 비상시 탈출 경로 안내 등을 위해 통행량 추정 결과가 활용될 수 있도록 하는 통행량 추정 방법 및 장치를 제공하기 위한 것이다. The present invention is to provide a method and apparatus for estimating traffic volume so that the traffic estimation result can be utilized for efficient moving path design, facility arrangement, and escape route guidance during an emergency.

본 발명의 이외의 목적은 하기 설명될 실시예를 통해 보다 구체적으로 이해될 수 있을 것이다.Objects other than the present invention will be understood more specifically through the examples to be described below.

본 발명의 일 측면에 따르면, 통행량 추정 장치가 제공된다.According to one aspect of the present invention, a traffic estimation apparatus is provided.

본 발명의 일 실시예에 따른 통행량 추정 장치는 하나 이상의 가상 문(virtual gate)의 설정을 위한 설정 정보가 저장되는 저장부; 및 비디오 센서로부터 입력되는 비디오 데이터의 각 프레임을 이용하여 이동체에 대한 전경 영역(foreground region)을 분리하고, 상기 가상 문에 겹쳐지는 전경 영역의 픽셀 수를 카운트하여 추정한 통행량 값을 출력하는 통행량 추정부를 포함할 수 있다.In one embodiment, a traffic estimating apparatus includes: a storage unit configured to store setting information for setting one or more virtual gates; And a traffic volume estimation for separating the foreground region of the moving object using each frame of video data input from the video sensor, counting the number of pixels of the foreground region overlapping the virtual door, and outputting an estimated traffic volume value. It may include wealth.

상기 통행량 추정 장치는 상기 이동체에 포함되는 각 픽셀에 대한 모션 벡터를 산출하고, 상기 모션 벡터의 방향 성분에 따른 통행량 값을 구분하여 출력할 수 있다.The traffic estimating apparatus may calculate a motion vector for each pixel included in the moving object, and output a traffic amount value according to a direction component of the motion vector.

상기 통행량 추정 장치는 상기 비디오 데이터에 따른 3차원 공간 정보를 이용하여 행렬을 구성하고, 각 픽셀 위치마다 상이한 가중치를 곱하여 각 픽셀을 정규화할 수 있다. 여기서, 상기 행렬은 타원 행렬일 수 있으며, 상기 이동체에 부합하도록 투영될 수 있다.The traffic estimating apparatus may construct a matrix by using three-dimensional spatial information according to the video data, and normalize each pixel by multiplying different weights for each pixel position. Here, the matrix may be an elliptic matrix and may be projected to correspond to the moving object.

상기 이동체의 평균 면적은 상기 이동체를 타원체로 모델링하여 2차원 영상으로 투영하여 획득될 수 있으며, 상기 이동체의 타원체로의 모델링은 상기 비디오 센서의 투영 행렬 P와 3차원 타원체 Q와의 연산에 의해 산출되며, 상기 투영 행렬 P와 상기 3차원 타원체 Q와의 연산에 의해 산출되며, 하기 수학식으로 표현된다. The average area of the moving object may be obtained by modeling the moving object as an ellipsoid and projecting it into a two-dimensional image. The modeling of the moving object as an ellipsoid is calculated by calculation of the projection matrix P of the video sensor and the three-dimensional ellipsoid Q. Is calculated by calculation of the projection matrix P and the three-dimensional ellipsoid Q, and is expressed by the following equation.

C^-1=PQ^-1P^T C ^-1 = PQ ^-1 P ^T

여기서, C는 상기 이동체에 부합하도록 투영되는 타원체의 행렬식을 나타내고, h는 상기 이동체의 높이로 특정된 상수, r은 타원체의 단축에 해당하는 값으로 특정된 상수, x 및 y는 상기 이동체의 위치일 수 있다.Here, C denotes a determinant of an ellipsoid projected to correspond to the mobile body, h is a constant specified by the height of the mobile body, r is a constant specified by a value corresponding to a short axis of the ellipsoid, and x and y are positions of the mobile body. Can be.

상기 가중치는

에 의해 산출될 수 있으며, area(e_i)는 픽셀 i의 위치에서 투영된 타원 e_i의 면적일 수 있다.The weight is

And area (e _i ) may be the area of ellipse e _i projected at the location of pixel i.

상기 이동체의 통행량 값은 하기 수학식에 의해 산출된다.

여기서, Gate는 상기 가상문에 상응하는 픽셀들의 집합, x는 가상 문상의 픽셀, a는 스케일링 팩터(scaling factor)로서의 상수, w(x)는 상기 비디오 센서의 원근 투영에 대한 영향을 보상하기 위한 가중치, FG(x)는 해당 픽셀 x가 전경 픽셀인 경우에는 1로 설정되고 그렇지 않은 경우에는 0으로 설정되는 상수, |v_x|는 픽셀 x의 위치에서의 모션 벡터의 크기,

는 모션 벡터와 가상문간의 각일 수 있다.The traffic amount value of the moving body is calculated by the following equation.

Here, Gate is a set of pixels corresponding to the virtual statement, x is a pixel of the virtual sentence, a is a constant as a scaling factor, w (x) is for compensating the influence on the perspective projection of the video sensor. Weight, FG (x) is a constant that is set to 1 if the pixel x is the foreground pixel, otherwise it is set to 0, | v _x | is the magnitude of the motion vector at the position of pixel x,

May be the angle between the motion vector and the virtual statement.

상기 통행량 값은 카운트된 픽셀 수를 반올림하여 생성될 수 있다.The traffic amount value may be generated by rounding up the counted number of pixels.

본 발명의 다른 측면에 따르면, 통행량 추정 방법 및 통행량 추정 방법이 기록된 기록매체가 제공된다.According to another aspect of the present invention, there is provided a recording medium on which a traffic estimation method and a traffic estimation method are recorded.

본 발명의 일 실시예에 따른 통행량 추정 방법은, 하나 이상의 가상 문(virtual gate)에 대한 설정 정보를 저장하는 단계; 비디오 센서로부터 입력되는 비디오 데이터의 각 프레임을 이용하여 이동체에 대한 전경 영역(foreground region)을 분리하는 단계; 및 상기 가상 문에 겹쳐지는 전경 영역의 픽셀 수를 카운트하여 상응하는 통행량 값을 산출하는 단계를 포함할 수 있다.A traffic estimation method according to an embodiment of the present invention includes the steps of storing setting information for one or more virtual gates; Separating a foreground region for the moving object using each frame of video data input from the video sensor; And calculating a corresponding traffic amount value by counting the number of pixels of the foreground area overlapping the virtual door.

상기 이동체에 포함되는 각 픽셀에 대한 모션 벡터를 산출하는 단계가 상기 전경 영역을 분리하는 단계 직전, 직후 또는 병행하여 수행될 수 있다.The calculating of the motion vector for each pixel included in the moving object may be performed immediately before, immediately after, or in parallel with the separating of the foreground area.

상기 통행량 값을 산출하는 단계 이전에, 상기 비디오 데이터에 따른 3차원 공간 정보를 이용하여 행렬을 구성하고, 각 픽셀 위치마다 상이한 가중치를 곱하여 각 픽셀을 정규화하는 단계가 더 수행될 수 있다. 여기서, 상기 행렬은 타원 행렬이며, 상기 이동체에 부합하도록 투영될 수 있다.Prior to calculating the traffic volume value, a step of constructing a matrix using three-dimensional spatial information according to the video data and normalizing each pixel by multiplying different weights at each pixel position may be performed. Here, the matrix is an elliptic matrix and may be projected to correspond to the moving object.

상기 이동체의 평균 면적은 상기 이동체를 타원체로 모델링하여 2차원 영상으로 투영하여 획득될 수 있으며, 상기 이동체의 타원체로의 모델링은 상기 비디오 센서의 투영 행렬 P와 3차원 타원체 Q와의 연산에 의해 산출되며, 상기 투영 행렬 P와 상기 3차원 타원체 Q와의 연산에 의해 산출되며, 하기 수학식으로 표현된다.The average area of the moving object may be obtained by modeling the moving object as an ellipsoid and projecting it into a two-dimensional image. The modeling of the moving object as an ellipsoid is calculated by calculation of the projection matrix P of the video sensor and the three-dimensional ellipsoid Q. Is calculated by calculation of the projection matrix P and the three-dimensional ellipsoid Q, and is expressed by the following equation.

C^-1=PQ^-1P^T C ^-1 = PQ ^-1 P ^T

상기 가중치는

에 의해 산출될 수 있다. 여기서, area(e_i)는 픽셀 i의 위치에서 투영된 타원 e_i의 면적일 수 있다.The weight is

Can be calculated by Here, area e _i may be the area of the ellipse e _i projected at the position of pixel i.

상기 이돛체의 통행량 값은 하기 수학식에 의해 산출된다.

여기서, xGate는 상기 가상문에 상응하는 픽셀들의 집합, x는 가상 문상의 픽셀, a는 스케일링 팩터(scaling factor)로서의 상수, w(x)는 상기 비디오 센서의 원근 투영에 대한 영향을 보상하기 위한 가중치, FG(x)는 해당 픽셀 x가 전경 픽셀인 경우에는 1로 설정되고 그렇지 않은 경우에는 0으로 설정되는 상수, |v_x|는 픽셀 x의 위치에서의 모션 벡터의 크기,

는 모션 벡터와 가상문간의 각일 수 있다.The amount of traffic of the moving body is calculated by the following equation.

Here, xGate is a set of pixels corresponding to the virtual statement, x is a pixel of the virtual sentence, a is a constant as a scaling factor, w (x) is for compensating the effect on the perspective projection of the video sensor. Weight, FG (x) is a constant that is set to 1 if the corresponding pixel x is a foreground pixel, otherwise it is set to 0, | v _x | is the magnitude of the motion vector at the position of pixel x,

May be the angle between the motion vector and the virtual statement.

본 발명은 영상 생성 장치에 의해 생성된 비디오 데이터를 다양한 목적으로 이용할 수 있도록 하는 효과가 있다.The present invention has the effect of enabling the video data generated by the image generating apparatus to be used for various purposes.

본 발명은 이미 설치된 영상 생성 장치를 범용적으로 이용하여 통행량 추정이 가능한 효과도 있다.The present invention also has the effect that it is possible to estimate the amount of traffic by using the image generating device already installed universally.

본 발명은 관찰 시점(viewpoint) 및/또는 사람간의 겹쳐짐(occlusion)에 관계없이 측정 결과가 왜곡되지 않는 효과도 있다.The present invention also has the effect that the measurement results are not distorted regardless of the viewpoint and / or occlusion between humans.

본 발명은 비디오 데이터를 이용하여 통행량 추정을 수행함에 있어 계산의 복잡도를 최소화할 수 있는 효과도 있다.The present invention also has the effect of minimizing the complexity of calculation in performing traffic estimation using video data.

본 발명은 영상 감시를 하는 관리자가 효율적으로 이동체(예를 들어, 사람, 차량, 동물 등)의 수나 붐비는 정도, 통행량 등을 예측할 수 있도록 하는 효과도 있다.The present invention also has the effect of allowing the administrator of the video surveillance to effectively predict the number of moving objects (for example, people, vehicles, animals, etc.), the degree of crowding, the amount of traffic, and the like.

본 발명은 효율적인 이동로 설계, 시설물 배치 및 비상시 탈출 경로 안내 등을 위해 통행량 추정 결과가 활용될 수 있도록 하는 효과도 있다.The present invention also has the effect that the traffic estimation results can be utilized for efficient mobility design, facility layout and emergency escape route guidance.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term “and / or” includes any combination of a plurality of related items or any item of a plurality of related items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding elements are denoted by the same reference numerals, and duplicated thereto. The description will be omitted.

본 명세서에서 비디오 데이터는 아날로그 및/또는 디지털 형식으로 표현되는 모션 픽처(동영상)를 의미한다. 비디오 데이터의 예로는 비디오 센서로부터 입력되는 모션 픽처, 텔레비젼, 영화 또는 다른 관찰자로부터의 이미지 시퀀스 및 컴퓨터 -생성 이미지 시퀀스 등을 포함할 수 있다. 그리고, 비디오 데이터는 초음파 센서, 적외선 센서, 적외선 카메라 등에 의해 획득된 정보를 포함할 수도 있다. 즉, 다른 센서들에 의해 획득된 정보에 대해 이하에서 설명될 통행량 측정 방법이 동일 또는 유사하게 적용됨으로써 동일한 효과를 얻을 수 있음은 당업자에게 자명하다.In the present specification, video data refers to a motion picture (video) expressed in analog and / or digital format. Examples of video data may include motion pictures input from video sensors, image sequences from televisions, movies, or other observers, computer-generated image sequences, and the like. The video data may include information obtained by an ultrasonic sensor, an infrared sensor, an infrared camera, or the like. That is, it will be apparent to those skilled in the art that the same amount of traffic measuring method described below can be applied to the information obtained by other sensors in the same or similar manner, thereby obtaining the same effect.

또한, 프레임(frame)은 하나의 비디오 데이터 내의 특정 이미지 또는 다른 개별 단위를 의미한다.Also, a frame refers to a specific image or other individual unit in one video data.

도 1은 본 발명의 일 실시예에 따른 통행량 추정 시스템의 구성도이다.1 is a block diagram of a traffic estimation system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 통행량 추정 시스템(100)은 비디오 센서(110), 비디오 레코더(120), 통행량 추정 장치(130), I/O 장치(140)를 포함할 수 있다. 물론, 일부 구성 요소(예를 들어, 비디오 레코더(120) 등)는 생략될 수도 있다.Referring to FIG. 1, the traffic estimating system 100 according to the present invention may include a video sensor 110, a video recorder 120, a traffic estimating device 130, and an I / O device 140. Of course, some components (eg, video recorder 120, etc.) may be omitted.

비디오 센서(110)는 통행량 추정 장치(130)에 비디오 데이터를 제공한다. 비디오 센서(110)는 예를 들어 직접 접속 또는 네트워크를 통해 통행량 추정 장치(130)에 연결될 수 있다. 비디오 센서(110)는 예를 들어 CCTV 카메라, 비디오 카메라, 디지털 비디오 카메라, 컬러 카메라, 캠코더, PC 카메라, 웹캠 등 중 하나 이상을 포함할 수 있다.The video sensor 110 provides video data to the traffic estimation apparatus 130. The video sensor 110 may be connected to the traffic estimation device 130, for example, via a direct connection or a network. The video sensor 110 may include, for example, one or more of a CCTV camera, a video camera, a digital video camera, a color camera, a camcorder, a PC camera, a webcam, and the like.

비디오 레코더(120)는 저장을 위해 통행량 추정 장치(130) 또는 비디오 센서(110)로부터 비디오 데이터를 수신하여 저장한다. 또한, 비디오 레코더(120)는 통행량 추정 장치(130)로 비디오 데이터를 제공할 수도 있다. 비디오 레코더(120) 는 직접 접속 또는 네트워크를 통해 통행량 추정 장치(130)에 연결될 수 있다. 비디오 레코더는 예를 들어 비디오 테이프 레코더, 디지털 비디오 레코더, 비디오 디스크, DVD 및 컴퓨터-판독 가능한 기록 매체 등 중 하나 이상을 포함할 수 있다.The video recorder 120 receives and stores video data from the traffic estimation apparatus 130 or the video sensor 110 for storage. In addition, the video recorder 120 may provide the video data to the traffic estimation apparatus 130. The video recorder 120 may be connected to the traffic estimation apparatus 130 through a direct connection or a network. The video recorder may include, for example, one or more of a video tape recorder, a digital video recorder, a video disc, a DVD, a computer-readable recording medium, and the like.

통행량 추정 장치(130)는 비디오 센서(110) 또는 비디오 레코더(120)로부터 입력된 비디오 데이터를 이용하여 관찰 공간 내 이동하는 이동체(예를 들어, 사람, 차량, 동물 등)의 수 및 통행량 등 중 하나 이상을 추정하기 위한 연산을 수행한다. The traffic estimating apparatus 130 uses the video data input from the video sensor 110 or the video recorder 120 to determine the number and amount of moving objects (eg, people, vehicles, animals, etc.) moving in the observation space. Perform an operation to estimate one or more.

통행량 추정 장치(130)는 통행량 추정 등을 위해 독립된 장치로 구현될 수도 있으나, 상술한 연산 및/또는 처리를 수행하기 위한 소프트웨어가 설치된 컴퓨터 시스템으로 구현될 수도 있다. 컴퓨터 시스템이란 컴퓨터를 포함하는 시스템을 의미하며, 컴퓨터란 구조적 입력을 받아 규정된 규칙에 따라 처리하고 처리된 결과를 출력으로 생성할 수 있는 모든 장치를 의미한다. 컴퓨터의 예로는 통상의 컴퓨터, 슈퍼 컴퓨터, 워크스테이션, 대화형 텔레비전, 컴퓨터와 대화형 텔레비젼의 하이브리드 결합 및 컴퓨터를 에뮬레이팅하는 주문형 하드웨어 및/또는 소프트웨어 등이 있을 수 있다. 또한, 소프트웨어란 컴퓨터를 동작시키기 위해 규정된 규칙을 말하며, 예를 들어 통상의 소프트웨어, 코드 세그먼트, 명령어 조합, 컴퓨터 프로그램 및 프로그램된 로직 등이 포함될 수 있다.The traffic estimating apparatus 130 may be implemented as an independent device for estimating the traffic volume, or may be implemented as a computer system in which software for performing the above-described calculation and / or processing is installed. A computer system means a system including a computer, and a computer means any device that can receive structural input, process according to prescribed rules, and generate output as a result. Examples of computers may be conventional computers, supercomputers, workstations, interactive televisions, hybrid combinations of computers and interactive televisions, and custom hardware and / or software emulating computers. In addition, software refers to rules defined for operating a computer, and may include, for example, conventional software, code segments, instruction combinations, computer programs, programmed logic, and the like.

통행량 추정 장치(130)는 통행량 추정부(150)와 저장부(160)를 포함할 수 있다. 통행량 추정부(150)는 통행량 측정을 위해 전경 분리(220), 모션 벡터 산출(230) 등의 연산을 수행할 수 있으며, 상술한 처리를 수행하는 통행량 추정 부(150)는 소프트웨어 형태로 구현될 수도 있다. 통행량 추정부(150)의 구체적인 처리 내용은 이후 관련 도면을 참조하여 설명하기로 한다. The traffic estimating apparatus 130 may include a traffic estimating unit 150 and a storage unit 160. The traffic estimation unit 150 may perform operations such as the foreground separation 220 and the motion vector calculation 230 to measure the traffic volume, and the traffic estimation unit 150 that performs the above-described processing may be implemented in software form. It may be. Specific processing contents of the traffic estimator 150 will be described with reference to the accompanying drawings.

I/O 장치(140)는 통행량 추정 장치(130)로 입력을 제공하고, 통행량 추정 장치(130)로부터 출력을 수신한다. I/O 장치(140)는 통행량 추정 장치(130)를 태스킹(tasking)하고, 통행량 추정 장치(130)로부터 제공된 데이터를 출력하는 등의 용도로 이용될 수 있다. I/O 장치(140)는 예를 들어 키보드, 마우스, 스타일러스, 모니터, 프린터, 터치 스크린 등 중 하나 이상을 포함할 수 있다. I / O device 140 provides input to traffic estimating device 130 and receives output from traffic estimating device 130. The I / O device 140 may be used for tasks such as tasking the traffic estimating device 130, outputting data provided from the traffic estimating device 130, and the like. I / O device 140 may include, for example, one or more of a keyboard, mouse, stylus, monitor, printer, touch screen, and the like.

도 2는 본 발명의 일 실시예에 따른 통행량 측정부의 처리 과정을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 가상 문(Virtual Gate) 설정 예를 나타낸 도면이며, 도 4는 본 발명의 일 실시예에 따른 전경 분리 처리를 나타낸 도면이다. 도 5는 본 발명의 일 실시예에 따른 모션 벡터 추출 결과를 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 픽셀 크기 정규화를 위한 타원 투영 모델을 예시한 도면이며,도 7은 본 발명의 일 실시예에 따른 픽셀 수 보정 결과에 따라 통행량을 추정한 예를 도시한 도면이다. 도 8 및 도 9는 본 발명의 실시예에 따른 실험 결과를 각각 나타낸 도면이다. 2 is a view illustrating a process of a traffic measurement unit according to an embodiment of the present invention, Figure 3 is a view showing an example of setting a virtual gate (Virtual Gate) according to an embodiment of the present invention, Figure 4 A diagram illustrating foreground separation processing according to an embodiment of the present invention. 5 is a diagram illustrating a motion vector extraction result according to an embodiment of the present invention, FIG. 6 is a diagram illustrating an elliptic projection model for pixel size normalization according to an embodiment of the present invention, and FIG. FIG. Is a diagram illustrating an example of estimating a traffic amount according to a pixel number correction result according to an exemplary embodiment of the present invention. 8 and 9 are views showing the experimental results according to the embodiment of the present invention, respectively.

이하, 본 발명에 따른 통행량 측정을 설명함에 있어 이동체가 사람인 경우를 가정하여 설명한다. 그러나, 이동체가 차량 또는 동물 등으로 지정될지라도 동일한 기술적 사상이 적용될 수 있음은 당업자에게 자명하다.Hereinafter, in describing the traffic measurement according to the present invention, it is assumed that the moving object is a human. However, it will be apparent to those skilled in the art that the same technical spirit may be applied even if the moving object is designated as a vehicle or an animal.

일반적으로 통행량 측정은 단위 시간당 문(gate) 또는 통로(passage)를 통해 출입 및/또는 이동하는 이동체의 수를 측정하는 것이다. 그러나, 비디오 센서(110)에 의해 생성되어 입력되는 비디오 데이터는 일반적으로 특정 문이나 통로에 관한 것이라기 보다는 넓은 공간 자체에 대한 것이다. In general, traffic measurement measures the number of moving objects entering and / or moving through a gate or passage per unit time. However, the video data generated and input by the video sensor 110 is generally directed to the large space itself rather than to a particular door or passageway.

따라서, 본 발명은 입력된 비디오 데이터를 이용하여 통행량을 측정하기 위해, 비디오 데이터 내에 포함된 이동체가 어느 지점을 통과할 때 통행량 측정의 대상으로 할 것인지에 대한 기준으로서 가상 문(Virtual Gate)에 대한 개념을 제시한다. Therefore, in order to measure the traffic volume using the input video data, the present invention provides a concept of a virtual gate as a reference for which point the moving object included in the video data passes. To present.

도 3에 가상 문(Virtual Gate) 설정 예가 하얀 선의 형태로 도시되어 있다. 도 3에 예시된 바와 같이, 가상 문은 단수로 설정되거나 복수로 설정될 수 있으며, 가상 문의 방향 및/또는 길이는 환경에 따라 변경적 설정될 수 있다.3 illustrates an example of setting a virtual gate in the form of a white line. As illustrated in FIG. 3, the virtual door may be set in the singular or plural, and the direction and / or the length of the virtual door may be set in accordance with the environment.

가상 문은 비디오 센서(110) 또는 비디오 레코더(120)로부터 입력되는 비디오 데이터를 이용한 통행량 측정(또는 추정) 이전(즉, 도 2에 예시된 전경 분리 단계(220), 모션 벡터 산출 단계(230) 등의 수행 이전)에 설정되며, 입력되는 비디오 데이터 내의 적정 지점을 라인(line)의 형태로 설정된다. 즉, 가상 문 맵(virtual gate map)이라는 이진화된 영상 데이터 또는 상응하는 좌표 정보를 미리 생성하여 저장부(160)에 저장한 후, 영상 데이터 또는 좌표 정보에 의해 인식되는 가상 문과 비디오 데이터 내의 객체(즉, 이진화된 형태의 전경 픽셀(foreground pixel))를 앤드 연산(AND operation)하여 가상 문을 지나는 객체를 인식하여 통계에 활용할 수 있다. 통행량 측정시 배경(background)으로부터 분리된 전경(foreground)의 정보가 이용될 수 있고, 분리된 전경이 가상 문을 지날때 그 정보가 계산됨은 이하의 설명 을 통해 명확해질 것이다.The virtual door is before the traffic measurement (or estimation) using the video data input from the video sensor 110 or the video recorder 120 (ie, foreground separation step 220 illustrated in FIG. 2, motion vector calculation step 230). And the like, and a proper point in the input video data is set in the form of a line. That is, after generating the binary image data or the corresponding coordinate information called the virtual gate map or the corresponding coordinate information in advance and storing it in the storage unit 160, the virtual door and the object in the video data recognized by the image data or the coordinate information ( That is, an AND operation on a foreground pixel of a binary form may be AND operation to recognize an object passing through the virtual door and use it for statistics. Foreground information separated from the background may be used in the traffic measurement, and it will be clear from the following description that the information is calculated when the separated foreground passes the virtual door.

본 발명에서 각 단위 시간(unit time 또는 time segment) 동안 가상 문을 통과하는 사람들의 수가 제시되는 방법에 의해 측정될 것이다. 가상 문을 통과하는 사람들의 수를 카운트하기 위하여 군중 크기(crowd size) 또는 군중 밀도(crowd density) 측정에 대한 특성 기반 접근법(feature-based approach)이 이용될 수 있다.In the present invention, the number of people passing through the virtual door during each unit time or time segment will be measured by the method presented. A feature-based approach to crowd size or crowd density measurement can be used to count the number of people passing through the virtual door.

군중 크기 측정은 관찰 지역 내의 사람 수를 측정하기 위한 것으로서, 군중 크기 측정에 대한 특성 기반 방법은 화면 내의 사람 수가 전경 픽셀 수(foreground pixel count), 블로브 크기(blob size) 또는 구조 등과 같은 저-레벨 이미지 특성들(low-level image features)에 관계된다는 관찰에 기반한 것이다. The crowd size measurement is for measuring the number of people in the viewing area, and the feature-based method for crowd size measurement is that the number of people in the screen is low--such as foreground pixel count, blob size, or structure. It is based on the observation that it relates to low-level image features.

본 발명은 가상 문상에서 추출된 저-레벨 이미지 특성들이 통행량 측정을 위한 단서로서 이용한다. 즉, 본 발명은 가상 문에서의 저-레벨 특성들을 간단히 통합할 뿐, 어떠한 검출(detection)이나 추적(tracking)을 수행하지 않으므로, 계산량을 최소화할 수 있다. 또한 본 발명은 특성 정규화 프로세스(feature normalization process)를 적용함으로써 시점(viewpoint) 변경에도 강인한 특징을 가진다. 이러한 이유로, 본 발명은 기존의 CCTV 시스템들에 용이하게 채택될 수 있는 장점을 가진다.The present invention uses the low-level image characteristics extracted from the virtual image as a clue for the traffic measurement. That is, the present invention merely integrates the low-level features in the virtual statement, and does not perform any detection or tracking, thereby minimizing the amount of computation. In addition, the present invention is robust to changing the viewpoint by applying a feature normalization process. For this reason, the present invention has the advantage that it can be easily adopted in existing CCTV systems.

도 2에는 본 발명의 일 실시예에 따른 통행량 추정부(150)의 처리 과정이 예시되어 있다. 2 illustrates a process of the traffic estimator 150 according to an embodiment of the present invention.

도 2를 참조하면, 통행량 추정부(150)는 먼저 비디오 데이터의 매 입력 프레 임에 대해 저-레벨 이미지 특성들을 획득하기 위해 전경 분리(Foreground Segmentation) 단계(220) 및 모션 벡터 산출(Motion Vectore Computation) 단계(230)를 수행한다. 전경 분리 단계(220) 및 모션 벡터 산출 단계(230)는 병렬적으로 수행되거나, 선후 관계로서 순차적 수행될 수도 있다. Referring to FIG. 2, the traffic estimator 150 first performs a foreground segmentation step 220 and a motion vectore computation to obtain low-level image characteristics for every input frame of video data. Step 230 is performed. The foreground separation step 220 and the motion vector calculation step 230 may be performed in parallel or may be sequentially performed as a posterior relationship.

이하, 도 4 및 도 5를 참조하여 특징 추출(feature extraction)에 대해 설명한다. 본 발명에서 전경 픽셀들과 모션 벡터들은 통행량을 추정하기 위한 이미지 특징들로 이용된다. 통행량이 많을수록 선택되는 전경 픽셀의 수는 증가할 것이고, 이에 상응하도록 통행자의 이동 방향을 결정하기 위해 모션 벡터들도 선택되어진다. Hereinafter, feature extraction will be described with reference to FIGS. 4 and 5. In the present invention, foreground pixels and motion vectors are used as image features for estimating traffic volume. As the traffic volume increases, the number of foreground pixels selected will increase, and correspondingly, motion vectors are selected to determine the moving direction of the trafficker.

도 4에 예시된 전경 영역의 분리를 수행하기 위해, 스타우퍼(Stauffer)와 그림슨(Grimson)이 제안한 배경 모델링 방법(background modeling method)이 이용될 수 있다(C. Stauffer, W. E. L. Grimson, "Adaptive background mixture models for real-time tracking", International Conference on Computer Vision, Colorada, USA, 1999). 배경 모델링 방법에서 각 픽셀 위치에서의 배경 모델은 가우시안 혼합 모델로 표현된다. 복수의 가우시안 모델들(Gaussian models)의 혼합을 채택함으로써 조도 변화(illumination change), 잡음(noise) 및 겹쳐짐(occlusion)에 매우 강인할 수 있다. In order to perform the separation of the foreground region illustrated in FIG. 4, a background modeling method proposed by Stauper and Grimson may be used (C. Stauffer, WEL Grimson, “Adaptive”). background mixture models for real-time tracking ", International Conference on Computer Vision, Colorada, USA, 1999). In the background modeling method, the background model at each pixel position is represented by a Gaussian mixture model. By employing a mixture of multiple Gaussian models, it can be very robust to illumination changes, noise, and occlusion.

또한, 전경 영역의 분리 수행시 전경 이미지로부터 그림자 제거가 수행될 수 있다. 이는 보다 명확한 전경 분리를 위한 것으로, 그림자의 존재가 블로브 크기(blob size) 및 발 위치를 변동시킬 수 있어 후속 절차에 영향을 미칠 수 있기 때문이다. 전경 영역에서 그림자를 제거하기 위해 공지의 그림자 제거 방법이 적용될 수 있다(예를 들어, B.-S. Kim, G.-G. Lee, Y.-G. Hong, H.-T. Seo, W.-Y. Kim, "Method of Eliminating Shadow of Moving Object for Video Surveillance", Proceedings of IEEK Fall Conference 2006, pp. 768-771, Korea, 2006).In addition, when the separation of the foreground area is performed, shadow removal may be performed from the foreground image. This is for clearer foreground separation, since the presence of shadows can change the blob size and foot position, thus affecting subsequent procedures. Known shadow removal methods can be applied to remove shadows in the foreground area (e.g., B.-S. Kim, G.-G. Lee, Y.-G. Hong, H.-T. Seo, W.-Y.Kim, "Method of Eliminating Shadow of Moving Object for Video Surveillance", Proceedings of IEEK Fall Conference 2006, pp. 768-771, Korea, 2006).

그림자 제거 방법은 그림자 영역에 포함된 픽셀들이 배경 픽셀에 포함된 픽셀들과 동일한 색상 톤을 유지하지만 조도가 감소된다는 가정에 근거한 것이다. 베이지안 분류(Bayesian classification)에 의해 그림자 픽셀들을 제거하기 위해, 임의의 픽셀이 그림자 영역에 속할 가능성은 상술한 가정에 의해 모델링되어진다. The shadow removal method is based on the assumption that the pixels included in the shadow area maintain the same color tone as the pixels included in the background pixel, but the illuminance is reduced. In order to remove shadow pixels by Bayesian classification, the likelihood that any pixel belongs to the shadow area is modeled by the assumptions described above.

전경 분리 단계(220)에서의 처리 동작은 상술한 논문들에서 이미 상세히 설명된 것이므로, 여기서는 이에 대해 간략히 설명한다. 즉, 고정된 비디오 센서(예를 들어, CCTV 카메라)로부터 입력된 RGB 영상은 각 픽셀 위치를 기준으로 하나의 시간 축 상에서 가우시안(Gaussian) 분포를 가지게 된다. 이어서, 계산된 평균과 분산을 이용하여 해당 픽셀 위치에서 지배적인 색상이나 밝기 성분을 구한 후 매 프레임마다 업데이트하여 새로 입력된 픽셀 값과의 차이를 이용하여 전경 분리를 수행한다. 또한, 각 픽셀 위치에서 동일한 색상 값을 가지면서, 밝기 값만 어두워졌을 때, 이를 그림자 영역이라 판단하는 등의 통계적 방법을 이용한 그림자 제거 방법이 적용된다. Since the processing operation in the foreground separation step 220 has already been described in detail in the above-mentioned papers, this is briefly described here. That is, an RGB image input from a fixed video sensor (eg, a CCTV camera) has a Gaussian distribution on one time axis based on each pixel position. Subsequently, the dominant color or brightness components are calculated using the calculated averages and variances, updated every frame, and the foreground separation is performed using the difference from the newly input pixel values. In addition, when only the brightness value becomes dark while having the same color value at each pixel position, a shadow removal method using a statistical method such as determining that this is a shadow area is applied.

상술한 과정을 통해 분리된 전경(Segmented foreground)에는 움직이는 물체 및/또는 사람만이 포함된다. 즉, 입력된 비디오 화면 내에는 위치하지만 장시간 고정된 자세로 고정된 위치에 앉아있는 사람의 경우 전경으로 분리되지 않는다. 이는, 본 발명에서 배경 모델링에 증분적 업데이트 방법(incremental update)을 이용하기 때문이며, 장시간 고정된 자세로 고정된 위치에 앉아있는 사람의 경우 혼잡도 측정시에는 고려될 필요가 있을지라도 통행량 측정시에는 고려할 필요가 없기 때문이다. 물론, 장시간 고정된 자세로 고정된 위치에 앉아있는 사람일지라도 이동 또는 움직임을 개시하면 전경으로 분리되어 인식될 수 있음은 자명하다. In the above-described segmented foreground, only the moving object and / or the person are included. That is, a person who is located in the input video screen but sits in a fixed position for a long time is not separated into the foreground. This is because the present invention uses an incremental update method for background modeling, and a person sitting in a fixed position for a long time in a fixed position may need to be considered in measuring traffic volume even though it needs to be considered in measuring congestion. Because there is no need. Of course, even if the person sitting in a fixed position for a long time fixed position can start to move or move can be recognized as separated into the foreground.

또한, 도 5에 예시된 모션 벡터를 산출하기 위하여, B. Lukas and T. Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision", Proceedings of 7^th International Joint Conference on Artificial Intelligence (IJCAI), pp. 674-679, 1981.의 논문을 통해 공지된 광류(optical flow)가 적용될 수 있다. 참고로, 도 5에 예시된 각 화살표의 방향은 모션 벡터의 방향을 나타내며, 각 화살표의 길이는 모션 벡터의 크기를 나타낸다.In addition, to calculate the motion vector illustrated in FIG. 5, B. Lukas and T. Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision", Proceedings of 7 ^th International Joint Conference on Artificial Intelligence (IJCAI), pp. 674-679, 1981., the known optical flow can be applied. For reference, the direction of each arrow illustrated in FIG. 5 indicates the direction of the motion vector, and the length of each arrow indicates the magnitude of the motion vector.

다시 도 2를 참조하면, 통행량 추정부(150)는 원근 투영(perspective projection)의 영향을 보상하기 위해 픽셀 크기 정규화(Pixel Size Normalization) 단계(240)를 수행한다. 픽셀 크기 정규화 단계(240)는 일종의 특성 정규화 단계라 할 수 있다.Referring back to FIG. 2, the traffic estimator 150 performs a pixel size normalization step 240 to compensate for the influence of perspective projection. The pixel size normalization step 240 may be referred to as a kind of feature normalization step.

각 통행자(pdedstrian)의 영역이 전경 분리에 의해 획득될지라도 획득된 전경 픽셀들은 통행량 추정시 직접적으로 이용될 수 없다. 이는 각 통행자들의 실제 크기가 같을지라도 그들의 현재 위치에 따라 분리된 전경 내에서 상이한 크기로 표시되기 때문이다. 즉, 비디오 센서(110)에서 가까운 위치의 통행자가 원거리에 위 치한 통행자보다 상대적으로 크게 표시된다. 이러한 문제점을 해결하기 위해, 본 발명은 본 발명자들이 발표한 논문(G.-G. Lee, S. H. Song, W.-Y. Kim, "Crowd Density Estimation for Video Surveillance". Proceedings of International Conference on Computing, Communications and Control Technologies, pp. 196-199, USA, July 2007.)에 기재된 특성 정규화 방법(feature normalization method)을 적용할 수 있다.Even if the area of each passenger (pdedstrian) is obtained by foreground separation, the obtained foreground pixels cannot be used directly in the traffic estimation. This is because even though the actual size of each pedestrian is the same, they are displayed in different sizes within the foreground separated by their current location. In other words, a pedestrian near the video sensor 110 is displayed relatively larger than a distant rider. In order to solve this problem, the present invention (G.-G. Lee, SH Song, W.-Y. Kim, "Crowd Density Estimation for Video Surveillance". Proceedings of International Conference on Computing, The feature normalization method described in Communications and Control Technologies, pp. 196-199, USA, July 2007.) may be applied.

특성 정규화 방법은 모든 통행자들이 동일한 크기이고, 직립해 있으며, 동일한 평면상에 존재하는 것으로 가정한다. 그리고, 통행자를 사람의 평균 키에 상응하는 타원체로서 모델링한다(도 6 참조). 타원체로서의 모델링 및 정규화는 가상문에 관계되는 관심 영역에 대해서만 수행할 수도 있으나, 가상문을 임의로 변동하거나 새로이 지정할 수도 있으므로 모든 영역에 대해 정규화를 수행할 수도 있다.The property normalization method assumes that all passers are the same size, upright, and on the same plane. The passenger is then modeled as an ellipsoid corresponding to the average height of the person (see FIG. 6). Modeling and normalization as an ellipsoid may be performed only for the region of interest related to the virtual statement, but normalization may be performed for all regions because the virtual statement may be arbitrarily changed or newly designated.

이러한 타원체 모델(ellipsoid model)을 채택하고, 평면상에 타원체 모델을 투영함으로써 인체에 대한 기대 영역(expected region)이 계산되어질 수 있다. 이를 위해, 하기 수학식 1 내지 수학식 2가 이용될 수 있다.By adopting such an ellipsoid model and projecting the ellipsoid model on a plane, an expected region for the human body can be calculated. To this end, Equations 1 to 2 may be used.

C^-1=PQ^-1P^T C ^-1 = PQ ^-1 P ^T

위 식에서, C는 투영된 타원, P는 투영 행렬(projection matrix), Q는 타원체 사람 모델(ellipsoid human model)을 각각 나타낸다. 카메라의 투영 행렬인 P는 앞서 언급한 논문(G.-G. Lee, S. H. Song, W.-Y. Kim, "Crowd Density Estimation for Video Surveillance". Proceedings of International Conference on Computing, Communications and Control Technologies, pp. 196-199, USA, July 2007.)에 이미 언급 및 설명되어 있으며, 그 실예는 본 발명의 유효성 검증을 위해 이용된 PETS2006 데이터 세트에 포함되어 있다. 물론, 통행량 추정을 위해 이용될 비디오 센서의 유형이 특정되면 이에 상응하는 투영 행렬이 산출될 수 있음은 당업자에게 자명하다.Where C is the projected ellipse, P is the projection matrix, and Q is the ellipsoid human model. P, the projection matrix of the camera, is described in the aforementioned paper (G.-G. Lee, SH Song, W.-Y. Kim, "Crowd Density Estimation for Video Surveillance" .Proceedings of International Conference on Computing, Communications and Control Technologies, pp. 196-199, USA, July 2007.), examples of which are included in the PETS2006 data set used for validation of the present invention. Of course, it will be apparent to those skilled in the art that, once the type of video sensor to be used for traffic estimation is specified, the corresponding projection matrix can be calculated.

상기 수학식 1은 이미 알고 있는 카메라의 투영 행렬 P와 가정(사람의 평균적인 키 정보)을 통해 구한 3차원 타원체 Q와의 연산을 통해 2차원 영상 평면에 투영할 타원을 산출하기 위한 행렬식C를 구하기 위한 것이다.Equation 1 obtains a determinant C for calculating an ellipse to be projected onto a two-dimensional image plane through calculation with a projection matrix P of a camera already known and a three-dimensional ellipsoid Q obtained through assumptions (average key information of a person). It is for.

위 수학식 2는 타원체 Q를 나타내는 행렬식으로서, h는 사람의 평균적인 키(예를 들어, 1.7로 정의될 수 있음), r은 타원체의 단축에 해당하는 값(예를 들어, 키에 대한 비율로서 0.3 등으로 정의될 수 있음), x 및 y는 3차원 좌표계 내에서 사람이 서있는 위치를 각각 의미한다. 상술한 h는 투영되는 타원의 장축의 길이로서 이용될 수 있고, r은 투영되는 타원의 단축의 길이로서 이용될 수 있다.Equation 2 is a determinant representing an ellipsoid Q, where h is an average height of a person (for example, may be defined as 1.7), and r is a value corresponding to a shortening of the ellipsoid (for example, a ratio of heights). X and y mean positions where a person stands in the three-dimensional coordinate system, respectively. H may be used as the length of the major axis of the ellipse to be projected, and r may be used as the length of the minor axis of the ellipse to be projected.

일단 각 위치에서의 사람 크기가 연산되어지면, 하기 수학식 3에 의해 연산된 가중치가 곱해짐으로써 각 전경 픽셀들이 정규화된다.Once the size of the person at each location has been computed, each foreground pixel is normalized by multiplying the weight computed by Equation 3 below.

상기 수학식 3에서 area(e_i)는 픽셀 i의 위치에서 투영된 타원 e_i에 상응하는 면적을 의미한다. 각 전경 픽셀에 대해 가중치를 곱함으로써, 각 타원들의 위치에 관계없이 각 타원들의 면적이 동일한 크기(예를 들어, 1.0)로 정규화될 수 있다.In Equation 3, area (e _i ) means an area corresponding to the ellipse e _i projected at the position of the pixel i. By multiplying the weight for each foreground pixel, the area of each ellipse can be normalized to the same size (eg, 1.0) regardless of the position of each ellipse.

즉, 상술한 수학식 1 및 2에 의해 2차원 평면에 투영되는 타원이 계산되면, 해당 타원의 면적이 계산될 수 있다. 본 발명에서는 각 픽셀 좌표가 타원의 중심이라 가정한 뒤, 해당 위치에서 타원의 면적을 산출한다. 따라서, 모든 픽셀위치에 서로 다른 크기의 타원의 면적이 저장되며, 이를 정규화(normalize)시키기 위해서 수학식 3에 의한 가중치를 이용하여 정규화시키면, 정규화된 픽셀 크기(normalized pixel size)가 저장된 조밀도 지도(density map)을 구할 수 있다. 여기서, 조밀도 지도 자체가 가중치라 할 수도 있다. 이를 타원 자체가 아닌 각 전경 픽셀에 직접 곱함으로써 위치에 따라 상이하게 표현되는 타원들(도 6 참조)도 같은 크기로 정규 화시킬 수 있게 된다.That is, when an ellipse projected on the two-dimensional plane is calculated by the above Equations 1 and 2, the area of the ellipse may be calculated. In the present invention, after each pixel coordinate is assumed to be the center of the ellipse, the area of the ellipse is calculated at the corresponding position. Therefore, the area of the ellipse of different size is stored in every pixel position, and normalized by using the weight according to Equation 3 to normalize it, the density map in which the normalized pixel size is stored. You can get a density map. Here, the density map itself may be referred to as a weight. By directly multiplying each foreground pixel rather than the ellipse itself, ellipses (see FIG. 6) expressed differently according to position can be normalized to the same size.

다시 도 2를 참조하면, 후속하여, 통행량 추정부(150)는 가상 문상의 픽셀 수 계산(Counting Pixels on Virtual Gate) 단계(250)를 수행한다. 일단 전경 이미지가 정규화되어지면, 가상 문상의 픽셀들의 수가 카운트되어진다. 픽셀 수를 카운팅함에 있어 카운팅된 결과 값은 정수 값일 수도 있으나, 카운팅된 결과 값이 각 픽셀별로 가중치에 대한 곱셈 결과의 합이므로 유리수 값일 수도 있을 것이다.Referring back to FIG. 2, the traffic amount estimator 150 performs a counting pixel on virtual gate step 250. Once the foreground image is normalized, the number of pixels in the virtual context is counted. In counting the number of pixels, the counted result value may be an integer value. However, the counted result value may be a rational value because the counted result value is the sum of the multiplication results of the weights for each pixel.

가상 문상의 픽셀 수 계산 단계(250)에서는 이동체(즉, 각 움직임 픽셀(moving pixel) 또는 움직임 블로브(moving blob))의 움직임 방향을 인식하기 위해 모션 벡터가 이용되어질 수 있다. 이어서, 통행량 추정부(150)는 통행자 수 산출(Pedestrian Count) 단계(260)를 수행한다. 카운트되어진 가상 문 상의 전경 픽셀들의 수에 근거하여 가상 문을 통과하는 사람들의 수가 추정되어질 수 있다.In the pixel counting step 250 of the virtual constellation, a motion vector may be used to recognize a moving direction of the moving object (ie, each moving pixel or a moving blob). Subsequently, the traffic estimation unit 150 performs a pedestrian count step 260. The number of people passing through the virtual door can be estimated based on the number of foreground pixels on the virtual door that have been counted.

일단 전경 이미지와 모션 벡터가 획득되면, 가상 문을 통과하는 사람들의 수가 가상 문상의 전경 픽셀들을 카운팅함으로써 추정되어질 수 있다. 픽셀 카운팅은 하기 수학식 4를 이용하여 수행될 수 있다.Once the foreground image and the motion vector are obtained, the number of people passing through the virtual door can be estimated by counting the foreground pixels on the virtual door. Pixel counting may be performed using Equation 4 below.

상기 수학식 4에서 flow(i)는 i번째 프레임에서의 통행량을 나타내고, x는 가상 문상의 픽셀을 나타내며, 스케일링 팩터(scaling factor)로서의 상수 a는 사람의 평균 면적을 나타내는 타원의 사람 모델의 면적을 만들기 위해 이용되며, 예를 들어 실험적인 값으로 0.925로 설정될 수 있다. w(x)는 앞서 설명한 바와 같이 카메라 투영의 영향을 보상하기 위한 가중치이다. FG(x)는 픽셀 x에 대한 전경 분리 결과에 대한 값으로서, 해당 픽셀 x가 전경 픽셀인 경우에는 1로 설정되고, 그렇지 않은 경우에는 0으로 설정된다. v_x는 픽셀 x의 위치에서의 모션 벡터를 나타낸다. |v_x|는 모션 벡터의 크기를 의미하고,

는 모션 벡터와 가상문간의 각을 의미한다. 모션 벡터의 방향을 이용하여, 가상 문을 통해 나가는 객체와 들어오는 객체를 각각 분리하여 통행량 추정이 수행될 수 있다.In Equation 4, flow (i) represents a traffic amount in the i-th frame, x represents a pixel of a virtual constellation, and a constant a as a scaling factor represents an area of an elliptic human model representing an average human area. It is used to make, for example it can be set to 0.925 as an experimental value. w (x) is a weight for compensating the influence of the camera projection as described above. FG (x) is a value for the foreground separation result for the pixel x, and is set to 1 when the pixel x is the foreground pixel, and is set to 0 otherwise. v _x represents a motion vector at the position of pixel x. | v _x | means the magnitude of the motion vector,

Denotes the angle between the motion vector and the virtual statement. Using the direction of the motion vector, traffic estimation may be performed by separating outgoing objects and incoming objects through the virtual door, respectively.

상술한 수학식 4를 이용하여, 전경 객체(foreground object)가 가상 문을 통과할 때, 움직이는 블로브의 크기가 객체 스캐닝에 의해 측정되어진다. 즉, 상술한 수학식 4는 통행량 크기를 강인하게 추정할 수 있도록 가중치들을 이용하여 가상 문상의 전경 픽셀들을 통합한다. 카메라 투영의 영향을 보상하기 위한 크기 정규화는 a와 w(x)에 의해 달성될 수 있다. 즉, 카메라 설정의 변경에 의해 사람들의 투영되어진 타원 크기가 변경될지라도 픽셀 카운트 결과는 동일하게 유지될 수 있다.Using Equation 4 above, when the foreground object passes through the virtual door, the size of the moving blob is measured by object scanning. That is, Equation 4 above integrates the foreground pixels of the virtual constellation using weights so that the traffic volume size can be estimated robustly. Size normalization to compensate for the effects of camera projection can be achieved by a and w (x). That is, even if the projected ellipse size of people is changed by changing the camera settings, the pixel count result can be kept the same.

또한, 걸음 속도의 차이에 대한 영향은 모션 벡터에 의해 보상되어질 수 있다. In addition, the influence on the difference in the walking speed can be compensated by the motion vector.

가상 문상의 픽셀 수 계산 단계(250)는 객체가 움직일 때 라인 샘플링 프로세스로 간주되어질 수 있다. 만일, 전경 객체의 걸음 속도가 빠르다면 라인 샘플링 프로세스에서 단지 짧은 시간동안만 노출되어질 수 있다. 이러한 이유로, 모션 벡터의 크기가 다른 이동 속도의 영향을 보상하기 위해 곱하여진다. sin(θ_vx)는 가상 문에 대해 수직한 모션 컴포넌트로 고려되어지도록 하기 위해 곱하여진다.The pixel count calculation step 250 of the virtual constellation can be considered a line sampling process when the object is moving. If the foreground object's pace is fast, it can only be exposed for a short time in the line sampling process. For this reason, the magnitude of the motion vector is multiplied to compensate for the effects of different movement speeds. sin (θ _vx ) is multiplied so that it is considered a motion component perpendicular to the virtual door.

보정 결과에 따라 통행량을 추정한 예가 도시되어 있다. 즉, 도 7의 테스트 시퀀스의 예에는 한 사람이 가상 문을 통과하는 비디오 프레임이 예시되어 있으며, 통행량 계산 결과 예에는 상술한 수학식 4를 이용하여 각 테스트 시퀀스에 상응하도록 얻어진 통행량 계산 결과(즉, 수학식 3에 의해 한 사람의 평균 면적이 정규화되어졌으므로 통행량 값은 1에 근접되어짐)가 도시되어 있다. 통행량 계산 결과의 그래프에서 x축은 시간을 나타내고, y축은 수학식 4에 의해 연산된 결과의 누적치를 의미한다.An example of estimating the traffic amount according to the correction result is shown. That is, in the example of the test sequence of FIG. 7, a video frame in which one person passes through a virtual statement is illustrated, and in the example of a traffic calculation result, the traffic calculation result obtained by corresponding to each test sequence using Equation 4 described above (that is, , Since the average area of a person is normalized by Equation 3, the traffic volume value is close to 1). In the graph of the traffic calculation result, the x-axis represents time, and the y-axis represents a cumulative value of the result calculated by Equation 4.

도 7의 테스트 시퀀스의 예들 각각은 움직임 속도가 각각 상이할 수 있으며(예를 들어, 각각 21 프레임과 16 프레임 등), 카메라의 시점(viewpoint)가 각각 상이할 수 있다. 그러나, 통행량 계산 결과 예를 볼때, 카메라의 시점(viewpoint)나 움직임 속도가 상이함에도 불구하고 통행량 계산 값이 1에 근접되어짐을 알 수 있다.Each of the examples of the test sequence of FIG. 7 may have different movement speeds (eg, 21 frames and 16 frames, respectively), and different viewpoints of the camera may be different. However, in the example of the traffic calculation result, it can be seen that the traffic calculation value approaches 1 even though the viewpoint or the movement speed of the camera are different.

도 7에서 보여지는 바와 같이, 가상 문을 통과하는 사람들의 수는 통행량 계산 결과를 축적함으로써 판단될 수 있다. 또한, 일정 시간동안 가상 문을 지나는 객체가 없을 경우 통행량 축적 결과를 반올림함으로써 정확한 통행자 수 검출이 가능하다. 일정 시간 동안 가상 문을 지나는 객체가 없는지 여부를 판단하는 이유는 전경 분리가 명확하게 수행되지 않았을 경우 한 사람의 모습이 몇 개의 부분으로 분리될 수 있어 이를 방지하기 위함이며, 또한 한 사람이 완전히 가상 문을 통과했음을 인식할 수 있도록 하기 위한 것이다. 이를 통해 한 사람이 완전히 가상 문을 통과하지 않은 시점에서 통행량 계산 결과가 반올림되어짐을 방지할 수 있다. As shown in FIG. 7, the number of people passing through the virtual door can be determined by accumulating traffic calculation results. In addition, if there is no object passing through the virtual door for a certain period of time, it is possible to detect the exact number of traffic by rounding up the traffic accumulation result. The reason for judging whether there is no object passing through the virtual door for a certain time is to prevent the appearance of one person into several parts if the foreground separation is not clearly performed. This is to help you recognize that you have passed the door. This prevents rounding of traffic calculations when a person has not completely gone through the virtual door.

본 발명에 따른 유효성을 증명하기 위한 테스트 결과가 도 8 및 도 9에 예시되어 있으며, 실험은 PETS2006 데이터 세트를 이용하여 수행되었다("PETS 2006 Benchmark Data", Ninth IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, http://www.cvg.rdg.ac.uk/PETS2006/data.html, accessed June 2007.). Test results for demonstrating validity according to the present invention are illustrated in FIGS. 8 and 9, and experiments were performed using the PETS2006 data set (“PETS 2006 Benchmark Data”, Ninth IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, http://www.cvg.rdg.ac.uk/PETS2006/data.html, accessed June 2007.).

도 8 및 도 9에 예시된 테스트 시퀀스들이 동일한 위치에 대한 것일지라도, 뷰들과 통행자들의 움직임 방향은 매우 상이하다. 통행자들의 주된 움직임 방향에 수직으로 설정된 가상 문이 도 8 및 도 9에 도시되어 있다.Although the test sequences illustrated in FIGS. 8 and 9 are for the same location, the directions of movement of the views and passers-bys are very different. Virtual doors set perpendicular to the main direction of movement of the pedestrians are shown in FIGS. 8 and 9.

계산 결과에 의한 추정을 검증하기 위하여, 관리자에 의해 카운트되어진 숫자와 비교하는 방법이 이용되었다. 또한, 도 8 및 도 9에 예시된 바와 같이, 테스트 결과에 따른 통행량 측정은 통행자들의 이동 방향을 기준으로 화면의 오른쪽으로 진행하였는지, 왼쪽으로 진행하였는지에 따라 구분하여 실시되었다. 각 테스트 시퀀스들에 대해 배경 모델들(background models)을 설정하기 위해 초기 300 프레임이 이용되어졌다. In order to verify the estimation based on the calculation result, a method of comparing with the number counted by the administrator was used. In addition, as illustrated in FIG. 8 and FIG. 9, the traffic volume measurement according to the test result was performed separately according to whether the user progressed to the right side or the left side of the screen based on the moving direction of the traffickers. Initial 300 frames were used to set background models for each test sequence.

도 8 및 도 9에 도시된 테스트 결과의 예에는 본 발명에 따른 방법에 의해 인식된 통행자들의 숫자가 축적되어 표시("proposed method" 참조)되고, 또한 관리자에 의해 카운트되어진 숫자가 축적되어 표시("Ground Truth" 참조)되어 있으며, 양자에 의한 계산량 차이가 계산 에러로서 표시되어 있다. 본 발명에 따른 방법에 의해 인식된 통행자들의 숫자와 관리자에 의해 카운트되어진 숫자간에 차이가 발생 하는 이유는 본 발명이 특성 통합에 따른 시간 지연, 가상 문을 반복하여 통과하는 사람 등에 의해 야기된다. 시간 지연을 최소화하면 상술한 차이는 제거될 수 있으며, 시간 지연을 허용하는 경우에도 도 8 및 도 9에서 보여지는 바와 같이 한 사람의 차이밖에는 존재하지 않는바 신뢰성 있는 시스템임이 명확히 입증된다.In the example of the test results shown in Figs. 8 and 9, the number of passengers recognized by the method according to the present invention is accumulated and displayed (see "proposed method"), and the number counted by the manager is accumulated and displayed. (See "Ground Truth"), and the difference in calculation amount by both is indicated as a calculation error. The reason for the difference between the number of passengers recognized by the method according to the present invention and the number counted by the manager is caused by the time delay caused by the feature integration, the person repeatedly passing through the virtual statement, and the like. By minimizing the time delay, the above-described difference can be eliminated, and it is clearly demonstrated that there is only one person difference as shown in FIGS. 8 and 9 even when the time delay is allowed.

상술한 바와 같이, 본 발명은 가상 문상에서의 픽셀 카운팅에 기반하여 통행량을 측정할 수 있는 방법을 제시한다. 또한 특성 정규화를 수행함으로써 뷰포인트의 변경이나 통행자들의 걸음 속도 등에 관계없이 일정한 결과를 얻도록 할 수 있는 장점이 있다.As described above, the present invention provides a method for measuring a traffic amount based on pixel counting on a virtual image. In addition, by performing property normalization, there is an advantage that a certain result can be obtained regardless of the change of viewpoint or the pace of the pedestrians.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments of the present invention, those skilled in the art may variously modify the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. And can be changed.

도 1은 본 발명의 일 실시예에 따른 통행량 추정 시스템의 구성도.1 is a block diagram of a traffic estimation system according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 통행량 측정부의 처리 과정을 예시한 도면.2 is a diagram illustrating a process of a traffic measurement unit according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 가상 문(Virtual Gate) 설정 예를 나타낸 도면.3 is a diagram illustrating an example of setting a virtual gate according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 전경 분리 처리를 나타낸 도면. 4 is a diagram illustrating a foreground separation process according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 모션 벡터 추출 결과를 예시한 도면.5 is a diagram illustrating a motion vector extraction result according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 픽셀 크기 정규화를 위한 타원 투영 모델을 예시한 도면.6 illustrates an elliptic projection model for pixel size normalization according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 픽셀 수 보정 결과에 따라 통행량을 추정한 예를 도시한 도면. 7 is a diagram illustrating an example of estimating a traffic amount according to a pixel number correction result according to an embodiment of the present invention.

도 8 및 도 9는 본 발명의 실시예에 따른 실험 결과를 각각 나타낸 도면. 8 and 9 are respectively showing the experimental results according to the embodiment of the present invention.

Claims

In the traffic estimation apparatus,

A storage unit to store setting information for setting one or more virtual gates; And

Separating the foreground region for the moving object using each frame of video data input from the video sensor, counting the number of pixels of the foreground area overlapping the virtual door, and outputting an estimated traffic volume value of the moving object. Include traffic estimator,

The traffic estimating apparatus calculates a motion vector for each pixel included in the moving object, corrects the number of pixels using the direction and size of the motion vector, and outputs a traffic amount value of the moving object. Device.

The method of claim 1,

The traffic estimating apparatus is a traffic estimating apparatus, characterized in that for outputting by dividing the amount of traffic for each direction component of the motion vector.

According to claim 1,

The traffic estimating apparatus estimates an average area of a moving object at each pixel location using three-dimensional spatial information according to the video data, sets a weight corresponding to the average area of the moving object for each pixel location, And multiplying the pixel values at each pixel position by the different weights to normalize the moving object to output a traffic amount value of the moving object.

delete

The method of claim 3,

The average area of the mobile body can be obtained by modeling the mobile body as an ellipsoid and projecting it as a 2D image.

Modeling the moving object to the ellipsoid is calculated by the calculation of the projection matrix P and the three-dimensional ellipsoid Q of the video sensor, it is represented by the following equation.

C ^-1 = PQ ^-1 P ^T

Here, C denotes a determinant of an ellipsoid projected to correspond to the mobile body, h is a constant specified by the height of the mobile body, r is a constant specified by a value corresponding to a short axis of the ellipsoid, and x and y are positions of the mobile body. being.

The method of claim 5,

The weight estimating apparatus, characterized in that the weight is calculated by the following equation.

Where area (e _i ) is the area of ellipse e _i projected at the location of pixel i.

The method of claim 1,

The traffic amount estimating apparatus of the moving object is calculated by the following equation.

Here, Gate is a set of pixels corresponding to the virtual statement, x is a pixel of the virtual sentence, a is a constant as a scaling factor, w (x) is to compensate for the effect on the perspective projection of the video sensor Weight, FG (x) is a constant that is set to 1 if the corresponding pixel x is a foreground pixel, otherwise it is set to 0, | v _x | is the magnitude of the motion vector at the position of pixel x,

Is the angle between the motion vector and the virtual statement.

The method of claim 1,

The traffic amount value is generated by rounding the counted number of pixels.

In the traffic estimation method,

Storing configuration information for at least one virtual gate;

Separating a foreground region for the moving object using each frame of video data input from the video sensor;

Calculating a motion vector for each pixel included in the moving object;

Correcting the number of pixels in the foreground area by using the direction and the magnitude of the motion vector; And

And counting the corrected number of pixels of the foreground area to calculate a corresponding traffic amount value of the moving object.

The method of claim 9,

Computing the traffic volume value,

And calculating the amount of traffic for each direction component of the motion vector by dividing it.

The method of claim 9,

Before calculating the traffic volume value of the moving object,

Estimating an average area of the moving object for each pixel position using three-dimensional spatial information according to the video data;

Presetting a weight corresponding to the average area of the moving object for each pixel position; And

And normalizing the moving object by multiplying a pixel value of each pixel position of the foreground area by the weights differently set.

delete

The method of claim 11,

The average area of the moving object is obtained by modeling the moving object as an ellipsoid and projecting it onto a two-dimensional image plane.

The modeling of the moving object to the ellipsoid is calculated by the calculation of the projection matrix P of the video sensor and the three-dimensional ellipsoid Q and is expressed by the following equation.

C ^-1 = PQ ^-1 P ^T

The method of claim 13,

Traffic weight estimating method, characterized in that the weight is calculated by the following equation.

The method of claim 9,

The traffic amount estimation method of the traffic volume is calculated by the following equation.

Here, Gate is a set of pixels corresponding to the virtual statement, x is a pixel of the virtual sentence, a is a constant as a scaling factor, w (x) is for compensating the influence on the perspective projection of the video sensor. Weight, FG (x) is a constant that is set to 1 if the corresponding pixel x is a foreground pixel, otherwise it is set to 0, | v _x | is the magnitude of the motion vector at the position of pixel x,

Is the angle between the motion vector and the virtual statement.

delete