RU2700250C1 - Method of counting human flow - Google Patents

Method of counting human flow Download PDF

Info

Publication number
RU2700250C1
RU2700250C1 RU2018147057A RU2018147057A RU2700250C1 RU 2700250 C1 RU2700250 C1 RU 2700250C1 RU 2018147057 A RU2018147057 A RU 2018147057A RU 2018147057 A RU2018147057 A RU 2018147057A RU 2700250 C1 RU2700250 C1 RU 2700250C1
Authority
RU
Russia
Prior art keywords
camera
image
information processing
moving object
software
Prior art date
Application number
RU2018147057A
Other languages
Russian (ru)
Inventor
Сергей Александрович Ткачев
Илья Игоревич Ащеулов
Андрей Андреевич Чудинович
Борис Валерьевич Носков
Original Assignee
Общество с ограниченной ответственностью "Умная камера"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Умная камера" filed Critical Общество с ограниченной ответственностью "Умная камера"
Priority to RU2018147057A priority Critical patent/RU2700250C1/en
Application granted granted Critical
Publication of RU2700250C1 publication Critical patent/RU2700250C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit

Abstract

FIELD: data processing.
SUBSTANCE: invention relates to a method of calculating a human flow. Method consists in that at the input-output point of the human flow at least one stereo camera is installed, which includes two cameras connected to the information processing means with software. Stereo camera is used to capture a moving object and transmit the image from the camera to the information processing means. Information processing means scans all points in a given height range and in a given sector of the corresponding image frame from each camera. By means of the software of the information processing means, the contours of each moving object are determined on the image from each chamber and the moving objects are separated from each other and from the background. Further, moving objects having a rounded shape located in said specified height range and in said given sector of corresponding frame are selected for counting. After that, by means of the information processing software, a decision on compliance or non-compliance of the flow selected for counting moving objects is made. If the moving object is matched and the counting line is crossed, a count is counted.
EFFECT: higher accuracy of counting human flow.
3 cl, 6 dwg

Description

Изобретение относится к технологии, которая осуществляет обработку информации в соответствии с движением объекта, и предназначено для обеспечения учета и анализа количества движущихся объектов, находящихся в контролируемой зоне, при этом изобретение может быть использовано в составе систем мониторинга транспорта для определения количества пассажиров, для определения направлений людских потоков, а также может быть использовано для учета посетителей в государственных и общественных учреждениях, учебных заведениях, культурно-развлекательных объектах, торговых центрах и т.п.The invention relates to a technology that processes information in accordance with the movement of an object, and is designed to provide accounting and analysis of the number of moving objects located in a controlled area, while the invention can be used as part of vehicle monitoring systems to determine the number of passengers, to determine directions human flows, and can also be used to register visitors in state and public institutions, educational institutions, cultural and entertainment Telnyh facilities, shopping centers, etc.

Из уровня техники известна система, с помощью которой реализуется способ подсчета посетителей, заключающийся в том, что в месте прохода устанавливают сенсоры, подсоединенные к контроллеру, который получает данные о проходах с каждого сенсора, под которым проходит объект. С помощью инфракрасного оптического сенсора, состоящего из приемника и передатчика, фиксируют объект на определенной высоте. Передатчики попеременно излучают лучи ИФК диапазона. Отраженный рассеянный луч от объекта фокусируется линзой приемника и попадает на приемный фотодиод. При проходе объекта под сенсором, ИФК лучи от передатчиков попадают на поверхность объекта и отражаются. Рассеянные отраженные лучи, по каждому из каналов, попадают на свой приемник. Контроллер записывает, распознает это как вход или как выход и записывает событие в память. В контроллере происходит обработка полученной информации с записью в оперативную память, которая затем обрабатывается программным продуктом (см. Патент RU 39418, опубликован 27.07.2004 г.).The prior art system is known by which a method of counting visitors is implemented, which consists in installing sensors connected to the controller at the passage, which receives data on the passages from each sensor under which the object passes. Using an infrared optical sensor, consisting of a receiver and a transmitter, an object is fixed at a certain height. The transmitters alternately emit the rays of the IFC range. The reflected scattered beam from the object is focused by the lens of the receiver and enters the receiving photodiode. When an object passes under the sensor, IFC rays from the transmitters fall on the surface of the object and are reflected. Scattered reflected rays, on each of the channels, fall on their receiver. The controller records, recognizes this as an input or as an output, and writes the event to memory. In the controller, the processing of the received information is carried out with a record in RAM, which is then processed by the software product (see Patent RU 39418, published July 27, 2004).

Также из уровня техники известна система, с помощью которой осуществляется способ учета и анализа потока пассажиров и посетителей, заключающийся в том, что с помощью инфракрасного датчика с микропроцессором проводят сканирование потока, при этом перед каждым сканированием микропроцессор производит измерение температуры и освещенности места учета и устанавливает соответствующую мощность инфракрасных генераторов. После определения освещенности и температуры определяется наличие пассажира/посетителя отраженным лучом и направление его движения путем попеременного включения и выключения инфракрасных генераторов, после чего информация поступает в микропроцессор и после обработки передается на вход счетчика-регистратора, где она записывается в 1-й архив. При возникновении нештатной информации информация записывается во 2-й архив, причем одновременно записывается время из часов. После окончания смены происходит дальнейшая обработка и анализ содержимого этих архивов в центре обработки информации при помощи специального программного обеспечения (см. Патент RU 2304809, опубликован 20.08.2008 г.)Also known from the prior art is a system by which a method for recording and analyzing the flow of passengers and visitors is carried out, which consists in scanning a stream using an infrared sensor with a microprocessor, and before each scanning, the microprocessor measures the temperature and illumination of the metering place and sets corresponding power of infrared generators. After determining the illumination and temperature, the presence of the passenger / visitor by the reflected beam and the direction of its movement are determined by turning the infrared generators on and off, after which the information enters the microprocessor and, after processing, is transmitted to the input of the counter-recorder, where it is recorded in the 1st archive. In case of emergency information, information is recorded in the 2nd archive, and at the same time, the time from the clock is recorded. After the end of the shift, further processing and analysis of the contents of these archives occurs in the information processing center using special software (see Patent RU 2304809, published on 08/20/2008)

Недостатком известных решений является наличие ошибок при подсчете, низкая точность подсчета объектов из-за использования ИК датчиков, которые могут быть засвечены сторонними источниками, а также из-за отсутствия возможности задания зоны контроля.A disadvantage of the known solutions is the presence of errors in the calculation, low accuracy of counting objects due to the use of IR sensors that can be illuminated by third-party sources, and also due to the lack of the ability to set the control zone.

Наиболее близким решением к предложенному изобретению является устройство для подсчета пассажиропотока, посредством которого реализуется способ подсчета пассажиропотока, заключающийся в том, что устройство для подсчета пассажиропотока устанавливается над контролируемым объектом при этом датчики изображения должны быть направлены на объект в контролируемой зоне. Процессор запускает таймеры, которые синхронизируют работу строчных драйверов, задающих режим работы матриц пиксельных датчиков, непосредственно воспринимающих световое изображение объектов попадающих в контролируемую зону. Полученное изображение объекта в АЦП четных строк и в АЦП нечетных строк преобразуется из аналогового сигнала в цифровой. Оцифрованные сигналы в модулях конечной обработки изменяется по заданной программе по уровню яркости и контрастности, и параллельным шинам данных поступают на процессор, в котором восстанавливается объемное изображение объекта. Объемное изображение объекта представляет собой массив трехмерных значений высоты каждого объекта, полученных с матриц пиксельных датчиков. При сравнении текущих массивов объемных изображений объектов с предыдущими массивами объемных изображений в процессоре программно фиксируется момент входа объекта в контролируемую зону и момент выхода из нее и осуществляется учет количества объектов (см. Патент RU 102414, опубликован 27.02.2011 г.).The closest solution to the proposed invention is a device for counting passenger traffic, through which a method for counting passenger traffic is implemented, which consists in the fact that the device for counting passenger traffic is installed above the monitored object, while the image sensors should be directed to the object in the controlled area. The processor starts timers that synchronize the operation of line drivers that specify the mode of operation of the matrix of pixel sensors that directly perceive the light image of objects falling into the controlled area. The resulting image of the object in the ADC of even lines and in the ADC of odd lines is converted from an analog signal to a digital one. The digitized signals in the final processing modules change according to a given program in terms of brightness and contrast, and parallel data buses are fed to the processor, in which the volumetric image of the object is restored. A three-dimensional image of an object is an array of three-dimensional values of the height of each object obtained from matrixes of pixel sensors. When comparing the current arrays of volumetric images of objects with previous arrays of volumetric images, the processor records the moment the object enters the controlled area and the moment it leaves it and the number of objects is taken into account (see Patent RU 102414, published February 27, 2011).

Недостатком известного решения является наличие ошибок при подсчете и низкая точность подсчета объектов.A disadvantage of the known solution is the presence of errors in the calculation and low accuracy of counting objects.

Технической проблемой, решаемой изобретением, является исключение ошибок, возникающих при подсчете людского потока, связанных с подсчетом объектов, не соответствующих людскому потоку и не влияющих на подсчет людского потока, в том числе при последующих итерациях подсчета, учет людского потока во времени и пространстве с целью оптимизации маршрутов транспортных средств, коммерческого учета числа перевезенных пассажиров, с целью получения точных данных о количестве входящих и выходящих людей из различных организаций и учреждений, возможность подсчета людского потока в зависимости от их роста с целью анализа посещения каких-либо учреждений людьми разного роста, а следовательно и возраста.The technical problem solved by the invention is the elimination of errors arising in the calculation of human flow associated with the counting of objects that do not correspond to the human flow and do not affect the calculation of human flow, including during subsequent iterations of the calculation, taking into account the human flow in time and space in order to optimization of vehicle routes, commercial accounting of the number of passengers carried, in order to obtain accurate data on the number of incoming and outgoing people from various organizations and institutions, the necessity of calculating the flow of people depending on their growth in order to analyze visits to any institutions by people of different height, and therefore age.

Техническим результатом изобретения, обеспечивающим решение технической проблемы, является повышение точности подсчета людского потока, в том числе количества входящих и выходящих людей, повышение точности идентификации движущихся объектов и эффективное использование компьютера для получения объективного и наглядного результата анализа людского потока, обеспечение возможности подсчета только тех движущихся объектов, которые относятся к людскому потоку, исключение из подсчета объектов, не соответствующих людскому потоку.The technical result of the invention, providing a solution to a technical problem, is to increase the accuracy of counting the human flow, including the number of people entering and leaving, increase the accuracy of identification of moving objects and efficiently use a computer to obtain an objective and clear result of the analysis of human flow, providing the ability to count only those moving objects related to the human flow, exclusion from the count of objects that do not correspond to the human stream.

Технический результат изобретения достигается благодаря реализации способа подсчета людского потока, заключающего в том, что в месте входа-выхода людского потока устанавливают по меньшей мере одну стереокамеру, включающую две камеры, связанные со средством обработки информации с программным обеспечением, посредством по меньшей мере одной стереокамеры осуществляют захват движущегося объекта в поле зрения каждой камеры и передачу изображения с каждой камеры на средство обработки информации, посредством средства обработки информации сканируют все точки в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры, посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры контуры каждого движущегося объекта и отделяют движущиеся объекты друг от друга и от фона, выбирают для подсчета движущиеся объекты, имеющие округлую форму, находящиеся в указанном заданном диапазоне высот и в указанном заданном секторе соответствующего кадра, после чего посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку, при этом в случае соответствия движущегося объекта и пересечения им линии счета в месте входа-выхода посредством программного обеспечения средства обработки информации выполняют подсчет движущихся объектов с учетом направления движения людского потока, причем считают количество входящих путем прибавления, если направление движения объекта в сторону входа, и считают количество выходящих путем вычитания, если направление движения объекта в сторону выхода.The technical result of the invention is achieved due to the implementation of the method of calculating the human flow, which consists in the fact that at least one stereo camera is installed at the inlet / outlet of the human stream, including two cameras connected to the information processing means with software, through at least one stereo camera capturing a moving object in the field of view of each camera and transmitting an image from each camera to the information processing means by means of the information processing means scan all the points in a given range of heights and in a given sector of the corresponding image frame from each camera, using the information processing software, determine the contours of each moving object on the image from each camera and separate moving objects from each other and from the background, moving objects are selected for counting having a rounded shape, located in the specified predetermined range of heights and in the specified predetermined sector of the corresponding frame, after which by means of software information processing means decide whether the moving objects selected for counting moving objects correspond to the human flow, and if the moving object matches and crosses the counting line at the entry / exit point, the information processing means count the moving objects taking into account the direction of the human flow , and consider the number of incoming by adding, if the direction of movement of the object towards the entrance, and consider the number of output p subtract it, if the direction of motion of the object in the direction of the exit.

Кроме того, после сканирования всех точек в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры посредством программного обеспечения могут вычислять расстояние от каждой камеры до движущегося объекта или высоту движущегося объекта, а также скорость и направление движения движущегося объекта путем определения смещения изображения на одном кадре относительно другого кадра совместно с обеих камер.In addition, after scanning all points in a given height range and in a given sector of the corresponding image frame from each camera, the software can calculate the distance from each camera to a moving object or the height of a moving object, as well as the speed and direction of movement of a moving object by determining the image offset on one frame relative to another frame shared with both cameras.

Кроме того, при сканировании всех точек изображений могут осуществлять сравнение оптических параметров двух изображений, при этом могут задавать следующие параметры для выделения и сравнения объектов: координаты сравниваемых точек, размер выделенного объекта в пикселях, величина смещения пикселей на кадрах изображений с разных камер, величина смещения точек на текущем и предыдущем кадре изображения с каждой камеры, и при вычислении расстояния от каждой камеры до движущегося объекта или высоты движущегося объекта, а также скорости и направления движения движущегося объекта учитывают результаты сравнения указанных параметров.In addition, when scanning all points of images, they can compare the optical parameters of two images, while they can set the following parameters for selecting and comparing objects: the coordinates of the compared points, the size of the selected object in pixels, the amount of pixel displacement on image frames from different cameras, the amount of displacement points on the current and previous frame of the image from each camera, and when calculating the distance from each camera to a moving object or the height of a moving object, as well as speed and Boards of motion of a moving object take into account the results of comparison of these parameters.

Изобретение поясняется с помощью чертежей, где на фиг. 1 схематично показано место входа-выхода с установленной над ним стереокамерой; на фиг. 2 показан вид А на фиг. 1; на фиг. 3-6 показаны примеры захвата движущихся объектов и определения контуров движущихся объектов, выбираемых для подсчета.The invention is illustrated using the drawings, where in FIG. 1 schematically shows an input-output location with a stereo camera mounted above it; in FIG. 2 shows a view A in FIG. one; in FIG. Figures 3-6 show examples of capturing moving objects and determining the contours of moving objects selected for counting.

Предложенный способ подсчета людского потока осуществляется с помощью системы технических средств, в которую входит: 1) одна или несколько стереокамер 1 (стереопары) подсчета людского потока (в том числе пассажиров на общественном транспорте), причем каждая стереокамера 1 включает две камеры 2, соединенные с одной печатной платой (не показана). Количество используемых при осуществлении способа стереокамер 1 ограничено лишь оборудованием, обрабатывающим полученные данные с камер 2; 2) средство обработки информации (он же миникомпьютер, не показан) с установленным на нем специальным программным обеспечением. Средство обработки информации с программным обеспечением связано с каждой камерой 2, входящей в состав стереокамеры 1 и предназначены для обработки видео потока (видеофайлов), полученного от каждой камеры 2 стереокамеры 1 и вывода видео потока на мониторы 3; 3) монитор 3 (экран, дисплей), на котором отображаются изображения, полученные от каждой камеры 2 стереокамеры 1, а также информация об обработке этих изображений средством обработки информации.The proposed method of counting human flow is carried out using a system of technical means, which includes: 1) one or more stereo cameras 1 (stereo pairs) of counting human flow (including passengers using public transport), and each stereo camera 1 includes two cameras 2 connected to one circuit board (not shown). The number of stereo cameras 1 used in the implementation of the method is limited only by equipment that processes the received data from cameras 2; 2) a means of processing information (it is a minicomputer, not shown) with special software installed on it. The information processing tool with software is associated with each camera 2 included in the stereo camera 1 and is designed to process the video stream (video files) received from each camera 2 of the stereo camera 1 and output the video stream to monitors 3; 3) monitor 3 (screen, display), which displays the images received from each camera 2 of the stereo camera 1, as well as information about the processing of these images by means of information processing.

Стереокамера 1 и средство обработки информации могут быть объединены в единый корпус, при этом они образуют аппаратно-программное обеспечение (комплекс), которое использует компьютерное зрение для автоматизированного сбора данных на основании анализа потокового видео (видеоанализа), которое опирается на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека, и используя для передачи данных каналы связи невысокой пропускной способности (например, GSM канал и т.п.)The stereo camera 1 and the information processing tool can be combined into a single package, while they form a hardware-software (complex) that uses computer vision for automated data collection based on the analysis of streaming video (video analysis), which relies on image processing and recognition algorithms images that allow you to analyze video without direct human involvement, and using low-bandwidth communication channels (for example, a GSM channel, etc.) to transmit data

Далее по тексту рассмотрим вариант осуществления способа с использованием одной стереокамеры 1, однако следует понимать, что их количество может быть любым в зависимости от потребности и необходимости, причем каждая стереокамера 1 связана со своим средством обработки информации.Further in the text, we will consider an embodiment of the method using one stereo camera 1, however, it should be understood that their number can be any depending on the need and necessity, and each stereo camera 1 is associated with its own means of processing information.

Предложенный способ заключается в том, что в месте 4 входа-выхода людского потока (вход и выход контролируемой зоны) устанавливают стереокамеру 1. При этом стереокамеру 1 устанавливают в любом месте 4 входов-выходов, например, в местах дверных проемов транспортных средств, жилых или коммерческих помещений, помещений государственных или общественных учреждений, рамках металлоискателей и т.п.в зависимости от того, где необходимо осуществить подсчет проходящего людского потока. Стереокамеру 1 устанавливают, преимущественно, над движущимся людским потоком так, что камеры 2 направлены либо строго вертикально вниз (в пол под прямым углом), либо под небольшим углом к вертикали с целью охвата, преимущественно, только той зоны, где движется людской поток и в которой необходимо осуществить подсчет, исключая лишний фон. Высота установки стереокамеры 1 может быть любой в зависимости от максимально возможного роста людей, которых необходимо посчитать в том или ином месте. Предпочтительно, высота установки стереокамеры 1 от 2-х до 3-х метров от пола, однако может быть и иная высота установки (меньшая или большая).The proposed method consists in the fact that in place 4 of the input / output of the human flow (input and output of the controlled area), a stereo camera 1 is installed. In this case, the stereo camera 1 is installed anywhere in the 4 inputs / outputs, for example, in places of doorways of vehicles, residential or commercial premises, premises of state or public institutions, metal detectors, etc., depending on where it is necessary to calculate the flow of people. The stereo camera 1 is installed mainly over a moving human flow so that the cameras 2 are directed either strictly vertically downward (at a right angle to the floor) or at a small angle to the vertical in order to cover, mainly, only the area where the human flow moves and in which needs to be counted, excluding the extra background. The height of the stereo camera 1 can be any, depending on the maximum possible growth of people who need to be counted in a particular place. Preferably, the installation height of the stereo camera 1 is from 2 to 3 meters from the floor, however, there may be a different installation height (smaller or larger).

При прохождении людского потока через линию 5 счета (под стереокамерой 1) посредством стереокамеры 1 осуществляют захват движущегося объекта в поле зрения каждой камеры 2 и передачу изображения с каждой камеры 2 на средство обработки информации. Линия 5 счета - это условное разделение экрана монитора 3, т.е. задается в виде прямой линии с привязкой к координатам изображения, полученного от каждой камеры 2. При движении под стереокамерой 1 через линию 5 счета любых объектов (людей, в том числе с животными, колясками, сумками и т.п.) на полученном от каждой камеры 2 изображении посредством средства обработки информации (программным обеспечением) сканируют все точки в заданном диапазоне высот и в заданном секторе 6 соответствующего кадра изображения с каждой камеры 2. Диапазон высот, в котором сканируют все точки, задается в настройках программного обеспечения средства обработки информации и в каждом конкретном случае такая высота может быть разная. Максимальная высота, в которой сканируют все точки - не менее 20 см. от каждой камеры 2, а минимальная высота - не более 200 см. от каждой камеры 2. Преимущественно, высота сканирования всех точек на изображениях от камер 2 задается в 1,5 метра от поверхности пола, однако может быть задана и иная высота в указанном диапазоне высот.Данный параметр (высота) устанавливается как разница между высотой установки стереокамеры 1 и минимальной высотой объекта, который необходимо определить и посчитать. Например, если высота установки стереокамеры 1-2 метра, а минимальная высота объекта подсчета 1,5 метра, то каждая камера 2 будет определять объекты на расстоянии не более 50 см. от камеры 2.When a human stream passes through the counting line 5 (under the stereo camera 1) through the stereo camera 1, a moving object is captured in the field of view of each camera 2 and the image is transmitted from each camera 2 to the information processing means. Account line 5 is a conditional split of the screen of monitor 3, i.e. is set in the form of a straight line with reference to the coordinates of the image received from each camera 2. When moving under stereo camera 1 through line 5, the counts of any objects (people, including animals, strollers, bags, etc.) on received from each image cameras 2 by means of information processing means (software) scan all points in a given range of heights and in a given sector 6 of the corresponding image frame from each camera 2. The range of heights in which all points are scanned is specified in the software settings especheniya information processing means and in each case this height may be different. The maximum height at which all points are scanned is at least 20 cm from each camera 2, and the minimum height is no more than 200 cm from each camera 2. Mostly, the scanning height of all points in the images from cameras 2 is set to 1.5 meters from the surface of the floor, however, a different height can be set in the specified height range. This parameter (height) is set as the difference between the height of the stereo camera 1 and the minimum height of the object that needs to be determined and calculated. For example, if the height of the stereo camera is 1-2 meters, and the minimum height of the counting object is 1.5 meters, then each camera 2 will detect objects at a distance of no more than 50 cm from camera 2.

Размер и расположение указанного заданного сектора 6 соответствующего кадра изображения с камер 2, в котором программное обеспечение выделяет объекты, зависит от условий прохода и сцены каждого кадра полученных от камер 2 изображений. Размер и расположение сектора 6 задается в настройках программного обеспечения. Обычно, это квадратный сектор 6, который занимает, преимущественно, 50% площади кадра и расположен непосредственно в зоне прохода. При этом размер сектора 6 может быть и иным в диапазоне от 30% до 100% площади кадра. Размер сектора 6 зависит от удаленности зоны прохода людей от стереокамеры 1, а также от ширины этой зоны прохода. Например, если объекты находятся близко к стереокамере 1, то на кадре они будут занимать большую площадь, и если объекты достаточно удалены от стереокамеры 1, то на кадре они будут занимать меньшую площадь и располагаться ближе к центру кадра. Размер сектора 6 подбирается индивидуально для каждой камеры 2 в зависимости от вышеперечисленных условий.The size and location of the specified sector 6 of the corresponding image frame from cameras 2, in which the software selects objects, depends on the conditions of passage and the scene of each frame received from the cameras 2 images. The size and location of sector 6 is set in the software settings. Usually, this is a square sector 6, which occupies mainly 50% of the frame area and is located directly in the passage zone. In this case, the size of sector 6 may be different in the range from 30% to 100% of the frame area. The size of sector 6 depends on the distance of the passage zone of people from the stereo camera 1, as well as the width of this passage zone. For example, if objects are close to stereo camera 1, then on the frame they will occupy a large area, and if objects are far enough from stereo camera 1, then on the frame they will occupy a smaller area and be closer to the center of the frame. The size of sector 6 is selected individually for each camera 2, depending on the above conditions.

После сканирования всех точек в указанном заданном диапазоне высот и в указанном заданном секторе 6 соответствующего кадра изображения с каждой камеры 2 посредством программного обеспечения средства обработки информации осуществляют сравнение оптических параметров двух изображений (с каждой камеры 2). Сравнение оптических параметров двух изображений осуществляют с целью оценки высоты и положения каждого движущегося объекта. При этом сравнение осуществляется программным обеспечением по определенному алгоритму. Программное обеспечение сканирует все точки на правом изображении (с одной камеры 2) и ищет такие же точки на левом изображении (с другой камеры 2), после чего осуществляется сопоставление этих точек на изображениях совместно с обеих камер 2. Тем самым, программное обеспечение определяет смещение изображения на одном кадре относительно другого. Величина смещения позволяет вычислить расстояние от камеры 2 до объекта или высоту объекта.After scanning all the points in the specified predetermined range of heights and in the specified specified sector 6 of the corresponding image frame from each camera 2, using the information processing software, the optical parameters of the two images are compared (from each camera 2). The comparison of the optical parameters of the two images is carried out in order to assess the height and position of each moving object. In this case, the comparison is carried out by software according to a certain algorithm. The software scans all the points in the right image (from one camera 2) and searches for the same points in the left image (from another camera 2), after which these points are compared on the images together with both cameras 2. Thus, the software determines the offset images in one frame relative to another. The magnitude of the offset allows you to calculate the distance from camera 2 to the object or the height of the object.

Вычисление расстояния от камер 2 до наблюдаемого объекта осуществляется по известным алгоритмам и формулам (см., например, Ильясов Э.С. Вычисление расстояния до наблюдаемого объекта по изображениям со стереопары // Молодой ученый. - 2016. - №14. - С. 146-151. - URL https://moluch.ru/archive/118/32662/).The calculation of the distance from cameras 2 to the observed object is carried out according to well-known algorithms and formulas (see, for example, E. Ilyasov. Calculation of the distance to the observed object from images from a stereo pair // Young Scientist. - 2016. - No. 14. - P. 146 -151. - URL https://moluch.ru/archive/118/32662/).

Таким образом, после сканирования всех точек вычисляют расстояние от каждой камеры 2 до движущегося объекта или высоту движущегося объекта, а также определяют скорость и направление движения движущегося объекта путем определения смещения изображения на одном кадре относительно другого кадра совместно с обеих камер 2.Thus, after scanning all the points, the distance from each camera 2 to the moving object or the height of the moving object is calculated, and the speed and direction of movement of the moving object are determined by determining the image offset on one frame relative to the other frame together with both cameras 2.

Кроме того, программное обеспечение может определять характерные, ярко выраженные точки на кадре. Далее программное обеспечение находит эти же точки на следующем кадре, а величина смещения точек на кадре относительно предыдущего кадра позволяет определить скорость и направление передвижения объекта.In addition, the software can determine the characteristic, pronounced points on the frame. Further, the software finds the same points on the next frame, and the displacement of the points on the frame relative to the previous frame allows you to determine the speed and direction of movement of the object.

Для выделения и сравнения объектов, которые в последующем будут посчитаны, задают следующие основные параметры: координаты сравниваемых точек, размер выделенного объекта в пикселях, величина смещения пикселей на кадрах изображений с разных камер 2 (на правом и на левом кадре), величина смещения точек на текущем и предыдущем кадре изображения с каждой камеры 2.To select and compare objects that will be subsequently counted, the following basic parameters are set: the coordinates of the points to be compared, the size of the selected object in pixels, the amount of pixel displacement on the image frames from different cameras 2 (on the right and left frame), the amount of point displacement by the current and previous frame of the image from each camera 2.

После того, как посредством программного обеспечения средства обработки информации отсканированы все точки, определили высоту движущегося объекта или расстояние от каждой камеры 2 до движущегося объекта, определили направление движения движущегося объекта, посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры 2 контуры каждого движущегося объекта. При этом определяют контуры движущихся объектов на изображениях только на указанной заданной высоте, выбирая точки на этой высоте. Программное обеспечение после определения контуров каждого движущегося объекта на заданной высоте отделяет движущиеся объекты друг от друга и от фона.After all points are scanned using the information processing software, the height of the moving object or the distance from each camera 2 to the moving object is determined, the direction of movement of the moving object is determined, the information processing software determines the contours of each moving image on each camera 2 object. In this case, the contours of moving objects in the images are determined only at the specified given height, choosing points at this height. After determining the contours of each moving object at a given height, the software separates the moving objects from each other and from the background.

После определения контуров движущихся объектов с помощью программного обеспечения средства обработки информации выбирают для подсчета движущиеся объекты, имеющие округлую форму, которые находятся в указанном заданном диапазоне высот и в указанном заданном секторе 6 соответствующего кадра изображения. При этом для подсчета выбирают объекты округлой формы, которые имеют определенный заданный размер. Максимальный и минимальный размер задается в настройках программного обеспечения и зависит от высоты расположения стереокамеры 1. Максимальный размер округлой формы может составлять 40% от площади кадра, а минимальный размер округлой формы может составлять 10% от площади кадра. Преимущественно, такой размер округлой формы составляет примерно 10-25%) от площади кадра. Однако в настройках программного обеспечения может быть задан и иной размер в указанном диапазоне (от 10% до 40%).After determining the contours of moving objects using software, the information processing means select moving objects having a rounded shape that are in the specified range of heights and in the specified sector 6 of the corresponding image frame for counting. In this case, objects of round shape that have a certain specified size are selected for counting. The maximum and minimum size is set in the software settings and depends on the height of the stereo camera 1. The maximum size of a round shape can be 40% of the frame area, and the minimum size of a round shape can be 10% of the frame area. Advantageously, such a rounded shape is about 10-25%) of the frame area. However, a different size can be specified in the software settings in the specified range (from 10% to 40%).

После выбора объектов округлой формы, имеющих указанный размер и находящиеся на указанной высоте и в указанном секторе 6, посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку. При этом отсекают коляски, животных, сумки и т.д. Для принятия решения учитываются следующие параметры:After selecting objects of a rounded shape having the indicated size and located at the indicated height and in the indicated sector 6, by means of the software, the information processing means decide whether the moving objects selected for counting moving objects correspond or are not in accordance with the human flow. In this case, strollers, animals, bags, etc. are cut off. To make a decision, the following parameters are taken into account:

- Скорость движения объекта. Для принятия решения скорость должна быть 1-2 метра в секунду (м/с).- The speed of the object. To make a decision, the speed should be 1-2 meters per second (m / s).

- Форма объекта. Для принятия решения форма движущегося объекта должна быть округлой.- The shape of the object. To make a decision, the shape of the moving object must be rounded.

- Размер объекта. Для принятия решения движущийся объект округлой формы должен быть не менее минимального (10% от площади кадра) и не более максимального (40% от площади кадра) установленного размера объекта.- The size of the object. To make a decision, a round-shaped moving object must be at least the minimum (10% of the frame area) and no more than the maximum (40% of the frame area) of the set size of the object.

- Расположение объекта. Для принятия решения движущийся объект округлой формы заданного размера должен находится в установленном секторе 6 кадра.- Property location. To make a decision, a moving object of a rounded shape of a given size must be in the established sector of 6 frames.

- Направление движения объекта. Для принятия решения перемещение объекта (смещение координат объекта на текущем и предыдущем кадре) по оси Y должно быть больше чем перемещение по оси X.- The direction of movement of the object. To make a decision, moving an object (shifting the coordinates of an object in the current and previous frame) along the Y axis should be greater than moving along the X axis.

Если все вышеуказанные параметры соответствуют установленным, то программное обеспечение принимает решение о соответствии выделенного объекта объекту подсчета. Таким образом, в случае соответствия движущегося объекта и пересечении им линии 5 счета в месте 4 входа-выхода посредством программного обеспечения средства обработки информации выполняют подсчет движущихся объектов (потока людей) с учетом направления движения людского потока. Так, считают количество входящих путем прибавления, если направление движения объекта в сторону входа, и считают количество выходящих путем вычитания, если направление движения объекта в сторону выхода. Таким образом, с учетом направления движения (вход или выход) выполняют определенные математические действия при пересечении движущимся объектом линии 5 счета (прибавляют единицу при направлении движения в сторону входа или вычитают единицу при направлении движения в сторону выхода). При этом считают отдельно количество входящих и отдельно количество выходящих людей.If all of the above parameters correspond to the set, then the software decides whether the selected object corresponds to the counting object. Thus, in the case of the correspondence of the moving object and the intersection of the counting line 5 in the place 4 of the input / output, by means of the software of the information processing means, the calculation of moving objects (people flow) is carried out taking into account the direction of movement of the human flow. So, consider the number of entering by adding, if the direction of the object is moving towards the entrance, and consider the number of coming by subtracting if the direction of movement of the object is towards the exit. Thus, taking into account the direction of movement (entrance or exit), certain mathematical actions are performed when the moving object crosses the counting line 5 (add one when the direction of movement is towards the entrance or subtract one when the direction of movement is towards the exit). At the same time, the number of incoming people and the number of people leaving separately are considered separately.

Таким образом, благодаря осуществлению предложенного способа происходит максимально точное определение движущихся объектов и выделение из всех движущихся объектов именно людского потока. При этом отделяются все ненужные объекты, которые не нужно считать и которые не относятся к людскому потоку. Подсчет ведется путем построения объемной модели средствами стереокамер 1, путем обработки полученной информации мини-компьютером (программным обеспечением) в данные, пригодные для подсчета людского потока. Стереокамеры 1 имеют подсветку и имеют возможность захватывать объекты (цели) для построения упрощенной объемной модели при любом освещении. При этом обеспечивается возможность подсчета людского потока в зависимости от их роста с целью анализа посещения каких-либо учреждений людьми разного роста, а следовательно и возраста.Thus, due to the implementation of the proposed method, the most accurate determination of moving objects and the selection of all moving objects is precisely the human flow. In this case, all unnecessary objects that do not need to be counted and which do not belong to the human stream are separated. The calculation is carried out by constructing a three-dimensional model by means of stereo cameras 1, by processing the received information with a mini-computer (software) into data suitable for calculating the human flow. Stereo cameras 1 have a backlight and have the ability to capture objects (targets) to build a simplified three-dimensional model in any light. At the same time, it is possible to calculate the flow of people depending on their growth in order to analyze visits to any institutions by people of different height, and therefore age.

Благодаря использованию средства обработки информации со специальным программным обеспечением, позволяющим сканировать точки на определенной высоте и в определенном секторе 6, отсекая все лишние объекты, которые не соответствуют людскому потоку и которые не нужно считать, исключаются любые ошибки, которые могут возникнуть при подсчете людского потока, связанные с подсчетом объектов, не соответствующих людскому потоку и не влияющих на подсчет людского потока. В результате этого существенно повышается точность подсчета входящих и выходящих людей, повышается точность идентификации движущихся объектов в том числе за счет выбора для подсчета только объектов округлой формы определенного размера. Средство обработки информации позволяет без участия человека вести учет людского потока во времени и пространстве, обеспечивается эффективное использование компьютера для получения объективного и наглядного результата анализа людского потока. Это позволяет оптимизировать маршруты транспортных средств, вести коммерческий учет числа перевезенных пассажиров, а также получать точные данные о количестве входящих и выходящих людей из различных организаций и учреждений.By using an information processing tool with special software that allows you to scan points at a certain height and in a certain sector 6, cutting off all unnecessary objects that do not correspond to the human flow and which do not need to be counted, any errors that may occur when calculating the human flow are eliminated, associated with the calculation of objects that do not correspond to the human flow and do not affect the calculation of human flow. As a result of this, the accuracy of counting incoming and outgoing people is significantly increased, and the accuracy of identifying moving objects is increased, including by selecting only counted round-shaped objects of a certain size. The information processing tool allows, without human intervention, to keep track of the human flow in time and space, provides an efficient use of the computer to obtain an objective and visual result of the analysis of the human flow. This allows you to optimize the routes of vehicles, keep a commercial record of the number of passengers carried, and also obtain accurate data on the number of incoming and outgoing people from various organizations and institutions.

Claims (3)

1. Способ подсчета людского потока, заключающийся в том, что в месте входа-выхода людского потока устанавливают по меньшей мере одну стереокамеру, включающую две камеры, связанные со средством обработки информации с программным обеспечением, посредством по меньшей мере одной стереокамеры осуществляют захват движущегося объекта в поле зрения каждой камеры и передачу изображения с каждой камеры на средство обработки информации, посредством средства обработки информации сканируют все точки в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры, посредством программного обеспечения средства обработки информации определяют на изображении с каждой камеры контуры каждого движущегося объекта и отделяют движущиеся объекты друг от друга и от фона, выбирают для подсчета движущиеся объекты, имеющие округлую форму, находящиеся в указанном заданном диапазоне высот и в указанном заданном секторе соответствующего кадра, после чего посредством программного обеспечения средства обработки информации принимают решение о соответствии или несоответствии выбранных для подсчета движущихся объектов людскому потоку, при этом в случае соответствия движущегося объекта и пересечения им линии счета в месте входа-выхода посредством программного обеспечения средства обработки информации выполняют подсчет движущихся объектов с учетом направления движения людского потока, причем считают количество входящих путем прибавления, если направление движения объекта в сторону входа, и считают количество выходящих путем вычитания, если направление движения объекта в сторону выхода.1. The method of counting human flow, which consists in the fact that at the entrance to the output of the human flow install at least one stereo camera, including two cameras associated with the means of processing information with software, through at least one stereo camera capture a moving object in the field of view of each camera and the image transmission from each camera to the information processing means, by means of the information processing means, all points are scanned in a given range of heights and in a given sector the corresponding frame of the image from each camera, by means of software, the information processing means determine the contours of each moving object on the image from each camera and separate the moving objects from each other and from the background, choose moving objects with a rounded shape located in the specified range of heights and in the specified sector of the corresponding frame, after which, through software, the information processing means decide on compliance and discrepancies of the selected objects for counting moving objects to the human flow, in this case, if the moving object corresponds to and the line of counting crosses it at the entry / exit point using software, the information processing means calculate the moving objects taking into account the direction of the human flow, and consider the number of incoming by adding if the direction of movement of the object towards the entrance, and consider the number of people leaving by subtraction, if the direction of movement of the object towards the exit. 2. Способ по п. 1, в котором после сканирования всех точек в заданном диапазоне высот и в заданном секторе соответствующего кадра изображения с каждой камеры посредством программного обеспечения вычисляют расстояние от каждой камеры до движущегося объекта или высоту движущегося объекта, а также скорость и направление движения движущегося объекта путем определения смещения изображения на одном кадре относительно другого кадра совместно с обеих камер.2. The method according to p. 1, in which after scanning all the points in a given range of heights and in a given sector of the corresponding image frame from each camera using software, calculate the distance from each camera to a moving object or the height of a moving object, as well as speed and direction of movement moving object by determining the displacement of the image on one frame relative to another frame together with both cameras. 3. Способ по п. 2, в котором при сканировании всех точек изображений осуществляют сравнение оптических параметров двух изображений, при этом задают следующие параметры для выделения и сравнения объектов: координаты сравниваемых точек, размер выделенного объекта в пикселях, величина смещения пикселей на кадрах изображений с разных камер, величина смещения точек на текущем и предыдущем кадрах изображения с каждой камеры, и при вычислении расстояния от каждой камеры до движущегося объекта или высоты движущегося объекта, а также скорости и направления движения движущегося объекта учитывают результаты сравнения указанных параметров.3. The method according to claim 2, in which when scanning all the image points, the optical parameters of the two images are compared, the following parameters are set for selecting and comparing objects: the coordinates of the compared points, the size of the selected object in pixels, the amount of pixel displacement on image frames with different cameras, the amount of displacement of points on the current and previous frames of the image from each camera, and when calculating the distance from each camera to a moving object or the height of a moving object, as well as speed and the board of the moving object take into account the results of the comparison of these parameters.
RU2018147057A 2018-12-27 2018-12-27 Method of counting human flow RU2700250C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018147057A RU2700250C1 (en) 2018-12-27 2018-12-27 Method of counting human flow

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018147057A RU2700250C1 (en) 2018-12-27 2018-12-27 Method of counting human flow

Publications (1)

Publication Number Publication Date
RU2700250C1 true RU2700250C1 (en) 2019-09-13

Family

ID=67989627

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018147057A RU2700250C1 (en) 2018-12-27 2018-12-27 Method of counting human flow

Country Status (1)

Country Link
RU (1) RU2700250C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2783676C1 (en) * 2021-12-13 2022-11-15 Общество с ограниченной ответственностью фирма "Интерсвязь" Method for automated determination of the local positioning of moving objects

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1687955A (en) * 2005-04-19 2005-10-26 上海遥薇实业有限公司 Counter for person number at exit and entrance
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
RU121628U1 (en) * 2012-03-20 2012-10-27 Общество с ограниченной ответственностью "БрейнКрафт" INTELLIGENT PASSENGER FLOW ANALYSIS SYSTEM USING TECHNICAL VISION
RU2469530C2 (en) * 2007-07-31 2012-12-20 Геа Вестфалиязурге Гмбх Device and method for providing information about animals as they pass through passage for animals
UA91830U (en) * 2014-05-07 2014-07-10 Марат Борисович Хазін System of passenger or visitor on-line count
CN104504112A (en) * 2014-12-30 2015-04-08 何业文 Cinema information acquisition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
CN1687955A (en) * 2005-04-19 2005-10-26 上海遥薇实业有限公司 Counter for person number at exit and entrance
RU2469530C2 (en) * 2007-07-31 2012-12-20 Геа Вестфалиязурге Гмбх Device and method for providing information about animals as they pass through passage for animals
RU121628U1 (en) * 2012-03-20 2012-10-27 Общество с ограниченной ответственностью "БрейнКрафт" INTELLIGENT PASSENGER FLOW ANALYSIS SYSTEM USING TECHNICAL VISION
UA91830U (en) * 2014-05-07 2014-07-10 Марат Борисович Хазін System of passenger or visitor on-line count
CN104504112A (en) * 2014-12-30 2015-04-08 何业文 Cinema information acquisition system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2783676C1 (en) * 2021-12-13 2022-11-15 Общество с ограниченной ответственностью фирма "Интерсвязь" Method for automated determination of the local positioning of moving objects
RU2785198C1 (en) * 2022-05-18 2022-12-05 Акционерное общество "Штрих-М" Stereovision-based passenger counter
RU2789708C1 (en) * 2022-05-18 2023-02-07 Акционерное общество "Штрих-М" Passenger counter

Similar Documents

Publication Publication Date Title
KR101942491B1 (en) Hybrid ai cctv mediation module device consisting of road traffic situation monitoring and real time traffic information analysis
TWI580273B (en) Surveillance system
KR100862398B1 (en) Automatic police enforcement method of illegal-stopping and parking vehicle having cctv for preventing crime using multiple camera and system thereof
KR101496390B1 (en) System for Vehicle Number Detection
EP1768067B1 (en) Electro-optical device for counting persons, or other, based on stereoscopic vision, and relative method
KR101999993B1 (en) Automatic traffic enforcement system using radar and camera
KR101745551B1 (en) Apparatus and method for monitoring overspeed-vehicle using CCTV image information
CN101969548A (en) Active video acquiring method and device based on binocular camera shooting
WO2017047687A1 (en) Monitoring system
JPH02502947A (en) Vehicle detection with image processing for traffic monitoring and control
RU83675U1 (en) VIDEO MONITORING SYSTEM
KR101187908B1 (en) Integrated surveillance system diplaying a plural of event images and method using the same
CN102087746A (en) Image processing device, image processing method and program
KR101974105B1 (en) Photographing system and method for increasing recognition rate of vehicle number
KR100990404B1 (en) Method for detecting vehicle of lanes
WO2020105527A1 (en) Image analysis device, image analysis system, and control program
KR100900494B1 (en) System for movement tracing of moving object and service method thereof
KR20180048289A (en) Vehicle sensing apparatus using laser scanning
KR101210615B1 (en) Regulation system of u-turn violation vehicle
KR101719799B1 (en) CCTV monitoring system
RU2700250C1 (en) Method of counting human flow
KR20160049702A (en) Image processing apparatus and park management system using the same
KR20190136515A (en) Vehicle recognition device
US20200128188A1 (en) Image pickup device and image pickup system
CN107274396B (en) Device for counting number of people

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20201228